소리를 보는 AI

등록한 사람은 대체로 맞히는데 다른 사람은 거의 못 맞히죠.

이게 음성 인식이 70년 동안 못 풀던 문제예요. 사람마다 목소리가 다르거든요. 같은 사람이라도 감기에 걸리면 또 달라지고요.

그런데 기계는 애초에 소리를 어떻게 다룰까요?

소리를 그림으로 바꿔요

여기서 앞 챕터의 이야기가 돌아와요.

컴퓨터가 아는 건 숫자뿐이에요. 그래서 소리도 숫자로 바꿔야 해요. 그런데 소리를 숫자로 바꾸면 아주 긴 숫자 줄 하나가 나와요. 1초에 숫자가 만 개도 넘어요.

그 긴 줄을 그대로 보면 아무것도 안 보여요. 그래서 이렇게 해요.

• 소리를 아주 짧은 토막으로 자르고

• 토막마다 어떤 높이의 소리가 얼마나 센지를 재서

• 세로로 한 줄씩 세워 놓고 가로로 이어 붙여요

그러면 그림이 나와요. 이걸 스펙트로그램 이라고 불러요.

그림 보는 법은 세 가지만 알면 돼요. 세로는 소리의 높낮이, 가로는 시간, 밝을수록 센 소리예요.

같은 말은 무늬가 닮았죠. 그런데 똑같지는 않아요. 사람은 같은 말을 두 번 똑같이 하지 못하거든요.

휘파람과 박수도 눌러 보세요. 말소리와 아주 달라요. 휘파람은 매끄러운 가로줄 하나, 박수는 세로줄이에요.

그러면 2.2로 돌아가요

소리가 그림이 되고 나면 재미있는 일이 벌어져요.

2.2에서 사진에 필터를 훑어서 특징을 찾았죠. 그걸 이 그림에도 똑같이 할 수 있어요.

스펙트로그램 위로 필터를 훑으면 소리의 특징이 나와요. 층을 쌓으면 점점 큰 것을 알아보고요. 사진에서 선 → 무늬 → 덩어리였던 것이, 소리에서는 짧은 소리 → 낱말 조각 → 낱말이 돼요.

같은 방법이에요. 재료만 바뀌었어요.

여기까지가 보고 듣는 AI

2부가 끝났어요. 사진도 소리도 결국 숫자표가 되고, 그 위를 필터가 훑고, 층이 쌓이면 점점 큰 것을 알아봤죠.

그런데 그 필터 안의 숫자는 누가 정했을까요? 2.2 끝에서 미뤄 둔 질문이에요. 다음 부에서 답해요.