글을 조각내기

3부까지는 보고 듣고 배우는 AI였어요. 사진, 소리, 점, 길.

이제 말을 다루는 AI로 가요. 그런데 시작이 좀 이상해요. 컴퓨터는 글자를 모르거든요.

2.1에서 본 것과 같은 이야기예요. 컴퓨터는 사진도 숫자로 바꿔서 봤죠. 글도 마찬가지예요.

그런데 글은 사진보다 한 단계가 더 있어요. 먼저 잘라야 해요.

왜 자를까요

"이 사진은 고양이예요"를 통째로 하나의 숫자로 만들 수는 없어요. 세상의 모든 문장에 번호를 붙일 수는 없으니까요.

그렇다고 글자 하나하나로 자르면 너무 잘게 부서져요. "사진"을 "사"와 "진"으로 나누면 뜻이 사라지죠.

그래서 그 중간에서 잘라요. 자주 붙어 다니는 것들은 붙여 두고, 아닌 건 떼어 놓아요.

이 조각 하나를 토큰이라고 불러요. 조각마다 번호가 하나씩 붙어요. AI가 실제로 받는 건 이 번호예요.

한국어가 더 잘게 부서졌어요

같은 뜻인데 조각 수가 몇 배씩 차이 나죠.

더 이상한 건 그 모양이에요. 영어는 조각마다 낱말이 보이는데, 한국어 쪽은 대부분이 읽을 수 없는 부스러기예요.

글자 하나가 조각 여러 개로 부서져서 그래요. 조각 하나만 떼어 놓으면 글자가 안 돼요.

아니에요. 규칙의 문제였어요

한국어 글로 만든 규칙을 눌러 보세요.

뒤집혔죠. 이번엔 영어가 글자 하나씩 뜯어져요.

두 규칙은 똑같은 방식으로 만들었어요. 다른 건 사실상 하나예요 — 무슨 글을 읽고 만들었느냐. 규칙 수는 한국어 쪽이 훨씬 적은데도요.

조각내기 규칙은 많이 본 것만 통째로 붙여 둬요. 많이 안 본 건 부스러기가 되고요.

그리고 지금 널리 쓰이는 AI들은 대부분 첫째 줄이에요. 영어 글을 훨씬 많이 읽고 만들어졌거든요.

자기 이름을 넣어 보세요

실습으로 돌아가서 첫째 칸에 자기 이름을 써 보세요. 규칙 두 개 다요.

이름이 한 조각으로 붙던가요?

이 글에 안 나온 이름이면 한국어로 만든 규칙도 잘게 쪼갰을 거예요. 규칙은 자기가 많이 본 것만 알아요.

조각이 많으면 뭐가 나빠지나요

AI는 조각 하나마다 계산을 한 번씩 해요. 조각이 두 배면 계산은 적어도 두 배예요.

그러니까 같은 말을 해도 언어에 따라 더 느리고 더 비싸요. 눈에 잘 안 보이는 차이인데, 쌓이면 커요.

잘랐으면 뭘 할까요

이제 문장이 번호가 붙은 조각들로 바뀌었어요.

다음 챕터에서는 이 조각들을 가지고 딱 한 가지만 해요. 다음에 올 조각 맞히기.

그것만 아주 잘하게 만들었더니 요즘 말하는 AI가 나왔어요.