다음 말 맞히기 놀이

4.1에서 글을 조각으로 잘랐어요. 이제 그 조각으로 뭘 할까요.

놀랍게도 딱 한 가지만 해요. 다음에 올 조각 맞히기.

똑같은 걸 해 볼 수 있어요. 옛이야기책 한 권을 세어 둔 표가 준비돼 있어요.

규칙은 한 줄도 없어요

이 기계는 한국어 문법을 몰라요. 낱말 뜻도 몰라요.

센 것뿐이에요. 그런데도 두세 마디는 그럴듯하죠.

이렇게 다음 말을 맞히도록 만든 걸 언어 모델 이라고 불러요. 옛날 것도, 요즘 것도 하는 일은 같아요.

앞을 더 보면 나아져요

3개로 바꾸고 다시 이어 보세요. 훨씬 자연스러워지죠.

당연해요. 앞의 세 말을 다 보고 고르니까요.

그런데 실습 아래에 뜨는 글을 보세요.

잘 쓴 게 아니라 베낀 거예요

이야기책에 그대로 있는 문장이에요.

앞의 세 말이 책에 딱 한 번만 나왔다면, 그 다음에 올 말도 딱 하나예요. 고를 게 없어요. 그냥 책을 따라 적는 거죠.

세어 보면 이래요.

"본 적이 없어요"

그럼 책에 없는 문장을 만들려고 하면 어떻게 될까요.

1개로 여러 번 이어 붙여서 책에 없는 문장을 만든 다음, 3개로 바꿔 보세요.

멈춰요. 열 번 중 여섯 번쯤은 아무 말도 못 해요.

외운 걸 되뱉거나, 모르겠다고 하거나 둘 중 하나예요.

새 문장을 만들어 내지는 못해요. 이게 세는 방식의 벽이었어요.

그럼 지금 것은 뭐가 다를까요

이번엔 같은 이야기책으로 배운 작은 AI를 옆에 놓고 비교해 볼게요.

같은 책이라는 게 중요해요. 재료가 달라서 잘하는 거라고 하면 안 되니까요.

오른쪽은 막히지 않아요

글 끝에 아무 말이나 덧붙여 보세요. 왼쪽은 금방 "본 적이 없어요"가 돼요.

오른쪽은 뭘 넣어도 답을 내놔요. 처음 보는 문장이어도요.

세는 게 아니라 가중치를 맞춘 것이기 때문이에요. 3.2에서 본 그 가중치요. 표에서 찾는 게 아니라 계산을 해서 내놓으니까 막다른 길이 없어요.

그리고 오른쪽이 한 줄 써 놓고 나면, 왼쪽이 바로 "본 적이 없어요"가 돼요.

당연하죠. 방금 오른쪽이 만든 문장은 책에 없는 문장이니까요. 실습 아래에도 그렇게 적혀 있어요.

세는 방식은 3개로 보면 59%가 책을 그대로 베낀 것이었죠. 오른쪽은 0%였어요.

같은 문장인데 답이 달라요

알아서 이어 쓰기를 누르고, 처음 문장으로를 누른 뒤 한 번 더 눌러 보세요.

다르죠.

1등만 고르는 게 아니라 확률대로 뽑기 때문이에요. 70%짜리가 있으면 열 번 중 일곱 번쯤 그걸 고르고, 나머지는 다른 걸 골라요.

얼마나 과감하게를 끝까지 올리면 아래쪽 후보까지 집어요. 그러면 엉뚱해져요.

반대로 끝까지 내리면 늘 1등만 골라요. 그러면 같은 말을 계속 반복해요.

그것만 잘하게 했더니

여기까지 보면 이상해요. 다음 말 맞히기가 뭐가 그렇게 대단할까요.

그런데 아주 잘하게 만들면 이상한 일이 벌어져요.

• "다음 문장을 영어로 옮기면:" 다음에 올 말을 맞히면 → 번역이 돼요

• "한 줄로 요약하면:" 다음에 올 말을 맞히면 → 요약이 돼요

• 누가 질문을 하고 그 뒤에 올 말을 맞히면 → 대답이 돼요

아무도 번역하는 법을 따로 가르치지 않았어요. 다음 말 맞히기 하나만 시켰어요.

앞을 다 보려면

세는 방식은 앞을 세 말까지밖에 못 봤어요. 지금 모델은 훨씬 멀리 봐요.

그런데 문장이 길어지면 앞의 말이 수십 개예요. 그걸 다 똑같이 볼까요?

아니에요. 골라서 봐요. 다음 챕터에서 그 이야기를 해요.