자신 있게 틀리는 AI

먼저 상담사와 이야기를 좀 해 볼까요. 설명은 나중에 할게요.

이 상담사는 1966년 것이에요

부모님이 태어나기도 전이에요.

규칙 목록 열어 보기를 눌러 보세요. 이게 전부예요.

규칙 스물몇 개. "가족을 가리키는 말이 있으면 → 가족 이야기를 좀 더 해 주세요." 그런 줄이 스무 개쯤 있는 게 다예요.

말풍선 옆에 어떤 규칙이 걸렸는지도 나와요. 아까 그 대화를 다시 훑어보세요.

이 상담사는 방금 한 말을 하나도 알아듣지 못했어요.

말이 되면 마음이 있다고 여겨요

사람은 말이 되는 대답을 들으면 그 뒤에 생각하는 무언가가 있다고 여겨요.

그게 사람의 좋은 점이기도 해요. 하지만 여기서는 속는 이유가 되죠.

그럼 요즘 챗봇은 어떨까요.

없는 책을 술술 설명해요

『열두 번째 계단의 도서관』이 어떤 책이래요?

줄거리도, 나온 해도, 받은 상도 막힘없이 말하죠.

그런데 어디서 봤어?를 눌러 보세요.

근거까지 지어내요

학술지 이름과 몇 집인지까지 댔어요.

내용이 틀린 것보다 이게 훨씬 무서워요. 확인하려는 사람을 가짜 근거로 안심시키니까요.

진짜인지 확인해 보기를 눌러 보세요. 그런 책도, 그 상도, 그런 학술지도 없어요.

이렇게 사실이 아닌 걸 사실처럼 말하는 걸 환각 이라고 불러요.

그런데 하나는 맞았어요

물이 몇 도에서 끓는지는 맞게 답했죠.

이게 중요해요. AI가 늘 틀리는 게 아니에요. 오히려 대부분은 맞아요.

늘 틀린다면 쉬웠을 거예요. 안 믿으면 되니까요. 가끔 틀리니까 어려운 거예요.

어느 쪽이 더 위험할까요

그래서 확인하는 습관

방법은 하나예요. 중요한 건 다른 데서 한 번 더 확인하기.

특히 이런 것들이요.

• 숫자 — 날짜, 개수, 계산

• 이름 — 사람, 책, 장소

• 출처 — 어디서 봤다는 말 자체

직접 만들어 보기

마지막으로, 없는 책을 하나 지어내 보세요.

제목을 짓고, 그럴듯한 줄거리를 쓰고, 그럴듯한 출처를 붙이는 거예요.

어렵지 않죠. 챗봇이 하는 일이 방금 한 것과 똑같아요. 한 번 만들어 본 사람은 알아보는 눈이 생겨요.

그럼 잘 물어보면 달라질까요

같은 AI인데 어떻게 묻느냐에 따라 답이 꽤 달라져요.

다음 챕터에서 그 이야기를 해요.