次のかけらを当てるあそび

4.1 で文をかけらに切りました。そのかけらで何をするのでしょう。

おどろくことに、たったひとつ だけです。次にくるかけらを当てること。

同じことをためせます。むかし話の本を1冊ぶん数えておいた表が用意してあります。

規則は一行もありません

この機械は日本語の文法を知りません。ことばの意味も知りません。

数えただけです。 それなのに、二つか三つのまとまりはそれらしく見えますね。

こうして次を当てるようにつくったものを 言語モデル と呼びます。むかしのものも、いまのものも、していることは同じです。

前を長く見ると よくなります

8こ に変えてもう一度つなげてみましょう。ずっと自然になりますね。

当たり前です。前の8字ぜんぶを見て選んでいるのですから。

ところが実習の下に出る文を見てください。

うまく書いたのではなく、写しただけです

むかし話の本にそのままある文です。

前の8字が本に一度しか出てこなければ、その次にくる字もひとつだけです。選ぶ余地がありません。ただ本をなぞって書いているのです。

数えてみるとこうです。

「見たことがありません」

では、本にない文をつくろうとしたらどうなるでしょう。

1こ で何度もつなげて本にない文をつくってから、8こ に変えてみてください。

止まります。ほとんどいつも、何も言えなくなります。

覚えたことを吐き出すか、わからないと言うか のどちらかです。

新しい文をつくり出すことはできません。これが数えるやり方の壁でした。

では いまのものは何がちがうのでしょう

こんどは 同じむかし話の本で学んだ 小さなAIをとなりに置いてくらべます。

同じ本だということが大事です。材料がちがうから上手なのだ、と言えてしまってはいけませんから。

右はゆきづまりません

文の終わりに何でもいいので付けたしてみてください。左はすぐに「見たことがありません」になります。

右は 何を入れても答えを出します。 はじめて見る文でもです。

数えているのではなく 重みを合わせたもの だからです。3.2 で見たあの重みです。表からさがすのではなく計算して出すので、ゆきづまりがありません。

そして右が一行書いたあと、左はすぐに「見たことがありません」になります。

当たり前ですね。いま右がつくった文は本にない文なのですから。実習の下にもそう書いてあります。

数えるやり方は8字で見ると54%が本をそのまま写したものでした。右は0%でした。

同じ文なのに答えがちがいます

かってに書きつづける を押し、はじめの文にもどす を押してからもう一度押してみてください。

ちがいますね。

1位だけを選ぶのではなく 確率のとおりに引く からです。70%のものがあれば10回に7回ほどそれを選び、残りはほかを選びます。

どれくらい思いきって をいちばん上まで上げると、下のほうの候補まで拾います。すると とんちんかんになります。

反対にいちばん下まで下げると、いつも1位だけを選びます。すると 同じことばをくり返しつづけます。

それだけを上手にさせたら

ここまで見ると変です。次のかけらを当てることの、何がそんなにすごいのでしょう。

ところが とても上手にさせると 変わったことが起きます。

• 「次の文を英語に直すと:」の次にくるものを当てれば → 翻訳 になります

• 「一行でまとめると:」の次にくるものを当てれば → 要約 になります

• だれかが質問をして、そのあとにくるものを当てれば → 答え になります

だれも翻訳のしかたを別に教えてはいません。次のかけらを当てることだけをさせました。

前を全部見るには

数えるやり方は前を8字までしか見られませんでした。いまのモデルはもっと遠くまで見ます。

ところが文が長くなると、前のことばは何十個にもなります。それを全部おなじように見るのでしょうか。

いいえ。選んで見ます。次のチャプターでその話をします。