どこを見るか 自分で選ぶ

4.2 で、数えるやり方がなぜゆきづまったかを見ました。前の8字までしか見られなかった のです。

ところが人はそんなふうには読みません。

むかし 心の やさしい きこりが 深い 山の 小さな 村に すんでいました。かれは まいにち 木を きりました。

「かれ」がだれなのか、すぐにわかりましたね。六つも前にあるのにです。

どうしてわかったのでしょう。文をぜんぶ読んで、必要なことばをひとつ選んで 見たからです。あとは見なくてもよかったのです。

機械も矢印を引きます

機械の矢印が出ましたね。太いほど強く見たところ です。

こうして文のどこを見るかを自分で選ぶやり方を アテンション と呼びます。

そしてこのアテンションを何層も重ねてつくった仕組みが トランスフォーマー です。いまのことばをあつかうAIは、ほとんどこれでつくられています。

3.2 で見たものとつながります

変ですね。どこを見るかを、どうやって「選ぶ」ことができるのでしょう。

決まった規則があるのではありません。重みです。 3.2 でつまみを回して合わせた、あの重みです。

「どのことばがどのことばを見るべきか」も 学習で合わせたもの です。だれも「代名詞は前の人を見なさい」と書いてはいません。

八つの文を全部やってみましょう

機械と同じところを見たのは何回でしたか。

六回くらいのはずです。ぜんぶではありません。

人でも分かれる文

さいごの文をもう一度見てください。

たろうが じろうに 自分の 本を かしました。かれは ありがとうと いいました。

「かれ」はだれでしょう。たろうでしょうか、じろうでしょうか。

文だけではわかりません。 ありがとうと言うのは借りたほうですから、じろうのようですが、そう決めてくれることばが文の中にありません。

人でも分かれる文ですから、機械がまようのも当たり前です。これは機械がこわれているのではありません。

ところで よく見ることと 知っていることはちがいます

どこを見るか選べるようになり、次のかけらもよく当てます。

では、このAIは 知っているのでしょうか。

次のチャプターで、とても自信たっぷりにまちがえるAIに出会います。