自然な文が、正しいとは限らない
文章を作るAIは、ときに、堂々と、事実と違うことを述べます。しかも、その文は、たいてい、とても自然です。なぜ、自然さと正しさは、一致しないのでしょうか。小さな模型で、その理由を、数え上げて確かめてみます。
6つの事実だけを教える
学習データは、都市と国についての、6つの事実の文だけです。「次の語」を確率で選ぶ、前に見た小さなことばモデルで、文を作ります。この模型は、直前の1語しか見ません。たとえば「は」の次には、日本(3/6)、フランス(2/6)、韓国(1/6)のどれかが、都市とは無関係に選ばれます。
選んでいるのは「それらしい次の語」で、「事実」ではない。
作れる文は36通り、どれも自然
都市6つ×国3つ×「首都/都市」の2通りで、36通りの文が作れます。どれも、文法としては自然です。けれど、その中には、「大阪は日本の首都です」のような、事実と違う文も含まれています。
数え上げると、7割が誤り
36通りを、確率とともに全部数え上げると、学習データにある文が 19.4%、学習データにない文で正しいものが 8.3%、学習データにない文で誤っているものが 72.2% でした。1000文作って集計するボタンでは、乱数の種が固定されているので、いつも 199、87、714 になります。
割り引いて読む
この「7割」は、この最小の模型だけの数字で、実際のAIの誤りの割合ではありません。本物のAIは、もっと長い文脈を使います。ただ、「確率で、それらしい語を選ぶ」仕組みから、事実と違う文が出ることがある、という点は共通しています。だから、AIの出力を使うときは、信頼できる資料で確かめる習慣が、基本になります。
自信のある口調は、正しさの保証にならない
この模型は、事実と違う文でも、まったく同じ調子で、自然に出力します。口調から、正しさを見分けることはできません。本物のAIも、同様です。出力が滑らかで、自信ありげに見えても、それは、「それらしい語を選んだ」結果であって、「確かめた」結果ではない場合があります。
使う側の心得
だから、AIの出力を使うときは、重要な事実、数字、固有名詞は、信頼できる資料で確かめる習慣が大切です。特に、出典や引用が示されたときは、その出典が実在するか、書かれている内容と合っているかを、自分で確認してください。この章の模型は、確かめの大切さを、極端な形で見せるための、最小の例です。
