← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱E 確率で選ぶAI照合済み

それらしく間違える:自然な文が、正しいとは限らない

自然な文を作るしくみは、なぜ、事実と違う文も作ってしまうのでしょうか。
イメージ図(AI生成)
この章の答え自然さは、並び方の統計から出ますが、正しさは別に確かめる必要があります。
必要な数学確率・場合の数
目安読むのに約4分、そのあと図をさわります
読みもの

自然な文が、正しいとは限らない

文章を作るAIは、ときに、堂々と、事実と違うことを述べます。しかも、その文は、たいてい、とても自然です。なぜ、自然さと正しさは、一致しないのでしょうか。小さな模型で、その理由を、数え上げて確かめてみます。

6つの事実だけを教える

学習データは、都市と国についての、6つの事実の文だけです。「次の語」を確率で選ぶ、前に見た小さなことばモデルで、文を作ります。この模型は、直前の1語しか見ません。たとえば「は」の次には、日本(3/6)、フランス(2/6)、韓国(1/6)のどれかが、都市とは無関係に選ばれます。

選んでいるのは「それらしい次の語」で、「事実」ではない。

作れる文は36通り、どれも自然

都市6つ×国3つ×「首都/都市」の2通りで、36通りの文が作れます。どれも、文法としては自然です。けれど、その中には、「大阪は日本の首都です」のような、事実と違う文も含まれています。

数え上げると、7割が誤り

36通りを、確率とともに全部数え上げると、学習データにある文が 19.4%、学習データにない文で正しいものが 8.3%、学習データにない文で誤っているものが 72.2% でした。1000文作って集計するボタンでは、乱数の種が固定されているので、いつも 199、87、714 になります。

割り引いて読む

この「7割」は、この最小の模型だけの数字で、実際のAIの誤りの割合ではありません。本物のAIは、もっと長い文脈を使います。ただ、「確率で、それらしい語を選ぶ」仕組みから、事実と違う文が出ることがある、という点は共通しています。だから、AIの出力を使うときは、信頼できる資料で確かめる習慣が、基本になります。

自信のある口調は、正しさの保証にならない

この模型は、事実と違う文でも、まったく同じ調子で、自然に出力します。口調から、正しさを見分けることはできません。本物のAIも、同様です。出力が滑らかで、自信ありげに見えても、それは、「それらしい語を選んだ」結果であって、「確かめた」結果ではない場合があります。

使う側の心得

だから、AIの出力を使うときは、重要な事実、数字、固有名詞は、信頼できる資料で確かめる習慣が大切です。特に、出典や引用が示されたときは、その出典が実在するか、書かれている内容と合っているかを、自分で確認してください。この章の模型は、確かめの大切さを、極端な形で見せるための、最小の例です。

手を動かして確かめる

6つの事実の文(都市と、その国)だけを、学習データにします。「次の語」を確率で選ぶ、前に見た小さなことばモデルで、文を作ります。作られた文は、どれも自然な日本語です。そのうち、事実として正しいのは、どれくらいでしょうか。

「1000文作って集計する」を押して、学習データにある文・新しい正しい文・新しい誤った文の割合を見てください。

計算を順に追う

1. 直前の1語だけで、次を選ぶ

この模型は、前に見た「次の言葉を確率で選ぶ」と同じで、直前の1語だけを見て、次の語を、数え上げた確率で選びます。「は」の次には、日本(3/6)、フランス(2/6)、韓国(1/6)のどれかが、都市と無関係に選ばれます。

2. 作れる文は36通り。どれも自然

都市6つ×国3つ×「首都/都市」2つ=36通りの文が作れます。どれも、文法としては自然です。ところが、「大阪は日本の首都です」「パリは日本の都市です」のような、事実と違う文も、同じように作れます。

3. 数え上げると、この模型では7割が誤り

36通りの文を、確率とともに全部数え上げると、学習データにある文が 19.4%、学習データにない文で正しいものが 8.3%(たとえば「東京は日本の都市です」)、学習データにない文で誤っているものが 72.2% でした。「1000文作って集計する」を押すと、乱数の種が固定されているため、いつも 199 / 87 / 714 になります(厳密な確率に近い値です)。

学習データにある文      19.4%(14/72) 新しい文で、事実として正しい  8.3% 新しい文で、事実として誤り  72.2%

4. 自然さと、正しさは、別のもの

この模型が選んでいるのは、「それらしい次の語」で、「事実」ではありません。自然さは、学習データの並び方の統計から出ますが、正しさは、どこにも確かめられていません。本物のAIは、直前の1語だけでなく、もっと長い文脈を使います。この章の「7割」は、この最小の模型だけの数で、実際のAIの誤りの割合ではありません。ただ、「確率で、それらしい語を選ぶ」仕組みから、事実と違う文が出ることがあるのは、同じです。

思い出しメモ 「場合の数」は、起こりうる並べ方の総数です。ここでは 6×3×2=36通りです。
ひとことで言うと自然さは、並び方の統計から出ますが、正しさは別に確かめる必要があります。

今につながる話

文章を作るAIが、事実と違うことを、自然な文で述べてしまうことが、問題として知られています。出力を、信頼できる資料で確かめる習慣は、AIを使うときの基本です。この章の模型は、その仕組みを、極端な形で見せたものです。

なるほど2問

出典と確認状態

ほんとうは…(この模型と実際のAI)

この模型は、直前の1語だけを使う、最小の例です。実際の大規模なモデルは、はるかに長い文脈を使います。それでも、事実と違う内容が出る現象があることは、広く知られています。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください