文字の裏側にある、番号の世界
画面に表示される文字は、コンピュータの中では、すべて数として扱われています。「A」も「数」も、番号が割り当てられていて、保存するときには、その番号をバイトと呼ばれる小さな数の並びに直します。文章をAIが扱うときも、出発点は同じです。
世界の文字に、番号をふる
Unicode は、世界の文字に番号(コードポイント)を割り当てた規格です。「A」は 65、「数」は 25,968、「学」は 23,398 番です。文章は、この番号の並びとして表せます。
番号をバイトに直す:UTF-8
保存や通信では、番号を、1バイト(0〜255の数)の並びに直します。広く使われる UTF-8 では、英数字は1バイト、「数」「学」のような多くの日本語の文字は3バイトです。「AI数学」は 1+1+3+3=8バイト。同じ4文字でも、文字の種類で、バイト数が変わります。
文字数と、データの大きさは、同じではない。
AIは、辞書の番号に直してから計算する
AIの多くは、さらに、文章を「トークン」という単位(語や語の一部)に区切り、辞書の番号に直してから計算します。この図の辞書は、説明のために作った11文字だけの小さなもので、「AI数学」は [1, 2, 4, 5] になります。辞書にない文字は 0 です。実際の辞書は、はるかに大きく、文字より大きな単位を含むことが多いとされます。
番号は、意味ではない
ここで一つ、大事な注意があります。辞書番号の 4(数)と 5(学)が近い数だからといって、意味が近いわけではありません。番号は並べた順序にすぎないからです。「近い意味を、近い数にする」ためには、別の工夫が必要で、それが後の章の「言葉の地図」になります。
同じ文章でも、区切り方によって、番号の数は変わります。文章を扱うAIの「長さの上限」や「利用の量」が、文字数ではなく、トークンという単位で数えられることが多いのは、このためです。
区切り方が、使い勝手を左右する
辞書の番号に直す単位をどう決めるかは、設計上の重要な選択です。1文字ずつに区切れば、辞書は小さくて済みますが、文章の番号の列は長くなります。語ごとに区切れば、列は短くなりますが、辞書は大きくなり、辞書にない語が出やすくなります。文字と語の間にあたる、語の一部を単位にする方法は、この両方のバランスを取る工夫として使われています。
日本語で気をつけたいこと
日本語は、語の間に空白がなく、同じ意味でも、ひらがな・カタカナ・漢字の書き分けがあります。そのため、区切り方によっては、同じ内容でも、英語より多くの番号が必要になることがあります。もし、文章を扱うAIの利用量が、トークンの数で数えられているなら、同じ内容でも、言語によって量が変わりうる、ということです。なお、この章の「AI数学」の8バイトは、保存したときの大きさで、トークンの数は、区切り方と辞書で、別に決まります。
