← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱A 数にするAI照合済み

文字を、数にする

コンピュータは「数」と「学」のような文字を、どんな数として持っているのでしょうか。
イメージ図(AI生成)
この章の答え文字は、番号からバイトへ、そして辞書の番号へと、数に直されます。
必要な数学2進数・16進数の入口
目安読むのに約5分、そのあと図をさわります
読みもの

文字の裏側にある、番号の世界

画面に表示される文字は、コンピュータの中では、すべて数として扱われています。「A」も「数」も、番号が割り当てられていて、保存するときには、その番号をバイトと呼ばれる小さな数の並びに直します。文章をAIが扱うときも、出発点は同じです。

世界の文字に、番号をふる

Unicode は、世界の文字に番号(コードポイント)を割り当てた規格です。「A」は 65、「数」は 25,968、「学」は 23,398 番です。文章は、この番号の並びとして表せます。

番号をバイトに直す:UTF-8

保存や通信では、番号を、1バイト(0〜255の数)の並びに直します。広く使われる UTF-8 では、英数字は1バイト、「数」「学」のような多くの日本語の文字は3バイトです。「AI数学」は 1+1+3+3=8バイト。同じ4文字でも、文字の種類で、バイト数が変わります。

文字数と、データの大きさは、同じではない。

AIは、辞書の番号に直してから計算する

AIの多くは、さらに、文章を「トークン」という単位(語や語の一部)に区切り、辞書の番号に直してから計算します。この図の辞書は、説明のために作った11文字だけの小さなもので、「AI数学」は [1, 2, 4, 5] になります。辞書にない文字は 0 です。実際の辞書は、はるかに大きく、文字より大きな単位を含むことが多いとされます。

番号は、意味ではない

ここで一つ、大事な注意があります。辞書番号の 4(数)と 5(学)が近い数だからといって、意味が近いわけではありません。番号は並べた順序にすぎないからです。「近い意味を、近い数にする」ためには、別の工夫が必要で、それが後の章の「言葉の地図」になります。

同じ文章でも、区切り方によって、番号の数は変わります。文章を扱うAIの「長さの上限」や「利用の量」が、文字数ではなく、トークンという単位で数えられることが多いのは、このためです。

区切り方が、使い勝手を左右する

辞書の番号に直す単位をどう決めるかは、設計上の重要な選択です。1文字ずつに区切れば、辞書は小さくて済みますが、文章の番号の列は長くなります。語ごとに区切れば、列は短くなりますが、辞書は大きくなり、辞書にない語が出やすくなります。文字と語の間にあたる、語の一部を単位にする方法は、この両方のバランスを取る工夫として使われています。

日本語で気をつけたいこと

日本語は、語の間に空白がなく、同じ意味でも、ひらがな・カタカナ・漢字の書き分けがあります。そのため、区切り方によっては、同じ内容でも、英語より多くの番号が必要になることがあります。もし、文章を扱うAIの利用量が、トークンの数で数えられているなら、同じ内容でも、言語によって量が変わりうる、ということです。なお、この章の「AI数学」の8バイトは、保存したときの大きさで、トークンの数は、区切り方と辞書で、別に決まります。

手を動かして確かめる

画面に出る文字は、コンピュータの中では、すべて数です。文字ごとに番号(コードポイント)が割り当てられ、その番号をバイト(0〜255の数)の並びで保存します。さらにAIは、文字や語を、辞書の番号に直してから計算します。短い言葉で、この流れをたどります。

入力欄の文字を変えて、コードポイント、UTF-8のバイト、辞書番号がどう変わるかを見てください。

計算を順に追う

1. 文字には番号がある

Unicode は、世界の文字に番号(コードポイント)を割り当てた規格です。「A」は 65(U+0041)、「数」は 25,968(U+6570)、「学」は 23,398(U+5B66)です。番号の並びが、文章の最初の数への直し方です。

A → 65 I → 73 数 → 25968 学 → 23398

2. 番号を、バイトの並びにして保存する

コンピュータが保存するときは、番号を1バイト(0〜255)の並びに直します。広く使われる UTF-8 では、英数字は1バイト、「数」「学」のような多くの日本語の文字は3バイトです。「AI数学」は、1+1+3+3=8バイトです。

A → 41 I → 49 数 → E6 95 B0 学 → E5 AD A6 (16進数)

3. AIは、文字や語を辞書の番号にする

AIの多くは、文章を「トークン」という単位(語や語の一部)に区切り、辞書の番号に直してから計算します。この図の辞書は、説明のために作った11文字だけの小さなものです。「AI数学」は [1, 2, 4, 5] になります。辞書にない文字は 0 です。実際のAIの辞書は、この例よりずっと大きく、文字より大きな単位も含むことが多いとされます。

4. 番号は『意味』ではない

辞書番号 4(数)と 5(学)が近い数だからといって、意味が近いわけではありません。番号は、並べた順序に過ぎません。そのため、番号を意味に近い数の並び(ベクトル)に直す工夫が、あとの「言葉の地図」の章で扱います。

思い出しメモ 16進数は、0〜9とA〜Fの16個の記号で数を書く方法です。1バイトは、16進数の2けた(00〜FF)で書けます。
ひとことで言うと文字は、番号からバイトへ、そして辞書の番号へと、数に直されます。

今につながる話

言葉を扱うAIは、入力の文章を、まず辞書の番号の並びに直します。その区切り方(トークン化)で、同じ文章でも番号の数が変わります。ここで見たのは、そのいちばん手前の部分です。

つながり(ほかのシリーズ)

なるほど2問

出典と確認状態

ほんとうは…(トークン化の方式)

文字単位、語単位、語の一部を単位とする方式など、トークン化にはいくつかの方式があります。この章の辞書は、文字単位の最小の例です。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください