← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱G 限界と付き合うAI照合済み

計算の量:なぜ大きな計算機が要るのか

大きなAIは、なぜ、大きな計算機を何日も動かさないと作れないのでしょうか。
イメージ図(AI生成)
この章の答え掛け算の回数は、重みの数に例の数を掛けて見積もれます。幅を4倍にすると、計算は16倍です。
必要な数学かけ算・累乗(10の何乗)
目安読むのに約4分、そのあと図をさわります
読みもの

大きなAIには、なぜ大きな計算機が要るのか

大きなAIの開発には、多数の計算機が、長い時間かけて動かされる、と聞いたことがあるかもしれません。なぜ、それほどの計算が必要なのでしょうか。掛け算の回数を、数えてみれば、その理由が見えてきます。

掛け算の数は、重みの数

幅 n の入力に、n×n の重みの表を掛ける層を考えます。1つの例を通すとき、掛け算の回数は、重みの数と同じです。n=1,000、層が10なら、1つの例で 10,000,000 回。もう、1千万回です。

幅と層を広げると、一気に増える

n=4,096、L=32 にすると、重みとバイアスは 537,001,984 個、1つの例を通す掛け算は 536,870,912 回(約 5.4×10⁸ 回)です。幅を4倍にすると、n² なので、計算は16倍になります。

幅を2倍にすれば計算は4倍、4倍にすれば16倍。

例の数をかけると、日の単位になる

この規模の模型に、例を100万件、1回ずつ通すと、掛け算は約 5.4×10¹⁴ 回です。1秒に10億回(10⁹)掛けられる機械なら、約 6.2 日。1秒に10¹²回なら、約 9 分です(どちらも規模感をつかむための仮の値で、特定の機械の性能ではありません)。

数えたのは、下限

ここで数えたのは、前向きの掛け算だけです。実際の学習では、重みを直すための逆向きの計算も要り、同じ例を何度も通す設計もあります。実際の計算量は、この数よりずっと大きくなるのが普通です。計算の量は、AIの開発のコストと時間を左右する大きな要素で、計算を速くする工夫や、計算量を抑える工夫が、盛んに研究されています。

規模を、掛け算で捉える

この章の全結合層の模型では、前向きの掛け算の回数は、おおむね、「重みの数」「データの数」「繰り返しの数」の掛け算で見積もれます。どれか1つが10倍になれば、見積もりも10倍です。AIの世界で、「規模を大きくする」と言うとき、これらのどれを、どれだけ増やすのかを、意識すると、数字の意味が、見えやすくなります。

計算以外の制約

実際には、計算の速さだけでなく、メモリの大きさや、計算機どうしの通信の速さも、制約になります。巨大な模型は、1台の機械に収まらず、複数の機械に分けて置く必要があり、その間のやり取りにも、時間がかかります。数字の大きさを実感するには、この章のような、素朴な見積もりが、よい出発点になります。

手を動かして確かめる

幅 n の入力に、n×n の重みの表を掛ける層を、L 層重ねた模型で、掛け算の回数を数えます。1つの例を通すだけで、重み(バイアスを除く)の数だけの掛け算が必要です。それを、たくさんの例で繰り返します。

層の幅・層の数・例の数・1秒にできる掛け算の回数を動かして、必要な計算の量と時間を見てください。

計算を順に追う

1. 掛け算の回数=重み(バイアス以外)の数

幅 n の層は、n×n 個の重みと、n 個のバイアスをもちます。n=1,000、L=10 なら、重みとバイアスの合計は 10,010,000 個、掛け算は、1つの例で 10,000,000 回です。

パラメータ(重み+バイアス) = (n×n + n) × L 掛け算(1例) = n×n × L

2. 幅と層が増えると、数が一気に増える

n=4,096、L=32 にすると、重みとバイアスの合計は 537,001,984 個、1つの例を通す掛け算は 536,870,912 回(約 5.4×10⁸ 回)です。幅を4倍にすると、n² なので、計算は16倍になります。

3. 例の数をかけると、日の単位になる

この規模の模型に、例を100万件、1回ずつ通すと、掛け算は約 5.4×10¹⁴ 回です。1秒に10億回(10⁹)掛けられる機械では、約 536,871 秒、つまり約 6.2 日かかります。1秒に10¹²回掛けられる機械なら、約 537 秒(約 9 分)です。

5.37×10¹⁴ 回 ÷ 10⁹ 回/秒 = 536,871 秒 ≈ 6.2 日 5.37×10¹⁴ 回 ÷ 10¹² 回/秒 = 537 秒 ≈ 9 分

4. これは、下限にすぎない

ここで数えたのは、前向きの掛け算だけです。実際の学習では、重みを直すための逆向きの計算も必要です。さらに、同じ例を何度も通す設計もあり、例の数や繰り返しの回数で、全体の計算量は大きく変わります。そのため、実際の計算の量は、この数より、ずっと大きくなるのが普通です。大きなAIが、多数の計算機を長く動かして作られる大きな理由の一つは、この計算の量です(ほかに、メモリや通信の制約も関わります)。なお、10⁹ や 10¹² は、規模感をつかむための仮の値で、特定の機械の性能ではありません。

思い出しメモ 10⁹ は、10を9回かけた数で、10億です。10¹² は1兆です。10の肩の数が3つ増えるごとに、1,000倍になります。
ひとことで言うと掛け算の回数は、重みの数に例の数を掛けて見積もれます。幅を4倍にすると、計算は16倍です。

今につながる話

大きなAIの開発では、計算の量が、コストと時間を左右する大きな要素です。そのため、計算を速くする工夫や、計算量を抑える工夫が、研究されています。この章の数は、その規模感をつかむための、最小の見積もりです。

なるほど2問

出典と確認状態

ほんとうは…(計算の量の数え方)

実際の大きなAIでは、層の形や、扱う仕組みが、この模型と違います。計算量の数え方も、仕組みによって変わります。ここでは、全結合の層を重ねた、最小の模型だけを数えています。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください