大きなAIには、なぜ大きな計算機が要るのか
大きなAIの開発には、多数の計算機が、長い時間かけて動かされる、と聞いたことがあるかもしれません。なぜ、それほどの計算が必要なのでしょうか。掛け算の回数を、数えてみれば、その理由が見えてきます。
掛け算の数は、重みの数
幅 n の入力に、n×n の重みの表を掛ける層を考えます。1つの例を通すとき、掛け算の回数は、重みの数と同じです。n=1,000、層が10なら、1つの例で 10,000,000 回。もう、1千万回です。
幅と層を広げると、一気に増える
n=4,096、L=32 にすると、重みとバイアスは 537,001,984 個、1つの例を通す掛け算は 536,870,912 回(約 5.4×10⁸ 回)です。幅を4倍にすると、n² なので、計算は16倍になります。
幅を2倍にすれば計算は4倍、4倍にすれば16倍。
例の数をかけると、日の単位になる
この規模の模型に、例を100万件、1回ずつ通すと、掛け算は約 5.4×10¹⁴ 回です。1秒に10億回(10⁹)掛けられる機械なら、約 6.2 日。1秒に10¹²回なら、約 9 分です(どちらも規模感をつかむための仮の値で、特定の機械の性能ではありません)。
数えたのは、下限
ここで数えたのは、前向きの掛け算だけです。実際の学習では、重みを直すための逆向きの計算も要り、同じ例を何度も通す設計もあります。実際の計算量は、この数よりずっと大きくなるのが普通です。計算の量は、AIの開発のコストと時間を左右する大きな要素で、計算を速くする工夫や、計算量を抑える工夫が、盛んに研究されています。
規模を、掛け算で捉える
この章の全結合層の模型では、前向きの掛け算の回数は、おおむね、「重みの数」「データの数」「繰り返しの数」の掛け算で見積もれます。どれか1つが10倍になれば、見積もりも10倍です。AIの世界で、「規模を大きくする」と言うとき、これらのどれを、どれだけ増やすのかを、意識すると、数字の意味が、見えやすくなります。
計算以外の制約
実際には、計算の速さだけでなく、メモリの大きさや、計算機どうしの通信の速さも、制約になります。巨大な模型は、1台の機械に収まらず、複数の機械に分けて置く必要があり、その間のやり取りにも、時間がかかります。数字の大きさを実感するには、この章のような、素朴な見積もりが、よい出発点になります。
