← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

ノイズを足して、取り除く:拡散モデルの入口

画像を作るAIが、ノイズから絵を作る、とは、どういう計算なのでしょうか。
イメージ図(AI生成)
この章の答え拡散モデルは、ノイズを足す過程を逆にたどるため、ノイズを予測する計算を学びます。
必要な数学平方根・正規分布の入口
目安読むのに約5分、そのあと図をさわります
読みもの

ノイズを足す道を、逆にたどる

文章の指示から、見たこともない絵を描き出すAIがあります。その一部は、「ノイズから絵を作る」という、不思議な仕組みを使っています。ただの砂嵐のような画面から、どうして絵が現れるのでしょうか。その数式の核だけを、小さな点の模型で見てみます。

絵を、少しずつ壊していく

輪の形に並んだ40個の点を、元の絵だと思ってください。これに、ノイズ(標準正規分布の乱数)を少しずつ混ぜていくと、輪は崩れ、やがて、ただの点の雲になります。ステップ t での点は、元の点に √ᾱ、ノイズに √(1−ᾱ) の割合を掛けて足したものです。t=5 では元の信号の係数が 0.805、ノイズの係数が 0.594。t=10 では 0.406 と 0.914 で、元の形はほとんど分かりません。

壊す手順は式で決まっている。だから、壊した絵と、混ぜたノイズが分かれば、元に戻せる。

ノイズが分かれば、元に戻る

式を逆にすれば、ノイズ入りの点とノイズから、元の点が求まります。ノイズを正確に知っていれば、どのステップからでも、元の点に完全に戻ります。つまり、ノイズを当てることと、元に戻すことは、同じことです。拡散モデルでは、ニューラルネットが、ノイズ入りの絵から、混ぜられたノイズを予測する役を担います。

予測が外れると、ずれる

もちろん、ノイズの予測は、完璧ではありません。予測に、標準正規乱数の 0.1 倍の誤差を加えて外れを模擬すると、戻した点と元の点のずれは、t=3 で 0.055、t=5 で 0.097、t=10 で 0.297 でした。ノイズが多いステップほど、同じ誤差でも、ずれが大きくなります。

模型と、本物の違い

この章では、ノイズを私たちが知っています。本物のモデルは、学習のときは、元の絵とノイズを使って、「ノイズ入りの絵と時刻から、ノイズを当てる」練習をします。作るときは、ランダムなノイズから出発し、学習した逆向きの遷移を繰り返して、新しい絵を段階的に作ります。特定の元の絵を復元するわけではありません。この模型は、そこまでは再現していません。

「ノイズを当てる」という、うまい問題設定

絵を作るという、漠然とした難しい問題を、「ノイズ入りの絵から、混ぜられたノイズを当てる」という、はっきりした問題に変えているのが、この方式の工夫です。正解(混ぜたノイズ)は、学習のときには必ず分かっているので、損失を計算でき、これまで見てきた学習の方法が、そのまま使えます。

一度に作らず、少しずつ作る

作るときは、一度にノイズから絵を作るのではなく、少しずつ、ノイズを減らしていきます。1回の修正は小さくても、それを多数回繰り返すことで、ランダムな雲から、形が現れてきます。小さな歩みの積み重ねで、遠くへ行く。この考え方は、坂を下る学習とも、どこか似ています。

手を動かして確かめる

輪の形に並んだ40個の点に、ノイズ(標準正規分布の乱数)を足していくと、輪は崩れて、やがて、ただの点の雲になります。拡散モデルは、この逆向き、つまり、ノイズを少しずつ取り除く計算を学習して、ノイズから形を作ります。ここでは、各ステップの点を式で直接計算し(比較しやすいよう、同じ乱数を使います)、ノイズを足す側と、取り除く側の、数式の部分だけを、手で動かして見ます。

t を動かして、輪が崩れる様子を見てください。次に、ノイズ推定の誤差の係数 δ を上げて、戻した点(琥珀色)のずれを見ます。

計算を順に追う

1. 元の点に、ノイズを混ぜる

元の点 x₀ に、ノイズ ε を、一定の割合で混ぜたものが、ステップ t の点です。この例では、10ステップで、混ぜ方を、少しずつノイズ寄りにします(β は 0.02 から 0.3 まで、自作の設定)。t=5 では、元の信号の係数が 0.805、ノイズの係数が 0.594 です。t=10 では、0.406 と 0.914 になり、元の形はほぼ分かりません。

x_t = √ᾱ_t · x₀ + √(1−ᾱ_t) · ε ᾱ_5 = 0.6474、ᾱ_10 = 0.1652

2. ノイズが分かれば、元に戻せる

式を逆にすれば、x_t とノイズ ε から、元の x₀ が求まります。δ=0(ノイズを正しく知っている)なら、どのステップからでも、元の点と完全に一致します。つまり、ノイズを正しく当てることが、元に戻すことと同じです。拡散モデルでは、ニューラルネットが、ノイズ入りの点から、ノイズ ε を予測する役目を担います。

x₀ = ( x_t − √(1−ᾱ_t) · ε ) / √ᾱ_t

3. 予測が外れると、ステップが進むほど、ずれが大きい

ノイズの推定に、標準正規乱数の δ 倍(δ=0.1)の誤差を加えて外れを模擬したとき、戻した点と元の点の距離は、t=3 で 0.055、t=5 で 0.097、t=10 で 0.297 です(40点の二乗平均平方根)。ずれは、√(1−ᾱ)/√ᾱ に比例して、ノイズが多いほど、同じ誤差でも、ずれが大きくなります。実際のモデルは、学習した逆向きの遷移を繰り返して、段階的に作ります。この模型は、その生成の過程までは再現していません。

δ = 0.1:t=3 → 0.055、t=5 → 0.097、t=10 → 0.297 δ = 0.3:t=3 → 0.164、t=5 → 0.292、t=10 → 0.890

4. この章の模型と、本物の違い

この章では、ノイズ ε を、私たちが知っています。本物のモデルは、学習のときは、元の絵とノイズを使って、「ノイズ入りの絵と時刻 t から、ノイズを当てる」練習をします。作るときは、ランダムなノイズから出発して、新しい絵を段階的に作ります(特定の元の絵を復元するのではありません)。また、実際は高次元のデータを扱い、ステップ数やノイズ量の設定も、方式によって違います。画像を作るAIの方式は、ほかにも、2つのネットワークを競わせる方式(GAN。次の章で小さな模型を動かします)など、いろいろあります。

思い出しメモ 「標準正規分布」は、平均0・分散1の、釣鐘型の乱数の分布です。ここでは、ノイズの種類を指す言葉として使っています。
ひとことで言うと拡散モデルは、ノイズを足す過程を逆にたどるため、ノイズを予測する計算を学びます。

今につながる話

画像や音を作るAIの一部は、拡散モデルの考え方を使っています。ノイズ予測を、非常に大きなニューラルネットで行い、文章の指示を、条件として加える工夫もあります。この章は、その数式の核だけの、手のひらサイズの模型です。

なるほど2問

出典と確認状態

ほんとうは…(用語と方式)

ここで説明した前向き過程の式は、拡散モデルの論文(Ho ら、2020)で使われる形を、小さな例に直したものです。実際の学習・生成では、ほかの定式化や、ステップごとの細かい工夫が、数多くあります。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください