← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

画像を窓で見る:畳み込み

画像の中の「境目」や「模様」は、どうやって数の計算で見つけるのでしょうか。
イメージ図(AI生成)
この章の答え畳み込みは、小さな窓を滑らせて、掛けて足す計算です。窓の数字が、見つけるものを決めます。
必要な数学掛けて足す・画像は数の表
目安読むのに約4分、そのあと図をさわります
読みもの

小さな窓で、絵を端から眺める

写真の中の「境目」や「模様」を見つけるには、どうすればよいでしょうか。人は、一目でそれを見分けますが、計算で同じことをするには、工夫が要ります。画像を扱うAIが使う代表的な手が、小さな窓を滑らせて見ていく、畳み込みです。

窓を重ねて、掛けて、足す

3×3の小さな窓(カーネル)を、絵の上に置きます。重なった9マスの数と、窓の9個の数を、マスごとに掛けて、全部足します。それを1つの出力の数にして、窓を1マスずらして繰り返す。8×8の絵からは、6×6の出力ができます。

窓の数字が、見つけるものを決める

「縦の境目」の窓は、左の列がマイナス、右の列がプラスです。絵の中の明るい四角の左の境目では、左(暗い)が0、右(明るい)が9なので、足すと大きな正の値(最大36)になります。右の境目では符号が逆になり、−36。一様な部分では 0 です。窓の数字を変えるだけで、境目を取り出したり、ぼかしたりできます。

同じ窓を、絵のどこにでも使い回す。だから、模様の場所を問わず反応できる。

使い回しの利点

畳み込みでは、同じ9個の数を、絵のどこでも使い回します。重みの数が少なくて済み、同じ模様なら、絵のどこにあっても、同じ窓が同じように反応します。画像を扱うAIで、畳み込みが重宝されてきた理由の一つです。

窓も、学習で決める

この章では、窓の数字を人が決めました。畳み込みニューラルネットでは、窓の数字も、前の章までの「損失を小さくする」学習で決めます。人が境目を見つける窓を設計しなくても、必要な窓が、学習でできるのです。実際の網は、窓を何十、何百と使い、層を重ねて、境目から、模様、物の形へと、段階的に見つけていきます。

局所から、全体へ

窓が見るのは、3×3マスという、ごく狭い範囲です。けれど、窓を何層も重ねると、後ろの層の窓は、前の層の出力を見るので、元の絵の、より広い範囲を見ることになります。曲がった関数と組み合わせて学習すると、浅い層では境目のような単純な特徴を、深い層では、それらを組み合わせた、より複雑な特徴を捉える例が、知られています。

人の目との、緩やかな対比

画像を扱うAIの構造は、人の視覚の仕組みから着想を得た、と説明されることがあります。ただし、これは「着想」であって、「同じ仕組み」ではありません。畳み込みが有効なのは、画像では、近くのマスどうしが関係しやすく、同じ模様が、あちこちに現れる、という性質を、うまく活かしているからです。

手を動かして確かめる

8×8の絵(自作)に、真ん中に明るい四角があります。3×3の小さな窓(カーネル)を1マスずつ滑らせ、窓と重なった9マスの数を、窓の数と掛けて足します。窓の数字を変えるだけで、境目を取り出したり、ぼかしたりできます。この計算が、畳み込みです。

窓を選んで、出力の6×6のどこが、橙(正の値)や青(負の値)になるかを見てください。

計算を順に追う

1. 窓を滑らせて、掛けて足す

3×3の窓を、絵の上に置き、重なった9マスの数と、窓の9個の数を、マスごとに掛けて、全部足します。それを1つの出力の数にして、窓を1マスずらして繰り返します。8×8の絵からは、6×6の出力ができます。

出力 = Σ(絵の9マス × 窓の9個)

2. 窓の数字が、見つけるものを決める

「縦の境目」の窓では、左の列がマイナス、右の列がプラスです。四角の左の境目では、左(暗い)が0、右(明るい)が9なので、足すと大きな正の値(最大36)になります。四角の右の境目では、符号が逆になり、−36 になります。窓の下が一様な、中央の2列は、0 です。四角の上下の端に近い行では、窓に入る明るいマスが少ないため、9 や 27 と小さくなります。

窓 = [[−1,0,1],[−2,0,2],[−1,0,1]] 四角の左の境目:(−1·0 + 0·9 + 1·9) + (−2·0 + 0·9 + 2·9) + (−1·0 + 0·9 + 1·9) = 36

3. 同じ窓を、絵の全体で使い回す

畳み込みでは、同じ9個の数を、絵のどこでも使い回します。そのため、重みの数が少なくて済み、同じ模様なら、絵のどこにあっても、同じ窓が同じように反応します(絵の端など、窓がはみ出す場所は除きます)。これが、画像を扱うAIで畳み込みが使われる理由の一つです。

4. 窓の数字も、学習で決める

この章では、窓の数字を、人が決めました。畳み込みニューラルネットでは、窓の数字を、前の章までの「損失を小さくする」学習で決めます。そのため、人が境目の窓を設計しなくても、必要な窓が、学習でできます。

思い出しメモ 「掛けて足す」は、内積と同じ計算です。窓と、重なった9マスを、それぞれ9個の数の並び(ベクトル)と見て、内積を取っています。
ひとことで言うと畳み込みは、小さな窓を滑らせて、掛けて足す計算です。窓の数字が、見つけるものを決めます。

今につながる話

画像を扱うAIの多くは、畳み込みの層を使っています。この章の窓は3×3の1枚だけですが、実際の網は、窓を何十、何百と使い、層を重ねて、境目から、模様、物の形へと、段階的に見つけていきます。

なるほど2問

出典と確認状態

ほんとうは…(畳み込みと相互相関)

数学の畳み込みは、窓を左右・上下に反転してから掛けます。多くのAIのプログラムが「畳み込み」と呼んでいる計算は、反転しない形(相互相関)です。この章も後者で、学習で窓を決めるなら、結果に違いはありません。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください