小さな窓で、絵を端から眺める
写真の中の「境目」や「模様」を見つけるには、どうすればよいでしょうか。人は、一目でそれを見分けますが、計算で同じことをするには、工夫が要ります。画像を扱うAIが使う代表的な手が、小さな窓を滑らせて見ていく、畳み込みです。
窓を重ねて、掛けて、足す
3×3の小さな窓(カーネル)を、絵の上に置きます。重なった9マスの数と、窓の9個の数を、マスごとに掛けて、全部足します。それを1つの出力の数にして、窓を1マスずらして繰り返す。8×8の絵からは、6×6の出力ができます。
窓の数字が、見つけるものを決める
「縦の境目」の窓は、左の列がマイナス、右の列がプラスです。絵の中の明るい四角の左の境目では、左(暗い)が0、右(明るい)が9なので、足すと大きな正の値(最大36)になります。右の境目では符号が逆になり、−36。一様な部分では 0 です。窓の数字を変えるだけで、境目を取り出したり、ぼかしたりできます。
同じ窓を、絵のどこにでも使い回す。だから、模様の場所を問わず反応できる。
使い回しの利点
畳み込みでは、同じ9個の数を、絵のどこでも使い回します。重みの数が少なくて済み、同じ模様なら、絵のどこにあっても、同じ窓が同じように反応します。画像を扱うAIで、畳み込みが重宝されてきた理由の一つです。
窓も、学習で決める
この章では、窓の数字を人が決めました。畳み込みニューラルネットでは、窓の数字も、前の章までの「損失を小さくする」学習で決めます。人が境目を見つける窓を設計しなくても、必要な窓が、学習でできるのです。実際の網は、窓を何十、何百と使い、層を重ねて、境目から、模様、物の形へと、段階的に見つけていきます。
局所から、全体へ
窓が見るのは、3×3マスという、ごく狭い範囲です。けれど、窓を何層も重ねると、後ろの層の窓は、前の層の出力を見るので、元の絵の、より広い範囲を見ることになります。曲がった関数と組み合わせて学習すると、浅い層では境目のような単純な特徴を、深い層では、それらを組み合わせた、より複雑な特徴を捉える例が、知られています。
人の目との、緩やかな対比
画像を扱うAIの構造は、人の視覚の仕組みから着想を得た、と説明されることがあります。ただし、これは「着想」であって、「同じ仕組み」ではありません。畳み込みが有効なのは、画像では、近くのマスどうしが関係しやすく、同じ模様が、あちこちに現れる、という性質を、うまく活かしているからです。
