スキップ結合(Skip Connection)は、層を飛び越える近道の線で、入力をそのまま先へ届ける結合です。ショートカット結合(ショートカット接続)とも呼ばれます。2015年の ResNet で使われ、層をとても深くしても学習できるようにしました。G検定のシラバスでは「スキップ結合」が1つの項目になっていて、ResNet の概要も学習目標に入っています。
出発点:深くしただけで、悪くなる(劣化問題)
ResNet の論文は、スキップ結合のない、層を積み重ねただけのネットワーク(Plain Network)を、18層と34層で比べました(ImageNet の画像分類。答えを1つだけ出したときの誤り率)。結果は、深い34層のほうが、誤り率が高くなりました(27.94%→28.54%)。
- しかも、訓練データでの誤り率まで高くなっていました。過学習なら、訓練データでの誤り率は低くなるはずなので、過学習とは別の現象です。
- 勾配消失問題が原因とも考えにくい、とされています。バッチ正規化を使ったこの実験では、勾配が消えていないことを、論文の著者たちが確かめました。
層を深くしただけで、学習がうまく進まなくなる。この現象を劣化問題と呼びます。
不思議なのは、どこか
学習が済んだ浅いネットワークの後ろに、層を足して深くしたとします。足した層が入力をそのまま出すだけなら、答えはもとのネットワークと同じです。深くしたほうが悪くなる理由は、ないはずです。ところが、学習ではその状態を見つけられませんでした。何も変えずにそのまま渡すことが、重ねた層にとっては意外に難しいらしいのです。それなら、そのまま渡す道を、はじめから作っておけばよい。これが解決の糸口でした。
スキップ結合の仕組み
ふつうのネットワークでは、データは層を順番に通っていきます。ここに、いくつかの層を飛び越える近道の線を足します。近道は入力をそのまま先へ運び、層を通ってきた出力に足し合わせます。
たとえば入力の値が8で、層の出力が2なら、足し合わせた10を先へ渡します。入力をそのまま運ぶこの近道は、何も変えずに写すので恒等写像(identity mapping)とも呼ばれ、学習するパラメータがありません。ただの足し算なので、計算もほとんど増えません(入力と出力の大きさが違うときだけ、大きさをそろえる変換を入れることがあります)。
残差を学ぶ
近道があると、層が学ぶ内容が変わります。
- 近道がなければ、層は先へ渡す値の10そのものを作らなければなりません。
- 近道があれば、入力の8はそのまま届きます。層が作るのは、足りないぶんの2だけです。
この足りないぶん(入力との差)を残差と呼び、残差だけを学ばせるのが残差学習です。そのまま渡すのがいちばん良いなら、層の出力を0に近づけるだけで済みます。このほうが学習しやすい、と論文の著者たちは考えました。
層を何層も重ねるのは、伝言ゲームを長く続けるようなものです。人数が増えるほど、最初の内容は途中で変わりやすくなります。スキップ結合は、伝言の途中で、元のメモを直接手渡す近道(バイパス道路)を作ります。元の情報がそのまま届くので、各層は「元のメモに何を書き足すか」(残差)だけを考えればよくなります。
役割①:深くしても学習できる
さきほどの18層と34層のネットワークに、スキップ結合を足すと、結果は逆になりました。深い34層のほうが誤り率が低くなり(27.88%→25.03%)、訓練データでの誤り率もはっきり下がりました。この実験では、劣化問題が起きなくなったのです。層を深くしても学習でき、精度を上げられる。これが1つ目の役割です。
役割②:勾配が届きやすくなる
誤差逆伝播法では、勾配を出力層から入力層へさかのぼらせます。さかのぼるたびに掛け算が重なり、勾配が小さくなっていくのが勾配消失問題でした。スキップ結合の近道は、さかのぼるときにも通れます。近道の途中には掛け算をする層がないので、近道を通る勾配は小さくならずに、入力に近い層まで届きます。勾配の近道にもなり、勾配消失問題をやわらげる。これが2つ目の役割です。
ResNet
スキップ結合を使った代表的なネットワークが ResNet(Residual Network=残差のネットワーク)です。2015年に、マイクロソフトの研究チーム(ヒーさんたち)が発表しました。
- 畳み込み層をいくつか重ねるごとにスキップ結合を1本つけ、このひとまとまりを残差ブロックと呼びます。これを何十個も積み重ねます。
- ImageNet の実験でいちばん深いモデルは、152層です。
- 2015年のILSVRCでは、画像分類の部門で1位になりました。
画像認識の外でも
スキップ結合は、文章を処理するTransformerにも組み込まれています。深いネットワークを支える、基本の部品です。
試験で区別したいポイント
- スキップ結合=層を飛び越える近道で、入力を先へ届ける。ResNet では層の出力に足し合わせる。層が学ぶのは残差(入力との差)。
- 役割=深くしても学習できるようにする+勾配を届きやすくする。
- × スキップ結合でパラメータ数が倍増する、は誤り。そのまま足すだけなので、近道に学習するパラメータはありません。
- × 層を減らすための技術、は誤り。層を(性能を落とさずに)増やすための技術です。
- × 劣化問題は過学習のこと、は誤り。訓練データでの誤り率まで高くなります。
関連する用語
- 勾配消失問題:スキップ結合がやわらげる問題
- 画像分類モデル(CNN)の進化の歴史:ResNet の前後のモデル
- Transformer:スキップ結合を使う、文章のためのネットワーク
📚 より詳細を学びたい方へ





