Web教科書

スキップ結合

スキップ結合(Skip Connection)は、層を飛び越える近道の線で、入力をそのまま先へ届ける結合です。ショートカット結合(ショートカット接続)とも呼ばれます。2015年の ResNet で使われ、層をとても深くしても学習できるようにしました。G検定のシラバスでは「スキップ結合」が1つの項目になっていて、ResNet の概要も学習目標に入っています。

講義#21「スキップ結合」の画面

Udemy・買い切り(読者クーポン)

1,500円通常 2,600円

G検定 講義動画 全55本

この記事の講義#21「スキップ結合」(6分32秒)も入っています。シラバスを1項目ずつ動く図解で。約8時間・小テスト10本つき。

Udemyで動画講座を見る(クーポン1,500円) ▶

全55本の中身と無料サンプルを見る ›

12月6日(日)まで。アプリで価格が変わらないときはコード GKENA2611

この内容を講義動画で見る(会員向け)

講義#21「スキップ結合」の表紙講義の中身を見る

講義#21「スキップ結合」(全6分32秒)は、IT資格の森(月額1,280円)の会員向けです。全55本の目次と無料サンプルで、中身を確かめる

出発点:深くしただけで、悪くなる(劣化問題)

ResNetの論文のImageNetの実験の誤り率(低いほど良い)。スキップ結合なしでは18層27.94%、34層28.54%で深いほうが悪い(劣化問題)。スキップ結合ありでは18層27.88%、34層25.03%で深いほうが良い

ResNet の論文は、スキップ結合のない、層を積み重ねただけのネットワーク(Plain Network)を、18層と34層で比べました(ImageNet の画像分類。答えを1つだけ出したときの誤り率)。結果は、深い34層のほうが、誤り率が高くなりました(27.94%→28.54%)。

  • しかも、訓練データでの誤り率まで高くなっていました。過学習なら、訓練データでの誤り率は低くなるはずなので、過学習とは別の現象です。
  • 勾配消失問題が原因とも考えにくい、とされています。バッチ正規化を使ったこの実験では、勾配が消えていないことを、論文の著者たちが確かめました。

層を深くしただけで、学習がうまく進まなくなる。この現象を劣化問題と呼びます。

不思議なのは、どこか

学習が済んだ浅いネットワークの後ろに、層を足して深くしたとします。足した層が入力をそのまま出すだけなら、答えはもとのネットワークと同じです。深くしたほうが悪くなる理由は、ないはずです。ところが、学習ではその状態を見つけられませんでした。何も変えずにそのまま渡すことが、重ねた層にとっては意外に難しいらしいのです。それなら、そのまま渡す道を、はじめから作っておけばよい。これが解決の糸口でした。

スキップ結合の仕組み

ResNetのスキップ結合。入力が層を飛び越えて後ろに足され、出力=入力+変化分(残差)になる。逆向きには、誤差が前の層まで届きやすい

ふつうのネットワークでは、データは層を順番に通っていきます。ここに、いくつかの層を飛び越える近道の線を足します。近道は入力をそのまま先へ運び、層を通ってきた出力に足し合わせます。

たとえば入力の値が8で、層の出力が2なら、足し合わせた10を先へ渡します。入力をそのまま運ぶこの近道は、何も変えずに写すので恒等写像(identity mapping)とも呼ばれ、学習するパラメータがありません。ただの足し算なので、計算もほとんど増えません(入力と出力の大きさが違うときだけ、大きさをそろえる変換を入れることがあります)。

残差を学ぶ

近道があると、層が学ぶ内容が変わります。

  • 近道がなければ、層は先へ渡す値の10そのものを作らなければなりません。
  • 近道があれば、入力の8はそのまま届きます。層が作るのは、足りないぶんの2だけです。

この足りないぶん(入力との差)を残差と呼び、残差だけを学ばせるのが残差学習です。そのまま渡すのがいちばん良いなら、層の出力を0に近づけるだけで済みます。このほうが学習しやすい、と論文の著者たちは考えました。

層を何層も重ねるのは、伝言ゲームを長く続けるようなものです。人数が増えるほど、最初の内容は途中で変わりやすくなります。スキップ結合は、伝言の途中で、元のメモを直接手渡す近道(バイパス道路)を作ります。元の情報がそのまま届くので、各層は「元のメモに何を書き足すか」(残差)だけを考えればよくなります。

役割①:深くしても学習できる

さきほどの18層と34層のネットワークに、スキップ結合を足すと、結果は逆になりました。深い34層のほうが誤り率が低くなり(27.88%→25.03%)、訓練データでの誤り率もはっきり下がりました。この実験では、劣化問題が起きなくなったのです。層を深くしても学習でき、精度を上げられる。これが1つ目の役割です。

役割②:勾配が届きやすくなる

誤差逆伝播法では、勾配を出力層から入力層へさかのぼらせます。さかのぼるたびに掛け算が重なり、勾配が小さくなっていくのが勾配消失問題でした。スキップ結合の近道は、さかのぼるときにも通れます。近道の途中には掛け算をする層がないので、近道を通る勾配は小さくならずに、入力に近い層まで届きます。勾配の近道にもなり、勾配消失問題をやわらげる。これが2つ目の役割です。

ResNet

スキップ結合を使った代表的なネットワークが ResNet(Residual Network=残差のネットワーク)です。2015年に、マイクロソフトの研究チーム(ヒーさんたち)が発表しました。

  • 畳み込み層をいくつか重ねるごとにスキップ結合を1本つけ、このひとまとまりを残差ブロックと呼びます。これを何十個も積み重ねます。
  • ImageNet の実験でいちばん深いモデルは、152層です。
  • 2015年のILSVRCでは、画像分類の部門で1位になりました。

画像認識の外でも

スキップ結合は、文章を処理するTransformerにも組み込まれています。深いネットワークを支える、基本の部品です。

試験で区別したいポイント

  • スキップ結合=層を飛び越える近道で、入力を先へ届ける。ResNet では層の出力に足し合わせる。層が学ぶのは残差(入力との差)。
  • 役割=深くしても学習できるようにする+勾配を届きやすくする。
  • × スキップ結合でパラメータ数が倍増する、は誤り。そのまま足すだけなので、近道に学習するパラメータはありません。
  • × 層を減らすための技術、は誤り。層を(性能を落とさずに)増やすための技術です。
  • × 劣化問題は過学習のこと、は誤り。訓練データでの誤り率まで高くなります。

関連する用語

「スキップ結合」の関連キーワード一覧

当サイトはアフィリエイト広告を利用しています。記事内の一部のリンクから、 商品・サービスの購入に応じて当サイトが報酬を受け取ることがあります。

タイトルとURLをコピーしました