勾配消失問題と活性化関数の関係

問題

以下の文章の空欄 ( あ ) ～ ( う ) に入る数式または語句の組み合わせとして最も適切なものを1つ選べ。

ディープニューラルネットワークの学習において、( あ ) を用いて勾配を計算する際、層を遡るごとに活性化関数の微分値が掛け合わされる。

シグモイド関数の導関数の最大値は ( い ) であるため、層が深くなるにつれて勾配が指数関数的に減少し、入力層に近い重みの更新が進まなくなる。

この問題を勾配消失問題と呼び、その対策として、入力が正の領域で微分値が常に ( う ) となるReLU（Rectified Linear Unit）などの活性化関数が広く用いられるようになった。

勾配消失問題は、ディープニューラルネットワークにおいて「誤差逆伝播法」を用いて勾配を計算する際、層を遡るごとに活性化関数の微分値が掛け合わされ、勾配がゼロに近づいてしまう現象です。

シグモイド関数の導関数の最大値は「0.25」であり、1より小さいため、掛け算を繰り返すことで勾配が指数関数的に減少します。

この解決策として、入力が正の領域であれば微分値が常に「1」となるReLU（Rectified Linear Unit）関数が考案され、広く普及しています。

1. (あ) 誤差逆伝播法　(い) 0.25　(う) 1

正しい。勾配計算には誤差逆伝播法が用いられ、シグモイド関数の微分の最大値は0.25です。またReLU関数は入力が正のとき微分値が常に1になります。

2. (あ) 誤差逆伝播法　(い) 0.5　(う) 入力値と同じ値

誤り。シグモイド関数の微分の最大値は0.25です。(う)ReLUの微分値は1です（入力値と同じ値になるのは関数そのものの出力です）。

3. (あ) 順伝播　(い) 0.25　(う) 1

誤り。勾配を計算して層を遡るのは「順伝播」ではなく「誤差逆伝播法」です。

4. (あ) 順伝播　(い) 0.5　(う) 入力値と同じ値

誤り。すべての説明が不適切です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ