勾配爆発問題の原因に関する理解

問題

勾配爆発問題（Gradient Explosion）について、以下の記述のうち誤りを1つ選べ。

勾配爆発（Gradient Explosion）とは、誤差逆伝播法で学習を行う際、層を遡るにつれて伝播する誤差（勾配）が連鎖律の掛け算によって雪だるま式に大きくなり、値が無限大（オーバーフロー）になってしまう現象です。

RNNのような深いループ構造を持つモデルや、重みの初期値が大きすぎる場合、あるいは勾配が減衰しないReLU系の活性化関数を用いた場合などに発生しやすく、学習が完全に崩壊（NaNを出力）してしまいます。

1. 勾配爆発は逆伝播の途中で勾配が乗算され続けることで異常に大きくなる現象である。

正しい：誤差逆伝播法では各層の微分値（勾配）を掛け合わせながら遡るため、その値が1より大きいと、層が深くなるほど指数関数的に勾配が爆発します。

2. 勾配爆発が起きると、学習が不安定になり、損失が非数（NaN）になることがある。

正しい：勾配がコンピュータの表現できる上限（オーバーフロー）を超えると、数値が「NaN（Not a Number：非数）」になり、学習が不可能になります。

3. 勾配爆発は活性化関数の選択や重みの初期値が原因となることがある。

正しい：ReLU関数は正の領域で微分値が1のまま減衰しないため、重みの初期値が不適切だと勾配爆発を引き起こしやすくなります（これを防ぐためにHeの初期値などが使われます）。

4. 勾配爆発は勾配が小さくなりすぎる現象であり、学習が進まなくなる問題である。

誤り：逆伝播の過程で勾配が小さくなりすぎて学習が止まる現象は「勾配消失問題（Vanishing Gradient Problem）」です。勾配爆発はその逆の現象です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ