モーメンタムの役割

問題

モーメンタム（Momentum）に関する以下の記述のうち誤りを1つ選べ。

モーメンタム（Momentum）は、確率的勾配降下法（SGD）の弱点である「勾配のブレ（ジグザグに進んでしまうこと）」を改善するための最適化アルゴリズムです。

物理学における「慣性（勢い）」の概念を取り入れており、現在計算した勾配だけでなく「過去の重みの更新方向と量」を一定の割合で加味して次の進む方向を決めます。

これにより、坂道を転がり落ちるボールのように滑らかに谷底（最適解）へ向かうことができます。

1. モーメンタムは前回の更新量を加味して滑らかに更新する。

正しい：モーメンタムは前回の更新量（過去の勾配の蓄積）を加味することで、振動を抑え、滑らかに同じ方向へ更新を進める働きがある。

2. モーメンタムは局所最適解を回避しやすくする。

正しい：浅い窪み（局所最適解）にハマりそうになっても、過去の勢い（慣性）を使ってそれを乗り越えやすくなる特徴がある。

3. モーメンタムは更新量を完全にランダムに決定する。

誤り：モーメンタムは更新量をランダムに決めるのではなく、「過去の更新量（慣性）」と「現在の勾配」を数式に基づいて計画的に合成して決定する。したがって、この記述が誤りであり正解となる。

4. モーメンタムはSGDの欠点である収束の遅さを改善する。

正しい：SGD特有の「勾配が平坦な場所（プラトー）での学習の停滞」や「ジグザグな動き」を、勢いをつけることで改善し、学習を高速化させる。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ