Adamの理解

問題

Adam（Adaptive Moment Estimation）に関する以下の記述のうち誤りを1つ選べ。

Adam（Adaptive Moment Estimation）は、現代のディープラーニングにおいて「まずはこれを使え」と言われるほど、最も標準的で強力な最適化アルゴリズムです。

「過去の勾配の勢い（一階モーメント）」を利用して滑らかに谷底へ向かう『Momentum』と、「過去の勾配の二乗の平均（二階モーメント）」を利用してパラメータごとに学習率を自動調整する『RMSprop』の2つの長所を見事に融合させています。

そのため、多くのタスクで高速かつ安定した学習を実現します。

1. AdamはMomentumとRMSpropを組み合わせた手法である。

正しい：更新方向を安定させる「Momentum（慣性）」と、学習率をパラメータごとに最適化する「RMSprop」の両方の仕組みを取り入れています。

2. Adamは深層学習で広く使われる最適化手法である。

正しい：扱いやすさと高い性能から、画像認識や自然言語処理などあらゆる深層学習タスクにおいて、デフォルトの最適化手法として広く利用されています。

3. Adamは学習率を自動調整する。

正しい：過去の勾配の平均と分散（ばらつき）の履歴を計算し、それに基づいて各パラメータの学習率（更新の歩幅）を自動的に調整します。

4. Adamは勾配が小さくなる状況でも更新量が一定に保たれる。

誤り：Adamは過去の履歴（モーメント）に基づいて動的に更新量を決定するため、勾配が小さくなったからといって更新量が「一定」に保たれるわけではありません。状況に応じて適切に変化します。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ