AMSGradの特徴
問題
AMSGradに関する記述のうち、正しいものを1つ選べ。
解説
AMSGradは、Adamの弱点を改良した最適化アルゴリズムです。
Adamは非常に優秀ですが、学習の終盤において「過去の勾配の履歴（二乗平均）に引っ張られて学習率が不適切に大きくなり、最適なパラメータに収束しない（発散してしまう）」という理論的な欠陥が指摘されていました。
AMSGradは、過去の勾配の履歴を利用する際に「過去の最大値」を常に保持（単調非減少）させることで、学習率が不意に大きくなるのを防ぎ、収束性を理論的に保証しました。
1. AMSGradは勾配の二乗平均を単調非減少にする工夫を加えた。
正しい：Adamの数式を修正し、勾配の二乗の移動平均が「必ず小さくならない（単調非減少）」ように最大値を保持する仕組みを加えました。
2. AMSGradは学習率を固定し、調整を行わない。
誤り：学習率を固定するのは標準のSGDなどです。AMSGradはAdamの派生形であり、パラメータごとに学習率を「動的に調整」します。
3. AMSGradはSGDの改良版である。
誤り：SGDの改良版ではなく、Adamの「収束性が保証されない」という数式上の問題を解決するために考案されたAdamの改良版です。
4. AMSGradはAdaGradの欠点を改善した手法である。
誤り：AdaGradの欠点（学習率が0になり止まる）を改善したのはRMSpropやAdaDeltaです。AMSGradは「Adam」の欠点を改善した手法です。
📚 より詳細を学びたい方へ
同じカテゴリの問題
- 過学習（Overfitting）の理解
- AUCの理解
- 単純パーセプトロンの限界に関する問題
- 多層パーセプトロン（MLP）の特徴
- GPUとCPUの違いに関する理解
- ディープラーニングの学習データ量に関する理解
- ニューラルネットワークの層構造に関する問題
- 活性化関数の役割に関する理解
- シグモイド関数の特徴に関する問題
- ReLU関数の利点と注意点
- Leaky ReLUの特徴に関する問題
- ソフトマックス関数の理解
- 誤差関数の基本的な役割に関する理解
- 平均二乗誤差（MSE）の特徴
- 交差エントロピーの性質に関する理解
- KLダイバージェンス（カルバック・ライブラー情報量）の理解
- Contrastive Loss（コントラスト損失）の理解
- Triplet Loss（トリプレット損失）の特徴
- 正則化の目的に関する理解
- L1正則化（ラッソ回帰）の特徴
- L2正則化（リッジ回帰）の性質
- ドロップアウトの仕組みと目的
- L0・L1・L2正則化の違いに関する理解
- 誤差逆伝播法の基本原理に関する理解
- 連鎖律（チェーンルール）の役割
- 勾配爆発問題の原因に関する理解
- 勾配降下法の基本原理に関する理解
- 学習率（Learning Rate）の特徴
- 確率的勾配降下法（SGD）の性質
- バッチ学習・ミニバッチ学習・オンライン学習の違い
- 局所最適解と大域最適解の理解
- 早期終了（Early Stopping）の目的
- ハイパーパラメータの役割
- 最適化手法の課題と改善手法
- ミニバッチ学習の利点
- オンライン学習の特徴
- 学習率と収束の関係
- 二重降下現象の特徴
- モーメンタムの役割
- AdaGradの特徴
- RMSpropの改善点
- AdaDeltaの特徴
- Adamの理解
- AMSGradの特徴
- AdaBoundの理解
- AMSBoundの特徴
- グリッドサーチの特徴
- ランダムサーチの特徴