AMSBoundの特徴

問題

AMSBoundの特徴について、正しいものを1つ選べ。

AMSBoundは、「AdaBound」と「AMSGrad」の2つのアイデアを統合した最適化アルゴリズムです。

AdaBoundは「学習率の上下限を設けてAdamからSGDへ滑らかに切り替える」手法であり、AMSGradは「勾配の二乗平均を単調非減少にしてAdamの収束性を保証する」手法です。

AMSBoundは、この両方の恩恵を同時に受けることで、学習序盤の高速性、終盤のSGDのような高い汎化性能、そして数学的に保証された安定した収束性をすべて兼ね備えることを目的として提案されました。

1. AMSBoundはAdaBoundにAMSGradの安定性向上の工夫を組み合わせた手法である。

正しい：AdamをSGDに切り替える「AdaBound」の枠組みに対し、Adamの収束の不安定さを解消した「AMSGrad」の計算式を組み合わせたアルゴリズムです。

2. AMSBoundは学習率を固定する手法である。

誤り：学習の終盤で学習率は一定値（SGD）に近づきますが、基本的にはAdam系譜の「動的な学習率の調整」を行う手法です。

3. AMSBoundはSGDの改良版である。

誤り：SGDの改良版ではなく、Adamをベースとした高度な最適化手法（AMSGradとAdaBoundの融合）です。

4. AMSBoundは勾配を完全に無視して更新する。

誤り：最適化アルゴリズムである以上、誤差逆伝播法で求めた「勾配」を利用して重みを更新します。完全に無視することはありません。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ