AdaBoundの理解

問題

AdaBoundに関する以下の記述のうち誤りを1つ選べ。

AdaBoundは、AdamとSGD（確率的勾配降下法）の「いいとこ取り」を目指した最適化アルゴリズムです。

Adamは学習の序盤は非常に高速に最適解に近づきますが、終盤の微調整や最終的な汎化性能（未知データへの適応力）においては、古典的なSGDの方が優れていることが経験的に知られています。

AdaBoundは、学習の進行とともに「動的に変化する学習率の上限と下限（Bound）」を狭めていき、序盤はAdamのように高速に動き、終盤はSGDのように振る舞うようシームレスに切り替えます。

1. AdaBoundはAdamの高速性を持つ。

正しい：学習の初期段階では、上限と下限の幅が広いため、Adamと同様にパラメータごとの学習率の自動調整が効き、高速に学習が進みます。

2. AdaBoundはSGDの安定性を持つ。

正しい：学習の終盤になると、上限と下限が同じ値（一定の学習率）に収束していくため、SGDと同じように安定して動作し、高い汎化性能を獲得しやすくなります。

3. AdaBoundは学習率に上下限を設ける。

正しい：Adamによる学習率の極端な変動（暴走）を防ぐため、時刻 $t$ に応じて変化する「上限（Upper bound）」と「下限（Lower bound）」を設けています。

4. AdaBoundは学習率を固定し、調整を行わない。

誤り：学習率を固定するのはSGDです。AdaBoundは学習率を動的に調整しながら、その調整幅を徐々に狭めていき最終的に固定値（SGD）に近づける手法です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ