AdaDeltaの特徴

問題

AdaDeltaの特徴について、正しいものを1つ選べ。

AdaDeltaは、RMSpropと同じくAdaGradの「学習率が0になってしまう問題」を解決するために独立して考案された最適化アルゴリズムです。

最大の特徴は、勾配の二乗の指数移動平均だけでなく、「パラメータの更新量（$\Delta x$）」の指数移動平均も数式に組み込んでいる点です。

これにより、数式の中から「初期学習率（$\eta$）」という人間が設定すべきハイパーパラメータそのものを消去することに成功し、学習率を明示的に設定しなくても自動で学習が進むように設計されています。

1. AdaDeltaは学習率を明示的に設定する必要がある。

誤り：AdaDeltaの画期的な点は、数式から初期学習率（$\eta$）を排除し、ユーザーが学習率を明示的に設定する手間（ハイパーパラメータチューニング）を省いたことです。

2. AdaDeltaは勾配と更新量の移動平均を利用する。

正しい：AdaGrad/RMSpropで使われる「勾配の二乗の移動平均」に加えて、「過去のパラメータ更新量」の移動平均も利用して次の更新量を決定します。

3. AdaDeltaはMomentumを組み合わせた手法である。

誤り：Momentumは「過去の更新方向の勢い」を足し合わせる手法であり、AdaDeltaとはアプローチが異なります（両者を融合したものが後のAdamです）。

4. AdaDeltaは学習率を増加させることで高速化する。

誤り：学習率を単純に増加させるのではなく、パラメータごとの過去の勾配と更新量の履歴に基づいて、最適な更新幅を「自動で算出（調整）」する手法です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ