RMSpropの改善点

問題

RMSpropに関する以下の記述のうち誤りを1つ選べ。

RMSprop（Root Mean Square Propagation）は、AdaGradの最大の弱点であった「学習を進めると学習率が0になって学習が止まってしまう問題」を解決した最適化アルゴリズムです。

過去のすべての勾配の二乗和を単純に足し続けるのではなく、「指数移動平均」という計算を用いることで、古い勾配の情報を徐々に忘れ（減衰させ）、新しい勾配の情報を重視するようにしました。

これにより、学習率が極端に小さくなるのを防ぎ、RNNなどの時系列モデルで特に重宝されました。

1. RMSpropはAdaGradの学習率が小さくなりすぎる問題を改善する。

正しい：RMSpropは、AdaGradの「学習が途中で停滞してしまう」という問題を克服するために考案された手法である。

2. RMSpropは勾配の二乗平均を利用して学習率を調整する。

正しい：過去の勾配の二乗の「指数移動平均」を計算し、それを用いて各パラメータの学習率を動的に調整する。

3. RMSpropは学習率を固定し、調整を行わない。

誤り：学習率を固定して調整を行わないのは、標準的な「SGD（確率的勾配降下法）」である。RMSpropはパラメータごとに学習率を「自動で動的に調整」するため、この記述が誤りであり正解となる。

4. RMSpropは深層学習で一般的に使われる最適化手法である。

正しい：AdaGradの欠点を補い、特に勾配が変動しやすいRNNなどの深層学習タスクにおいて一般的な手法として広く使われている。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ