学習率（Learning Rate）の特徴

問題

学習率（η）の特徴について、正しいものを1つ選べ。

学習率（Learning Rate：$\eta$）は、勾配降下法において「1回のパラメータ更新で、勾配の方向にどれくらいの歩幅（ステップサイズ）で進むか」を決定する、極めて重要なハイパーパラメータです。

学習率の選択は学習の成否を大きく左右します。大きすぎると谷底を飛び越えて発散してしまい、小さすぎると谷底に到達するまでに膨大な時間がかかったり、途中の浅い窪み（局所最適解）から抜け出せなくなったりします。

1. 学習率が大きいほど収束が安定しやすい。

誤り：学習率が大きすぎると、パラメータの更新幅が大きくなりすぎて最適解を通り越し（オーバーシュート）、損失が減るどころか逆に増えて発散してしまいます。

2. 学習率が小さいほど学習が高速に進む。

誤り：学習率が小さすぎると、1回あたりの更新量（歩幅）が非常に小さくなるため、学習が収束する（最適解に辿り着く）までに膨大な時間と計算エポックが必要になります。

3. 学習率はパラメータ更新の歩幅を決める重要なハイパーパラメータである。

正しい：勾配に対して学習率を掛け合わせた値が実際の「更新量」となるため、モデル設計者が適切にチューニングすべき最も重要なハイパーパラメータの一つです。

4. 学習率は訓練中に自動的に最適化されるため設定不要である。

誤り：Adamなどの最適化アルゴリズムは学習率を動的に調整してくれますが、「基準となる初期の学習率」は依然として人間が設定する必要があります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ