学習率と収束の関係

問題

学習率と収束の関係について、正しいものを1つ選べ。

学習率（Learning Rate）は、勾配降下法において「誤差を減らす方向（谷底の方向）に、どれくらいの歩幅で進むか」を決める値です。モデルの学習において最も重要なハイパーパラメータと言えます。

歩幅が大きすぎると谷底を飛び越えてしまい（発散）、歩幅が小さすぎると谷底に辿り着くまでに途方もない時間がかかってしまいます（収束が遅い）。

1. 学習率が大きいと収束が速く安定する。

誤り：学習率（歩幅）が大きすぎると、最適解（谷底）を通り越して向こう側の斜面に移ってしまい、誤差が減るどころかどんどん増えていく「発散（オーバーシュート）」という現象が起きます。

2. 学習率が小さいと更新量が小さくなり収束が遅くなる。

正しい：学習率が小さいと、1回あたりのパラメータ更新量（歩幅）が小さくなるため、最適解に到達する（収束する）までに非常に多くの計算ステップ（時間）が必要になります。

3. 学習率はモデルの性能に影響しない。

誤り：学習率が不適切だと「学習が全く進まない」または「途中で崩壊する」ため、モデルが最終的に到達できる精度（性能）に極めてダイレクトに影響します。

4. 学習率は訓練中に自動的に最適化されるため設定不要である。

誤り：Adamなどの最適化アルゴリズムは「学習の途中で」学習率を自動的に調整してくれますが、「最初のベースとなる学習率（初期学習率）」は依然として人間が設定する必要があります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ