最適化手法の課題と改善手法

問題

最適化手法における課題と改善手法について、以下の記述のうち誤りを1つ選べ。

ニューラルネットワークの学習（重みの更新）の基本となる「勾配降下法（Gradient Descent）」には、いくつかの大きな弱点があります。

例えば、「学習率（Learning Rate）を人間が手探りで設定しなければならない」「谷底ではなく浅い窪み（局所最適解：Local Minima）にハマって抜け出せなくなる」「勾配が平坦な場所（鞍点やプラトー）で学習が極端に遅くなる」といった問題です。

これらを解決するために、多くの改良手法が開発されてきました。

1. 勾配降下法には学習率の調整が難しいという課題がある。

正しい：学習率が大きすぎれば発散し、小さすぎれば学習が終わらないため、手動での適切な調整が非常に困難であるという大きな課題があります。

2. 勾配降下法は局所最適解に陥る可能性がある。

正しい：一番深い谷底（大域最適解）に辿り着く前に、近くの浅い窪み（局所最適解）に捕まってしまい、それ以上精度が上がらなくなるリスクが常にあります。

3. 勾配降下法には改善手法が存在しないため、基本手法のみが使われる。

誤り：これらの課題を克服するため、過去の移動の勢いを利用する「Momentum（慣性）」や、学習率を自動調整する「AdaGrad」「RMSprop」、それらを統合した現在の主流である「Adam」など、多数の高度な改善手法が存在します。

4. 勾配降下法は深層学習の基礎となる最適化手法である。

正しい：数々の高度な最適化アルゴリズムも、すべて「現在の傾き（勾配）と反対の方向に進んで誤差を減らす」という勾配降下法の基本原理の上に成り立っています。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ