勾配降下法の基本原理に関する理解

問題

勾配降下法（Gradient Descent）の概要について、以下の記述のうち誤りを1つ選べ。

勾配降下法（Gradient Descent）は、ディープラーニングを含む多くの機械学習モデルで、誤差（損失関数の値）を最小化するパラメータ（重みやバイアス）を見つけ出すための最も基本的な最適化アルゴリズムです。

現在のパラメータの位置における「損失関数の傾き（勾配）」を計算し、「山を下るように」勾配と反対の方向へ少しずつパラメータを更新していくことで、誤差が一番小さくなる谷底（最適解）を目指します。

1. 勾配降下法は損失が小さくなる方向にパラメータを更新する。

正しい：微分して得られた勾配（傾き）に対して、マイナス方向（傾きを下る方向）にパラメータを更新することで、損失を徐々に減らしていきます。

2. 勾配降下法は損失関数の勾配を利用して更新量を決める。

正しい：勾配（傾き）が急なところでは大きく更新し、なだらかなところ（谷底に近いところ）では小さく更新するというように、勾配の大きさが更新量に直結します。

3. 勾配降下法は深層学習で最も基本的な最適化手法である。

正しい：SGD（確率的勾配降下法）や、そこから派生したAdamなどの高度な最適化アルゴリズムは、すべてこの勾配降下法の考え方を基礎としています。

4. 勾配降下法は常に大域最適解に到達することが保証されている。

誤り：複雑なディープラーニングの損失関数は、山や谷が多数ある複雑な形状（非凸関数）をしているため、勾配降下法は「たまたま近くにあった浅い谷底（局所最適解：Local Minima）」に捕まってしまい、本当の最も深い谷底（大域最適解：Global Minimum）に到達できないリスクが常にあります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ