確率的勾配降下法（SGD）の性質

問題

確率的勾配降下法（SGD）に関する以下の記述のうち誤りを1つ選べ。

確率的勾配降下法（SGD：Stochastic Gradient Descent）は、学習データ「全体」の誤差を計算してから1回更新する通常の勾配降下法（バッチ勾配降下法）の欠点を改良した手法です。

学習データの中からランダムに選んだ「1個（または少数のミニバッチ）」のデータだけで誤差を計算して頻繁に重みを更新します。

計算メモリが節約でき学習が速い反面、一部のデータに引っ張られて更新の方向がジグザグにブレやすく（勾配が不安定に）なるという特徴があります。

1. 確率的勾配降下法（SGD）は1件または少数のデータで更新するため計算が軽い。

正しい：数十万件のデータ全体を計算するのを待たずに、1件や数十件（ミニバッチ）ごとに頻繁に更新を行うため、1回あたりの計算負荷が軽く、巨大なデータセットに適しています。

2. 確率的勾配降下法（SGD）は勾配が不安定になりやすい。

正しい：少数のサンプルの誤差だけで「全体の傾き」を推定して進むため、ノイズ（外れ値）の影響を受けやすく、更新経路がジグザグと不安定になりがちです。

3. 確率的勾配降下法（SGD）は変数ごとの傾きを考慮して最適な方向に進む。

誤り：SGDは、現在の地点での傾き（勾配）の方向にただ素直に進むだけです。過去の傾きの勢い（慣性）や変数ごとの傾きの違いを考慮して賢く進むのは、「Momentum」や「Adam」などのより高度な最適化アルゴリズムの特徴です。

4. 確率的勾配降下法（SGD）は深層学習で広く使われる最適化手法である。

正しい：そのシンプルさと計算効率の良さから、現在でも「ミニバッチSGD」として深層学習における標準的な最適化手法の一つとして広く使われています。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ