バッチ学習・ミニバッチ学習・オンライン学習の違い

問題

学習方式に関する記述のうち、正しいものを1つ選べ。

最適化アルゴリズムにおいて、データをどのようにネットワークに入力して重みを更新するかの「学習方式」には3種類あります。

全データを一括で処理する「バッチ学習」、データ1件ごとに処理する「オンライン学習」、そして全データを数百件ずつの小分けにして処理する「ミニバッチ学習」です。

現在のディープラーニングでは、計算効率（GPUの並列計算）と学習の安定性のバランスが最も良い「ミニバッチ学習（ミニバッチSGD）」が標準的に使われています。

1. バッチ学習はすべてのデータを使うため計算が軽い。

誤り：バッチ学習は「すべてのデータ」の誤差を計算してから1回更新するため、データが膨大だとメモリに乗りきらず、1回の更新にかかる計算コストが最も重くなります。

2. ミニバッチ学習は計算効率と安定性のバランスが良い。

正しい：全データを適度なサイズ（例：32や256など）に分割して学習するミニバッチ学習は、メモリに収まりやすく、勾配のブレも抑えられるため最もバランスが良いです。

3. オンライン学習は大量データには向かない。

誤り：オンライン学習は1件ごとに処理するためメモリを消費せず、リアルタイムに発生する無限のストリーミングデータ（ログやセンサーデータ等）の学習に適しています。

4. バッチ学習は勾配が不安定になりやすい。

誤り：バッチ学習は全データを使って正確な全体の傾き（勾配）を計算するため、勾配は「最も安定」します。勾配が不安定になりやすいのはオンライン学習（またはSGD）です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ