バッチ正規化（Batch Normalization）の理解

問題

バッチ正規化（Batch Normalization）について、以下の記述のうち誤りを1つ選べ。

バッチ正規化（Batch Normalization）は、ディープラーニングの学習を劇的に安定化・高速化させる必須級のテクニックです。

ニューラルネットワークでは、層が深くなるにつれてデータの分布が学習中に変化してしまう「内部共変量シフト（Internal Covariate Shift）」という問題が起きます。

バッチ正規化は、ミニバッチごとにデータの平均を0、分散を1にするように「正規化」を各層で行うことでこの分布の変化を抑え、学習率を大きく設定できるようにし、過学習を防ぐ効果（正則化効果）ももたらします。

1. バッチ正規化は、同じバッチ内のデータの平均と分散を使って正規化を行う。

正しい：学習時に、ミニバッチ（1回の学習で処理するデータのまとまり）ごとに平均と分散を計算し、それを用いて各層の出力を正規化します。

2. バッチ正規化は、内部共変量シフトを抑制する効果がある。

正しい：学習を進めるうちにネットワーク内部のデータの分布が変化してしまう「内部共変量シフト」を抑制し、学習を安定させるのが最大の目的です。

3. バッチ正規化は推論時（学習後の利用時）にも、学習時と同じバッチ統計量を使う。

誤り：推論時（テスト時）はバッチサイズが1になることもあるため、ミニバッチの統計量は使いません。代わりに「学習中に計算しておいた移動平均（全体の平均・分散）」を使用します。

4. バッチ正規化は過学習を抑制する効果がある。

正しい：ミニバッチごとに計算される平均や分散には多少のノイズが含まれるため、これが学習に一種の「揺らぎ」を与え、過学習を抑える正則化（Dropoutに似た）効果があるとされています。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ