正規化層の役割に関する問題

問題

以下の文章を読み、空欄 ( あ ) ～ ( う ) に最もよく当てはまる語句の組み合わせとして適切なものを1つ選べ。

ディープラーニングにおいて、ネットワークの層が深くなるにつれて各層の入力分布が学習過程で変化する現象を ( あ ) と呼び、これが学習を不安定にする一因とされてきた。

この問題に対処し、学習を安定化・高速化するために導入されるのが正規化層である。

代表的な手法として、ミニバッチに含まれるデータ全体を用いてチャネルごとに平均と分散を計算する ( い ) や、自然言語処理などでよく用いられ、各データごとにすべてのチャネルにわたって正規化を行う ( う ) がある。

解説

ディープラーニングにおける「正規化層（Normalization Layer）」は、ネットワーク内部を流れるデータ（特徴量）の分布を整える役割を持ちます。

層を通過するごとにデータの分布が変化してしまう「内部共変量シフト」を抑え、学習を効率化します。

画像認識などで一般的に用いられる「Batch Normalization」はミニバッチ方向（データ群ごと）に正規化を行いますが、バッチサイズに依存するという欠点があり、自然言語処理（Transformerなど）やRNNではデータ単体の中で正規化を行う「Layer Normalization」が広く利用されます。

1. (あ) 内部共変量シフト　(い) Batch Normalization　(う) Layer Normalization

正しい。各層の入力分布が変化する現象を「内部共変量シフト」と呼びます。ミニバッチ単位で正規化するのがBatch Normalization、データ単位でチャネル方向に正規化するのがLayer Normalizationです。

2. (あ) 内部共変量シフト　(い) Layer Normalization　(う) Batch Normalization

誤り。(い)はミニバッチ全体を用いるためBatch Normalization、(う)はデータごとに用いるためLayer Normalizationが適切です。

3. (あ) 勾配爆発　(い) Batch Normalization　(う) Layer Normalization

誤り。(あ)は分布の変化を指しているため「内部共変量シフト」が適切です（勾配爆発は勾配の値自体が大きくなりすぎる現象です）。

4. (あ) 勾配爆発　(い) Layer Normalization　(う) Batch Normalization

誤り。すべての説明の組み合わせが不適切です。

← 前の問題次の問題 →