ドロップアウトの仕組みと目的
問題
ドロップアウト(Dropout)に関する記述のうち、正しいものを1つ選べ。
解説
ドロップアウト(Dropout)は、ディープラーニングにおける非常に強力で代表的な過学習対策(正則化手法)です。
学習のステップごとに、隠れ層のノード(ニューロン)をランダムな確率(例:50%)で「無効化(存在しないものとして扱う)」して学習を行います。
これにより、ネットワークが特定のノード(特徴)だけに強く依存して予測する「サボり」を防ぎ、様々なノードを組み合わせて予測するようになるため、未知のデータに対する汎化性能が高まります。
1. ドロップアウトは学習中にランダムにノードを無効化する。
正しい:ミニバッチごとにランダムに一部のノードの出力をゼロ(無効化)にして、残りのノードだけで学習を行うことで、疑似的に複数の異なるネットワークを学習させるアンサンブル効果を生み出します。
2. ドロップアウトは推論時にもノードをランダムに無効化する。
誤り:推論(テスト)時にはノードを無効化せず、すべてのノードを使用します。ただし、学習時と出力のスケールを合わせるために、出力をドロップアウトした確率分だけ掛け合わせて(スケールして)調整します。
3. ドロップアウトは重みの絶対値にペナルティを与える手法である。
誤り:重みの「絶対値」にペナルティを加える手法は「L1正則化」です。
4. ドロップアウトは重みの二乗にペナルティを与える手法である。
誤り:重みの「二乗」にペナルティを加える手法は「L2正則化(Weight Decay)」です。
📚 より詳細を学びたい方へ
同じカテゴリの問題
- 過学習(Overfitting)の理解
- AUCの理解
- 単純パーセプトロンの限界に関する問題
- 多層パーセプトロン(MLP)の特徴
- GPUとCPUの違いに関する理解
- ディープラーニングの学習データ量に関する理解
- ニューラルネットワークの層構造に関する問題
- 活性化関数の役割に関する理解
- シグモイド関数の特徴に関する問題
- ReLU関数の利点と注意点
- Leaky ReLUの特徴に関する問題
- ソフトマックス関数の理解
- 誤差関数の基本的な役割に関する理解
- 平均二乗誤差(MSE)の特徴
- 交差エントロピーの性質に関する理解
- KLダイバージェンス(カルバック・ライブラー情報量)の理解
- Contrastive Loss(コントラスト損失)の理解
- Triplet Loss(トリプレット損失)の特徴
- 正則化の目的に関する理解
- L1正則化(ラッソ回帰)の特徴
- L2正則化(リッジ回帰)の性質
- ドロップアウトの仕組みと目的
- L0・L1・L2正則化の違いに関する理解
- 誤差逆伝播法の基本原理に関する理解
- 連鎖律(チェーンルール)の役割
- 勾配爆発問題の原因に関する理解
- 勾配降下法の基本原理に関する理解
- 学習率(Learning Rate)の特徴
- 確率的勾配降下法(SGD)の性質
- バッチ学習・ミニバッチ学習・オンライン学習の違い
- 局所最適解と大域最適解の理解
- 早期終了(Early Stopping)の目的
- ハイパーパラメータの役割
- 最適化手法の課題と改善手法
- ミニバッチ学習の利点
- オンライン学習の特徴
- 学習率と収束の関係
- 二重降下現象の特徴
- モーメンタムの役割
- AdaGradの特徴
- RMSpropの改善点
- AdaDeltaの特徴
- Adamの理解
- AMSGradの特徴
- AdaBoundの理解
- AMSBoundの特徴
- グリッドサーチの特徴
- ランダムサーチの特徴


