L1正則化(ラッソ回帰)の特徴
問題
L1正則化の特徴について、正しいものを1つ選べ。
解説
L1正則化(ラッソ回帰で使われるペナルティ)は、モデルの過学習を防ぐための手法の一つです。誤差関数に対して「すべての重みパラメータの『絶対値』の合計」をペナルティとして加えます。
数学的な性質(ひし形の制約領域)により、予測にあまり貢献しない重要度の低い特徴量の重みを「完全にゼロ」にしやすいという強力な特徴があります。
そのため、無駄なデータを取り除いて重要な変数だけを残す「特徴選択(次元削減)」の効果があり、スパース(疎)なモデルを作りたい場合に有効です。
1. L1正則化はパラメータの二乗にペナルティを与える。
誤り:重みパラメータの「二乗」の合計にペナルティを与えるのは「L2正則化」です。L1正則化は「絶対値」を用います。
2. L1正則化はすべてのパラメータを均等に小さくする。
誤り:すべてのパラメータをなだらかに均等に小さくしようとするのは「L2正則化」の性質です。
3. L1正則化は一部のパラメータをゼロにし、スパースなモデルを作りやすい。
正しい:L1正則化の最大の特徴であり、重要でない特徴量の重みが完全にゼロになるため、スパース(疎)で解釈しやすいモデルになります。
4. L1正則化は特徴量をすべて均等に利用したい場合に向いている。
誤り:すべての特徴量を均等に生かしつつ、極端に大きな重みを防ぎたい場合には「L2正則化」が向いています。
📚 より詳細を学びたい方へ
同じカテゴリの問題
- 過学習(Overfitting)の理解
- AUCの理解
- 単純パーセプトロンの限界に関する問題
- 多層パーセプトロン(MLP)の特徴
- GPUとCPUの違いに関する理解
- ディープラーニングの学習データ量に関する理解
- ニューラルネットワークの層構造に関する問題
- 活性化関数の役割に関する理解
- シグモイド関数の特徴に関する問題
- ReLU関数の利点と注意点
- Leaky ReLUの特徴に関する問題
- ソフトマックス関数の理解
- 誤差関数の基本的な役割に関する理解
- 平均二乗誤差(MSE)の特徴
- 交差エントロピーの性質に関する理解
- KLダイバージェンス(カルバック・ライブラー情報量)の理解
- Contrastive Loss(コントラスト損失)の理解
- Triplet Loss(トリプレット損失)の特徴
- 正則化の目的に関する理解
- L1正則化(ラッソ回帰)の特徴
- L2正則化(リッジ回帰)の性質
- ドロップアウトの仕組みと目的
- L0・L1・L2正則化の違いに関する理解
- 誤差逆伝播法の基本原理に関する理解
- 連鎖律(チェーンルール)の役割
- 勾配爆発問題の原因に関する理解
- 勾配降下法の基本原理に関する理解
- 学習率(Learning Rate)の特徴
- 確率的勾配降下法(SGD)の性質
- バッチ学習・ミニバッチ学習・オンライン学習の違い
- 局所最適解と大域最適解の理解
- 早期終了(Early Stopping)の目的
- ハイパーパラメータの役割
- 最適化手法の課題と改善手法
- ミニバッチ学習の利点
- オンライン学習の特徴
- 学習率と収束の関係
- 二重降下現象の特徴
- モーメンタムの役割
- AdaGradの特徴
- RMSpropの改善点
- AdaDeltaの特徴
- Adamの理解
- AMSGradの特徴
- AdaBoundの理解
- AMSBoundの特徴
- グリッドサーチの特徴
- ランダムサーチの特徴


