L2正則化（リッジ回帰）の性質

問題

L2正則化に関する以下の記述のうち誤りを1つ選べ。

L2正則化（リッジ回帰で使われるペナルティ）は、ニューラルネットワークにおいて最も一般的に使われる過学習対策（正則化手法）です。誤差関数に対して「すべての重みパラメータの『二乗』の合計」をペナルティとして加えます。

二乗しているため、一部の重みだけが極端に大きくなることを強く抑制し、全体的に重みを均等に小さく滑らかにする効果があります。

重みの更新式において重みを減衰させる働きがあるため「荷重減衰（Weight Decay）」とも呼ばれます。

1. L2正則化は重みの二乗にペナルティを与える。

正しい：重みパラメータの「二乗和（L2ノルム）」を誤差関数に足し合わせることで、大きな値を持つ重みに強いペナルティを与えます。

2. L2正則化はすべてのパラメータを少しずつ小さくする傾向がある。

正しい：数学的な性質（円形の制約領域）により、特定の重みだけをゼロにするのではなく、全体をなだらかにゼロに近づける傾向があります。

3. L2正則化は一部のパラメータを完全にゼロにする効果がある。

誤り：一部のパラメータを完全に「ゼロ」にしてスパースなモデルを作るのは「L1正則化」の効果です。L2正則化では重みはゼロに近づきますが完全にゼロにはなりにくいです。

4. L2正則化は荷重減衰とも呼ばれ、モデルの安定化に役立つ。

正しい：勾配降下法で重みを更新する際、現在の重みの値に比例して重みを減らす効果があるため、ディープラーニングでは「荷重減衰（Weight Decay）」として実装・呼称されます。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ