KLダイバージェンス（カルバック・ライブラー情報量）の理解

問題

KLダイバージェンス（Kullback–Leibler divergence）に関する記述のうち、正しいものを1つ選べ。

KLダイバージェンス（カルバック・ライブラー情報量 / Kullback-Leibler Divergence）は、「ある確率分布が、別の基準となる確率分布とどれくらい異なっているか（似ていないか）」を測るための数学的な指標です。

値が0に近いほど2つの分布が似ていることを意味します。

VAE（変分オートエンコーダ）の損失関数において、潜在変数の分布を綺麗な正規分布に近づけるためのペナルティ項として使われるなど、高度な生成モデルでよく登場する重要な概念です。

1. KLダイバージェンスは2つの確率分布がどれだけ異なるかを測る指標である。

正しい：2つの確率分布（例えば、真のデータ分布とAIが予測した分布）の間の「情報量の差（違いの大きさ）」を測る指標です。

2. KLダイバージェンスは常に対称であり、P→QとQ→Pは同じ値になる。

誤り：KLダイバージェンスの最大の特徴は「非対称（$D_{KL}(P||Q) \neq D_{KL}(Q||P)$）」であることです。基準とする分布をどちらにするかで値が変わります。

3. KLダイバージェンスは分類タスク専用の誤差関数である。

誤り：分類タスクの誤差関数（交差エントロピー）の裏側にも潜んでいますが、VAEの正則化項など「確率分布の比較」が必要なあらゆる場面で使われます。

4. KLダイバージェンスは誤差を直接測るのではなく、距離を測るための指標である。

誤り：「距離」という言葉がよく使われますが、非対称であり三角不等式も満たさないため、数学的な定義における厳密な「距離（Distance）」ではありません。あくまで「情報量の差」です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ