Leaky ReLUの特徴に関する問題

問題

Leaky ReLUに関する以下の記述のうち誤りを1つ選べ。

Leaky ReLU（Leaky Rectified Linear Unit）は、ReLU関数の弱点である「Dying ReLU（入力が負の場合、出力も微分値も完全に0になり、そのニューロンの学習が永遠に止まってしまう問題）」を克服するために考案された活性化関数です。

入力が負の場合でも「0.01倍」などの非常に小さな傾き（漏れ：Leak）を持たせることで、微小ながらも勾配を逆伝播させ、ニューロンが死ぬのを防ぎます。

1. Leaky ReLUは負の入力でも小さな傾きを持たせることで勾配を残す。

正しい：負の領域において「完全な0」ではなく、「わずかな傾き（例：$y = 0.01x$）」を持たせることで、誤差逆伝播の際に勾配が消失しないように設計されています。

2. Leaky ReLUはDead ReLU問題を軽減するために考案された。

正しい：重みの更新がうまくいかず、常に負の値を出力するようになってしまったニューロンが学習できなくなる「Dying ReLU（Dead ReLU）」問題を軽減する目的で作られました。

3. Leaky ReLUは負の入力を必ず0にするため、勾配が流れない。

誤り：負の入力を必ず0にするのは「通常のReLU」です。Leaky ReLUは負の入力に対しても小さな値（負の値）を出力し、勾配を残します。

4. Leaky ReLUはReLUよりも表現力が高くなる場合がある。

正しい：負の領域の情報も完全に捨てずに次の層へ伝播させるため、タスクによっては通常のReLUよりも高い表現力（精度）を発揮する場合があります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ