ReLU関数の利点と注意点

問題

ReLU（Rectified Linear Unit）関数に関する記述のうち、正しいものを1つ選べ。

ReLU（Rectified Linear Unit：正規化線形関数）は、現在のディープラーニングの隠れ層で最も標準的に使われている活性化関数です。

「入力が0より大きければそのまま出力し、0以下なら0にする」という非常にシンプルな計算式（$max(0, x)$）です。

計算が極めて高速であり、入力が正の領域では微分値が常に1になるため、層を深くしても勾配が小さくならず「勾配消失問題」を防ぐことができます。

ただし、負の値が入力され続けるとニューロンが永遠に発火しなくなる「Dying ReLU（死んだニューロン）」という問題があります。

1. ReLUは負の入力に対して小さな傾きを持つため、勾配が完全に0にはならない。

誤り：ReLUは負の入力に対しては出力を完全に「0（傾きも0）」にします。負の領域でもわずかな傾きを持たせてニューロンが死ぬのを防ぐのは「Leaky ReLU」の特徴です。

2. ReLUは計算が簡単で勾配消失が起きにくいため、深層学習で広く使われている。

正しい：単なる最大値を取る関数なので指数計算が不要で極めて高速であり、正の領域で勾配が減衰しないため深層学習の発展を大きく支えました。

3. ReLUは出力が常に0〜1の範囲に収まるため、確率的解釈がしやすい。

誤り：ReLUの出力は0から無限大の範囲を取るため、0〜1の範囲に収めて確率として解釈する出力層（シグモイドやソフトマックスなど）には使いません。

4. ReLUは勾配爆発を防ぐために設計された活性化関数である。

誤り：ReLUが防ぐのは、層を遡るにつれて勾配がゼロに近づいて消えてしまう「勾配消失問題」です（逆に値が大きくなりすぎる勾配爆発を防ぐわけではありません）。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ