活性化関数の役割に関する理解

問題

ディープラーニングにおける活性化関数の役割について、以下の記述のうち誤りを1つ選べ。

活性化関数（Activation Function）は、ニューラルネットワークの各ノード（ニューロン）の出力を決定する関数であり、ネットワークに「非線形性」を持たせるという極めて重要な役割があります。

仮に活性化関数を使わなかったり、単なる線形関数（ $y = ax + b$ ）を使った場合、隠れ層を何百層重ねても数学的には1層のネットワークと同じになってしまい、複雑な曲線の境界線を引くような高度な学習（ディープラーニング）が不可能になります。

1. 活性化関数はニューラルネットワークに非線形性を与える役割を持つ。

正しい：ReLUやシグモイドのような非線形な関数を挟むことで、ネットワークがぐにゃぐにゃと曲がった複雑な関数（境界線）を近似できるようになります。

2. 活性化関数がない場合、ネットワークは線形変換の積み重ねにすぎない。

正しい：活性化関数（非線形変換）がないと、層の間の計算は単なる行列の掛け算と足し算（線形変換）の連続になり、表現力が単層ネットワークと同じになってしまいます。

3. 活性化関数は勾配を計算する際にも影響し、学習のしやすさに関わる。

正しい：誤差逆伝播法でネットワークの重みを更新する際、活性化関数の「微分（勾配）」が掛け合わされていくため、活性化関数の形が学習の進みやすさを左右します。

4. 活性化関数はネットワークの重み更新には影響しないため、どの関数を使っても学習性能は同じである。

誤り：活性化関数を通した値が次の層へ伝播し、その微分の値が誤差逆伝播で重み更新に使われるため、どの関数を選ぶか（シグモイドかReLUか等）で学習性能は劇的に変わります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ