シグモイド関数の特徴に関する問題
問題
シグモイド(Sigmoid)関数の特徴について、正しいものを1つ選べ。
解説
シグモイド(Sigmoid)関数は、入力されたどんな値も「0から1の間」になめらかに押し込める非線形活性化関数です。確率(0%〜100%)として解釈しやすいため、二値分類の出力層でよく使われます。
しかし、隠れ層に多用すると、入力値が少しでも大きくなったり小さくなったりするとグラフが平坦になり、微分値(勾配)がほぼ0になってしまうため、層を遡るごとに勾配が消えて学習が止まる「勾配消失問題」を引き起こす致命的な欠点があります。
1. シグモイド関数は出力が-1〜1の範囲である。
誤り:出力が「-1から1」の範囲になるのはtanh(双曲線正接)関数です。シグモイド関数の出力は「0から1」です。
2. シグモイド関数は入力が大きいと勾配がほぼ0になり、勾配消失が起きやすい。
正しい:入力の絶対値が大きくなると関数の出力が0や1に張り付き(飽和)、その地点での傾き(勾配)がほぼ0になるため、誤差逆伝播において勾配消失を引き起こします。
3. シグモイド関数はReLUより計算が軽く、深層学習で主流となっている。
誤り:シグモイド関数は指数関数の計算($e^{-x}$)を含むためReLUよりも計算負荷が高く、勾配消失も起きやすいため、現代の深層学習の隠れ層ではほとんど使われません(出力層を除く)。
4. シグモイド関数は中心が0であるため、学習が安定しやすい。
誤り:シグモイド関数の出力の中心は「0.5」であり、常に出力が正の値になるため、後続の層への入力が偏り、重みの更新方向が制限されて学習が不安定になりやすいという欠点があります。
📚 より詳細を学びたい方へ
同じカテゴリの問題
- 過学習(Overfitting)の理解
- AUCの理解
- 単純パーセプトロンの限界に関する問題
- 多層パーセプトロン(MLP)の特徴
- GPUとCPUの違いに関する理解
- ディープラーニングの学習データ量に関する理解
- ニューラルネットワークの層構造に関する問題
- 活性化関数の役割に関する理解
- シグモイド関数の特徴に関する問題
- ReLU関数の利点と注意点
- Leaky ReLUの特徴に関する問題
- ソフトマックス関数の理解
- 誤差関数の基本的な役割に関する理解
- 平均二乗誤差(MSE)の特徴
- 交差エントロピーの性質に関する理解
- KLダイバージェンス(カルバック・ライブラー情報量)の理解
- Contrastive Loss(コントラスト損失)の理解
- Triplet Loss(トリプレット損失)の特徴
- 正則化の目的に関する理解
- L1正則化(ラッソ回帰)の特徴
- L2正則化(リッジ回帰)の性質
- ドロップアウトの仕組みと目的
- L0・L1・L2正則化の違いに関する理解
- 誤差逆伝播法の基本原理に関する理解
- 連鎖律(チェーンルール)の役割
- 勾配爆発問題の原因に関する理解
- 勾配降下法の基本原理に関する理解
- 学習率(Learning Rate)の特徴
- 確率的勾配降下法(SGD)の性質
- バッチ学習・ミニバッチ学習・オンライン学習の違い
- 局所最適解と大域最適解の理解
- 早期終了(Early Stopping)の目的
- ハイパーパラメータの役割
- 最適化手法の課題と改善手法
- ミニバッチ学習の利点
- オンライン学習の特徴
- 学習率と収束の関係
- 二重降下現象の特徴
- モーメンタムの役割
- AdaGradの特徴
- RMSpropの改善点
- AdaDeltaの特徴
- Adamの理解
- AMSGradの特徴
- AdaBoundの理解
- AMSBoundの特徴
- グリッドサーチの特徴
- ランダムサーチの特徴


