ReLU関数の利点と注意点
問題
ReLU（Rectified Linear Unit）関数に関する記述のうち、正しいものを1つ選べ。
同じカテゴリの問題
- 過学習（Overfitting）の理解
- AUCの理解
- 単純パーセプトロンの限界に関する問題
- 多層パーセプトロン（MLP）の特徴
- GPUとCPUの違いに関する理解
- ディープラーニングの学習データ量に関する理解
- ニューラルネットワークの層構造に関する問題
- 活性化関数の役割に関する理解
- シグモイド関数の特徴に関する問題
- ReLU関数の利点と注意点
- Leaky ReLUの特徴に関する問題
- ソフトマックス関数の理解
- 誤差関数の基本的な役割に関する理解
- 平均二乗誤差（MSE）の特徴
- 交差エントロピーの性質に関する理解
- KLダイバージェンス（カルバック・ライブラー情報量）の理解
- Contrastive Loss（コントラスト損失）の理解
- Triplet Loss（トリプレット損失）の特徴
- 正則化の目的に関する理解
- L1正則化（ラッソ回帰）の特徴
- L2正則化（リッジ回帰）の性質
- ドロップアウトの仕組みと目的
- L0・L1・L2正則化の違いに関する理解
- 誤差逆伝播法の基本原理に関する理解
- 連鎖律（チェーンルール）の役割
- 勾配爆発問題の原因に関する理解
- 勾配降下法の基本原理に関する理解
- 学習率（Learning Rate）の特徴
- 確率的勾配降下法（SGD）の性質
- バッチ学習・ミニバッチ学習・オンライン学習の違い
- 局所最適解と大域最適解の理解
- 早期終了（Early Stopping）の目的
- ハイパーパラメータの役割
- 最適化手法の課題と改善手法
- ミニバッチ学習の利点
- オンライン学習の特徴
- 学習率と収束の関係
- 二重降下現象の特徴
- モーメンタムの役割
- AdaGradの特徴
- RMSpropの改善点
- AdaDeltaの特徴
- Adamの理解
- AMSGradの特徴
- AdaBoundの理解
- AMSBoundの特徴
- グリッドサーチの特徴
- ランダムサーチの特徴