ハイパーパラメータの役割
問題
ハイパーパラメータに関する記述のうち、正しいものを1つ選べ。
解説
機械学習におけるパラメータには、モデルがデータから自動的に学習・更新していく「重み(Weight)」や「バイアス」と、人間(AI開発者)が学習を始める前にあらかじめ手動で設定しておかなければならない「ハイパーパラメータ」の2種類があります。
学習率(Learning Rate)、バッチサイズ、エポック数、隠れ層の数、ドロップアウトの確率などがハイパーパラメータに該当し、これらの設定値によってAIの学習の成否や最終的な精度が劇的に変わります。
1. ハイパーパラメータは訓練中に自動的に最適化される。
誤り:訓練中にデータから自動的に最適化されるのは「重み」や「バイアス」です。ハイパーパラメータは学習の「外側」にある設定値です。
2. ハイパーパラメータはモデルの性能に影響しない。
誤り:学習率一つとっても、大きすぎれば発散し、小さすぎれば学習が終わらないなど、モデルの性能や学習の安定性に極めて大きな影響を与えます。
3. ハイパーパラメータは訓練前に設定する必要がある。
正しい:ハイパーパラメータは、ネットワークの構造や学習のルールを定義するものであり、学習(訓練)をスタートする前に設計者が明示的に設定する必要があります。
4. ハイパーパラメータは訓練データのみを使って調整する。
誤り:ハイパーパラメータが適切かどうかは、「検証データ(Validation data)」に対する精度(汎化性能)を評価しながら、グリッドサーチやベイズ最適化などの手法で調整します。
📚 より詳細を学びたい方へ
同じカテゴリの問題
- 過学習(Overfitting)の理解
- AUCの理解
- 単純パーセプトロンの限界に関する問題
- 多層パーセプトロン(MLP)の特徴
- GPUとCPUの違いに関する理解
- ディープラーニングの学習データ量に関する理解
- ニューラルネットワークの層構造に関する問題
- 活性化関数の役割に関する理解
- シグモイド関数の特徴に関する問題
- ReLU関数の利点と注意点
- Leaky ReLUの特徴に関する問題
- ソフトマックス関数の理解
- 誤差関数の基本的な役割に関する理解
- 平均二乗誤差(MSE)の特徴
- 交差エントロピーの性質に関する理解
- KLダイバージェンス(カルバック・ライブラー情報量)の理解
- Contrastive Loss(コントラスト損失)の理解
- Triplet Loss(トリプレット損失)の特徴
- 正則化の目的に関する理解
- L1正則化(ラッソ回帰)の特徴
- L2正則化(リッジ回帰)の性質
- ドロップアウトの仕組みと目的
- L0・L1・L2正則化の違いに関する理解
- 誤差逆伝播法の基本原理に関する理解
- 連鎖律(チェーンルール)の役割
- 勾配爆発問題の原因に関する理解
- 勾配降下法の基本原理に関する理解
- 学習率(Learning Rate)の特徴
- 確率的勾配降下法(SGD)の性質
- バッチ学習・ミニバッチ学習・オンライン学習の違い
- 局所最適解と大域最適解の理解
- 早期終了(Early Stopping)の目的
- ハイパーパラメータの役割
- 最適化手法の課題と改善手法
- ミニバッチ学習の利点
- オンライン学習の特徴
- 学習率と収束の関係
- 二重降下現象の特徴
- モーメンタムの役割
- AdaGradの特徴
- RMSpropの改善点
- AdaDeltaの特徴
- Adamの理解
- AMSGradの特徴
- AdaBoundの理解
- AMSBoundの特徴
- グリッドサーチの特徴
- ランダムサーチの特徴


