ハイパーパラメータ
解説:AIへの「設定」と「学習」の違い
ハイパーパラメータとは、機械学習の学習を始める前に、人間が手動で決めなければならない設定値のことです。
AIモデルの中には、「パラメータ(重みやバイアス)」と呼ばれる数値が無数にありますが、これらはAIが学習データを見て勝手に調整(学習)するものです。一方、ハイパーパラメータは「どうやって学習するか」という方針を決めるもので、AI自身が決めることはできません。
代表的なハイパーパラメータと調整方法
以下のような数値はすべて人間が決める必要があります。最適な値はデータによって異なるため、何度も試行錯誤(チューニング)が必要です。
| 種類 | 具体例 |
|---|---|
| ネットワーク構造 | 中間層の数、各層のニューロン数、活性化関数の種類など。 |
| 学習の進め方 | 学習率(Step size)、バッチサイズ、エポック数、正則化パラメータなど。 |
これらの調整を行う際は、カンニングを防ぐためにテストデータは使わず、調整専用の「検証データ(バリデーションデータ)」を使って性能を確認します。
G検定対策
出題ポイント
- 定義の区別:「人間が決める=ハイパーパラメータ」「AIが学習する=パラメータ(重み・バイアス)」という違いが最重要です。
- データの使い分け:ハイパーパラメータの調整には「検証データ(Validation Data)」を使うこと。
- 探索手法:最適な値を探す手法として「グリッドサーチ(しらみつぶし)」や「ランダムサーチ」があること。
ひっかけ対策
- × 誤差逆伝播法で更新される
(解説)誤りです。更新されるのは通常のパラメータです。ハイパーパラメータは学習中は固定です(※学習率減衰などを除く)。 - × テストデータで調整する
(解説)誤りです。テストデータは最後の実力診断(本番)用です。調整(練習)に使ってしまうと、本番の答えを知った状態で練習することになり、正当な評価ができなくなります。
