ハイパーパラメータ探索（グリッドサーチ / ランダムサーチ）
解説：最強の設定を見つけるための「宝探し」
ハイパーパラメータ（学習率や層の数など）の最適な組み合わせを見つける作業は、広大な地図の中から宝箱を探すようなものです。手作業で一つずつ試すのは大変なため、自動化する手法が開発されています。
G検定では、代表的な2つのアプローチの違いが問われます。
| 手法名 | 特徴とイメージ |
|---|---|
| グリッドサーチ (Grid Search) |
「しらみつぶしの総当たり」 あらかじめ候補の値（例：学習率は0.1と0.01、層は3と5…）を決めておき、そのすべての組み合わせを順番に試す方法。
|
| ランダムサーチ (Random Search) |
「確率的なランダム探索」 範囲を指定し、その中からランダムに値をピックアップして試す方法。
|
💡 なぜ「ランダム」の方が効率的なの？
AIの性能に影響を与えるパラメータは、実はごく一部であることが多いです。
グリッドサーチだと「重要でないパラメータ」の変化も含めて無駄に細かく調べてしまいますが、ランダムサーチなら重要なパラメータの多様な値を効率よく試せるため、結果的に早く良い設定が見つかりやすいのです。
AIの性能に影響を与えるパラメータは、実はごく一部であることが多いです。
グリッドサーチだと「重要でないパラメータ」の変化も含めて無駄に細かく調べてしまいますが、ランダムサーチなら重要なパラメータの多様な値を効率よく試せるため、結果的に早く良い設定が見つかりやすいのです。
G検定対策
出題ポイント
- コストの違い：「グリッドサーチは計算コストが高い（時間がかかる）」、「ランダムサーチは比較的低コストで効率的」という比較が出ます。
- 次元の呪い：パラメータの種類（次元）が増えたとき、グリッドサーチは計算量が指数関数的に増えて破綻しますが、ランダムサーチはその影響を受けにくいです。
- 評価用データ：探索の際にモデルの良し悪しを判断するために使うのは、テストデータではなく「検証データ（Validation Data）」です。
ひっかけ対策
- × グリッドサーチの方が常に性能が良い
（解説）試行回数が無限にあれば最強ですが、限られた時間内ではランダムサーチの方が良い結果を出しやすいことが研究で示されています。 - ベイズ最適化（Bayesian Optimization）との区別：
これらとは別に、「過去の試行結果から、次に試すべき有望な値を予測する」という賢い手法（ベイズ最適化）もあります。
