ホールドアウト検証(ホールドアウト法)
解説:一発勝負のテスト
ホールドアウト検証は、手持ちのデータを1回だけ「学習用(訓練データ)」と「テスト用(検証データ)」に切り分けて検証する手法です。通常は「7:3」や「8:2」くらいの割合で分割します。
非常にシンプルで計算も速いのがメリットですが、「データの切り分け方(運)」によって結果が大きく変わってしまうという弱点があります。
| 項目 | 特徴 |
|---|---|
| 手順 | データをランダムに2つ(または3つ)に分割し、一方で学習、もう一方で評価を行う。(試行回数は1回のみ) |
| メリット | 計算が1回で済むため、処理が高速。 データ量が十分に多い場合は、この方法で十分なことが多い。 |
| デメリット | データの分け方によって、たまたま良い結果(または悪い結果)が出ることがある。評価の信頼性が低い。 |
G検定対策
出題ポイント
- 定義:データを「学習データ」と「テストデータ」に分割する最も基本的な手法。
- 比較対象:データが少ない場合は、より信頼性の高い「交差検証(クロスバリデーション)」を使うべきである。
よくあるひっかけ問題
- × ディープラーニングでは、ホールドアウト検証は使われない
(解説)使われます。ディープラーニングは計算時間が非常に長いため、何度も学習する交差検証は現実的ではない(時間がかかりすぎる)場合が多く、ホールドアウト検証が採用されることがよくあります。
