オッカムの剃刀 (Occam’s Razor)
解説
オッカムの剃刀とは、「ある事柄を説明する際、必要以上に多くの仮定を立ててはならない」という指針で、14世紀の哲学者ウィリアム・オブ・オッカムに由来する言葉です。
簡単に言えば、「同じ説明力（予測性能）があるなら、よりシンプルな方を選べ」という原則です。余分な仮定や複雑さは、剃刀で切り落としてしまえ、という比喩です。
機械学習における意味
この原則は、機械学習における「過学習の回避」や「モデル選択」の哲学的な基盤となっています。
- 複雑なモデル：訓練データには完璧に当てはまるが、未知のデータには弱いかもしれない（過学習）。
- シンプルなモデル：訓練データへの当てはまりはそこそこでも、本質的な法則を捉えており、未知のデータにも強いかもしれない（高い汎化性能）。
この考え方を数式として具体化したものが、AICやBICといった情報量規準や、正則化（L1/L2）という手法です。
G検定対策
出題ポイント
- 定義：「必要の無い仮定を増やしてはならない（単純な方が良い）」という思考節約の原則。
- 関連用語：AIC、BIC、正則化、モデル選択。これらはすべて「オッカムの剃刀」の精神を体現した技術である。
よくあるひっかけ問題
- × オッカムの剃刀は、複雑なモデルを完全に禁止する規則である
（解説）禁止しているわけではなく、「不必要な複雑さは避けるべき」という指針です。ディープラーニングのように、高い精度を出すためにどうしても複雑さが必要な場合は、複雑なモデルが採用されます。
