報酬成形（Reward Shaping）の理解

問題

報酬成形について、誤っている記述を1つ選べ。

報酬成形（Reward Shaping）とは、強化学習においてエージェント（AI）が効率よく学習できるように、人間が「本来の最終目的（例：ゴールする＝+100）」だけでなく、「そこに至るまでの過程（例：一歩前に進む＝+1）」にも人工的な補助報酬（中間報酬）を設計して与える手法です。

報酬が得られる頻度（疎な報酬）の問題を解決し学習を加速させますが、設計を間違えると「ゴールせずにその場でぐるぐる回って中間報酬だけを稼ぎ続ける」といった意図しない不正な行動（報酬ハッキング）を引き起こすリスクがあります。

1. 報酬成形は学習を促進するため人工的な報酬を追加する。

正しい：最終目標だけでなく、望ましい行動の過程に対しても人間が人工的に報酬（ペナルティ含む）を設計して追加し、学習を導く手法です。

2. 報酬成形は中間目標に小報酬を与えるなどの設計が可能。

正しい：「迷路をクリアする（+100）」だけでなく、「ゴールに近づくたびに小さな報酬（+1）を与える」といった中間目標を設定することで、学習の迷いを減らします。

3. 報酬成形は設計次第で学習が安定したり不安定になったりする。

正しい：上手く設計すれば学習が劇的に速くなりますが、設計が不適切だと「本来の目的とは違うズルい方法で報酬を稼ぐ（報酬ハッキング）」ようになり、学習が失敗します。

4. 報酬成形は本来の報酬を完全に無視して学習する手法である。

誤り：本来の報酬（最終目標）を無視するわけではなく、本来の報酬に到達しやすくするために「補助的な報酬」を追加してガイドする手法です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ