方策（Policy）の理解

問題

方策に関する記述として正しいものを1つ選べ。

強化学習において「方策（Policy：ポリシー）」とは、AI（エージェント）が「ある特定の状態（シチュエーション）に置かれたときに、どの行動を選ぶべきか」を定めた戦略やルールのことです。

数式では $\pi(a|s)$ のように、状態 $s$ において行動 $a$ をとる確率として表されます。

強化学習の目的は、試行錯誤を通じて得られる報酬の合計が最大になるような「最適方策」を見つけ出すことであり、ゲーム攻略やロボット制御における「AIの思考パターンそのもの」と言えます。

1. 方策は報酬の計算式そのものである

誤り：報酬（Reward）は、エージェントの行動に対して環境から与えられる「評価（スコア）」のことです。方策とは異なります。

2. 方策は「どの状態でどの行動を選ぶか」を決めるルールである

正しい：現在の環境の「状態」を入力として受け取り、次に取るべき「行動」を出力する決定ルール（または確率分布）が「方策」です。

3. 方策は価値関数と同じ意味である

誤り：「価値関数」は、ある状態や行動が将来にわたってどれくらいの報酬をもたらすか（期待値）を見積もるものです。「方策」はその価値関数の評価をもとに具体的な行動を決定するルールであり、両者は明確に異なります。

4. 方策は学習中に変化しない

誤り：強化学習では、エージェントが経験を積んで報酬を得るたびに、より多くの報酬を得られるように「方策」を更新・改善し続けます。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ