価値関数の理解

問題

価値関数に関する記述のうち誤りを1つ選べ。

価値関数は、強化学習においてエージェントが「ある状態（または行動）が、将来にわたってどれくらい良い結果をもたらすか」を数値化したものです。

目先の報酬だけでなく、将来得られる報酬の合計（期待割引報酬）を評価するため、長期的な視点での最適な行動選択（方策の改善）が可能になります。

ゲームAIからロボット制御まで、AIが「目先の利益にとらわれず、最終的な勝利（目的達成）を目指す」ための極めて重要な概念です。

1. 価値関数は期待割引報酬の合計を表す

正しい：価値関数は、将来得られるであろう報酬を、時間経過に応じた割引率（割引率γ）を掛けて合計した「期待割引報酬和」として定義されます。

2. 価値関数は状態や行動の良さを表す

正しい：特定の「状態」の良さを表す状態価値関数（V関数）や、「状態と行動のペア」の良さを表す行動価値関数（Q関数）が存在します。

3. 価値関数は報酬を使わずに計算される

誤り：価値関数は「将来どれだけの報酬が得られるか」を予測するものであるため、その計算には環境から得られる「報酬」が必須となります。

4. 価値関数は方策の改善に利用される

正しい：現在の価値関数をもとに「より価値の高い行動を選ぶ」ようにルールを更新することで、方策の改善（方策反復）が行われます。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ