状態価値関数V(s)の理解

問題

V関数に関する記述のうち誤りを1つ選べ。

V関数（状態価値関数）は、強化学習において「ある状態（シチュエーション）にいること自体が、将来的にどれくらい有利か（価値があるか）」を表す関数です。

たとえばチェスや将棋で「現在の盤面が自分にとってどれくらい勝ちやすいか」を評価する指標にあたります。

現在の方策（行動ルール）に従った場合に得られる将来の報酬の期待値を表しており、AlphaGoなどの高度なAIでも、盤面評価（価値ネットワーク）として極めて重要な役割を果たしています。

1. V関数は状態の価値を表す

正しい：特定の状態（s）にいることで、将来どれだけの報酬が得られるかという「状態の価値」を表します。

2. V関数は現在の方策に依存する

正しい：同じ状態にいても、その後どのような行動ルール（方策）をとるかによって将来の報酬は変わるため、V関数は現在の方策に依存します。

3. V関数は行動価値を直接表す

誤り：「状態」だけでなく「行動」の良さも直接評価するものは「Q関数（行動価値関数）」です。V関数は「状態」のみを評価します。

4. V関数は期待割引報酬を使う

正しい：将来もらえる報酬を、時間が経つにつれて目減りするように計算した「期待割引報酬の合計」を用いて価値を算出します。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ