行動価値関数Q(s,a)の理解

問題

Q関数に関する記述として正しいものを1つ選べ。

Q関数（行動価値関数）は、強化学習において「現在の状態において、特定の行動をとった場合、将来にわたってどれくらいの報酬が見込めるか」を評価する関数です。

V関数（状態価値関数）が「その状態にいること自体の良さ」を表すのに対し、Q関数は「その状態で“この行動”を選んだときの良さ」を直接比較できるため、Q学習（Q-learning）などのアルゴリズムで「次に取るべき最適な行動」を決定する要となります。

1. Q関数は、現在の状態だけを評価し、行動は考慮しない

誤り：「状態」だけでなく、「その状態でどの行動を選んだか」のペアに対する価値を評価するのがQ関数の特徴です。

2. Q関数は、ある状態から行動を選んだあとの将来の見通しを評価するために使われる

正しい：現在の状態から特定の行動を選んだ後に、将来得られるであろう報酬の合計（期待割引報酬）を見積もるために使われます。

3. Q関数は、将来の結果を考慮せず、その場で得られる利益だけを扱う

誤り：目先の利益だけでなく、その行動が将来にわたってどれほどの報酬をもたらすか（長期的な見通し）を含めて評価します。

4. Q関数は、どの行動を選ぶかに関係なく常に同じ値になる

誤り：選んだ「行動」によって将来得られる報酬は変わるため、Q関数の値も行動ごとに異なります。この値の差を利用して最適な行動を選択します。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ