方策勾配法の理解

問題

方策勾配法に関する記述として正しいものを1つ選べ。

方策勾配法（Policy Gradient Method）は、強化学習において「価値関数」を計算して間接的に行動を決めるのではなく、「どの状態でどの行動を取る確率を上げるべきか（方策）」の数式モデルそのものを直接最適化（微分・勾配を使って更新）していく手法です。

ロボットの関節の角度など、行動の選択肢が連続的な数値になる場合や非常に多い場合に強みを発揮し、現代の高度なAI制御（自動運転やロボット制御など）における主流のアプローチの一つとなっています。

1. 方策勾配法は価値関数を必ず使う

誤り：方策勾配法自体は「価値関数を使わずに方策を直接学習する手法」を含みます。（※価値関数と組み合わせたActor-Criticなどの手法もありますが、必須ではありません）

2. 方策勾配法は方策そのものを改善する

正しい：行動の確率分布を表すパラメータ（方策π）を、より高い報酬が得られる方向へ直接勾配法を用いて更新・改善します。

3. 方策勾配法は行動価値関数のみを学習する

誤り：行動価値関数（Q関数）などを学習して行動を決めるのは「価値ベース」の手法（Q学習など）です。方策勾配法は「方策（確率）」を直接学習します。

4. 方策勾配法は報酬を使わない

誤り：方策をどちらの方向へ更新する（どの行動の確率を上げる）かの評価基準として、実際に行動して得られた「報酬」を利用します。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ