REINFORCEの特徴

問題

REINFORCEに関する記述のうち誤りを1つ選べ。

REINFORCEは、強化学習における基本的な「方策勾配法」のアルゴリズムです。

「モンテカルロ法」と呼ばれるアプローチをとっており、行動を1ステップ行うごとに学習するのではなく、ゲームの開始から終了（エピソードの終了）までの一連の行動とその結果（得られた総報酬）をすべて記録し、その結果をもとに「良かった行動の確率を上げ、悪かった行動の確率を下げる」ように方策を更新します。

1. REINFORCEはモンテカルロ法に基づく

正しい：REINFORCEアルゴリズムは、エピソードが最後まで終了した後に得られる実際の累積報酬を用いて学習する「モンテカルロ法」に基づいています。

2. REINFORCEは価値関数を使わない

正しい：一般的なREINFORCEは「価値関数」を学習・使用せず、得られた報酬を用いて方策（行動確率）を直接更新する純粋な方策勾配法です。

3. REINFORCEはエピソード全体を使って更新する

正しい：1ステップごとの途中結果ではなく、エピソード全体（開始から終了まで）を通じて得られた結果を用いて一括で更新を行います。

4. REINFORCEはTD誤差を使って更新する

誤り：1ステップごとの予測のズレ（TD誤差）を使って逐次更新するのは「TD学習（Actor-Criticなど）」の特徴です。REINFORCEはTD誤差を使いません。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ