期待割引報酬の理解

問題

期待割引報酬に関する記述として正しいものを1つ選べ。

期待割引報酬（または割引報酬和）は、強化学習のエージェントが「その行動をとることで、将来にわたって合計でどれくらいの報酬が得られるか」を見積もった値です。

「明日の1万円より、今日の1万円のほうが価値が高い」という人間の感覚と同じように、将来もらえる報酬には「割引率（γ）」を掛けて、遠い未来の報酬ほど現在時点での価値を低く見積もります。

これにより、AIが無限に続くタスクにおいて計算が発散するのを防ぎ、いつまでに目的を達成すべきかをコントロールします。

1. 期待割引報酬は将来の報酬に割引をかけて合計する

正しい：将来得られる各ステップの報酬に対して、時間経過に応じた割引率（γ）を掛け合わせた上で合計する（総和をとる）という計算を行います。

2. 期待割引報酬は将来の報酬を無視する

誤り：将来の報酬を無視するわけではなく、「割引して（価値を少し下げて）評価に含める」というアプローチです。

3. 期待割引報酬は現在の報酬を低く評価する

誤り：割引がかかるのは「未来」の報酬であり、現在の報酬は割引されず（そのままの価値で）最も高く評価されます。

4. 期待割引報酬は割引率を使わない

誤り：将来の報酬を適切に評価し、計算が無限大になるのを防ぐために「割引率（γ）」の使用が必須となります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ