TD誤差の理解

問題

TD誤差に関する記述として正しいものを1つ選べ。

TD誤差（Temporal Difference Error：時間的差分誤差）は、強化学習において「自分がいま予測した価値」と「1ステップ行動してみて実際に得られた報酬＋次の状態の予測価値」とのズレ（誤差）を表す指標です。

AIはこの「予想外のズレ」を小さくするように価値関数を更新していくことで、徐々に正確な予測ができるようになります。

人間が「思っていたより良かった・悪かった」という経験から学ぶプロセスを数式化したもので、強化学習アルゴリズムの学習効率を支える中核的な概念です。

1. TD誤差は予測と実際のズレを表す

正しい：行動前の「予測」と、1ステップ進んだ結果の「実績（＋次の予測）」との間にあるズレを表し、価値関数を更新する基準となります。

2. TD誤差は価値関数の更新に使われない

誤り：TD誤差は、価値関数をより正確なものへと更新・学習していくための中心的な役割（学習シグナル）を担っています。

3. TD誤差は常に0でなければならない

誤り：学習の初期段階など、予測が不正確なうちはTD誤差（ズレ）が発生し、その誤差をゼロに近づけるように学習が進んでいきます。

4. TD誤差は報酬を使わずに計算される

誤り：TD誤差を計算するためには、実際に1ステップ行動して環境から得られた「実際の報酬」が必要不可欠です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ