Double DQNの理解

問題

Double DQNについて、誤っている記述を1つ選べ。

Double DQN（DDQN）は、元のDQNが抱えていた「行動の価値（Q値）を実際の価値よりも高く見積もりすぎてしまい、学習が不安定になる（過大評価問題）」という致命的な弱点を克服したアルゴリズムです。

Q値を更新する際、元のDQNは「価値を評価するネットワーク」と「行動を選択するネットワーク」が同じだったため過信が起きていました。

DDQNはこの2つの役割を別々のネットワークに「分離」することで、より正確で安定した学習を実現しました。

1. Double DQNは行動選択と価値評価を分離する。

正しい：DDQNの最大の特徴は、価値の最大化において「行動の選択」と「その行動の価値の評価」を別々のネットワークで行うように分離した点です。

2. Double DQNはDQNの過大評価問題を緩和する。

正しい：ネットワークの役割を分離することで、学習初期のノイズによるQ値の「過大評価（Overestimation）」を防ぐことがDDQNの主目的です。

3. Double DQNはDQNよりも安定した学習が可能。

正しい：過大評価が抑えられることで、元のDQNと比較して学習が発散しにくくなり、安定して高い性能を発揮できるようになりました。

4. Double DQNはQ値の過小評価を意図的に増やす手法である。

誤り：DDQNは過大評価を防ぐ（正しい価値に近づける）ための手法であり、意図的に過小評価を増やすものではありません。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ