Dueling Networkの特徴

問題

Dueling Networkについて、正しい記述を1つ選べ。

Dueling Network（デュエリング・ネットワーク）は、DQNのネットワーク構造（アーキテクチャ）を改良したアルゴリズムです。

ゲームにおいて「どのアクションをとっても結果が変わらない（単に待っているだけでよい）状態」と「アクションによって生死が分かれる状態」があります。

Dueling Networkは、ニューラルネットワークの出力を「その状態自体の良さ（状態価値）」と「各行動をとった時の相対的な良さ（アドバンテージ/行動優位性）」の2つのストリームに分離して計算し、最後に足し合わせてQ値を出すことで、無駄な行動の学習を省き効率を劇的に向上させました。

1. Dueling Networkは状態価値と行動優位性を分離して学習する。

正しい：ネットワークの終盤で全結合層を2つに分岐（Dueling）させ、「状態価値（V）」と「行動のアドバンテージ（A）」を個別に推定して足し合わせる構造が特徴です。

2. Dueling NetworkはQ値を直接計算しない。

誤り：ネットワーク内部で状態価値とアドバンテージに分けて計算しますが、最終的にはそれらを結合（合成）して、DQNと同じ「Q値」を出力します。

3. Dueling Networkは探索戦略を改善する手法である。

誤り：Dueling Networkは「Q値の推定精度（ニューラルネットワークの構造）」を改善する手法であり、ランダムに動くような「探索戦略」そのものを変更する手法ではありません。

4. Dueling Networkは行動空間を連続化する手法である。

誤り：DQN系のアルゴリズムであるため、扱うのは離散的な行動空間（ボタンを押す・押さない等）であり、連続的な行動空間には対応していません。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ