A3C（Asynchronous Advantage Actor-Critic）の特徴

問題

A3Cについて、誤っている記述を1つ選べ。

A3C（Asynchronous Advantage Actor-Critic）は、強化学習において学習を安定させ、かつ劇的に高速化させた画期的なアルゴリズムです。特徴は「非同期（Asynchronous）」にあります。

複数のエージェント（ワーカー）を異なる環境（ゲームの別々のインスタンスなど）で同時に並列実行させ、それぞれが個別に経験を積みます。

そして、各自が得た勾配（学習結果）を「グローバルネットワーク（共有ネットワーク）」に非同期で反映させます。これにより、メモリの消費を抑えつつ、多様な経験を素早く効率的に学習できます。

1. A3Cは複数エージェントを並列に動かして学習を高速化する。

正しい：複数のエージェント（ワーカー）を並列で実行し、それぞれの環境で経験を積ませることで、学習時間を大幅に短縮します。

2. A3Cは、行動を決定するネットワーク（Actor）と、状態の価値を評価するネットワーク（Critic）を持つ。

正しい：行動を決定するネットワーク（Actor）と、状態の価値を評価するネットワーク（Critic）を持ち、ベースラインからの差分であるアドバンテージ関数を用いて学習のバリアンス（分散）を抑える特徴があります。

3. A3Cは探索の多様性を高める効果がある。

正しい：複数のエージェントがそれぞれ異なる状態で探索を進めるため、データ（経験）の相関が切れ、学習が安定するとともに多様な探索が可能になります。

4. A3Cは1つのエージェントのみで学習を行う。

誤り：A3Cの最大の特徴は、単一ではなく「複数」のエージェントを同時に並列で動かす分散学習の仕組みにあります。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ