APE-Xの理解

問題

APE-Xについて、誤っている記述を1つ選べ。

APE-X（Distributed Prioritized Experience Replay）は、DQN（Deep Q-Network）の学習を並列化・分散化して高速化するアーキテクチャです。

A3Cが「勾配（学習の計算結果）」を共有するのに対し、APE-Xは「経験（ゲームのプレイ記録など）」を共有します。

数百台のコンピュータ（アクター）がひたすら経験を収集して巨大な「経験再生バッファ」に放り込み、中央の学習機（ラーナー）がその中から「学習効果の高い（TD誤差の大きい）経験」を優先的に取り出してネットワークを更新します。

圧倒的な計算資源の力で強化学習を高速化する実務的な手法です。

1. APE-Xは分散環境で複数エージェントが経験を蓄積する。

正しい：多数の環境（アクター）を並列で動かし、それぞれが収集した経験（状態、行動、報酬など）を共有のデータベースに蓄積します。

2. APE-XはDQNを拡張した手法である。

正しい：APE-Xは、DQNなどで用いられる「経験再生（Experience Replay）」の仕組みを分散環境に拡張したアーキテクチャです。

3. APE-Xは経験再生バッファを効率的に活用する。

正しい：収集した経験の中から、学習にとってより重要（TD誤差が大きいなど）な経験を優先的にサンプリングして学習する「優先順位付き経験再生（PER）」を効率的に活用しています。

4. APE-Xは単一エージェントのみで学習する。

誤り：APE-Xは、経験を収集する多数の「アクター」と、経験から学習する「ラーナー」を分離した、大規模な「複数（分散）」エージェント学習手法です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ