Agent57の特徴

問題

Agent57について、正しい記述を1つ選べ。

解説

Agent57は、DeepMind社が開発した強化学習エージェントです。Atari 2600の提供する57種類すべてのゲームにおいて、歴史上初めて「人間の平均スコアを超える」という偉業を達成しました。

ゲームによって「短期間で報酬が得られるもの」や「長期間探索しないと報酬が得られない（探索が難しい）もの」など性質が異なりますが、Agent57は「エピソード記憶」や「内在的報酬（好奇心）」、および「長期・短期の報酬を動的に切り替える仕組み」を組み合わせることで、あらゆるタイプのゲームを単一のアルゴリズムで攻略できるように設計されています。

1. Agent57はAtari57全ゲームで人間平均を超えた初のエージェントである。

正しい：Atari 2600の57個のゲームすべてにおいて、人間の平均的なパフォーマンスを上回った初めてのAIモデルです。

2. Agent57は単一の探索戦略のみを使用する。

誤り：すべてのゲームを攻略するため、短いスパンでの報酬を狙う戦略から、長期的な視点で探索を行う戦略まで、複数の異なる方針を動的に切り替え・組み合わせています。

3. Agent57はDQNを使わずRNNのみで構成される。

誤り：Agent57は、過去の経験を学習に活かす「DQN（Deep Q-Network）」を大きく発展させたアルゴリズム群（NGUなど）をベースに構築されています。

4. Agent57は短期的報酬のみを重視する設計である。

誤り：「Montezuma's Revenge（モンテズマの復讐）」のような、報酬が非常に得にくい（長期的な探索が必要な）ゲームをクリアするため、長期的報酬も重視する設計が組み込まれています。

← 前の問題次の問題 →