バンディット問題の理解

問題

以下の文章を読み、空欄 ( あ ) ～ ( う ) に最もよく当てはまる語句の組み合わせとして適切なものを1つ選べ。

バンディットアルゴリズムは強化学習の特殊なケースであり、通常の強化学習と異なり ( あ ) を考慮しないという特徴がある。

実務において、従来のA/Bテストと比較して探索中の ( い ) を最小限に抑えつつ、動的に ( う ) と探索のバランスを取りながら最適な選択肢を絞り込む手法として用いられる。

バンディットアルゴリズム（多腕バンディット問題）は、強化学習の特殊なケースであり、環境からの「状態の遷移（変化）」を考慮せずに、複数の選択肢（腕）から最も報酬が得られるものを探索するアルゴリズムです。

通常のA/Bテストでは探索期間中に劣る選択肢も均等に試すため「機会損失」が生じますが、バンディットアルゴリズムは探索と「活用（これまでで最も良かった選択肢を選ぶこと）」のバランスを取り、機会損失（後悔）を最小限に抑えながら最適な選択肢を動的に絞り込みます。

1. (あ) 状態の遷移　(い) 機会損失　(う) 活用

正しい。「状態の遷移」がないのがバンディットアルゴリズムの特徴であり、探索と「活用」のトレードオフを最適化し、「機会損失」を最小化します。

2. (あ) 状態の遷移　(い) 計算コスト　(う) 割引報酬

誤り。(い)は機会損失、(う)は活用が適切です。

3. (あ) 報酬の遅延　(い) 機会損失　(う) 割引報酬

誤り。(あ)は状態の遷移、(う)は活用が適切です。

4. (あ) 報酬の遅延　(い) 計算コスト　(う) 活用

誤り。(あ)は状態の遷移、(い)は機会損失が適切です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ