UCB方策の理解

問題

UCB方策に関する記述として正しいものを1つ選べ。

UCB（Upper Confidence Bound：上限信頼区間）方策は、探索と活用のバランスを取るためのアルゴリズムです。

単純なランダム探索（ε-greedyなど）とは異なり、「これまでに得られた報酬の平均値（期待値）」だけでなく、「その行動を試した回数が少ないことによる不確実性」も計算に加味して行動を選びます。

つまり「まだよく分かっていない（不確実性が高い）行動」を優先的に試す仕組みであり、Web広告の最適化やレコメンドエンジンで「効率よく当たりを見つける技術」として実務で多用されます。

1. UCBは不確かさを考慮して行動を選ぶ

正しい：各行動の期待値に加えて、試行回数が少ない行動ほど大きくなる「不確かさ（信頼区間の上限）」をボーナスとして加算し、その合計値が最大の行動を選びます。

2. UCBは大多数の行動をランダムで選ぶ

誤り：ランダムに選ぶのではなく、数学的に計算された「期待値＋不確かさ」のスコアに基づいて論理的に次の行動を決定します。

3. UCBは探索を行わない

誤り：不確かさが大きい（あまり試していない）行動のスコアを高く評価することで、効率的に「探索」を行うための手法です。

4. UCBは報酬を使わずに計算される

誤り：各行動のスコアを計算するためには、過去の試行で得られた「報酬の平均値」を利用するため、報酬データは必須です。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ