割引率γの理解

問題

割引率γに関する記述のうち誤りを1つ選べ。

割引率（γ：ガンマ）は、強化学習において「将来の報酬をどれくらい重視するか」を決める0から1の間の重要なパラメータです。

γが「0」に近いと、AIは目先の報酬だけを追い求める「近視眼的」な行動をとり、γが「1」に近いと、遠い未来の大きな報酬を見据えた「長期的な計画」を立てるようになります。

迷路を早く抜け出すタスクなど、AIに「どのような時間軸で目的を達成してほしいか」を設計者がコントロールするための調整弁として機能します。

1. 割引率γは0〜1の値をとる

正しい：割引率γ（ガンマ）は、通常0以上1以下の範囲（0 ≤ γ ≤ 1）で設定されるパラメータです。

2. 割引率γが大きいほど将来報酬を重視する

正しい：γが1に近づく（大きい）ほど、遠い未来の報酬があまり目減りしなくなるため、AIは長期的な報酬を重視して行動するようになります。

3. 割引率γが0に近いほど現在の報酬を重視する

正しい：γが0に近づく（小さい）ほど、未来の報酬はすぐに0に割り引かれてしまうため、AIは「今すぐもらえる報酬（現在の報酬）」だけを重視します。

4. 割引率γは報酬の価値に影響しない

誤り：割引率γは、将来得られる報酬の「現在の価値」を直接的に増減・調整するためのパラメータであり、価値の計算結果に大きな影響を与えます。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ