マルコフ決定過程（MDP）の理解

問題

マルコフ決定過程に関する記述として正しいものを1つ選べ。

マルコフ決定過程（MDP：Markov Decision Process）は、強化学習が解くべき問題を数学的に定式化した「基本枠組み」です。

エージェントが置かれている「状態（S）」、取ることができる「行動（A）」、行動の結果として得られる「報酬（R）」、そして次の状態へどのように変化するかを表す「遷移確率（P）」という要素で構成されます。

自動運転やゲームAIなど、連続的な意思決定が求められるタスクはすべてこのMDPのモデルに落とし込んで計算されます。

1. マルコフ決定過程は状態・行動・報酬・遷移確率で構成される

正しい：MDPは「状態(State)」「行動(Action)」「報酬(Reward)」「遷移確率(Transition Probability)」の4要素（＋割引率）で構成される数学的モデルです。

2. マルコフ決定過程は報酬を含まない

誤り：エージェントの目的を定義する「報酬（Reward）」は、MDPを構成する必須要素です。

3. マルコフ決定過程は方策を含まない

誤り：方策（Policy）はMDPの枠組みの中で「どの状態のときにどの行動を選ぶか」を決定するルールであり、MDPの一部として定義・学習されます。

4. マルコフ決定過程は教師あり学習の枠組みである

誤り：正解データを与えて学習させる「教師あり学習」の枠組みではなく、行動と報酬を通じて自律的に学習する「強化学習」の枠組みです。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ