マルコフ性の理解

問題

マルコフ性に関する記述のうち誤りを1つ選べ。

マルコフ性（Markov property）とは、「未来の状態は、現在の状態と次に取る行動だけで決まり、過去にどのような経路を辿ってきたかには影響されない」という性質のことです。

すごろくやサイコロのように「今どこにいるか」だけが重要で、「どうやってそこに来たか」は次の結果に関係ない、という考え方です。

強化学習（MDP）ではこの性質を前提とすることで、膨大な過去の履歴を記憶・計算することなく、現在の状況（状態）だけを見て最適な行動を決定できるようになります。

1. マルコフ性は未来が現在の状態だけで決まる性質

正しい：「未来は現在の状態だけで決まり、過去の履歴は影響しない」というのがマルコフ性の定義です。

2. マルコフ性は強化学習でよく仮定される

正しい：強化学習の基本的な枠組みであるマルコフ決定過程（MDP）は、環境がこの「マルコフ性」を満たしているという仮定（前提）で成り立っています。

3. マルコフ性は過去の全履歴を必要とする

誤り：マルコフ性の本質は「過去の全履歴を必要としない（現在の状態さえ分かればよい）」という点にあります。

4. マルコフ性はサイコロの例で説明される

正しい：サイコロの目は「過去に何が出たか」に影響されず「現在の試行」だけで決まるため、マルコフ性を説明する身近な例としてよく用いられます。

← 前の問題次の問題 →

📚 より詳細を学びたい方へ