Web教科書

マルコフ性

マルコフ性(Markov Property)

解説

マルコフ性とは、「未来の状態は、『現在の状態』のみによって決まり、過去の履歴(どうやってそこに来たか)には一切影響されない」という性質のことです。

サイコロに「記憶」はない

最も分かりやすい例が「サイコロ」です。
例えば、あなたがサイコロを振って、5回連続で「6」が出たとします。

  • 人間の直感(誤り):
    「さすがに次は6以外が出るだろう(確率の収束)」や「今は6が出やすい流れだ(ツキ)」と考えがちです。
  • マルコフ性(事実):
    「次は1/6の確率で6が出る」。これだけです。
    サイコロには記憶がないため、「さっきまで5回連続で6だった」という過去の事実は、次の1投に1ミリも影響を与えません。

このように、「過去の履歴(連続記録など)を完全に無視して、現在の状況(ただサイコロを持っている状態)だけで確率が決まる」性質がマルコフ性です。

もし「トランプ」だったら?(非マルコフ)

逆に、マルコフ性がない(非マルコフ)例は「トランプの山札」です。
「ハートのエースが5回連続で出た」場合、山札の中のエースは減っているため、次にエースが出る確率は下がります。
これは「過去に何が出たか」が未来に影響を与えているため、マルコフ性はありません。


G検定対策

出題ポイント

  • 定義:「未来の状態確率は、現在の状態のみに依存する(過去の履歴は無関係)」という性質。
  • マルコフ決定過程(MDP)強化学習の環境は、基本的にこの「マルコフ性を満たしている」と仮定してモデル化される。

よくあるひっかけ問題

  • × マルコフ性を持つ環境では、過去のデータが多いほど未来予測の精度が上がる
    (解説)上がりません。マルコフ性がある以上、「直前のデータ(現在)」さえあれば未来予測には十分であり、それ以上過去のデータを集めても確率は変わりません(サイコロの記録表を集めても無意味なのと同じです)。
タイトルとURLをコピーしました