g-kentei-kei

マルコフ決定過程（MDP：Markov Decision Process） 解説 マルコフ決定過程（MDP）とは、強化学習の問題を数学的に表現するための「舞台設定」や「ルールブック」のようなものです。 「マルコフ性（未来は現在のみに依存する...

REINFORCE (Monte Carlo Policy Gradient) 解説 REINFORCEとは、方策勾配法の中でも最も基礎的なアルゴリズムで、「モンテカルロ法」ベースの学習手法です。 「テストが終わってから、まとめて見直す」 ...

方策勾配法 (Policy Gradient Method) 解説 方策勾配法とは、強化学習において、エージェントの行動指針である「方策（Policy：パイ π）」を、ニューラルネットワークなどのパラメータで直接表現し、報酬が増える方向にそ...

バンディットアルゴリズム（Bandit Algorithm） 解説 バンディットアルゴリズムは、「複数の選択肢の中から、どれを選べば最も報酬（利益）が得られるか」を、実際に試行しながら効率よく見つけ出すための手法です。 名前の由来はカジノの...

UCB方策 解説 UCB方策（Upper Confidence Bound）は、主にバンディット問題で用いられる行動選択ルールです。「これまでの平均報酬が高い行動」と「まだあまり試しておらず不確かさが大きい行動」をバランスよく選ぶことを目的...

ε-greedy方策 解説 ε-greedy方策（イプシロン・グリーディ方策）は、強化学習における代表的な行動選択ルールです。「既に分かっている最適行動を活用しつつ、一定の確率で新しい行動も試す」ことで、探索（Exploration）と活用...

Q学習 (Q-learning) 解説 Q学習（Q-learning）は、強化学習において最も代表的な手法の一つです。 「ある状態で、ある行動をとったときに、将来どれくらいの報酬が得られるか」を表す値、すなわち「行動価値関数 Q(s, a)...

TD誤差 (Temporal Difference Error) 解説 TD誤差（Temporal Difference Error）とは、強化学習において「AIの予測が、実際の結果とどれくらいズレていたか」を表す数値です。このズレを修正し...

Actor-Critic (アクター・クリティック) 解説 Actor-Criticとは、強化学習において「行動する人（Actor）」と「評価する人（Critic）」の2つの役割を分けて学習させる、ハイブリッドな手法です。 「選手」と「コー...

方策（Policy） 解説 方策（Policy）とは、強化学習のエージェントが「ある状態において、どのような行動をとるか」を決めるための「戦略」や「ルールブック」のことです。通常、ギリシャ文字のπ（パイ） で表されます。 エージェントは、こ...