実践的な学習テクニック・環境設定
解説：実験室から「現実世界」へ
強化学習は、ゲームの中（シミュレーション）では強くても、現実世界のロボット制御や複雑な対話タスクに適用しようとすると、とたんに難易度が跳ね上がります。
「報酬をどう設定すればいいかわからない」「現実で失敗させて学習させるとロボットが壊れる」「そもそもデータが集まらない」……。
こうした現実的な壁を乗り越えるために開発された、現場レベルでの実践的な工夫やフレームワークをまとめました。
1. 人と報酬の設計 (Human & Reward)
RLHF (Reinforcement Learning from Human Feedback)
「人間からのフィードバック」を用いた強化学習。
ChatGPTなどのLLM（大規模言語モデル）を、人間に都合の良いように調整（アライメント）するために使われる極めて重要な技術です。
- 課題：「面白い文章を書け」という指示に対し、何が正解か（報酬）を数式で定義するのは不可能です。
- 解決策：
- AIが出した複数の回答に対し、人間が「こっちの方が良い」とランク付けを行います。
- その人間の好みを模倣する「報酬モデル」を作ります。
- AIは、その報酬モデルから褒められるように（高得点を目指して）強化学習（PPOなど）を行います。
報酬成形 (Reward Shaping)
ゴールまでの「道しるべ」を置く技術。
最終的なゴール（例：将棋で勝つ）だけでなく、途中経過（例：駒を得する、王を囲う）にも細かい部分報酬を与えることです。
- メリット：ゴールが遠くても、迷子にならずに学習が進みます。
- リスク：「報酬ハッキング（Reward Hacking）」。AIが隙をついて、ゴールせずに途中報酬だけを稼ぎ続ける「ズル」を見つけ出してしまうことがあります（例：掃除ロボットがゴミを吸っては吐き出してまた吸う、を繰り返してスコアを稼ぐなど）。
2. シミュレーションと現実の橋渡し (Sim2Real)
Sim2Real (Simulation to Reality)
シミュレーター（仮想空間）で学習したAIを、現実世界のロボットなどに移植する技術の総称です。
ドメインランダマイゼーション (Domain Randomization)
「過酷な環境」で訓練して適応力をつける。
Sim2Realを実現するための代表的な手法です。
シミュレーター内の「摩擦係数」「重力」「照明の明るさ」「床の色」「物体のテクスチャ」などを、物理法則を無視するレベルでランダムに変化させて学習させます。
こうすることで、AIは「環境の見た目や多少のズレ（ノイズ）は気にしなくていいんだ。本質的な動きだけ覚えよう」と学習します。
結果として、現実世界特有のズレにも動じない頑健なモデルができあがります。
残差強化学習 (Residual RL)
「伝統的な制御」＋「AI」のハイブリッド。
ロボット制御において、すべてをAI（ニューラルネットワーク）に任せるのではなく、基本的な動きは従来の制御（PID制御など）に任せ、AIは「そこから生じる誤差（残差）」の修正だけを担当させる手法です。
最初からある程度まともに動けるため、学習が安全かつ高速に進みます。
3. データと状態の扱い
オフライン強化学習 (Offline RL)
「過去のログ」だけで賢くなる。
現在進行形で試行錯誤（探索）をするのではなく、過去に集められた大量のデータセット（操作ログなど）だけを使って学習する手法です。
- 「失敗が許されないプラント制御」
- 「倫理的に何度も実験できない医療分野」
などで特に注目されています。
状態表現学習 (State Representation Learning)
AIに見やすい「要約」を渡す。
カメラ画像などの高次元データを、そのまま強化学習モデルに入れると計算が大変です。
そこで、オートエンコーダなどを使って、事前にデータを扱いやすいサイズ（低次元ベクトル）に圧縮・変換してから強化学習を行うアプローチです。
G検定対策
出題ポイント
- RLHF：「人間のフィードバック」→「報酬モデルの作成」→「PPOなどで強化学習」という流れが頻出。ChatGPT等の基盤技術として重要です。
- Sim2Real：「ドメインランダマイゼーション」がその具体的手段であることをセットで覚える。
- オフライン強化学習：「探索を行わない（環境と相互作用しない）」点が最大の特徴です。
ひっかけ対策
- × ドメインランダマイゼーションは、現実世界の環境をシミュレーターに完全にコピーすることである
（解説）逆です。シミュレーター側のパラメータをめちゃくちゃに（ランダムに）変えることで、汎化性能を高める手法です。現実を精密コピーするのは「デジタルツイン」に近い考え方です。 - × 報酬成形を行えば、必ず最適な行動を学習する
（解説）設計をミスると、AIが予想外のズル（報酬の不正受給 / Reward Hacking）を始めてしまい、本来の目的を達成しなくなるリスクがあります。
