30秒でわかる要点
エージェントが環境と相互作用しながら、報酬を最大化する行動方針（方策）を学習する手法。AlphaGoやロボット制御などに応用されている。
「強化学習」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1強化学習における「報酬」と「方策」の関係について最も適切な説明はどれか。
- エージェントは方策に従って行動し、環境から報酬を受け取り、累積報酬を最大化するように方策を改善していく
- 報酬と方策は無関係であり、別々に設計される
- 方策は固定され、報酬だけが変化する
- 報酬を受け取った後は、もう学習できない
答えと解説を見る
正解：A
強化学習では、エージェントが採用する方策（行動選択規則）に従って行動し、環境から報酬（または罰）を受け取る。この報酬信号を基に、方策を漸進的に改善し、長期的な累積報酬を最大化する目標を目指す。Q学習やポリシー勾配法がこのプロセスを実装する。B、C、Dは不正確。
Q2強化学習における「方策勾配法（Policy Gradient Method）」の基本的なアプローチについて最も適切なものはどれか。
- 方策の勾配に沿って方策パラメータを更新し、期待累積報酬を最大化する方向に学習を進める
- 価値関数のみを学習し、方策の学習は不要
- ランダムな行動を常に選び、学習しない
- 勾配の概念は強化学習では使用されない
答えと解説を見る
正解：A
方策勾配法は、方策π_θの下での期待報酬∇_θ J(θ)を計算し、報酬を増やす方向に勾配を上昇。REINFORCE、A3C、PPOなど、多くの最新強化学習アルゴリズムの基盤。価値関数法との異なるアプローチ。B、C、Dは誤り。
Q3マルコフ性（Markov Property）が強化学習で重要な理由として最も適切なものはどれか。
- 現在の状態が過去の全履歴を包含すれば、将来は現在の状態のみから決定できるため計算効率化
- 過去の全履歴を常に記憶する必要がある
- マルコフ性は強化学習に不要
- 状態表現に過去情報を含める
答えと解説を見る
正解：A
マルコフ性：状態sは必要な全情報を包含。遷移確率P(s'|s)のみで決定。履歴不要で計算効率向上。ただし不完全観測環境では成立しない。POMDPで部分観測対応。B、C、Dは誤り。
機械学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
機械学習の練習問題を解く