[Reinforcement Learning] Policy Gradient Methods

上一篇博文的内容整理了我们如何去近似价值函数或者是动作价值函数的方法：
\[ V_{\theta}(s)\approx V^{\pi}(s) \\ Q_{\theta}(s)\approx Q^{\pi}(s, a) \]
通过机器学习的方法我们一旦近似了价值函数或者是动作价值函数就可以通过一些策略进行控制，比如 \(\epsilon\)-greedy。

那么我们简单回顾下 RL 的学习目标：通过 agent 与环境进行交互，获取累计回报最大化。既然我们最终要学习如何与环境交互的策略，那么我们可以直接学习策略吗，而之前先近似价值函数，再通过贪婪策略控制的思路更像是"曲线救国"。
这就是本篇文章的内容，我们如何直接来学习策略，用数学的形式表达就是：
\[\pi_{\theta}(s, a) = P[a | s, \theta]\]

这就是被称为策略梯度（Policy Gradient，简称PG）算法。

当然，本篇内容同样的是针对 model-free 的强化学习。

Value-Based vs. Policy-Based RL

Value-Based：

学习价值函数

Implicit policy，比如 \(\epsilon\)-greedy

Policy-Based：

没有价值函数

直接学习策略

Actor-Critic：

学习价值函数

学习策略

三者的关系可以形式化地表示如下：