强化学习中估计策略梯度的常用采样方式：MC采样和TD采样

在强化学习中，尤其是基于策略梯度的方法，策略朝着期望累积奖励最大化的方向调整是通过策略梯度的计算和更新实现的。在策略梯度定理中，表明了策略参数θ关于期望累积奖励J(θ)的梯度存在且可以计算。这个梯度的方向揭示了增大期望累积奖励的方向。

策略梯度定理指出，J(θ)关于θ的梯度（即期望累积奖励对参数的导数）可以表示为：

在实际应用中，由于无法直接计算期望值，通常采用采样的方式来估计这个梯度，即：

常用的采样方式包括MC采样和TD采样：

MC采样（Monte Carlo Sampling）：

MC采样是一种统计学方法，用于从概率分布中随机抽样以估计其性质，如期望值。强化学习中，MC方法利用大量Episodes的平均回报来估计状态值函数V(s)或动作值函数Q(s, a)。

通过实际执行一系列完整的Episode（即从开始到结束的游戏进程），并计算每个状态的平均回报，以此来估计状态的累积奖励。

例如，在策略评估阶段，从某个状态开始执行，直到游戏结束，收集到的实际回报序列可用于估计该状态的期望累积奖励。

假设