（四）强化学习公式梳理

追风者...

于 2025-04-04 17:21:26 发布

阅读量668

点赞数 6

CC 4.0 BY-SA版权

分类专栏：强化学习仿真与实践文章标签：强化学习公式梳理

本文链接：https://blog.csdn.net/h320130/article/details/146975243

强化学习仿真与实践专栏收录该内容

4 篇文章

订阅专栏

前言

本文针对强化学习中常用到的一些公式进行了总结梳理，给出了一些基础概念，为强化学习奠定基础。另外，本文中并没有涉及贝尔曼公式的相关内容，之后会专门用一篇文章来进行介绍。

一、基本定义

（一）动作

动作是指智能体做出的决策。动作空间是指所有可能动作的集合，可以是有限集或者无限集，可以是离散也可以是连续，记为 $\mathbb{A}$ ，其中 $a\in \mathbb{A}$ 。其随机性来自于策略函数的随机性。

（二）状态

状态是对当前环境的概括。状态空间是指所有可能状态的集合，可以是有限集或者无限集，可以是离散也可以是连续，记为 $\mathbb{S}$ ，其中 $s\in \mathbb{S}$ 。其随机性来自于状态转移函数。

（三）策略

根据当前状态，做出决策（即选择动作），控制智能体的方法，记为 $\pi$ 。通过强化学习进行策略学习，智能体能够在每个状态依据所学策略做出决策。

（四）奖励与回报

奖励是指在智能体执行一个动作之后，环境反馈给智能体的一个值，奖励的定义对于强化学习结果的影响非常大，需要根据实际情况进行定义。给定当前状态 $s_{t}$ 和动作 $a_{t}$ 之后，奖励为确定的，记作 $r_{t}$ ;当状态一定，动作未选择时，动作的随机变量记作 $A_{t}$ （而非 $a_{t}$ ），对应的奖励记作 $R_{t}$ （而非 $r_{t}$ ），其随机性来自于 $A_{t}\sim \pi \left ( \cdot \mid s_{t} \right )$ 。

回报是指从当前时刻 $t$ 直至回合结束所有奖励的衰减和，可以记为：

$G_{t}=R_{t}+\gamma R_{t+1}+\gamma ^{2}R_{t+2}+\cdots +\gamma ^{n}R_{t+n}=\sum_{k=0}^{\infty}\gamma ^{k}R_{t+k}$

二、函数

（一）策略函数

在状态 $s$ 的前提下，选择动作 $a$ 的概率大小，可以看做一个条件概率函数：

$\pi \left ( a\mid s \right )=P\left ( A=a\mid S=s \right )$

（二）状态转移函数

已知目前状态 $s$ ，智能体执行 $a$ ，则下一个时刻状态变为 ${s}'$ 的概率是一个条件概率，记为：

$P\left ( {s}' \mid s,a\right )=P\left ( {S}' ={s}'\mid S=s,A=a\right )$

$P\left ( {s}' \mid s\right )=\sum_{a\in \mathbb{A}}^{}\pi \left ( a\mid s \right )P\left ( {s}' \mid s,a\right )$

以上为状态转移矩阵的两种形式，通过策略进行连接。

（三）价值

价值是指从某一状态 $s$ 开始，直至回合结束，所得回报 $G_{t}$ 的期望。求期望是因为要去除动作、以及策略的随机性，价值可以定义为：

$V\left ( s \right )=\mathbb{E}\left [ G_{t}\mid S_{t}=s \right ]$

（四）状态价值函数

状态价值函数表示智能体从状态 $s$ 出发，遵循策略 $\pi$ 所得到的回报 $G_{t}$ 的期望：

$V_{\pi }\left ( s \right )=\mathbb{E}_{\pi }\left [ G_{t}\mid S_{t}=s \right ]$

1.状态价值函数本身也是一个期望值，消除了动作选择对回报的影响。

2.依赖于策略 $\pi$ 和状态 $s$ ，用来评价一个状态在给定策略下的价值。

3.即使策略 $\pi$ 和状态 $s$ 是固定的， $G_{t}$ 也是随机的，因为当前状态下选择的动作 $a$ 也具有随机性。

（五）动作价值函数

动作价值函数表示智能体从状态 $s$ 出发，遵循策略 $\pi$ 执行动作 $a$ 所得到的回报 $G_{t}$ 的期望：

$Q_{\pi }\left ( s,a \right )=\mathbb{E}_{\pi }\left [ G_{t} \mid S_{t}=s,A_{t}=a\right ]$

1. 动作价值函数本身也是一个期望值，不依赖于 $t+1$ 时刻之后的状态及动作，都被期望消除了。

2.依赖于策略 $\pi$ 、状态 $s$ 和动作 $a$

3. 即使策略 $\pi$ 、状态 $s$ 和动作 $a$ 是固定的， $G_{t}$ 也是随机的，因为状态转移具有随机性。

（六）最优动作价值函数

最优动作价值函数是指选择最好的策略函数下的动作价值函数，消除了策略的影响。

$\left\{\begin{matrix} Q_{\ast }\left ( s,a \right )=max_{\pi } \, \, \, \, Q_{\pi}\left ( s,a \right ) \\ \pi _{\ast }=arg max_{\pi }\, \, \, \, Q_{\pi}\left ( s,a \right ) \end{matrix}\right.$

（七）函数之间关系

${{V}_{\pi }}\left( s \right)=\sum\limits_{a\in \mathcal{A}}{\pi \left( a\left| s \right. \right){{Q}_{\pi }}\left( s,a \right)}$

$Q_{\pi }\left ( s,a \right )=\mathbb{E}_{\pi }\left [ G_{t}\mid S_{t}=s,A_{t} =a\right ]\\=\mathbb{E}_{\pi }\left [ R_{t}+\gamma G_{t+1}\mid S_{t}=s,A_{t} =a\right ]\\=\mathbb{E}_{\pi }\left [ R_{t}\mid S_{t}=s,A_{t} =a\right ]+\mathbb{E}_{\pi }\left [ \gamma G_{t+1}\mid S_{t}=s,A_{t} =a\right ]\\=r\left ( s,a \right )+r\sum\limits_{{s}'\in \mathbb{S}}p({s}'\mid s,a)\mathbb{E}_{\pi }\left [ G_{t+1}\mid S_{t+1}={s}' \right ]\\=r\left ( s,a \right )+r\sum\limits_{{s}'\in \mathbb{S}}p({s}'\mid s,a)V_{\pi }\left ( {s}' \right )$

其中， $r\left ( s,a \right )=\mathbb{E}\left [ R_{t}\mid S_{t}=s,A_{t}=a \right ]=\sum\limits_{r\in \mathbb{R}}p\left ( r\mid s,a \right )r$ ， $\mathbb{R}$ 为所有可能奖励的集合。