Markov Processes

原创 于 2022-11-27 17:13:39 发布 · 288 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #python #数据挖掘

本文介绍了马尔科夫决策过程（MDP），包括马尔科夫性质、马尔科夫过程、Markov Reward Process（MRP）以及MDP的基本概念。MDP是强化学习的基础，它在状态转移中考虑了决策因素。文章通过学生马尔科夫链的例子阐述了MDP的工作原理，并详细解释了策略、价值函数、贝尔曼方程等内容。此外，还讨论了动态规划、蒙特卡洛、Temporal-Difference learning等求解MDP的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

马尔科夫决策过程

参考链接：强化学习系列（三）：马尔科夫决策过程

一、前言

1.多臂老虎机只有一个state，没有考虑在不同state下对于action的选择问题
2.associative problem，即不需要考虑状态间的转移，以及action对一系列state的影响
3.本章介绍Markov Decision Processes

二、Markov Processes

2.1 马尔科夫性

1.未来独立与过去，仅仅与现在有关
2.在这里插入图片描述
在这里插入图片描述

2.2 马尔科夫过程

1.具有马尔科夫性的量随机组成的记忆链，这些量之间有转移概率
2.定义👇
在这里插入图片描述

2.3 🌰student Markov Chain

so funny😄
具体见原博。

三、MDP：Markov Decision Prosess

3.1 MRP：Markov Reward Process

1.MRP是关于价值的马尔科夫链
2.定义👇
在这里插入图片描述

3.1.1.1 Return

1.总体的Reward之和：
在这里插入图片描述
2.γ出现的原因
在这里插入图片描述

3.1.1.2 value Function

1.举个🌰，看3.1.1.1中reward之和是如何计算的
详细过程见原博
2.Definition of value Function
MRP的状态值函数v（s）是从状态s开始的预期返回。
在这里插入图片描述
3.将value function 带入到Student MRP中可以得到State-Value Function for Student MRP
图示见原博。
个人觉得圆框中的数值都是期望的近似值。

3.1.1.3 Bellman等式

1.描述的是value function的迭代公式，即v(s)与v(s+1)的关系
在这里插入图片描述
2.Bellman在RL中常用backup图表示，如下
在这里插入图片描述
🌰更直观易懂，见原博。
3.用矩阵形式表示Bellman
在这里插入图片描述
但是不能通过矩阵求解的形式来求解，因为：

  • 这个问题的计算复杂度为O(n3)，我们只能对维度较小的MRP直接求解
  • 另外有很多迭代的方式可以求解：Dynamic programming(动态规划）、Monte-Carlo、evaluation（蒙特卡洛）、Temporal-Difference learning（时间查分）

3.2 MDPs：Markov Decision Process

1.与MRPs的关系：比MRPs多了一个采取动作的过程，这个动作就是Decision
2.定义：
在这里插入图片描述
3.student MDP🌰
和student MRP 比较，增加了动作量。图见原博。

3.2.1 Policy

1.定义：策略policy表示在状态s下采取动作a的概率
在这里插入图片描述
2.策略π下的state转移概率和reward符号表示
在这里插入图片描述

3.2.2 value function

1.状态价值函数v(s)
在这里插入图片描述

2.动作价值函数q(s,a)
在这里插入图片描述
在这里插入图片描述

3.2.3 Bellman Expectation Equation贝尔曼期望方程

1.从state到action
在这里插入图片描述

2.从action到state
在这里插入图片描述
3.从state到state
在这里插入图片描述
4.从action到action
在这里插入图片描述

3.2.4 最优价值函数

在这里插入图片描述

3.2.5 最优策略

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2.6 Bellman最优公式

1.state到action
在这里插入图片描述

在这里插入图片描述
2.从action到state
当我们选择了一个动作后，自然产生一个reward，然后我们会有一定几率转移到状态s’,注意，这里没有一个最大化的过程。
在这里插入图片描述
3.state到state
在这里插入图片描述
结合上面两个Backup图可得。
4.从action到action
在这里插入图片描述
5.Bellman最优方程是非线性的，不能根据矩阵直接求解，有以下求解公式

  • Value Iteration
  • Policy Iteration
  • Q-learning
  • Sar sa
马尔可夫决策过程(Markov Decision Processes) 原理与代码实例讲解
AI架构师小马
09-16 1127
马尔可夫决策过程(Markov Decision Processes) - 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
David Silver强化学习笔记-Lecture 2: Markov Decision Processes
huibinny的博客
11-25 889
Lecture 2: Markov Decision Processes(马尔科夫决策过程) 一、Marokov Process （一）Introduction Introduction to MDPs 马尔可夫决策过程正式描述了强化学习的环境 我们希望有一些对环境的描述。 环境是完全可观测的 当前状态完全特征化了过程 被告知给agent的state在某种程度上特征化了真个环境展开的过程，环境的...
0-2马尔可夫过程Markov Processes
weixin_30528371的博客
07-14 308
在0-1中提到了，当最终output的p=0时，这个时候模型无法正常使用，为了解决这个问题，在0-4中会有所提及。 在本节中，其实，计算概率的时候，我们应该假设某一个位置的词与它前面的所有词都是相关的，但是，如果我们这样计算的话，可以计算出来，计算量是相当大的。例如在p(x1,x2,x3…xn)中，x是集合V中的一个单词，假设v的大小为|v|，也就是说（x1,x2…xn）就一共有|v|的n次方中...
强化学习（Reinforcement Learning, RL）理论部分之马尔科夫(Markov Decision Processes，MDP)：
悔恨之道的主人的博客
05-10 4062
一、马尔科夫决策过程之Markov Processes（马尔科夫过程）：马尔科夫决策过程(Markov Decision Processes，MDP)，是强化学习研究的理论基石，MDP过程是一种随机过程，该模型能够提供一种非常简便的表达方式，对于解决序贯决策问题（Sequential Decision）十分有效。...
强化学习（1）—— 马尔科夫过程与强化学习
jmhIcoding
07-01 1858
接下来，会有系列博客介绍强化学习的核心思想。 马尔科夫过程 MR 一个马尔科夫过程具有下列定义： 也就是说这个随机过程具有一个优先的状态集SSS ,以及一个状态转移矩阵PPP ,Pi,jP_{i,j}Pi,j​ 表示从状态sis_isi​转移到状态sjs_jsj​ 的概率。显然在这种定义下，需要Pi,∗P_{i,*}Pi,∗​ 加和等于1。这种决策过程的一个特点是Pi,jP_{i,j}Pi,j​...
Nonlinear Markov Processes and Kinetic Equations.pdf
07-12
Nonlinear Markov Processes and Kinetic Equations.pdf
Continuity Properties of Distances for Markov Processes
02-07
In this paper we investigate distance functions on finite state Markov processes thatmeasure the behavioural similarity of non-bisimilar processes. We consider both probabilistic bisimilarity metrics,...
(Hidden) Markov Processes
09-27
Hidden Markov processes (HMPs) were introduced into the statistics literature as far back as 1966 . Starting in the mid 1970’s , HMPs have been used in speech recognition, which is perhaps the ...
Optimal stopping of Markov processes
01-08
1999_tsitsiklis_Optimal stopping of Markov processes Hilbert space theory, approximation algorithms, and an application to pricing high-dimensional financial derivatives
介绍隐马尔可夫
ox180x的博客
06-16 199
什么是马尔可夫性质？ “……一个随机过程，在这个过程中，鉴于现在，未来独立于过去。” 假设一个带有公平硬币的简化抛硬币游戏。暂停怀疑并假设马尔可夫性质尚不清楚，我们想预测 10 次翻转后翻转正面的概率。在条件依赖的假设下(硬币具有过去状态的记忆，未来状态取决于过去状态的顺序)，我们必须记录导致第 11 次翻转的特定顺序以及这些翻转的联合概率。所以想象在 10 次...
第 2 讲：马尔可夫决策过程
long_songs的博客
03-04 591
目录 1 马尔可夫过程 2 马尔可夫奖励过程 3 马尔可夫决策过程 4 MDP 的扩展 马尔可夫过程 MDP 简介 马尔可夫决策过程正式描述环境用于强化学习，环境完全可观察的地方，即当前状态完全表征了过程 几乎所有 RL 问题都可以形式化为 MDP。 例如 最优控制主要处理连续 MDP 部分可观察的问题可以转化为 MDP Bandits 是具有一种状态的 MDP 马尔可夫性质 “鉴于现在，未来独立于过去” 定义 州圣 是马尔可夫当且...
多臂老虎机问题和q学习之间的区别
caoyongsheng的博客
10-03 894
多臂老虎机问题是reward未知的MDP问题中最简单的一种，因为多臂问题不需要规划。也就是只需要估计action （选择哪个手臂）背后的reward的价值，这个action不会影响state的转移（因为任意手臂转一次，一个episode就结束了，我们就可以对选择的手臂背后的估值进行更新）。 Q在马尔科夫过程代表广义状态转移矩阵，也就是P在时间上的微分，或者说状态转移强度矩阵。自然离散状态时刻下，就是差分啦。因为如果对所有action的估值你自信以后，你必然会做出bayes决策，所以最终的策略，每一个.
深度强化学习第2课｜马尔可夫决策过程
JohnJim的博客
03-03 2484
文章目录0 写在前面1 简介2 马尔可夫属性3 State Transition Matrix4 MP5 示例：Student Markov Chain6 Markov Reward Process7 Return8 为什么需要衰减？9 MRP的值函数10 贝尔曼方程11 贝尔曼方程的数学表示12 MDP13 Policy14 MDP的值函数15 最优值函数16 最优策略17 寻找最优策略18 贝...
强化学习系列（三）：马尔科夫决策过程
LagrangeSK的博客
07-13 9175
一、前言 第二章中我们提到了多臂老虎机问题，该问题只有一个state，需要选择一个action，不需要考虑在不同state下选择action的问题——（associative problem)，即不需要考虑状态间的转移，以及action对一系列state的影响。但是在第一章强化学习简介中，我们提到强化学习过程可以看做一系列的state、reward、action的组合。本章我们将要介绍马尔科夫决...
David Silver强化学习课程 Lecture 2: Markov Decision Processes
KunBB的博客
03-22 749
文章目录AbstractMarkov PropertyMarkov ChainExample：Student Markov ChainMarkov Reward ProcessExample: Student Markov Reward ProcessReturn（回报）Value functionExample: Student MRP ReturnsBellman EquationExampl...
《reinforcement learning：an introduction》第三章《Finite Markov Decision Processes》总结
mmc2015的专栏
07-12 1561
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 应用RL解决实际问题，目前已有的算法总的来说还是可以的，主要是要设计好能够反映问题本质的state/rewa
【强化学习公式理解】
weixin_43522964的博客
04-01 1681
看了视频后，发现对RL的理解浮于表面，很多问题想不明白，所以停下来整理下公式，加深对理论的理解程度再继续推进。 第三章 Return 在一次实验中，时间步t之后的奖励记做 Rt+1, Rt+2, Rt+3, . . ., 片段奖励Gt:= Rt+1+ Rt+2+ Rt+3+· · ·+ RT, 式子(3.1)： 这个地方最后一个状态是否一定是终结状态呢？这个我现在也不知...
David Silver《Reinforcement Learning》课程解读—— Lecture 2： Markov Decision Process
科大一小僧
06-02 2761
David Silver《Reinforcement Learning》课程解读 Section 2Lecture 2： Markov Decision ProcessMDPs正式描述了强化学习的环境，几乎所有的强化学习问题都可以描述为MDPs。1. Markov Process 用于描述RL的环境，该环境完全可观（如当前状态完整描述了整个过程）。 特性无后效/ 记忆性 状态转移矩阵Pss′P_{s
陈双平研究：隐马尔可夫过程的多重分形谱及其应用
在"论文研究-On Multifractal Spectrum of Hidden Markov Processes.pdf"这篇论文中，作者陈双平探讨了隐马尔可夫过程（Hidden Markov Processes, HMP）与著名的分形系统——康托集之间的联系。康托集以其自相似性和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值