强化学习 之 Model Based Learning 概述

参考视频：周博磊强化学习纲要 阅读本文前需要对强化学习model-free领域有一定的了解，可以查看我之前的文章：《强化学习实践教学》，《强化学习纲要（周博磊课程）》 之前介绍的算法例如DQN，DDPG，PPO都是**model-free（无模型）**的，这也是比较多人的研究领域，这些算法是智能体直接和环境互动获得数据，不需要拟合环境模型，智能体对环境的认知只能通过和环境不断大量的交互来实现。这样做的优点是通过无数次与环境的交互可以保证智能体得到最优解。往往在游戏这样的没有采样成本的环境中都可以用model

特点Model-Free依赖环境模型是否学习方法学习环境模型并进行规划直接学习策略或价值函数计算复杂度较高，需要维护和利用环境模型较低，不需要显式的环境模型数据效率较高，通过模型可以进行模拟和规划较低，需要大量的交互数据适用场景环境模型已知或可估计环境复杂或难以建模示例算法动态规划、MCTS、Dyna-Q等Q学习、SARSA、DQN、策略梯度法等Model-based 和 model-free 强化学习算法各有优缺点，选择哪种方法取决于具体的应用场景和需求。

[TOC](强化学习实践(一)：Model Based 环境准备)

最近看到model-based强化学习方法，在这里做一个笔记 【废话】 我是控制专业做强化学习，在我看来强化学习最大的优势是model-free,也是最麻烦的地方，目前强化学习的改进就是从两方面下手：如何学的更好or学的更快。毕竟现实生活中不是都像游戏一样可以无成本等你学习。当时还没有学强化学习基本概念的时候，我就想为什么不把模型信息添加进去呢？ 目前控制方面，实用性最大的肯定还是PID（PID万岁~），只要有输出（这点和RL相似），调参数就可以，现在找一个会调PID参数的工程师很容易。现代控制理论最让人诟

强化学习 (Reinforcement Learning, RL) 是一种机器学习方法，它通过智能体与环境的交互来学习最优策略。在强化学习中，智能体通过观察环境的状态，采取行动并获得奖励，从而学习如何在不同的状态下采取最优的行动。强化学习已经在许多领域得到了广泛的应用，例如游戏、机器人控制、自然语言处理等。然而，在许多实际应用中，我们需要处理多个智能体之间的交互。例如，在博弈中，每个玩家都是一个智能体，他们的行动会影响其他玩家的奖励。在机器人控制中，多个机器人需要协作完成任务。

本文是基于李宏毅老师2021课程的学习笔记

强化学习Reinforcement Learning与计算机视觉结合的趋势分析 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：强化学习与计算机视觉融合,智能决策系统,图像识别与分类,深度强化学习,

Model指的是针对环境的建模，即输入Action，环境的响应：Reward和State；当响应是直接映射关系时为model-free，当响应为概率分布时为model-based。

1

# Model-Based Reinforcement Learning## Principle We consider the optimal control problem of an MDP with a **known** reward function $R$ and subject to **unknown deterministic** dynamics $s_{t+1} = f(s_t, a_t)$:$$\max_{(a_0,a_1,\dotsc)} \sum_{t=0}^\infty \g

1. 强化学习基础知识 1.1 强化学习简介 机器学习分为监督学习，非监督学习，强化学习（RL）。深度学习+强化学习即为深度强化学习（DRL）。 强化学习没有事先准备好的数据标签作为监督来指导学习过程，只有奖励值，通常是延后给出。 1.2强化学习的分类 从不同的角度来看，强化学习有四种分类方法。 1.2.1model-base和model-free mode-base:状态转移概率（state transitional probability）已知。 model-free：状态转移概率（state tran

[TOC] 1. MB概念引出 1.1 概念 强化学习的目标就是希望agent做出的动作序列得到最多的累计奖励，假设我们知道两个状态之间的转换概率$p(s_{t+1}|s_t,a_t)$，那么我们的算法可以表示为： 上图中第一个式子是状态动作序列$\tau$的概率。优化agent训练的依据就是最大化序列奖励的数学期望。 Model-Based reinforcement learning就是学习动力学转换概率，然后算出如何去选择动作。 1.2 MB三个阶段 知道了动力学模型，如何做出好的决策，最优控制和

无模型强化学习和有模型强化学习是强化学习的两大类别，它们在学习方式、应用场景以及优缺点上都有明显的区别。无模型强化学习直接通过与环境的交互获取经验数据进行学习，而有模型强化学习则依赖于环境模型进行规划和决策。

文章目录强化学习总结(1-4)马尔科夫决策过程policy evaluationpolicy controlpolicy iterationvalue iteration两种方法的区别 强化学习总结(1-4) 马尔科夫决策过程 ​ 马尔科夫决策过程是一个model-base过程，它分为策略估值policy evaluation与策略控制policy control。就是已知一个策略估计状态函数的值，和求解一个最优策略。 policy evaluation ​ 策略估值evaluation的情况下，主要采用动

解释强化学习中model-based和model-free,online和off line，on policy 和 off policy的关系与区别。

model-free/planning/model-base/dyna 各种机制的总结介绍前面说的value-base方法（除了动态规划）也好，policy-base的方法也好，都是假设没有模型而直接与实际环境交互来学习的，我们把没有用到模型的方法叫做model-free方法，但并不是说value-base和poli

首先，让我们复习一下这个手绘的(丑)图： 在前面我们学习过，根据上图可以得到状态价值函数和状态-行为值函数之间存在如下关系： vπ(s)=∑a∈Aπ(a∣s)qπ(s,a)v_{\mathrm\pi}\left(s\right)=\sum_{a\in A}\mathrm\pi\left(\mathrm a\left|\mathrm s\right.\right){\mathrm q}_{\mathrm\pi}\left(\mathrm s,\mathrm a\right)vπ​(s)=∑a∈A​π(a∣s