DRL（二）—— RL简介

最新推荐文章于 2025-04-21 22:26:23 发布
最新推荐文章于 2025-04-21 22:26:23 发布
阅读量2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： DRL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41796745/article/details/105629709
本文介绍了RL（强化学习）的基本结构，包括Model-Based RL，并讨论了模型预测与样本生成的成本问题。文章提到，在确定环境中，deterministic policy效果良好，但在stochastic environment中可能不足。此外，文章提到了policy gradient方法和DQN，并指出当前内容主要是对先前RL知识的复习，涉及Q()和V()的定义以及不同算法的权衡选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RL Structure

RL中基本包括三个部分，如下图：
在这里插入图片描述

Model-Based RL

在model-based RL里，绿格子里是预判下一个状态St+1。橙色格子依然是产生样本，绿色格子是利用这些样本去产生一个fφ，利用这个函数，可以预测下一个状态。用样本使这个函数越来越拟合。
在这里插入图片描述
这样可以得到一个确定的policy，a deterministic policy，在确定的环境中可以工作的较好，但是在随即环境 stochastic environment 中就不是很合适了。

进一步说明：
在这里插入图片描述

which part is expensive

橙色部分根据情况而定；
绿色部分，如果是做policy gradient，就很简单，花费很少；但是如果是做上面这种拟合一个fφ出来，就很麻烦，这需要建立一个神经网络（我在想这不就是最近看的那个DQN？）

其实

其实这节课就是在复习之前学习的RL的内容嘛，接下来讲了一些Q() 和V() 的定义和联系，好在这些我还记得比较熟。

再之后，就是在讲不

最低0.47元/天 解锁文章

200万优质内容无限畅学
DRL应用实战（二）——“AI奥林匹克”RL智能体获奖方案【代码下载链接见文末】
二向箔
05-16 1482
【引言】是骡子是马，拉出来遛遛。 报名参加了中国科学院自动化研究所举办的“奥林匹克 综合”的人工智能比赛。这是一个侧重于强化学习智能体开发的比赛。相比于机器学习比赛，强化学习智能体开发赛最近一两年才出现。上个月参加了一次，拿了前五。现在再次参加一个更有挑战的RL比赛，练练手，本文就作为参赛记录吧。——2022.05.16 文章目录中英文术语对照表1 赛题1.1 比赛背景1.2 比赛科目1.3 参赛方式1.4 参赛步骤1.5 奖项设置1.6 赛程安排1.7 具体赛程1.8 参赛资料2 比赛记录2.1 热.
深度增强学习（DRL）简单梳理
时光杂货店
08-23 2万+
作者：xg123321123 - 时光杂货店 出处：http://blog.csdn.net/xg123321123/article/details/77504032 声明：版权所有，转载请联系作者并注明出处 0 主要话题 增强学习面临的问题 马尔科夫过程 形式化描述增强学习 Q-learning 深度增强学习 1 一个简单的增强学习情景以打砖块游戏为例，玩家需要左右移动屏
学习笔记——DL、RL、DRL的相关知识以及联系（二）
weixin_42772540的博客
05-19 1745
强化学习(RL，Reinforcement Learning) 强化学习的基本概念，做学习笔记用，资料链接在文末。 又称再励学习、评价学习、增强学习，是机器学习的范式和方法论之一。用于描述和解决智能体（Agent）在与环境的交互过程中通过学习策略以大成回报最大化或实现特定目标的问题。 几个应用领域：信息论、博弈论、自动控制等。 一、定义 强化学习时智能体以”试错“的方式进行的，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏。强化学习中由环境提供的强化信号是对产生动作的好坏作一种
学习笔记——DL、RL、DRL的相关知识以及联系（三）
weixin_42772540的博客
05-19 3120
深度强化学习（DRL，Deep Reinforcement Learning） 深度强化学习基本概念，作学习笔记使用，资料链接在文末 深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。 一、简介 深度学习具有较强的感知能力，但是缺乏一定的决策能力。 强化学习具有决策能力，但是对感知问题束手无策。 深度强化学习将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路，两者相互关系如下图所示。 二、原理框
学习笔记——DL、RL、DRL的相关知识以及联系（一）
weixin_42772540的博客
05-19 4189
深度学习（DL，Deep Learing） 深度学习基本概念，作学习笔记使用，资料链接在文末 学习样本数据的内在规律和表示层次，最终目标时让机器能够像人一样具有分析、学习能力。 几个应用领域：搜索技术、数据挖掘、机器学习、机器翻译、自然语言处理、多媒体学习、语言、推荐和个性化技术。 一、简介 深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法： 基于卷积计算的神经网络系统，即卷积神经网络（CNN） 基于多层神经元的自编码神经网络，包括自编码（Auto encoder）和稀疏
强化学习（Reinforcement Learning, RL）​​与​​深度强化学习（Deep Reinforcement Learning, DRL）​​
最新发布
weixin_71288092的博客
04-21 1175
本文是关于​​强化学习（Reinforcement Learning, RL）​​与​​深度强化学习（Deep Reinforcement Learning, DRL）​​的对比分析，涵盖定义、核心区别、算法分类、应用场景及研究挑战
【从RL到DRL】强化学习基础（二）——马尔可夫决策过程与相关贝尔曼方程
Vulcan_Q的博客
10-04 2012
本文为强化学习基础的第二篇内容，主要围绕马尔可夫性质与马尔可夫奖励、决策过程展开，并通过回溯图等形式深入分析了贝尔曼方程与贝尔曼最优方程的组成与意义
【从RL到DRL】深度强化学习基础（一）——基本概念、价值学习（DQN与TD算法）、策略学习与策略梯度
Vulcan_Q的博客
10-14 1578
本篇为深度强化学习基础的第一篇，回顾并介绍了强化学习中的一些基本概念，并初步阐释了神经网络在策略学习与价值学习中的应用。
【从RL到DRL】强化学习基础（一）——强化学习基本介绍、基本的智能体概念
Vulcan_Q的博客
10-01 1658
本文开始入门学习强化学习，主要介绍了强化学习本身的一些特点以及与智能体分类、基本组成相关的一些基本概念
ChatGPT之深度强化学习DRL理解
gridlayout的专栏
03-15 5013
根据个人理解，对DRL，深度强化学习的总结.
关于DRL
Coding
08-06 954
DRL: deep reinforcement learning DRL = DL (deep learning) + RL (reinforcement learning)大多数情况下，reward既不为正，也不为负，为0，导致RL非常难训练。 Alpha Go是监督学习+增强学习。在一开始，学习按照人的棋谱下棋，然后学到一定程度，再自己跟自己下。
DRL入门
ThreeS_tones的博客
01-10 1603
状态和观察(states and observations)动作空间(action spaces)策略(policies)行动轨迹(trajectories)不同的回报公式(formulations of return)强化学习优化问题(the RL optimization problem)值函数(value functions)2. 算法分类分类方法：1、免模型学习和有模型学习（理不理解所处的环境）Model-Based：多了为现实世界建模的过程，多了一个虚拟环境、可通过想象。
深度强化学习（DRL）简介与常见算法（DQN，DDPG，PPO，TRPO，SAC）分类
热门推荐
b_b1949的博客
02-13 7万+
简单介绍深度强化学习的基本概念，常见算法、流程及其分类（持续更新中），方便大家更好的理解、应用强化学习算法，更好地解决各自领域面临的前沿问题。欢迎大家留言讨论，共同进步。
什么是深度强化学习（DRL）？
MyAmber的博客
10-18 1216
强化学习（RL）是机器学习的一个重要分支，主要用来解决连续决策的问题。强化学习可以在复杂的不确定的环境环境中学习如何实现我们设定的目标。强化学习的应用场景非常广，几乎包括了所有需要做一系列决策的问题，如控制机器人的电机让他完成特定任务、给商品定价或者进行库存管理、玩视频游戏或者棋牌游戏等。强化学习也可应用到有序列输出的问题中，因为他可以针对一系列变化的环境状态，输出一系列对应的行动。深度学习（DL）也是机器学习的一个重要分支，也就是多层神经网络，通过多层的非线性函数实现对数据分布及函数模型的拟合。
【从RL到DRL】深度强化学习基础（五）离散控制与连续控制——确定策略梯度方法（DPG）、使用随机策略进行连续控制
Vulcan_Q的博客
10-22 1244
本文为深度强化学习基础的第五篇，介绍了从离散控制进阶到连续控制，分别介绍了确定策略梯度方法进行连续控制，以及使用随机策略进行连续控制
DRL--算法合集
qq_45889056的博客
05-30 1698
但是也有一些算法可以同时使用策略和价值来做决策，比如演员-评论家算法（Actor-Critic），其中演员（Actor）是一个策略函数，评论家（Critic）是一个价值函数，演员根据评论家的评价来更新策略，评论家根据环境的奖励来更新价值。确定性策略的优点是简单、高效、易于实现；A3C 采用异步梯度更新的方式，不同的 worker 获取独立的经验后（一个 batch），独立的去更新 Global Network，当主网络参数被更新了以后，就用最新的参数去重置所有的 worker，然后在开始下一轮循环。
深度强化学习（DRL）一：入门篇
钟鸣的博客
02-27 2万+
目录前言强化学习（RL）的基本概念主要算法和相关分类QlearningSarsaA3C强化学习到深度强化学习 前言 之前通过对AlphaGo Zero的学习，我对深度强化学习有了一定的了解。但是由于没有经过系统的学习，我对其中的知识还有很多不懂的地方。写这一系列文章主要是整理一下网上的资料，梳理这方面的知识，做一下总结。目前网上关于深度强化学习的应用这方向的资料不算多，再加上深度强化学习本身也是一...
【从RL到DRL】深度强化学习基础（二）——Actor-Critic Methods中策略与价值网络机构以及算法迭代过程、实例分析——AlphaGo的训练过程、蒙特卡洛树初步
Vulcan_Q的博客
10-15 1396
本文是深度强化学习基础的第二篇，从AC算法的角度接入，并介绍了AlphaGo的训练流程以及其中涉及到的相关知识。
【DRL】深度强化学习介绍
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||CSDN博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
07-27 4135
深度强化学习本文介绍：[Python] 深度Q网络（DQN）实现[Python] REINFORCE算法实现[Results] 运行结果随着深度学习的迅猛发展，深度强化学习（Deep Reinforcement Learning, DRL）将深度学习与强化学习相结合，使得处理高维状态空间成为可能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值