算法学习（十二）——dueling DQN

最新推荐文章于 2025-06-24 15:45:50 发布
最新推荐文章于 2025-06-24 15:45:50 发布
阅读量2k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42769131/article/details/114293609

相比于原版的DQN，改进在于输出。

在这里插入图片描述

原本的DQN只在输出的时候按照动作数量，进行输出。

dueling DQN从常识出发，将输出分为价值函数和动作函数，价值函数输出一个实数，表示对当前局势的价值量，动作函数输出每个动作的价值。

这个改进并没有理论上的解释，就是单纯凑出来好用。

原版DQN网络的输出：

    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        x = self.conv3(x)
        x = x.view(x.size(0), -1)
        x = self.hidden(x)
        x = self.out(x)
        return x

在输出端的改进，代码对比：

    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        x = self.conv3(x)
        x = x.view(x.size(0), -1)
        adv = self.hidden_adv(x)
        val = self.hidden_val(x)

        adv = self.adv(adv)
        val = self.val(val).expand(x.size(0), self.num_actions)

        x = val + adv - adv.mean(1).unsqueeze(1).expand(x.size(0), self.num_actions)
        return x

 

强化学习之Dueling DQN
小星AI
09-01 1369
注：本文续于《强化学习之DDQN》 Dueling DQN的思想是把神经网络中Q价值的输出分成两部分，第一部分是状态价值V，这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A，每一个Action都存在一个差值。这两部分构成了倒数第二层的神经网络，节点数为Action数+1。然后最后一层的Q值就可以直接由V和A相加构成。 Q=V+A Q = V + A Q=V+A Dueling DQN和DDQN唯一不同的地方是网络结构，因此修改程序时只需要修改Network类即可。这种计算结
强化学习(十二) Dueling DQN
weixin_34209406的博客
11-08 1186
　　　　在强化学习(十一) Prioritized Replay DQN中，我们讨论了对DQN的经验回放池按权重采样来优化DQN算法的方法，本文讨论另一种优化方法，Dueling DQN。本章内容主要参考了ICML 2016的deep RL tutorial和Dueling DQN的论文<Dueling Network Architectures for Deep Reinforcement...
（4-2）DQN算法的进化演进：Dueling DQN算法
最新发布
码农三叔
06-24 1051
DuelingDQN是对传统DQN算法的改进，通过将价值网络拆分为状态价值函数和动作优势函数两个分支，最终相加得到Q值。这种方法提高了学习效率，特别是在动作收益相近的场景下。算法实现中，DuelingDQN采用共享特征层+双分支+合并层的三层结构，并通过均值归一化解决分解的非唯一性问题。实验表明，在网格导航任务中，DuelingDQN比传统DQN减少了11.36%的训练步数，收敛速度更快，状态价值估计更准确。可视化结果展示了两种算法在奖励、步数、价值函数和策略方面的差异，验证了DuelingDQN的优越性能
动手强化学习（七）：DQN 改进算法——Dueling DQN
与君共勉，一起学习
06-13 4555
之前介绍的 Q-learning、DQN 及 DQN 改进算法都是基于价值（value-based）的方法，其中 Q-learning 是处理有限状态的算法，而 DQN 可以用来解决连续状态的问题。在强化学习中，除了基于值函数的方法，还有一支非常经典的方法，那就是基于策略（policy-based）的方法。对比两者，基于值函数的方法主要是学习值函数，然后根据值函数导出一个策略，学.........
【蘑菇书】DuelingDQN
wq6qeg88的博客
08-02 673
DQN等算法中使用的是一个简单的三层神经网络：一个输入层，一个隐藏层和一个输出层。如下左图：而在Dueling DQN中，我们在后面加了两个子网络结构，分别对应上面上到价值函数网络部分和优势函数网络部分。对应上面右图所示。最终Q网络的输出由价值函数网络的输出和优势函数网络的输出线性组合得到。
Dueling DQN
JacobJiang的博客
07-07 568
论文链接：https://arxiv.org/pdf/1511.06581.pdf Dueling DQN 使用了一种新的神经网络结构。Dueling 网络有两个独立的估计量： 状态值函数的估计量 依赖状态的动作优势函数的估计量 这种分解的主要好处是在不改变底层强化学习算法的情况下，将学习泛化到多个动作。 定义了新的优势函数： 值函数 V 衡量的是特定状态 s 有多好，动作值函数 Q 衡量的是在这个状态下选择某一动作的值。优势函数是 Q 减去 V 的值，得到的是每个动作重要性的相对度量。 ...
基于python的强化学习算法Dueling_DQN设计与实现
04-16
在本项目中，我们将探讨一种强化学习的变种——Dueling_DQN（双斗DQN），它是Deep Q-Network（DQN）算法的一种改进版本，旨在更好地理解状态值和优势值在决策过程中的角色。 DQN是Q-Learning的一个扩展，它引入了...
Dueling DQN Demo.zip
08-23
在本项目中，我们主要探讨的是强化学习（Reinforcement Learning, RL）的一个经典应用——Dueling DQN（ Dueling Deep Q-Networks）算法。这个算法是深度Q学习（Deep Q-Networks, DQN）的一个变种，旨在解决环境中的...
强化学习总结（3）———Dueling-DQN
洗头冠军的博客
06-04 3018
上一篇总结了我对DQN的理解https://blog.csdn.net/qq_37553152/article/details/90812273 Dueling-DQN是对传统DQN的一种改进算法，它的核心思路是优化神经网络的结构。在传统DQN算法中，根据神经网络的输出确定每个动作Q值，然后选出最优的动作，其神经网络的大概模型如下图。 在Dueling-DQN中，对网络的输出层（图2-5...
（七）强化学习——DQN,DDQN,Dueling DQN,Rainbow DQN
qq_44524552的博客
03-11 1456
从原始DQN的训练步骤，我们可以看出DQN是每一幕，每一幕的训练，从幕头到幕尾终止状态，而幕是智能体与环境的连续交互过程留下的状态，动作，奖励序列，这就导致了更新Q网络的连续两个状态的相关性很强，这对Q网络的训练是不利的，而且由于幕更新完后就直接丢弃了，会造成经验的浪费。rainbbow,中文意思就是彩虹，彩虹是多条颜色的，就像对于DQN改进的多个方面，经验回放的DDQN,优先经验的DDQN，,Dueling DDQN等等，什么样的组合才是最好的，这篇论文做了详细的消融实验，结果如下图所示。
ROS开发笔记（10）——ROS 深度强化学习dqn应用之tensorflow版本(double dqn/dueling dqn/prioritized replay dqn)
天涯的专栏
09-14 6476
ROS开发笔记（10）——ROS 深度强化学习dqn应用之tensorflow版本(double dqn/dueling dqn/prioritized replay dqn) 在ROS开发笔记（9）中keras版本DQN算法基础上，参考莫烦强化学习的视频教程与代码，编写了应用在ROS中的tensorflow版本DQN算法，本部分代码包含了原始dqn、double dqn、dueling dqn、...
Duling DQN
08-20
基于Tensorflow实现的深度强化学习算法（Dueling DQN），python3.0及以上，依赖库：Gym、Numpy、Tensorflow
3.dueling dqn.ipynb
09-02
关于dueling dqn的例子，适合初学者对深度强化学习dueling dqn的认识和了解
动手强化学习（八）：DQN 改进算法——Dueling DQN
与君共勉，一起学习
06-05 5206
动手强化学习（七）：DQN 改进算法——Dueling DQN1. 简介2. Dueling DQN3. Dueling DQN 代码实践4. 对 Q 值过高估计的定量分析总结 文章转于 伯禹学习平台-动手学强化学习 （强推） 本文所有代码均可在jupyter notebook运行 与君共勉，一起学习。 1. 简介   DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算
深度强化学习——Dueling-DDQN
热门推荐
草帽BOY的博客
06-13 3万+
深度双Q网络（DDQN）和基于竞争构架Q网络（Dueling-DQN）都是DQN的改进版本，前者是对DQN训练算法的改进，后者是对DQN模型结构的改进。
深度强化学习 学术前沿与实战应用——Dueling DQN
weixin_40678580的博客
09-25 454
class DuelingDQN: def __init__(self, …, dueling = True, sess = None): #省略 self.dueling = dueling #省略 if sess is None: self.sess = tf.Session() self.sess.run(tf.global_variables_initializer()) ...
dueling-dqn
war3gu的博客
05-28 785
在许多基于视觉的感知的DRL任务中，不同的状态动作对的值函数是不同的，但是在某些状态下，值函数的大小与动作无关。根据以上思想，Wang等人提出了一种竞争网络结构（dueling network）作为DQN的网络模型。 如上图所示，第一个模型是一般的DQN网络模型，即输入层接三个卷积层后，接两个全连接层，输出为每个动作的Q值。 而（第二个模型）竞争网络（dueling net）将卷积层提取的抽象特征...
深度探索：机器学习中的Dueling DQN算法原理及其应用
qq_51320133的博客
04-20 1807
Dueling DQN通过引入独特的Dueling Network架构，成功地将Q值分解为状态值函数和优势函数，有效提升了深度强化学习在复杂环境下的学习效率和性能。尽管存在一些局限性，如对特定Q值分解假设的依赖、优势函数估算难度等，但其在众多实际应用中展现出的强大能力，证明了该算法的有效性和实用性。未来的研究可进一步探究如何优化Dueling架构，适应更多样化的环境和任务，以及与其他强化学习技术（如元学习、模仿学习等）结合，推动深度强化学习的边界。
DuelingDQN：分离状态价值和优势函数
AI天才研究院
05-20 1035
1. 背景介绍 1.1 强化学习与深度Q网络 (DQN) 强化学习 (Reinforcement Learning, RL) 是一种机器学习方法，其目标是让智能体 (agent) 通过与环境交互学习最优策略。智能体在环境中执行动作，并根据环境的反馈 (奖励或惩罚) 来调整其策略。深度Q网
Dueling dqn
03-08
### Dueling DQN 算法概述 Dueling DQN 是一种深度强化学习算法，作为经典深度 Q 网络（Deep Q-Network, DQN）的一种扩展和改进版本[^1]。此算法主要用于解决强化学习任务，在这些任务中，代理需学会根据不同状态选择最优行为来最大化累积奖励。 #### 改进之处 相较于传统的 DQN，Dueling DQN 通过将 Q 值分解成两个独立的部分——即价值函数 V 和优势函数 A 来提升学习效率与性能[^2]。这种设计允许模型更好地理解环境的状态价值以及特定动作的优势程度，从而提高决策质量并加速收敛过程。 #### 核心机制 在网络架构方面，Dueling DQN 的独特之处在于采用了双流结构：一条路径负责计算整个状态的价值 (Value Stream)，另一条则专注于评估各个可能采取的动作相对于该状态下平均表现的好坏程度(Advantage Stream)。最终输出由这两部分组合而成： \[ Q(s,a;\theta,\alpha,\beta)=V(s;\theta,\beta)+\left(A(s,a;\theta,\alpha)-\frac{1}{|A|}\sum_{a' \in A} A(s,a';\theta,\alpha)\right) \] 这里 \( s \) 表示当前状态；\( a \) 表示可选的行为之一；而参数集 \( (\theta ,\alpha ,\beta ) \) 则分别对应于共享层、优势流和价值流的权重向量。 #### 应用场景 对于那些具有离散动作空间并且存在清晰定义好的即时反馈信号的任务来说，采用 Dueling DQN 方法往往能够取得不错的效果。例如游戏AI开发领域内的许多挑战都可以借助此类技术得到有效的应对方案。 ```python import torch.nn as nn class DuelingNetwork(nn.Module): def __init__(self, input_size, output_size): super(DuelingNetwork, self).__init__() # Shared layers self.feature_layer = nn.Sequential( nn.Linear(input_size, 128), nn.ReLU() ) # Value stream self.value_stream = nn.Sequential( nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, 1) ) # Advantage stream self.advantage_stream = nn.Sequential( nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, output_size) ) def forward(self, state): features = self.feature_layer(state) value = self.value_stream(features) advantages = self.advantage_stream(features) q_values = value + (advantages - advantages.mean(dim=1, keepdim=True)) return q_values ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值