1-基于强化学习的图Transformer算法求解车辆路径问题(2023)（完）

已于 2025-03-18 13:52:50 修改
阅读量220 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： transformer 算法 深度学习
于 2025-02-26 17:03:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45823731/article/details/145856752


文章目录

Abstract

车辆路径问题（VRP）是经典的组合优化问题之一，需要在一些约束条件下，以最小的总成本访问客户。最近，VRP通过使用深度强化学习（DRL）来解决，将节点集视为图结构。现有的基于Transformer的DRL解仅依赖于节点信息，忽略了图中节点之间边的信息在图结构中的作用。在本文中，我们提出了一种基于注意力的端到端DRL模型来解决VRP，该模型嵌入了节点之间的边信息，以进行丰富的图表示学习。我们使用了带有嵌入边信息多头注意力（EEMHA）层的基于Transformer的编码器-解码器框架。基于EEMHA的编码器学习图的底层结构，并通过合并节点和边信息生成表达力强的图拓扑表示。我们使用近端策略优化（PPO）和一些代码级优化技术训练我们的模型。我们在随机生成的实例和从道路网络生成的真实世界数据上进行了实验，以验证我们提出的模型的性能。所有实验结果表明，我们的模型比现有的DRL方法和大多数传统启发式在从随机实例训练到不同问题尺寸的真实世界实例测试的泛化能力上表现更好。

© 2023 日本电气工程师学会。由Wiley Periodicals LLC出版。

1 Introduction

车辆路径问题（VRP）是重要的组合优化问题之一，需要构建一条访问客户的最优路线。对于有容量限制的VRP，一辆具有预定容量的车辆从预设的仓库出发，依次访问空间分布的客户。每当车辆的容量不足以

了解本专栏 订阅专栏 解锁全文
2、RP-DQN：Q学习在车辆路径问题中的应用
c6d7e8f9g的博客
06-06 9
本文介绍了一种解决车辆路径问题（VRP）的新方法——Routing Problem Deep Q-Network（RP-DQN）。该方法通过在编码器中引入动态特征，并使用Q学习进行优化，在容量受限车辆路径问题（CVRP）和多仓库车辆路径问题（MDVRP）上展现了良好的性能。实验结果表明，RP-DQN在平均距离、相对差距、学习效率和内存效率等方面均具有优势，尤其是在处理大规模和复杂问题时表现突出。文章还总结了RP-DQN的方法优势，并提出了未来可能的研究方向。
1-Equity-Transformer：求解NP-Hard Min-Max路由问题的顺序生成算法（AAAI-24)(完)（code）
太极生两鱼
11-12 369
最小最大路由问题旨在通过智能体合作完成任务来最小化多个智能体中最长行程的长度。这些问题包括对现实世界有重大影响的应用场景，但已知属于NP-hard问题。现有方法在大规模问题上面临挑战，尤其是在需要协调大量智能体以覆盖数千个城市的情况下。本文提出了Equity-Transformer来解决大规模最小最大路由问题。首先，我们采用顺序规划方法来处理最小最大路由问题，使我们能够利用强大的序列生成器（例如，Transformer）。其次，我们提出了关键的归纳偏差，以确保智能体之间的公平工作量分配。
求解车辆路径问题的强化学习方法
zuiyishihefang的博客
10-30 3588
1文章信息《Reinforcement Learning for Solving the Vehicle Routing Problem》是32nd Conference on Neural Information Processing Systems (NeurIPS 2018)上的一篇文章。2 摘要我们提出了一种利用强化学习方法解决车辆路径问题(VRP)的端到端框架。在这种方法中，我们训练一...
Reinforcement-learning-for-solving-VRPTW
04-06
解决VRPTW的强化学习
【免费下载】 探索OptMLGroup的VRP-RL：用强化学习解决车辆路径问题
gitblog_00087的博客
04-16 910
探索OptMLGroup的VRP-RL：用强化学习解决车辆路径问题 在当今的数据驱动时代，优化物流和运输效率变得至关重要。，旨在利用强化学习（Reinforcement Learning, RL）技术解决经典的车辆路径问题（Vehicle Routing Problem, VRP）。这篇文章将深入探讨该项目的技术背景、实现方式、应用场景以及其独特之处。 项目简介 VRP-RL是一个基于Python...
交通 | 机器学习 + 大规模TSP/VRP求解
weixin_53463894的博客
06-25 2413
另外，对于基于transformer的序列求解方案，其核心的self-attention的时间复杂度是O(tsp问题节点数量的平方)，当tsp规模特别大时，transformer类方案在训练阶段也存在特别耗时的问题。文章作者认为过往的模型之所以无法很好的求解大规模问题是因为它们的模型属于Heavy Encoder & Light Decoder，即过于复杂的encoder容易让模型对小规模的tsp/vrp产生过拟合问题，继而限制了其泛化到更大规模问题的能力。最终，选择得分最高的子问题作为后续的优化对象；
【论文阅读】Reinforcement Learning With Multiple Relational Attention for Solving Vehicle Routing Problems
小威的博客
01-13 590
在本文中，我们研究了车辆路由问题（VRPs）的强化学习（RL）。最近的研究表明，基于注意力的RL模型在这些问题上的有效性和效率方面都优于基于递归神经网络的方法。然而，现有的RL模型只是通过聚合节点嵌入来生成上下文嵌入，而没有考虑到动态网络结构，这使得它们无法建模状态转换和动作选择动态。在这项工作中，我们开发了一个新的基于注意力的RL模型，该模型通过批处理归一化重新排序和门聚合提供增强的节点嵌入，以及通过多个关系结构上的注意聚合模块提供动态感知的上下文嵌入。
【强化学习-01】强化学习基本概念
HsinglukLiu的博客
01-26 2844
强化学习基本概念
大规模车辆路径问题的深度强化学习算法研究 mind map
09-02
本文以深度强化学习为基础，设计出一种适用于求解大规模车辆路径问题的模型架 构。采用了预训练模型+基于相对位置的 Transformer网络+A2C强化学习训练框架，为 后续研究大规模车辆路径问题的扩展问题和大规模组合...
强化学习（Reinforcement Learning, RL）求解方法—— 基于价值的算法、基于策略的算法和演员-评论家方法
最新发布
Rhett_Butler0922的博客
04-26 896
强化学习是机器学习的一个分支，研究如何让智能体（Agent）通过与环境（Environment）交互，学习最优的行为策略以最大化长期累积奖励。不同于监督学习（有明确标签）和无监督学习（寻找数据结构），强化学习的反馈是延迟的稀疏的，智能体需要通过试错（trial-and-error）探索环境，平衡探索（exploration）和利用（exploitation）。游戏（如 AlphaGo、Atari 游戏）。机器人控制（机械臂抓取、无人机导航）。推荐系统、自动驾驶、资源调度等。
强化学习（一个端到端的框架）解决车辆路径问题
05-22
资源为使用强化学习提出了一个端到端的框架来解决车辆路径问题（VRP）。在这种方法中，通过观察奖励信号和遵循可行性规则，训练单个模型，为从给定分布中采样的问题实例找到近似最优解。模型表示一个参数化的随机策略，通过应用策略梯度算法来优化其参数，经过训练的模型实时生成一系列连续动作的解，而无需针对每个新问题实例进行重新训练。在CVRP上，该方法在解决方案质量方面优于经典的启发式方法和Google的OR工具。演示方法也可用于处理拆分交付的问题，并探索此类交付对解决方案质量的影响。该资源使用的框架可以应用于VRP的其他变体，如随机VRP问题，并且有可能更广泛地应用于组合优化问题。
“Learn to Improve”（L2I）：RL运用至VRP的方法介绍
向阳小葵花的博客
01-02 2277
“Learn to Improve”（L2I）：RL运用至VRP的方法介绍简介CVRP模型框架改进控制器和改进算子结果参考文献 这次，我们将介绍这篇论文《A learning-based iterative method for solving vehicle routing problems》来说说运用强化学习具体怎样解决VRP问题。 简介 该文章提出了一个“Learn to Improve” (L2I)方法，更加高效，并且与OR方法进行了比较更优。该文章重点关注解决组合优化问题，尤其是带容量限制的车辆路
文献阅读（1）——深度强化学习求解车辆路径问题的研究综述
2301_80118808的博客
07-10 2653
neural network，GNN）技术的兴起，Scarselli等人利用GNN对每个节点特征进行学习，从而进行节点预测，主要求解思路是利用 GNN 对节点特征进行学习，由编码器对问题的输入序列进行编码，再利用解码器结合注意力计算方法，以自回归的方式逐步构造解，根据学习到的特征进行后续的节点预测。VRP变体都是在经典的TSP上衍生的，具有相似的优化结构，传统算法在问题描述发生轻微变化时，就要重新设计算法，面对 VRP众多变体，设计很多算法将消耗大量人力，因此，单独地使用传统算法是不可行的。
【模拟信号】基于matlab抑制载波双边带调幅信号产生+解调【含Matlab源码 985期】
订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；
06-13 2960
抑制载波双边带调幅信号产生+解调 完整的代码，方可运行；可提供运行操作视频！适合小白！
机器学习运用到VRP的若干小知识
向阳小葵花的博客
01-02 2957
机器学习运用到VRP的若干小知识相关文献1、端到端方法（ Pointer Network +Attention Model）2、强化学习方法（Policy Gradient、Actor Critic）背景小知识1、注意力机制（Attention Mechanism）2、指针网络（Pointer Network）3、策略网络（Policy Network） 车辆路径规划问题（Vehicle Routing Problem，VRP）是运筹学领域十分经典的组合优化问题。近几十年来已经有众多学者通过启发式以及一些
【亲测免费】 推荐开源项目：PyTorch-DRL4VRP - 利用深度强化学习解决车辆路径问题
gitblog_00080的博客
04-27 790
推荐开源项目：PyTorch-DRL4VRP - 利用深度强化学习解决车辆路径问题 是一个基于 PyTorch 的深度强化学习（DRL）框架，专为解决经典的车辆路径问题（Vehicle Routing Problem, VRP）设计。这个项目的目的是利用先进的机器学习技术，找到高效、优化的物流配送路线，以提高运营效率并降低成本。 技术分析 深度强化学习 (DQN) 算法：该项目采用了 Deep...
Efficiently Solving the Practical Vehicle Routing Problem: A Novel Joint Learning Approach（GCN-NPEC）
糖葫芦君的博客
12-25 1947
Efficiently Solving the Practical Vehicle Routing Problem: A Novel Joint Learning Approach（GCN-NPEC） KDD2020 使用GCN + 强化学习解决VRP问题 1. 1.1 目标函数： 每辆车的花费 + 行驶距离 最终生成 π\piπ 为每个车辆的行驶路径 1.2 Graph Convolutional Networks with Node Sequential Prediction and Edge C
基于图神经网络强化学习解决车辆路径规划问题
机器学习深度学习业余选手
01-17 2002
基于图神经网络强化学习解决车辆路径规划问题
电动汽车车辆路径规划gurobi求解
03-14
### 使用 Gurobi 进行电动汽车路径规划 ...例如，基于强化学习(RL) 和 图 Transformer 的组合框架已被证明能够高效处理各种类型的 VRP 变体 [^2] 。这类方法不仅具备强大的泛化能力而且易于适应不同环境变化的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

太极生两鱼

要天天开心哦！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值