VectorNet-Encoding HD Maps and Agent Dynamics from Vectorized Representation 基于Transformer的轨迹预测模型

已于 2024-02-18 15:41:24 修改
阅读量1.1k 收藏 5
点赞数 23
分类专栏： 前沿论文解读 文章标签： transformer 深度学习 人工智能 轨迹预测 自动驾驶
于 2024-02-13 17:32:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNhuaong/article/details/136107796
版权
VectorNet是清华MARS Lab与Google Waymo合作提出的，用于自动驾驶的轨迹预测模型。该模型利用Transformer对地图静态特征和动态障碍物进行向量化表达，有效处理交互场景中的预测问题。相比传统的像素栅格化方法，VectorNet避免了CPU资源消耗和局限性的卷积操作，通过分级图神经网络直接建模实例间的关系，尤其擅长处理长距离交互信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

VectorNet 是清华MARS Lab和Google Waymo联合在CVPR2020提出的一个基于Transformer的轨迹预测模型。在比较丰富和均衡的自动驾驶数据集上进行实际应用，效果还是相当优异的。
在这里插入图片描述
为了做好交互场景中障碍物车辆和行人的轨迹预测，需要考虑地图的静态特征和障碍物运动的动态特征。
VectorNet的设计思想是将地图的静态特征和障碍物运动的动态特征进行统一的向量化表达，然后利用Transformer进行Encoder和Decoder，进行障碍物的轨迹预测。

VectorNet特征向量化表达

一、对于特征的表达
在这里插入图片描述
其他方法：像素栅格化的特征表示：

  • render trajectories of moving age
最低0.47元/天 解锁文章
Transformer入门-轨迹预测实例解析
Oxalate的博客
04-05 1万+
比较适合做Transformer入门练手的例子，有助于理解模型结构。
【CVPR2020】计算机视觉与模式识别会议论文完全清单_Part2
TomRen
06-11 3656
CVPR 2020 的论文已经于6月10号放出 由于篇幅限制分两部分发出—>part1 Todo：word-cloud Relative Interior Rule in Block-Coordinate Descent Author: Tomas Werner,Daniel Prusa,Tomas Dlask Learning Combinatorial Solver for Graph Matching Author: Tao Wang,He Liu,Yidong Li,Yi Jin,Xi.
论文阅读：VectorNet: Encoding HD Maps and Agent Dynamics fromVectorized Representation
weixin_49056226的博客
08-02 3769
本文介绍了VectorNet，这是一个层次化的图神经网络，它首先利用了由向量表示的单个道路组件的空间位置，然后对所有组件之间的高阶相互作用进行建模。最近的方法是将运动物体的轨迹和道路环境信息作为鸟眼图像，用卷积神经网络（ConvNets)进行编码，而我们的方法在一个矢量表示上操作。通过对矢量的操作高清晰度（HD）地图和代理人的轨迹，我们避免了有损的渲染和计算密集的ConvNet编码步骤。为了进一步提高VectorNet学习上下文特征的能力，我们提出了一个新的辅助性任务来恢复被随机屏蔽的地图实体和代理基于他们
【单目标轨迹预测】VectorNet: Encoding HD Maps and Agent Dynamics fromVectorized Representation（翻译+笔记）
leg143730的博客
08-03 6522
轨迹预测
VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation
weixin_56836871的博客
02-01 1188
动机 Can we learn a meaningful context representation directly from the structured HD maps? 【CC】开宗明义提问，直接从结构化的HD MAP数据学习一个信息丰富的上下文（带动态ObjList） This paper focuses on behavior prediction in complex multi-agent systems, such as self-driving vehicles. The core i
【论文学习笔记】VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation
技术宅学长的博客
10-31 1320
动态多智能体系统中的行为预测是自动驾驶汽车环境中的一个重要问题，因为道路组件的复杂表示和相互作用，包括移动代理(例如行人和车辆)和道路上下文信息(例如车道，交通灯)。VectorNet是一种层次图神经网络，它首先利用向量表示的单个道路组件的空间局部性，然后对所有组件之间的高阶相互作用进行建模。最近的方法是将移动主体的轨迹和道路环境信息呈现为鸟瞰图，并用卷积神经网络(ConvNets)对其进行编码，与此相反，我们的方法是在矢量表示上操作的。
PaperNotes(15)-VectorNet- Encoding HD Maps and Agent Dynamics from Vectorized Representation
sinat_40624829的博客
04-26 2933
自动驾驶论文阅读笔记1.VectorNet- Encoding HD Maps and Agent Dynamics from Vectorized Representation 1.VectorNet- Encoding HD Maps and Agent Dynamics from Vectorized Representation VectorNet: 通过矢量化表示编码高精度地图与动态交通参与者 自动驾驶大佬waymo 论文翻译 目标：轨迹预测 方法： 向量化表示地图和移动agent（轨迹，车道线
[文献阅读报告]: VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation
Bin_Dut的博客
09-03 6115
[文献阅读笔记]：VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation 在前期进行充分调研后，在考虑模型精度与时延的基础上，确定使用VectorNet作为预测模块，直道模型的预测模型，现对模型进行简单的要点分析。 VectorNet[文献阅读笔记]：VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation1.
【论文翻译】VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation
尊新必威的博客
06-06 2244
摘要： 由于动态交通参与者（如行人和车辆等）和静态道路环境（如车道，交通灯等）的复杂表示以及之间的交互关系，在动态的，多交通参与者的场景下的行为预测是自动驾驶领域的一个重要问题。这篇文章提出了一个分层的图神经网络VectorNet，首先分别用向量表示不同局部空间的道路组成成员（包括动态交通参与者和静态道路环境），然后对所有的成员之间的高阶交互关系进行建模。与将动态交通参与者的运动轨迹和道路环境信息直接渲染在鸟瞰图像上并通过卷积神经网络对其进行编码的方法不同，我们的方法直接在矢量化的高精度地图上操作，避免了渲
Trajectory-Transformer:“用于轨迹预测的变压器网络”的代码
05-29
用于轨迹预测的 Transformer 网络 这是论文的代码 要求 pytorch 1.0+ 麻木 西比 熊猫 张量板 （项目中包含的是修改版） 用法 数据设置 数据集文件夹必须具有以下结构： - dataset - dataset_name - train_folder - test_folder - validation_folder (optional) - clusters.mat (For quantizedTF) 个人变压器 要训​​练，只需运行具有不同参数的train_individual.py 示例：训练 eth 的数据 CUDA_VISIBLE_DEVICES=0 python train_individualTF.py --dataset_name eth --name eth --max_epoch 240 --bat
VectorNet源代码（GNN+Attention+MLP）《VectorNet: Encoding HD Maps and》
01-17
Argoverse-Tracking provides track annotations, egovehicle poses, and undistorted, raw data from camera (@30hz) and lidar ... 《VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Repre》
《VectorNet: Encoding HD Maps and Agent Dynamics fromVectorized Representation》论文精读
xinwangAA的博客
03-10 2009
我们的折线子图网络可以看作是PointNet的推广：当我们设d s = d e，令a和l为空时，我们的网络与PointNet具有相同的输入和计算流程。为了使输入节点特征与目标智能体的位置保持不变，我们将所有向量的坐标归一化，使其在目标智能体的最后一个观测时间步的位置为中心。为了识别一个单独的折线节点，当其对应的特征被遮挡时，我们从它的所有所包含的向量中计算起始坐标的最小值，以获得嵌入标识符。图3显示了一个示例。的启发，我们提出了一种用于图表示的辅助损失方法，该方法学习从其邻居中预测缺失的节点特征。
论文精读VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized Representation
eepii的博客
09-23 248
2.predction的时候不一定要MLP for simplicity，可以考虑LSTM，因为轨迹点之间都是有关系的，论文里自己也写了可以用其他advanced decoders。进行节点补全工作（故意遮蔽输入节点，让模型去重建这些特征，以此让模型能够更精准地捕捉交互信息），这样的做法让模型更加强大。将车辆动态信息和结构化的高精地图信息向量化（vectorized form），通过向量化的信息进行轨迹预测；1.向量化的时候，选取的特征可以选择更多有用的信息，目前选择的较少（首位信息，类型信息等）。
基于Transformer的单车轨迹预测
baidu_41890159的博客
10-17 912
此外，为便于理解Transformer的建模，在开源的github中提供了由pytorch底层代码编写的Transformer实现。数据集采用HighD。为简化，仅使用数据集中一个csv文件中的车辆轨迹数据作为建模的数据。模型采用pytorch自带的Transformer模型。
Transformer模型在船舶轨迹预测中的应用
CodeWOW的博客
09-14 1547
通过深度学习模型的训练和预测，船舶可以更好地规划航线，避免碰撞风险，并提高航行的安全性和效任务，它可以帮助船只避免潜在的碰撞风险、规划航线以及提高航行的安全性和效率。我们可以将船舶轨迹预测任务看作是一个序列到序列的问题，其中输入序列是历史轨迹，输出序列是预测的未任务，它可以帮助船只避免潜在的碰撞风险、规划航线以及提高航行的安全性和效率。在本文中，我们介绍了如何使用Transformer模型进行船舶轨迹预测，并提供了相应的代码任务，它可以帮助船只避免潜在的碰撞风险、规划航线以及提高航行的安全性和效率。
ECCV 2020 | STAR:基于Transformer的行人轨迹预测模型（一）
周周周周周大帅的博客
05-25 8277
这是一篇ECCV 2020 行人轨迹预测的文章，在这里对论文进行浅浅的翻译。当然，由于水平的局限，有些地方只能意译。 论文链接：Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction Abstract 理解人群动态运动对真实世界的一些应用，例如监控系统、自动驾驶来说是非常重要的。这是具有挑战性的，因为它（理解人群动态运动）需要对具有社会意识的人群的空间交互和复杂的时间依赖性进行建模。我们认为，注.
【动手学轨迹预测】2.6 预测编码模块中的Transformer
最新发布
自动驾驶小白说
01-15 472
自从Transformer横空出世, 预测网络也大量应用了注意力机制多头机制, 效果提升非常显著. 本节将介绍它们在轨迹预测网络中的应用.
解释一下这段话The vectorized single-channel feature map of the base sample is denoted as and the vectorized single-channel feature maps of base background samples are denoted as .
06-03
这段话是在描述一个基本样本及其背景样本的特征表示方式。其中，基本样本的单通道特征图被向量化并表示为$\mathbf{x}$，背景样本的单通道特征图也被向量化并表示为$\mathbf{y}$，这些向量分别代表了图像中不同位置的特征信息，例如图像的颜色、纹理、形状等。通过向量化，可以更方便地对这些特征进行处理和分析，从而实现图像识别、分类和检测等任务。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一銤阳光

希望分享的内容对你有帮助

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值