StreamPETR复现详解（论文复现）

最新推荐文章于 2025-05-19 20:11:59 发布
最新推荐文章于 2025-05-19 20:11:59 发布
阅读量367 收藏 3
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 传知代码 文章标签： StreamPETR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62765017/article/details/142966460

StreamPETR复现详解（论文复现）

本文所涉及所有资源均在传知代码平台可获取

文章目录

论文内容详读

该论文提出了一种名为StreamPETR的长序列建模框架，用于多视角三维物体检测。该模型基于PETR系列中的稀疏查询设计，并系统地开发了一个对象中心的时序机制。该模型在线执行，并通过对象查询帧传递长期历史信息。此外，引入了运动感知层归一化以建模物体的移动。StreamPETR仅需微小的计算成本即可实现显著的性能提升，与单帧基线相比，取得了更好的效果。在标准nuScenes基准上，它是第一个在线多视角方法，实现了与激光雷达方法相当的表现（67.6％NDS和65.3％AMOTA）。轻量级版本实现了45.0％mAP和31.7FPS，优于最先进的方法（SOLOFusion）2.3％mAP和1.8倍更快的FPS

在这里插入图片描述

论文方法

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
纯视觉达到激光雷达水平！StreamPETR论文精读
记录学习内容
02-20 1271
本文提出了一种用于多视角三维目标检测的长序列建模框架，名为StreamPETR。该框架基于PETR系列中的稀疏查询设计，系统地开发了一种以目标为中心的时间机制。该模型以在线方式运行，通过目标查询逐帧传播长期历史信息。此外，我们引入了一种运动感知的层归一化方法，用于建模目标的运动。与单帧baseline相比，StreamPETR仅引入了微不足道的计算成本，却实现了显著的性能提升。
StreamPETR：Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection
m_buddy的博客
07-10 1883
介绍：在BEV感知中时序信息融合会为下游感知任务带来不小性能提升，但是在单帧基础上引入时序信息必然会带来额外开销，因而迫切需要一种高性能且代价小的融合方案。现有的一些时序融合策略多是在BEV特征空间维度上完成的，并且对于一些DETR-based方案本身就没有显式构建BEV特征，如PETR，则BEV特征空间上的时序融合方法就不适用了。
PETR/PETRv2/StreamPETR论文阅读
人无远虑，必有近忧
11-12 1758
但是在对t-1时刻的坐标进行变换后，这些坐标的值发生了变化，但是tensor结构没有发生变化依旧是(D*4,H,W)，那么对于H,W的某个位置x和y来说，t时刻是一条射线上的若干点坐标，t-1时刻变换到t时刻，同样的位置x和y处是上一时刻的一一对应的坐标，这表示的就是坐标的变化，这条射线上每个点在△t内坐标的变化。t时刻的lidar坐标系和t-1时刻的lidar坐标系是不同的，是变化了的，所以需要一个不会变化的global坐标系作为桥梁。3D位置嵌入与同一视图的2D图像特征相加，生成3D位置感知功能。
【Transformer-BEV编码（13）】稀疏PETR——streamPETR：Exploring Object-Centric Temporal Modeling for Effici和代码分析
最新发布
Hali_Botebie的博客
05-19 817
本文提出了一个用于多视角3D目标检测的长序列建模框架StreamPETR。基于PETR系列的稀疏查询设计，我们系统地开发了一种以目标为中心的时间机制。该模型以在线方式运行，长期历史信息通过逐帧的目标查询进行传播。此外，我们引入了运动感知层归一化来建模目标的运动。与单帧基准相比，StreamPETR在几乎可以忽略不计的计算成本下实现了显著的性能提升。在标准nuScenes基准测试中，它是第一个能够与基于激光雷达的方法达到相当性能（67.6% NDS和65.3% AMOTA）的在线多视角方法。
StreamPETR代码工程复现
h904798869的博客
01-11 2948
StreamPETR一种使用query实现多帧object-centric的时序融合策略3D物体检测器.^_^
【论文复现】StreamPETR
EterNity_TiMe_的计算机学习之路
12-01 1348
相比于传统的时空交互网络，StreamPETR引入了对象查询的概念，使得运动补偿更加方便。同时，该方法还采用了混合注意力层，以实现更高效的重复预测去除和特征聚合。此外，该方法还设计了一个灵活的记忆队列，可以根据需要自由控制最大内存大小和保存间隔。
ICCV 2023 | 更快更强！北理工&旷视提出StreamPETR：纯视觉感知与激光雷达终有一战之力!...
阿木寺的博客
07-26 3722
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【3D目标检测】微信交流群作者：ChrisM |已授权转载（源：知乎）编辑：CVerhttps://zhuanlan.zhihu.com/p/645470702纯视觉BEV感知虽然发展了两年左右的时间，但距离激光雷达算法一直都有较大差距。BEVDepth首次将纯视觉与激光雷达的差距缩到10%以内，但随后的一系...
StreamPETR：高效多视角3D目标检测的探索
gitblog_00410的博客
10-10 1166
StreamPETR：高效多视角3D目标检测的探索 项目介绍 StreamPETR 是一个在 ICCV 2023 上被接受的开源项目，专注于探索基于对象中心的时间建模方法，以实现高效的多视角3D目标检测。该项目通过引入先进的算法和技术，显著提升了3D目标检测的准确性和效率，特别是在多视角和时间序列数据处理方面表现出色。 项目技术分析 StreamPETR 的核心技术包括： 对象中心的时间建模：通...
PETR 论文学习
calvinpaean的博客
05-21 2089
DETR3D 为端到端的 3D 目标检测提供了一个思路。但是，DETR3D 中的 2D 到 3D 的变换会带来一些问题。所以，要想摆脱 2D-to-3D 变换和特征采样，构建一个在线端到端的 3D 检测器仍是一个难题。
(BEV论文精读3)PETR: Position Embedding Transformation for Multi-View 3D Object Detection
qq_55794606的博客
09-02 2209
每个物体query表示一个物体，并在transformer解码器中与2D特征进行交互以生成预测;:物体query预测的3D参考点通过相机参数投影回图像空间，并用于从所有相机视图中采样2D特征,解码器将采样的特征和query作为输入，更新物体query的表示（说到底仍旧是在2D特征中进行交互）作者的目标是将。为了实现这一目标，首先将由不同视角共享的相机视锥空间离散化为网格坐标。然后，通过不同的相机参数将这些坐标转换为 3D 世界空间的坐标。
探秘 StreamPETR：实时数据处理的新星
gitblog_00019的博客
04-27 942
探秘 StreamPETR：实时数据处理的新星 在大数据和实时分析的世界里，StreamPETR 是一颗新兴的明星。它是一个高度可扩展、易用的流式处理引擎，专为处理海量实时数据而设计。让我们一起深入了解 StreamPETR 的技术细节，了解它可以解决的问题，并探索它的独特之处。 项目简介 StreamPETR 是一个基于 Java 开发的开源项目，它的主要目标是提供一套强大且灵活的数据处理框架，...
论文阅读：《PETR: Position Embedding Transformation for Multi-View 3D Object Detection》
热门推荐
Sual
03-19 1万+
这篇论文对应NuScenes纯视觉榜三方法PETR，旷视科技于2022年3月上传至arXiv。PETR是DETR3D的改进，在没有外部训练数据的情况下，性能已经优于DETR3D。
ICCV 2023 | StreamPETR：纯视觉感知与激光雷达终有一战之力！
CV_Autobot的博客
07-26 744
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到Shihao Wang分享ICCV 2023最新中稿的StreamPETR，纯视觉感知与激光雷达终有一战之力！如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【3D目标检测】技术交流群论文作者| Shihao Wang编辑 | 自动驾驶之心文章链接：https://ar...
PETR系列(PETR,PETRv2,StreamPETR)
gui_hai的博客
08-04 7546
PETR系列文章解读
StreamPETR学习记录
m0_49133355的博客
06-21 1456
目前nuscenes排行榜第二名StreamPETR论文阅读
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wei_shuo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值