End-to-End:带有变压器的端到端可训练多实例姿势估计

最新推荐文章于 2024-10-18 21:02:05 发布
原创 最新推荐文章于 2024-10-18 21:02:05 发布 · 381 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #深度学习 #机器学习 #人工智能 #计算机视觉

本文介绍了一种新的端到端可训练的方法，即POET(POse Estimation Transformer)，它利用Transformer编码器-解码器架构及双向匹配方案，实现了多实例人体姿态估计的直接并行预测。该模型在COCO关键点检测任务上展现出优秀的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

End-to-End Trainable Multi-Instance Pose Estimation with Transformers
End-to-End:带有变压器的端到端可训练多实例姿势估计

链接PFD

在这里插入图片描述

我们提出了一种新的端到端可培训方法，用于结合卷积的多实例姿态估计带变压器的神经网络。我们投射多实例姿势图像估计作为直接集预测问题。受到端到端可训练对象检测的最新工作的启发对于变压器，我们使用变压器编码器-解码器架构以及双向匹配方案来直接使给定图像中所有个体的姿势回归。我们的模型被称为POse Estimation Transformer（POET）的人使用一种新颖的基于集合的全局损失，包括关键点损失，关键点可见性损失，中心损失和类损失。 POET的原因关于检测到的人与完整图像之间的关系上下文以直接并行地预测姿势。我们证明POET可以在具有挑战性的COCO关键点检测任务上实现高精度。就我们所知，此模型是第一种端到端可训练的多实例人体姿势估计方法。

在这里插入图片描述
在这里插入图片描述

https://arxiv.org/pdf/2103.12115.pdf

目标检测：Deformable DETR: Deformable Transformers for End-to-End Object Detection【方法解读】
sinat_39783664的博客
07-14 591
Deformable DETR: Deformable Transformers for End-to-End Object Detection论文方法解读
【论文阅读】YOLOv10: Real-Time End-to-End Object Detection
Limiiiing的博客
08-26 3773
在过去的几年里，由于在计算成本和检测性能之间取得了有效的平衡，YOLOs已经成为实时目标检测领域的主导范式。研究人员已经对yolo的架构设计、优化目标、数据增强策略等进行了探索，并取得了显著进展。然而，对非最大抑制(NMS)的后处理依赖阻碍了yolo的端到端部署，并对推理延迟产生不利影响。此外，YOLOs中各部件的设计缺乏全面彻底的检查，导致计算冗余明显，限制了模型的能力。它提供了次优的效率，以及相当大的性能改进潜力。在这项工作中，我们的目标是从后处理和模型架构两个方面进一步推进YOLOs的性能效率边界。
An End-to-End Trainable Neural Network for Image-based Sequence Recognition
myc的博客
02-03 6375
Abstract 基于图像的序列识别一直是计算机视觉中长期存在的研究课题。在本文中，我们研究了场景文本识别的问题，这是基于图像的序列识别中最重要和最具挑战性的任务之一。我们一种新颖的神经网络架构，集成了特征提取，序列建模和转换的统一框架。与以前的场景文本识别系统相比，所提出的架构具有四个独特的属性：（1）它是端到端可训练的，与大多数现有算法相反，其中的组件是单独训练和调整的。（2）它自然地处理任意...
[论文阅读：姿态识别&Transformer] POET: End-to-End Trainable Multi-Instance Pose Estimation with Transformers
cheerful090的博客
12-14 3778
[论文阅读：姿态识别&Transformer] 2103 POET: End-to-End Trainable Multi-Instance Pose Estimation with Transformers 文章目录[论文阅读：姿态识别&Transformer] 2103 POET: End-to-End Trainable Multi-Instance Pose Estimation with Transformers摘要：1.introduction2. 相关工作2.1. Transf
人体姿态识别论文：End-to-End Trainable Multi-Instance Pose Estimation with Transformers翻译前半部分
m0_47714012的博客
01-04 831
摘要： 提出了一个新的端到端可训练的多实例（multi-instance)姿态估计模型，其结合了CNN和Transformer。我们将多实例图像姿态估计作为直接集合预测问题。受最近关于Transformer端到端可训练的目标检测工作的启发，我们使用Transformer编码器-解码器架构和二部图匹配（bipartite matching）方案来直接回归给定图像中所有个体的姿态。我们的模型称为POse Estimation Transformer(POET)，使用一种新的基于集合的全局损失进行训练，该全局损
灵感论文精读《End-to-End Multi-Person Pose Estimation with Transformers》
Yang阳羊
01-14 1662
现有的多人姿态估计方法通常分别处理人体关节的定位和关联。在本文中，提出了第一个具有transformers的完全端到端多人姿态估计框架，称为PETR。此方法视图将估计作为一个层次集预测问题，并有效地消除了许多手工制作的模块，如RoI裁剪、NMS和分组后处理。在PETR中，学习多个姿势查询来直接推理一组全身姿势。然后利用关节译码器对人体关节间的运动关系进行进一步细化。通过注意机制，该方法能够自适应地关注与目标关键点最相关的特征，极大地克服了姿态估计中特征错位的困难，极大地提高了姿态估计的性能。
End-to-End Multi-Person Pose Estimation with Transformers
wulele2的博客
04-14 1021
本篇论文借鉴DeformableDetr的范式来回归人体2d姿态，有关DeformableDetr可参考：1）
论文：MDETR - Modulated Detection for End-to-End Multi-Modal Understanding用于端到端多模态理解的调制检测
m0_38064230的博客
10-24 855
作者 摘要
目标检测：End-to-End Object Detection with Transformers【方法解读】
sinat_39783664的博客
07-14 638
End-to-End Object Detection with Transformers论文中方法的详细解读
《TransVG: End-to-End Visual Grounding with Transformers》中文校对版
最新发布
buyaotutou的博客
10-18 1387
在本文中，我们提出了一个整洁而有效的基于Transformer框架的视觉定位，即transVG，解决定位的语言查询到相应的区域到图像上的任务。现有的方法包括两阶段或一阶段的方法，都依赖于一个复杂的模块和人工设计的机制来执行查询推理和多模态融合。然而，融合模块设计中的查询分解、图像场景图等机制的引入，使得模型容易过拟合到特定场景的数据集，限制了视觉-语言上下文之间充分的交互。
detr：使用变压器进行端到端对象检测
02-23
DE⫶TR ：使用变压器进行端到端物体检测 PyTorch的DETR （ DE tection TR ansformer）训练代码和预训练模型。 我们用变压器代替了整个复杂的手工物体检测管道，并用ResNet-50匹配了Faster R-CNN，使用一半的计算能力（FLOP）和相同数量的参数在COCO上获得了42个AP 。 在PyTorch的50行中进行推断。 这是什么。 与传统的计算机视觉技术不同，DETR将对象检测作为直接设置的预测问题。 它由基于集合的全局损耗（通过二分匹配强制唯一预测）和变压器编码器-解码器体系结构组成。 给定固定的学习对象查询集，则DETR会考虑对象与全局图像上下文之间的关系，以直接并行并行输出最终的预测集。 由于这种并行性质，DETR非常快速和有效。 关于代码。 我们认为，对象检测不应该比分类困难，也不需要复杂的库来进行训练和推理。 DETR的实现和试验非常
detr-reimplementation:用变压器重新实现FAIR的端到端对象检测
03-13
重新实现DETR：使用变压器进行端到端对象检测 这是Carion，Nicolas等人的重新实现。 在Facebook AI Research。 该代码基于本文，其官方以及它们提供的示例笔记本。 重新实现的目的是在过程中重新创建和理解模型，同时简化一些代码，以使可读性和简单性优先于效率和功能。
论文阅读笔记：An End-to-End Trainable Neural Network Model with Belief Tracking for Task-Oriented Dialog
BoCong-Deng的博客
09-29 477
我们提出了面向任务的对话系统的新型端到端可训练神经网络模型，该模型能够跟踪对话状态，基于知识（KB）的API调用，并将结构化的KB查询结果合并到系统响应中，从而成功完成面向任务的对话。通过在对话历史上的进行belief tracking和KB结果处理，进而模型产生结构良好的系统响应。我们使用从第二个Dialog State Tracking Challenge（DSTC2）语料库转换而来的数据集在饭店搜索域中评估模型。实验结果表明，在给定对话历史记录的情况下，该模型可以很好地跟踪对话状态。此外，我们的模型在
论文阅读-End-to-End Trainable System for Enhancing Diversity in Natural Language Generation
听了个听儿
10-14 245
E2E挑战赛中DataDriven的方法
姿态估计端到端新方案 | DirectMHP：用于全范围角度2D多人头部姿势估计
CV技术指南（微信公众号）
02-11 1517
现有的头部姿势估计主要集中在具有预先检测到的正面头部的单个人，这依赖于单独训练的面部检测器，不能很好地泛化到完整的视点。在本文中，作者关注全范围 MPHPE 问题，并提出了一个名为 DirectMHP 的直接端到端简单基线，通过多头的联合回归位置和方向设计了一种新颖的端到端可训练单级网络架构，以解决 MPHPE 问题。 这种灵活的设计可以接受任意姿势表示，同时可以隐含地从更多环境中获益，以提高 HPE 精度，同时保持头部检测性能。
⭐️DirectPose：Direct End-to-End Multi-Person Pose Estimation
Ryn_love的博客
08-12 2389
第一个直接端到端多人姿态 估计框架，称为DirectPose。受到来自于最近的无锚目标检测器(直接回归目标边界盒的两个角)的启发，该框架直接从原始输入图像中预测所有实例的实例感知关键点，消除了自底向上方法中启发式分组或自顶向下方法中边界盒检测和RoI操作的需要。我们还提出了一种新的关键点对齐(Keypoint Alignment, KPAlign)机制，该机制克服了该端到端框架中卷积特征与预测之间的特征不匹配的主要困难。.........
End-to-End Video Instance Segmentation with Transformers论文翻译
wangxw0611的博客
03-07 2570
论文地址：https://arxiv.org/abs/2011.14503 摘要 视频实例分割(VIS)是需要同时对视频中感兴趣的对象实例进行分类、分割和跟踪的任务。 最近的经典方法通常发展复杂的方法来解决这项任务。在此，我们提出了一个建立在Transformers基础上的新的视频实例分割框架，称为VsTR，它将VIS任务视为一个直接的端到端并行的序列解码/预测问题。 给定一个由多个图像帧组成的视频剪辑作为输入，VisTR直接按顺序输出视频中每个实例的掩码序列。 核心是一个新的，有效的实例序列匹配和分割策略
端到端学习，多任务学习学习记录
m0_46708519的博客
07-31 278
1.端到端学习(End to End Learning) 过去为了解决一个人工智能问题（以图像识别为例）往往需要通过分分治法将其分解为预处理、特征提取和选择、分类器设计等若干个步骤。分治法的动机是为了将大的复杂的问题分解为一个个简单的问题。但是分步解决子问题时，尽管可以在子问题上得到最优解，但是子问题的最优解并不意味着就能在全局上得到一个最优的解。对于一个经典的自然语言处理问题，包括了分词，词性标注，句法分析，语义分析等多个独立步骤，每个步骤是一个独立的任务，其上一步结果的好坏都会对下一步造成影响，从而影响
神经网络中end-to-end training和end-to-end models的区别
Microstrong
09-07 6781
学习神经网络的时候，常常看到论文里说，这个网络模型是end-to-end trainable，end-to-end trainable是指什么样子的网络?不是很理解，所有在网上查找很多资料，来整理一下！ 传统的语音识别系统，是由许多个模块组成的，包括声学模型、发音词典、语言模型。其中声学模型和语言模型是需要训练的。这些模块的训练一般都是独立进行的，各有各的目标函数，比如声学模型的训练目标是最大化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值