论文阅读：iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection

最新推荐文章于 2025-05-22 11:17:22 发布
最新推荐文章于 2025-05-22 11:17:22 发布
阅读量1.5k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： scene understand
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37014750/article/details/82682755
本文介绍iCAN(BMVC2018)在InteractNet上的改进成果，实现了V-COCO45.3%的成绩。重点在于计算h或o到a的分数时，不仅使用其本身的特征，还融合了根据实例产生的注意力在原图特征上获得的上下文特征。同时，通过空间交互模式判断h和o的关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

iCAN(BMVC2018)

文章

  在InteractNet上做的改进,达到了 V-COCO 45.3%。

  • 在由h或者o计算a的分数时，不止用它们本身的特征，还concat了context特征，contex特征则是根据intance产生的注意力在原图的特征上得到的。
  • 同样需要判断h和o是否有关系，该方法是用空间的interaction pattern（neural-motif中有这个）并concat
    human instance计算得到的。
    这里写图片描述
    这里写图片描述
Kivee123
关注
HOI BMVC2018| iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection论文阅读笔记
weixin_59340037的博客
04-15 1439
近年来，对于检测和识别单个物体实例取得了飞速的发展，但是如果要理解一个场景中的情况，计算机需要识别出人与周围的物体是如何交互的，本文的核心思想是人体或物体实例的外观特征包含信息线索，这些图像相关的部分需要注意的线索以促进交互预测。为了利用这些线索，我们提出了以实例为中的注意力模块，这个模块学习根据每个实例的外观动态的突出图像的区域。这种基于注意力的网络使得我们能够有选择地聚合与HOI识别相关的特征。
iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection 论文阅读笔记
sunshine__0411的博客
10-08 2747
摘要 本文研究场景图中人-物交互问题。其核心思想是人或物体实例的外观包含指示线索，利用这些信息可以注意到图像中可以促进交互预测的部分。为了利用这些线索，研究者提出了一个以实例为中心的注意力模块，学习根据每个实例的外观动态突出显示图像中的区域。这种基于注意力的网络允许研究者选择性地聚合与识别 HOI相关的特征。   一、引言   HOI：人-物交互检测，旨在定位人、物体并识别人与物体之...
HOI原理，GNN，相关论文
最新发布
qq_62780581的博客
05-22 1046
GNN 是处理图数据的强大工具，其核心思想是通过消息传递和特征更新来捕捉节点间的关系。实现步骤包括定义图结构、初始化参数、执行消息传递和输出层计算。通过各种变种（如GCN、GAT），GNN 能够适应不同的图任务需求，成为深度学习领域的重要组成部分。GNN在计算注意力中的应用。
Python-iCAN用于人物交互检测的以实例为中心的注意网络实现
08-11
[BMVC 2018] iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection
论文笔记之ICAN
加油
06-11 756
利用注意力模块，为每一个检测到的人或物体生成注意力图以突出显示与任务相关的区域 被接收 论文地址： https://arxiv.org/pdf/1808.10437.pdf 1. 摘要 本文提出了端到端可训练的以实例为中心的注意力模块用于学习使用人或外观突出信息区域的物体实例。我们的直觉是一个实例的外观（无论是人还是物）提供关于图像中我们应该注意的位置的提示。例如，到更好地确定一个人是否携带物体，应该将其注意力集中在物体上人的手周围的区域。另一方面，给一个图像中的自行车，参加对附近人的姿势有助于消除所涉.
Learning Human-Object Interactions by Graph Parsing Neural Networks代码学习（Ubuntu+pycharm）
qq_40250617的博客
05-19 1873
１．class GPNN_HICO(torch.nn.Module)：　类 　　torch.nn.Module这个类内部有多达４８个函数，是ｐｙｔｏｒｃｈ中所有神经网络模型的基类；GPNN_HICO继承了torch.nn.Module这个类，成为了torch.nn.Module的子类， ２．def __init__(self, model_args):　方法 　　ｓｅｌｆ是定义每个类的方法 ...
HOTR: End-to-End Human-Object Interaction Detection with Transformers论文阅读笔记
weixin_59340037的博客
03-18 1419
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、本文的内容二、研究方法1.detection as set prediction2.HOTR 结构训练HOTR欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UM.
论文笔记之Learning Human-Object Interaction Detection using Interaction Points
加油
07-25 2798
直接预测人-物的交互点和交互向量（用于分组），再与人/物检测结果关联得到最终结果。 CVPR2020接收 论文地址：https://arxiv.org/abs/2003.14023 1. 摘要 理解人与物体之间的相互作用是视觉分类的基本问题之一，也是实现详细场景理解的重要步骤。人与物体之间的交互（HOI）检测力求既定位人与物体，又确定它们之间的复杂交互。 大多数现有的HOI检测方法都是以实例为中心的，其中基于外观特征和粗糙的空间信息来预测所有可能的人-物体之间的交互。 作者认为，仅外观特征不足以捕获复杂.
paper reading(2)-HOTR: End-to-End Human-Object Interaction Detection with Transformers
qq_41882866的博客
05-12 1312
注：该文章取自CVPR2021 源码： Abstract 首先介绍了一下HOI任务：检测人与物体交互关系的任务，包含 i)定位交互的主体和客体 ii)交互标签的分类 大多数现有的方法是通过检测人和对象，分别推断每一对直接的关系，但这种方法是间接地解决问题。 本文提出了HOTR框架，基于transformer的encoder-decoder结构直接预测（人，物体，交互）的三元组集合。这种预测集合的方法，有效地利用了内部语义关系，节约了时间成本。 1. Introduction 先前解决HOI的方法是，先进行对
Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
qq_46805191的博客
03-17 642
前言 这是一篇2018年发表在ECCV上得paper，论文原文点这里。 笔记 说实话刚看到这篇文章还是有点唬人的，文中作者提出了一个网络模型叫GPNN，图解析神经网络，我以为是跟GNN有关系，花了一些时间去看了近些年GCN的一些发展回头又读这篇文章的时候把GCN的思想带进去发现怎么都读不懂，后来才发现这篇文章仅仅是用了图的“结构”，后边的网络仍然是正常的Conv2D卷积。 作者介绍，其提出了GPNN，一个可以结合结构知识和深度神经网络的学习能力的端到端的模型框架。对于给定的情景（一张图片），GPN
论文阅读：Learning Human-Object Interactions by Graph Parsing Neural Networks
Kivee的博客
09-13 3300
GPNN(ECCV2018) 文章   用来检测human-object interaction。Paper说提出GPNN的目的是为了在HOI任务中显式地对空间、时间（视频）以及human-object关系进行利用。   complete HOI指的是所有的node之间都有link，node包括human和object，假设node特征为d_V维，edge的特征为d_E维（从两个box...
Detecting and Recognizing Human-Object Interactions
10-12
要理解视觉世界，机器不仅必须识别单个目标，还必须识别它们是如何交互的。本文提出了一种新的模型，挑战日常照片中检测⟨人类、动词、目标⟩三元组的任务。
A2Net:重新审视临时行动本地化的锚机制（TIP 2020）
05-24
重新审视时间行动本地化的锚机制 该存储库是“的正式实施。 在这项工作中，我们研究了弱监督的时间动作定位任务。 当前大多数动作定位方法都遵循基于锚的流水线：通过预定义的锚来描述动作实例，学习选择最接近地面实况的锚，并通过细化预测锚的置信度。 预定义的锚点在动作实例的位置和持续时间之前设置，这有利于常见动作实例的本地化，但限制了使用急剧变化的动作实例来应对灵活性，特别是对于极短或极长的实例。 为了解决这个问题，本文提出了一种新颖的无锚动作定位模块，该模块可帮助按时间点进行动作定位。 具体来说，此模块将动作实例表示为点，该点与起点边界和终点边界的距离相同，从而减轻了在动作定位和持续时间方面预先定义的锚点限制。 所提出的无锚模块能够预测持续时间非常短或非常长的动作实例。 通过将提出的无锚模块与基于常规锚的模块相结合，我们提出了一种新颖的动作定位框架，称为A2Net。 无锚模块和基于锚模块之间的协作
ECCV 2018| Learning Human-Object Interactions by Graph Parsing Neural Networks阅读笔记
weixin_59340037的博客
04-20 1089
本文主要是为了解决图像和视频中的HOI任务，引入了图解析神经网络（GPNN），是一个利用结构知识的端到端的可分辨结构。给出一个场景，GPNN能够推断出一个解析图，并且包含（1）使用邻接矩阵表示的图结构（2）节点标签。当消息传递到网络中是，GPNN就会迭代计算出邻接矩阵与节点标签。在V-COCO、HICO-DET、CAD-120上评估该方法都取得了较好的效果。 论文地址：http://cn.arxiv.org/abs/1808.07962 代码地址：https://github.com/SiyuanQi/gp
Deep Contextual Attention for Human-Object Interaction Detection阅读笔记
qq_46805191的博客
03-25 573
前言 论文地址 笔记 这篇文章写的非常清楚，我们直奔主题就好，作者提出了一个基于上下文注意力机制的网络，这个网络可以通过学习contextually-aware appearance特征来利用上下文信息识别HOI的模型。并且这个提出的注意力机制模型还能自适应的选取相关的以实例为中心的上下文信息去增强可能包含HOI的图像区域。 直接来看整个框架 比较新的东西就是红色矩形标出的context-Aware Appearance和Contextual Attention。其他部分都是之前提到过的，特别是上边的
ICCV 2019 |Deep Contextual Attention for Human-Object Interaction Detection论文阅读笔记
weixin_59340037的博客
04-19 3605
人物交互检测是视觉关系检测任务中非常重要的一类任务，对于场景的深入理解至关重要，现在很多方法将其分解为目标定位与交互识别，尽管取得了一定的进展，但是这些方法仅仅依赖于人和物体的外观而忽略掉有效的上下文信息，但是这些信息对于捕获他们之间的细微交互是非常重要的。本文提出了一个用于人物交互检测的上下文注意力框架，该方法通过学习实例的上下文感知外观特征来利用上下文信息，然后使用注意力模块自适应的选择与实例相关的上下文信息，以突出可能包含人物交互的图像区域。该方法在V-COCO上获得了4.4%的mAProle的提高.
图像理解--Detecting and Recognizing Human-Object Interactions
AI小作坊 的博客
06-05 5401
Detecting and Recognizing Human-Object Interactions https://arxiv.org/abs/1704.07333大牛们已经从图像的检测分割向图像理解的研究方向过度了！本文主要关注图像中的 人 和 物体的关系检测和识别，这种关系可以用一个三元素
Contextual Heterogeneous Graph Network for Human-Object Interaction Detection论文阅读笔记
qq_46805191的博客
04-02 409
前言 论文地址 笔记 这篇论文很像之前的GPNN，也是将HOI描述成图，利用图的结构来构建网络。但是这篇文章指出，前边的GPNN及其他类似的网络，都将human和object当作一样的节点，但是这篇文章认为，他们应该属于两个不同种类的节点，这样进行分类更好。 如图1所示，在本文的做法当中，会将一张图片中的自行车和人标记为不同的节点，例如人都是红色框标注，物体都是蓝色框标注，同一类的节点在文中称之为homogeneous nodes它们之间称为intra-class，而不同类的节点称为heterogene
CVPR 2020 | 旷视研究院提出新型人-物交互检测框架，实现当前最佳
旷视开发者技术社区
06-05 1398
IEEE国际计算机视觉与模式识别会议 CVPR 2020 (IEEE Conference on Computer Vision and Pattern Recognition) 大会官...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值