Contextual Heterogeneous Graph Network for Human-Object Interaction Detection论文阅读笔记

前言

论文地址

笔记

1. 这篇论文很像之前的GPNN，也是将HOI描述成图，利用图的结构来构建网络。但是这篇文章指出，前边的GPNN及其他类似的网络，都将human和object当作一样的节点，但是这篇文章认为，他们应该属于两个不同种类的节点，这样进行分类更好。
   
2. 如图1所示，在本文的做法当中，会将一张图片中的自行车和人标记为不同的节点，例如人都是红色框标注，物体都是蓝色框标注，同一类的节点在文中称之为homogeneous nodes它们之间称为intra-class，而不同类的节点称为heterogeneous nodes，他们之间称为inter-class。
   
3. 特征提取网络如图，Spitial map和之前提到的没什么区别，仍然是两个通道，bbox里边的值为1，其它为0。human block和object block是在使用预训练目标检测器提取特征的基础上进一步提取特征。
   
4. 图三是整个的推理过程，学习策略分是迭代的传递信息并更新节点的隐藏层特征。首先第一步是信息传递，因为节点类型不同，所以这里的信息分为intra-class和inter-class，计算公式如公式