论文阅读:Scene Graph Generation by Iterative Message Passing

这篇博客详细介绍了CVPR2017论文中提出的Iterative Message Passing方法在场景图生成中的应用。初始图使用全连接图进行初始化,网络考虑了C+1种关系概率,包括none-relation。文章阐述了如何通过GRU迭代更新,以及如何计算节点和边的兼容性得分来构建和更新context。在VG数据集的测试结果中,分析了R@k指标以及with和without graph constraint两种情况下的性能差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Iterative Message Passing(CVPR2017)

文章
  问题是最开始的graph怎么得到?代码里还是用的full-connected graph作为初始化。
  本方法中,如果有C种关系,那么网络中是C+1个关系的概率,多的一个代表none-relation,物体类别也一样,多出来一类代表background。
这里写图片描述
  代码里,先将所有可能的relation都列出来了(任意两个不相同的box都认为可能有关系),因此还是有n*(n-1)对关系。GRU每次的输入为context,隐藏状态每次迭代都被更新。代码中的context是一种soft的:

  (1)对于edge,将其subject和object的特征(从GRU的隐藏状态得到),分别与该edge的GRU当前迭代的输出concat,分别经过不同的fc和relu得到一个0到1的compatibility score,对于每个edge,它的context就由他的s和o分别乘以它们对应的score的和。
  (2)对于vertex,一个vertex可能会在多个rel中充当sub或者obj,充当sub则称该rel为outbounds,反之为inbounds。同

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值