论文阅读——Knowledge-Embedded Representation Learning

最新推荐文章于 2024-01-25 13:35:12 发布

原创

最新推荐文章于 2024-01-25 13:35:12 发布 · 置顶 · 1.6k 阅读

CC 4.0 BY-SA版权

文章标签：

在这里插入图片描述

研究如何将丰富的专业知识与深度神经网络架构统一起来，并提出了一个知识嵌入式表示学习（KERL）框架来处理细粒度图像识别问题。
以知识图的形式组织丰富的视觉概念，并使用门控图神经网络通过图传播节点消息以生成知识表示。
通过引入一种新颖的门控机制，KERL框架将这种知识表示形式纳入了判别性图像特征学习中，即，将特定属性与特征图隐式关联。
与现有的细粒度图像分类方法相比，KERL框架具有几个吸引人的属性：
a）嵌入的高级知识可增强特征表示，从而有助于区分下级类别之间的细微差异。
b）我们的框架可以以有意义的配置学习特征图，突出显示的区域与知识图的节点（特定属性）完全一致。

人类不仅基于物体的外观，而且还基于从日常生活或专业中获得的知识来执行物体识别任务。通常，此知识是指包括类别标签及其属性的全面视觉概念组织。
对于细粒度的图像分类而言，这非常有益，因为属性始终是区分不同下属类别的关键。
例如，我们可能从一本书中得知，“波希米亚连雀”类别的鸟的头顶上有黑白相间的颜色，翅膀上有虹彩的羽毛。有了这些知识，要识别给定鸟类图像的“波希米亚连雀”类别，我们可能首先会回想起该知识，参加相应的部分以查看其是否具有这些属性，然后进行推理。
图1举例说明了专业知识如何帮助进行细粒度的图像识别。
用于细粒度图像分类的常规方法通常会忽略此知识，而仅依靠低级图像提示进行识别。
利用自然语言描述来帮助搜索信息区域，并与视觉流结合以进行最终预测。集成了高级信息，但它直接为图像语言对建模，并且需要对每个图像进行详细的语言描述（例如，每个图像的十个句子）。
与这些方法不同，本论文以知识图的形式组织有关类别和基于零件的属性的知识，并制定了知识嵌入表示学习（KERL）框架，将知识图纳入图像特征学习中，以促进细粒度图像识别。
提出的框架能够将特定属性与图像特征表示相关联。

KERL框架包含两个关键组件：

具体步骤：

首先构建一个大规模的知识图，该图将类别标签与部件级属性相关联，如图2所示。
通过使用给定图像的信息初始化图节点，KERL框架可能会隐含地推理出该对象的判别属性并将它们与特征图相关联。通过这种方式，我们的KERL框架可以通过有意义的配置学习特征图，突出显示的区域与图中的相关属性紧密关联。

举例：
从“波希米亚连雀”类别中学习的样本特征图始终会突出显示头部和翅膀的区域，因为这些区域与属性“头部图案：遮罩”，“头部颜色：白色和黑色”和“翅膀：虹彩”相关”是区分此类别与其他类别的关键。此特征还提供了对为什么框架可以提高性能的深入了解。

图2：用于对Caltech-UCSD鸟类数据集上的类别-属性相关性进行建模的示例知识图。

论文贡献：

从两个研究阶段回顾了相关工作：细粒度图像分类和知识表示。

目前主流方法：

论文方法：

以知识图的形式组织类别-属性关系，并隐含地推理图表上的区别属性，而不是直接使用对象-属性对。

目前主流方法：

GGNN：

一种完全可区分的递归神经网络体系结构，用于图结构化数据，该结构以递归方式将节点消息传播到其邻居，以学习节点级特征或图形级表示。
图神经网络变体，用于RGBD语义分割的3DGNN，用于情况识别的基于模型的GNN 。用于多标签图像识别的GSNN 。
GSNN是将图像和知识特征连接起来进行图像分类。相反，此论文提出一种新的门机制将知识表示嵌入到图像特征学习中，以增强特征表示。此外，我们学到的特征图展示了有见地的配置，突出显示的区域与图中的语义属性很好地吻合。

主要任务：

框架的总体流程如图3所示。
在这里插入图片描述
图3：知识嵌入式表示学习框架的总体流程。

图解： 该框架主要包括一个以知识图作为输入并通过该图传播节点信息以学习知识表示的GGNN，以及一个将表示嵌入到特征学习中以学习属性感知特征的门控机制。可以端到端的方式训练框架的所有组件。

GGNN是递归神经网络体系结构，可以通过迭代更新节点特征来学习任意图结构数据的特征。
对于传播过程，输入数据表示为图形 $G=\left \{V,A\right \}$ ，其中 $V$ 是节点集， $A$ 是邻接矩阵，表示图中节点之间的连接。对于每个节点 $v \in V$ ，它在时间步 $t$ 处具有隐藏状态 $h_{v}^{t}$ ，并且 $t = 0$ 时的隐藏状态由输入特征向量 $x_{v}$ 初始化，该输入特征向量 $x_{v}$ 取决于当前的问题。
基本的循环过程表述为: