《Aspect-based Sentiment Analysis with Type-aware Graph Convolutional Networks and Layer Ensemble》笔记

文章地址：https://aclanthology.org/2021.naacl-main.231/

文章内容

  图神经网络被广泛用于方面级情感分析任务。但是现有的研究大多只利用依赖关系而不考虑其依赖类型，并且缺乏有效的机制区分不同卷积层中所学习到的重要知识。为了解决这些上述问题，作者提出了一种类型感知的图神经网络（T-GCN）。在T-GCN中，作者用注意力机制区分图中的不同的边，并提出注意力集成 来综合学习T-GCN中不同的层的信息。

文章方法

类型感知图构建

  作者通过一个工具包获得依赖树三元组其中r代表单词i和单词j之间的依赖关系，所以作者构造了2个矩阵，一个为邻接矩阵A，代表两个单词之间是否有连接，1代表有，0代表没有，类型矩阵R代表他们依赖边的类型，然后作者使用了一个转移矩阵将R转化为他们的嵌入E。

T-GCN

  对于类型感知图，作者提出了一种L层T-GCN，对于每一层，作者将注意力应用于图中的边，通过它们对ABSA任务的贡献来对其进行加权，并且将l-1层GCN的输出与它们的依赖类型嵌入连接在一起，公式如下：

  然后作者通过如下公式计算每条边的权重：

  然后作者将类型嵌入e与l-1层的输出的维度对其并相加，公式如下：

  最后作者将权重p应用到每条边上，然后通过如下公式计算第l层的隐藏层状态：

注意力层集成

  对于每个单词xi，由于每个T-GCN层都包含来自直接连接到它的单词的信息，因此多个T-GCN层可以从远距离学习间接的单词关系。因此，假设不同层具有编码上下文信息的独特能力。为了利用这些能力，作者建议通过专注的层集成全面学习所有T-GCN层。
  首先作者先对方面术语含有多个单词的情况，将它们的隐藏层向量去平均

  然后作者再对所有GCN层的输出求一个加权合，公式如下：

用T–GCN编码和译码

  作者通过BERT获得最原始的T-GCN的输入，当然一共有两种方式，就是后面是否跟方面实体。然后再输入到GCN当中，最后用Softmax函数进行分类：