weixin_43178406的博客

1. 前提说明本博客主要为了介绍textcnn，因此首先需要了解cnn的基本知识2. 卷积层2.1 cnn一般来讲输入都是[batch, height, weight, in_channles]卷积核由三部分组成：kernel_size（上图中一个2×2的小方块）in_channels（与输入的in_channel一样，因为要对应相乘）out_channels可以理解成输出的...

1. 机器翻译attention在seq2seq结构中，针对一个样本，decoder的每个输入（字向量）都是encoder的最后一个词的输出。attention机制企图达到以下目的：以将“机器学习”翻译成machine learning为例。decoder中第一次只想关注机器，从而翻译成machine；第二次只想关注学习，并翻译成learning。因此，decoder中每个输入（字向量）都是不一...

1. 卷积神经网络（CNN）结构cnn网络结构一般为卷积层----池化层----卷积层----池化层----卷积层----池化层----…----全连接层----全连接层----…2. 卷积层卷积层的输入是是一个四维数组，如[batch, in_height, in_width, in_channels]，如[128, 28, 28, 3],这里的3指channel（通道个数），28×28分...

1. 综述2. 输入3. attention等进一步处理4. transformer

本篇论文原始代码我c++语言，由于个人原因，根据公开资料，整理得到python语言代码。本篇代码在一个baseline的类中，定义多个函数。def pos_index为位置嵌入函数；def load_wordVec为加载词向量函数（前提是已经训练好词向量）；def load_wordMap为词索引函数（即按照词频定义每个词的index），此函数为没有预先训练好wordvec时使用；def loa...

1. 概述关系提取（RE）：是从纯文本生成关系数据的过程，是NLP中的一项重要任务。远程监督方法的句子中人物关系数据存在很多噪声（错误标记），因此，本文提出基于句子的注意力CNN模型，在多个实例上构建句子级别的注意，力这有望在动态地减少那些噪声实例的权重。Knowledge base（简称kb）：数据库。如freebase、DBpedia、YAGO2. 相关研究（Zeng et al。，...

2019年清华在ACL提出ERNIE模型，同年，百度也提出一个ERNIE模型。本篇论文主要针对的是清华的模型。BERT模型在很多NLP任务中取得很好的效果，但是BERT模型只是就事论事，缺乏对知识的理解。因此ERINE模型在输入上加入了sentence存在于知识图谱中的实体信息。比如’Bob is a writer.’，在bert中原始的输入为[‘Bob’, ‘is’, ‘a’, ‘writer...

1. 概述通过预训练语言表征完成NLP任务主要分为两大类：feature-base、fine-tuning。前者如ELMo，它将学习的表征作为feature提供给下面的任务，下游任务提供模型；后者如Open GPI、ULMFiT，它们在fine tune预训练中学习到参数，不需要下游提供task-specific的模型。这两类在预训练时都使用了同样的目标函数，同时也都使用了单向的语言模型。这些...

attention is all your need是谷歌首次提出的，其摒弃了RNN与CNN，改用transformer模型，网路结构如下所示：本次代码调试使用pytorch，要求python3环境，python文件共有三个，具体步骤为：下载数据、数据预处理、训练模型、测试模型。数据预处理阶段，需要加载数据，构建词汇的索引，词转化等。分别定义read_instances_from_file、...

1.简介本篇论文是谷歌提出的基于注意力机制的transformer模型，主要解决机器翻译问题。之前的研究大多使用RNN和encoder-decoder结构，RNN的下一个输入依赖于上一层输出，串行结构导致运行很慢，transformer摒弃了递归结构，引入注意力机制，使得其可以并行计算，加快训练时间。2. 背景机器翻译领域，以前经常采用RNN，但是RNN不能并行运算，所以提出了一些使用CNN...

本次代码共分为5部分，即分成五个python文件。第一个文件为configure：目的是解析参数，代码如下：import argparseimport sysdef parse_args(): """ Parse input arguments """ parser = argparse.ArgumentParser() # Data lo...

1. 概述本篇论文模型框架共有五部分：第一：输入层，输入的为每个句子第二：嵌入层，将句子中的字转换为向量第三：lstm层第四：attention层，通过乘以权重向量，产生新的权重向量，并将每个时间步长的词级特征合并为句子级特征向量;第五：输出层2. 词嵌入词嵌入的基本原理为其中eie_iei​即词的向量，他是通过一个矩阵W与一个单位矩阵相乘得到。bi-lstm本文使用双向...

1. 对数据进行预处理2. 定义网络结构3. 数据分割及训练网络4. 代码展示

1. 综述该篇论文解决的实际问题为：关系抽取（给定两个名词，代表不同的实体即不同的人名，以及包含这两个实体的句子，通过句子得出两个实体的关系，如夫妻、同事等），通过词向量、词特征、句子特征等构造输入向量，使用CNN（卷积神经网络）预测结果（结果被送入softmax分类器，因此预测结果为每一种关系的置信度）。2.摘要、绪论摘要等绪论部分主要介绍了关系抽取方面已经取得的成果，以及相关文献。关系抽...