基于知识图谱的问答系统入门—NLPCC2016KBQA数据集

基于知识图谱的问答系统，BERT做命名实体识别和句子相似度 介绍 本项目主要由两个重要的点组成，一是基于BERT的命名实体识别，二是基于BERT的句子相似度计算，本项目将这两个模块进行融合，构建基于BERT的KBQA问答...

In this year’s NLPCC open domain QA share task, we focus on KNOWLEDGE and propose three sub-tasks, including (a) knowledge-based question answering (KBQA), (b) knowledge-based question generation ...

《NLPCC2016KBQA：探索知识图谱问答技术的深度解析》 NLPCC2016KBQA是一项聚焦于自然语言处理（Natural Language Processing, NLP）和知识图谱（Knowledge Base, KB）问答（Question Answering, QA）的重要竞赛。这...

在实际应用中，NLPCC2016-DBQA的数据集和评测任务推动了中文问答系统在信息抽取、知识图谱、多模态问答等方向的发展。例如，通过结合结构化和非结构化数据，可以提升问答系统的准确性；利用深度学习模型，如...

Question answering (QA) has become a popular way for humans to access billion-scale knowledge bases. Unlike web search, QA over a knowledge base gives out accurate and concise results, provided that natural language questions can be understood and mapped precisely to structured queries over the knowledge base. The challenge, however, is that a human can ask one question in many different ways. Previous approaches have natural limits due to their representations: rule based approaches only understand a small set of “canned” questions, while keyword based or synonym based approaches cannot fully understand the questions. In this paper, we design a new kind of question representation: templates, over a billion scale knowledge base and a million scale QA corpora. For example, for questions about a city’s population, we learn templates such as What’s the population of $city?, How many people are there in $city?. We learned 27 million templates for 2782 intents. Based on these templates, our QA system KBQA effectively supports binary factoid questions, as well as complex questions which are composed of a series of binary factoid questions. Furthermore, we expand predicates in RDF knowledge base, which boosts the coverage of knowledge base by 57 times. Our QA system beats all other state-of-art works on both effectiveness and efficiency over QALD benchmarks.

CBT 数据集由文字段落和相应问题构建，问答数据均来自古腾堡项目免费提供的书籍，该数据集用于直接测量语言模型、更广泛的语言环境用于问答和仿真查找。 cbt_test.txt cbtest_CN_test_2500ex.txt cbtest_CN_valid_2000ex.txt cbtest_NE_test_2500ex.txt cbtest_NE_valid_2000ex.txt cbtest_P_test_2500ex.txt cbtest_V_valid_2000ex.txt ._stats_all_CBT.txt ._stats_CN.txt ._stats_NE.txt ._stats_P.txt ._stats_V.txt stats_all_CBT.txt stats_CN.txt stats_NE.txt stats_P.txt stats_V.txt cbt_valid.txt cbt_train.txt ._BOOK_SPLIT.txt BOOK_SPLIT.txt LICENSE.txt cbtest_P_valid_2000ex.txt cbtest_V_test_2500ex.txt cbtest_CN_train.txt cbtest_V_train.txt cbtest_NE_train.txt cbtest_P_train.txt

一个简单的KBQA 一个简单的基于知识图谱的问答系统 数据集：数据集为2019年语言智能大赛的关系撤除数据集 实体识别模型：利用Transformer模型进行实体识别（以后会变更为bert） 事实识别：自己构造了几十条数据，利用逻辑回归进行预测 关系类型：包含'主演'，'作者'，'歌手'，'出生日期'，'导演'，'出生地'，'出版社'，'成立日期'，'连载网站'，'国籍'，'毕业院校”，“民族”，“所属专辑”，“目”，“作曲”等15中关系类型 实体类型：包含'影视作品'，'书籍'，'歌曲'，'人物'，'企业'，'网络小说'，'生物'7种实体类型

数据集 dev-v2.0.json：这个数据包含了问题和答案的对，但是以JSON格式存在，需要编写parser来提取出里面的问题和答案。 Gloves.6B：这个文件需要从网上下载，下载地址为： ://nlp.stanford.edu/projects/glove/ 请使用d = 100的词向量（用于PART3） 环境： Python 3（必须要使用Python 3） 简单的问答系统编写 文本的读取：从JSON文件里读数据，并把文本写到问题变量和答案变量中（列表） 文本的预先：需要对原始文本做初步操作，包括一些词的过滤 文本的表示：把文本转换成tf-idf格式/词向量，句子向量 文本相似度计算：利用余弦弦相似度来计算文本之间的相似度 倒排列表：通过倒排列表来加快文档的检索