知识图谱大模型系列之 19 使用 LLM 根据句子创建示例知识图谱(教程含源码)

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。有了全面的 SPO 三元组列表（原始加推断的），该工具会使用 PyVis（Vis.js 的 Python 接口）生成一个交互式的 HTML 可视化文件。

此应用程序旨在将非结构化数据（pdfs, docs, txt, youtube视频, 网页等）转化为存储在Neo4j中的知识图谱。它利用大型语言模型（OpenAI, Gemini等）的强大功能，从文本中提取节点、关系及其属性，并使用Langchain框架创建结构化的知识图谱。从本地计算机、GCS或S3存储桶或网页源上传文件，选择您的LLM模型并生成知识图谱。

使用LLM图转换器进行信息提取时，定义图谱模式对于引导模型构建有意义和结构化的知识表示至关重要。一个良好定义的图谱模式指定了要提取的节点和关系类型，以及每个节点和关系的任何属性。这个模式作为蓝图，确保LLM始终如一地提取相关信息，以符合所需的知识图谱结构。在本文中，我们将使用玛丽·居里的维基百科页面[12]的开头段落进行测试，并在最后添加了一句关于罗宾·威廉姆斯的句子。text = """"""我们还将在所有示例中使用GPT-4o。import os。

可以看到，数据集包含若干产品的相关字段，但这次我们只用到里面的title字段，如果你手头有其他数据集，包含更完善的信息，也可以同时使用多个字段（如果你打算使用多个字段，那就直接把多个字段拼接为一个新的字段"text"，比如标题_描述_规格），然后我们将使用 ChatGPT 从中提取构建知识图谱所需要的实体和关系信息。这些类型将与 Schema.org 中的对应实体和关系相映射。实体解析的作用是将数据集中的实体与现实世界中的概念相匹配，会使用 NLP 技术，对数据集中的头部和尾部实体执行基本的实体解析。

知识图谱是一种强大的信息表示工具，通过实体（节点）及其之间的关系（边）来清晰呈现事物间的联系。相比之下，非结构化文本则显得杂乱无章。传统上，从原始文本构建知识图谱并非易事，往往需要人工识别实体和关系，并编写提取规则，或者借助专门的机器学习模型完成任务。然而，大语言模型（LLM）的出现带来了转机。LLM 具备强大的灵活性，非常适合这项任务。它们能够读取自由格式的文本并输出结构化信息。正如本文将展示的，我们可以利用 LLM 构建自动化流程来创建知识图谱。

最近我读了一篇介绍neo4j-runway的文章，它简化了将关系数据迁移到图形中的过程。它提供了抽象与 OpenAI 通信的工具，以对数据运行发现并生成数据模型，以及生成提取代码并将数据加载到 Neo4j 实例中的工具”。翻译一下，通过上传 CSV，LLM 将找到节点和关系并自动生成知识图谱。

如何使用 LLM 将医疗保健 CSV 数据转换为知识图谱？

这智能图功能是智能代理可以嵌入到 RDF 图中。只有当查询图中引用代理的结果时，这些代理才会被激活。智能代理只是以 SCRIPT 文字值形式存储的 Python 脚本。但是，当查询 SCRIPT 值时，将执行该脚本并返回其结果值，而不是将 Python 脚本作为文字返回。数据类型为 SCRIPT 的图形文字值可以比作包含公式的电子表格单元格。电子表格显示该公式的结果，而不是公式脚本。

在本文中，我将展示如何使用 Python 和自然语言处理构建知识图谱。网络图是一种数学结构，用于显示点之间的关系，可以使用无向/有向图结构进行可视化。它是一种映射链接节点的数据库形式。知识库是来自不同来源（如维基百科）的信息的统一存储库。知识图谱是一种使用图形结构数据模型的知识库。简而言之，它是一种特殊类型的网络图，显示现实世界实体、事实、概念和事件之间的定性关系。“知识图谱”一词于 2012 年由Google首次用于介绍其模型。

大型语言模型（LLM）已经很强了，但还可以更强。通过结合知识图谱，LLM 有望解决缺乏事实知识、幻觉和可解释性等诸多问题；而反过来 LLM 也能助益知识图谱，让其具备强大的文本和语言理解能力。而如果能将两者充分融合，我们也许还能得到更加全能的人工智能。

知识图是以图形格式表示数据的网络。知识图的美妙之处在于它们将概念、事件和实体表示为节点，并将它们之间的关系表示为边。这些关系决定了节点的上下文，因此可以更好地理解单词的语义并区分其多种可能的含义。例如，谷歌的知识图谱支持谷歌搜索，可以区分品牌“苹果”和水果“苹果”。知识图适用于一系列领域和应用，包括零售中的产品推荐、搜索引擎优化、反洗钱举措和医疗保健。然而，知识图谱的利用因其困难、昂贵且耗时的构建过程而受到阻碍。这一挑战激发了探索自动知识图构建的新研究浪潮。

Neo4j 的大模型知识图谱构建器（LLM Knowledge Graph Builder） 一、环境搭建&报错解决 公众号： 超好用！五分钟内将文本转为图谱，可用于发现实体之间关系和规律，与文本对话 Vector | Graph：蚂蚁首个开源Graph RAG框架设计解读 环境搭建： 超好用！五分钟内将文本转为图谱，可用于发现实体之间关系和规律，与文本对话 线上Neo4j控制台 线上Neo4j数据库——auraDB llm-graph-builder.neo4jlabs 官方文档 Neo

RAG 在用户提交相关任务时，会将提问的问题进行解析，搭配已有的额外知识库，找寻到同它相关的那些知识。

论文地址：Unifying Large Language Models and Knowledge Graphs: A Roadmap自从2017年Transformer提出后，Bert系列、GPT系列及T5等在大规模语料库上预训练的大型语言模型已经可以在一些自然语言处理任务上发挥很好的效果了，如：文本分类，机器翻译，摘要生成，命名实体识别，智能问答等。随着模型规模的急剧增长，如GPT3、PaLM等模型具有数百上千亿的参数量，LLM进一步获得了涌现能力，可以解决更多更加复杂的任务，比如优秀的上下文学习能力，

创建知识图谱通常涉及到专业的复杂任务，但通过利用Llama Index（LLM）、KnowledgeGraphIndex和GraphStore，我们可以从任何Llama Hub支持的数据源中创建一个相对高效的知识图谱。此外，查询知识图谱通常需要与存储系统相关的特定领域知识（如Cypher），但在LLM和LlamaIndex KnowledgeGraphQueryEngine的帮助下，我们可以用自然语言来完成这些任务！使用Llama Index提取和设置知识图谱使用Cypher查询知识图谱。

我曾经尝试过构建知识图谱，但没有成功。对企业或团队而言，构建知识图谱的好处远远不值付出的巨大努力。不过，那时 LLM 还没有出现。当我得知 LLM 可以从纯文本中提取图谱信息，并将其存储到像 Neo4J 这样的数据库时，我非常震惊。但这些实验性的功能仍然不够完善。我认为它们目前还不适合直接用于生产环境，至少需要进行一些调整和优化。在这篇文章中，我介绍了两种帮助我提升知识图谱构建质量的技术。希望对你也有所帮助！

本项目使用CNN/DailyMail数据集作为研究对象。该数据集包含超过30万篇新闻文章及其对应的人工撰写摘要，是进行实体、关系和事件提取的理想资源。# 使用特定版本可以帮助保持一致性我们选择版本"3.0.0"，这是该数据集的最新稳定版本。# 计算记录总数total_records=len(cnn_dm_dataset["train"]) +len(cnn_dm_dataset["validation"]) +len(cnn_dm_dataset["test"]) # 打印总数和样本记录。