
自然语言处理NLP
文章平均质量分 90
自然语言处理NLP
python慕遥
Python创作与分享
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
OpenWebUI新突破,MCPO框架解锁MCP工具新玩法
Open WebUI 迎来重要更新,现已正式支持 MCP 工具服务器,但 MCP 工具服务器需由兼容 OpenAPI 的代理作为前端。mcpo 是一款实用代理,经测试,它能让开发者使用 MCP 服务器命令和标准 OpenAPI 服务器工具,轻松连接工具与大语言模型(LLM)智能体及应用程序。本文将详细介绍 mcpo 工作机制,创建、部署新的 MCP 服务器,并集成到 Open WebUI 中,挖掘 MCP 工具服务器潜力,拓展应用场景。原创 2025-05-17 21:41:49 · 1546 阅读 · 0 评论 -
轻松实现推理智能体,基于Smolagents框架和DeepSeek-R1
大家好,现在 AI 智能体在处理复杂推理任务上越来越强大,本文将介绍一个实用的技术组合。Smolagents,Hugging Face 开发的轻量级框架,能让大语言模型(LLMs)与现实数据处理无缝对接。DeepSeek-R1 是开源大语言模型里的 “性价比担当”,用 Ollama 部署到本地,运行效率超高。下面就详细教大家如何借助这二者,结合网页抓取和数据导出工具,搭建超厉害的推理智能体。原创 2025-04-10 10:42:25 · 1518 阅读 · 0 评论 -
本地部署Deepseek R1,并利用本地知识库创建RAG
定义两个后处理器,根据索引创建查询引擎,并使用指定的相似度阈值和重新排序设置。返回配置好的查询引擎。原创 2025-04-09 11:40:06 · 777 阅读 · 0 评论 -
详解模型蒸馏,破解DeepSeek性能谜题
在基于模型蒸馏的示例项目构建中,定义并训练教师模型是关键的环节。这里,构建一个多层卷积神经网络(CNN)作为教师模型。# 教师模型keras.layers.Dense(10) # 不使用softmax,输出原始logits用于蒸馏])需要注意的是,模型最后一层设置了 10 个单元,对应 0 - 9 这 10 个数字,但未采用 softmax 激活函数,而是输出原始的 logits。原创 2025-04-08 16:14:49 · 812 阅读 · 0 评论 -
开源大模型新王者Llama 3.3 70B,用Ollama跑起来
大家好,Meta公司新近推出的Llama 3.3 70B模型,为大型语言模型带来了新突破。这款模型不仅支持多语言,性能强劲,而且具备成本效益,有望彻底改变企业和科研人员利用AI的方式。本文带大家深入解析Llama 3.3 70B。原创 2024-12-10 23:50:49 · 2267 阅读 · 0 评论 -
利用Milvus向量数据库实现GraphRAG
大家好,GraphRAG技术借助知识图谱,给RAG应用注入了新的动力,使其能够在海量数据中精确检索所需信息。本文将介绍GraphRAG的实现方法,包括如何创建索引以及如何利用Milvus向量数据库进行查询,助力在信息检索的道路上事半功倍。通过一个分支仓库来安装GraphRAG,这是因为Milvus的存储功能在本文编写时还未被官方正式合并。原创 2024-12-03 20:59:02 · 1566 阅读 · 0 评论 -
本地部署Qwen2.5-Coder大模型,打造专属编程助手
Qwen2.5-Coder的推出,标志着智能代码语言模型进入了新的时代。这款模型具有高效性能和实用价值,不仅能够深入理解复杂的代码结构,还能提供精确的代码补全和错误检测,极大提升开发效率。本文详细介绍如何在本地系统上部署Qwen2.5-Coder,以及其与Ollama的集成方案,希望为开发者带来更流畅的开发体验。原创 2024-11-29 23:59:49 · 1710 阅读 · 0 评论 -
从普通RAG到RAPTOR,10个最新的RAG框架
大家好,大型语言模型(LLMs)如GPT-4在自然语言处理(NLP)领域有着重要作用,擅长生成文本、回答问题等任务。但这些模型也存在一些短板,比如对最新信息的掌握不足、难以实时更新知识库以及在处理大量信息时效率不高。为了解决这些问题,检索增强生成(RAG)技术应运而生,它通过整合外部数据源,提升了模型的响应质量和适用性。今天将介绍10种改进版的RAG技术,它们在检索和生成环节上各有侧重,覆盖了从通用到特定问题的解决方案,能够体现出RAG在促进自然语言处理(NLP)进步中的多样性和巨大潜力。原创 2024-11-22 20:02:51 · 1319 阅读 · 0 评论 -
LLMOps快速入门,轻松开发部署大语言模型
LLMOps(Large Language Model Operations)是机器学习运营(MLOps)的演变,专门针对大型语言模型(LLMs)的独特需求和挑战。LLMOps 超越了MLOps的通用模型生命周期管理,更加专注于大型语言模型。核心目标是确保大型语言模型能够高效、稳定地运行,并能够持续提供高质量的输出,这包括但不限于模型的训练、调优、部署、监控和优化等环节。LLMOps对于实现大型语言模型在各种应用场景中的成功落地起着关键作用。原创 2024-04-05 18:36:15 · 2561 阅读 · 0 评论 -
使用QLoRA和自定义数据集微调大模型
大家好,大语言模型(LLMs)对自然语言处理(NLP)的影响是非常深远的,不仅提高了任务效率,还催生出新能力,推动了模型架构和训练方法的创新。尽管如此强大,但LLMs也有局限,有时需要针对特定任务进行特别优化。通过对LLMs进行微调,可以大幅提升模型的性能,同时降低训练成本,获得更贴近实际应用的上下文结果。原创 2024-11-10 21:00:07 · 952 阅读 · 0 评论 -
5个本地流畅运行大模型的免费工具
大家好,随着大型语言模型(LLM)驱动的聊天机器人逐渐普及,给人们的工作和生活带来了前所未有的便利。然而,这种便捷性背后潜藏着个人隐私信息被泄露的风险,例如AI公司会收集聊天记录和元数据来优化模型,从而提升服务,这不禁让用户担忧。对于注重隐私的用户而言,本地部署这些模型,可以有效保护个人隐私,同时也能更自主地管理自己的数据。本文将介绍5个在本地使用大型语言模型(LLM)的工具,这些工具不仅兼容主流操作系统,而且安装过程快捷简便。原创 2024-05-02 23:11:11 · 3969 阅读 · 0 评论 -
比较LlamaIndex和LangChain,选择适合的大模型RAG框架
大家好,大型语言模型(LLMs)正引领人工智能技术的创新浪潮。自从OpenAI推出ChatGPT,企业、开发者纷纷寻求定制化的AI解决方案,从而催生了对开发和管理这些模型的工具和框架的巨大需求。LlamaIndex和LangChain作为两大领先框架,二者各自的特点和优势,将决定它们在不同场景下的应用。本文介绍这两个框架的主要差异,帮助大家做出明智的选择。原创 2024-06-24 23:20:59 · 3276 阅读 · 0 评论 -
全新大模型框架Haystack,搭建RAG pipeline
Haystack是一个强大的工具包,帮助开发者用少量代码创建AI应用,尤其擅长处理大量文本或文档;能够简化开发实用LLM应用的过程。简单来说,Haystack就像一套多功能的积木,可以灵活组合,可以搭建出各式各样的AI系统。使用Haystack,能够实现多种应用场景,例如:基于大量文档回答问题的聊天机器人能够从众多文档中查找和提取特定信息的系统能够理解和处理文本、图像和其他类型数据的应用。原创 2024-11-01 17:01:13 · 4093 阅读 · 1 评论 -
GraphRAG竞争对手来了,跑通LightRAG
LightRAG是个精炼的RAG框架,专门用于通过检索关键知识片段来构建响应,并且整合了知识图谱和嵌入技术。与那些将文档简单拆分成独立片段的传统RAG系统不同,LightRAG进一步深化了这一过程——创建了实体与实体之间的关系对,将文本中的概念紧密联系起来。与微软的GraphRAG相比,两者有相似之处,但LightRAG在速度和成本上更具优势,并且支持对图谱进行增量更新,无需每次都重新生成整个图谱。原创 2024-11-20 18:00:00 · 2204 阅读 · 0 评论 -
7个强大的文字转语音TTS引擎
大家好,文本到语音(TTS)技术让机器能以人声般自然地“说话”,架起了人机沟通的新桥梁。开源TTS引擎以其开放性和经济性,成为热门工具,为智能应用注入活力。文本到语音(TTS)引擎,是一种将文字信息转化为口语表达的智能软件。它通过自然语言处理(NLP)技术深入分析文本内容,并借助语音合成器,创造出接近人类自然语音的输出。TTS引擎广泛应用于虚拟助手、导航系统和辅助工具等领域,为用户带来便捷的语音交互体验。原创 2024-06-11 18:18:56 · 11586 阅读 · 0 评论 -
创建Transformer编码器和多头注意力层
大家好,计算自然语言处理(NLP)是一个迅速发展的领域,其中计算力量与语言学相结合。语言学的一部分主要归功于约翰·鲁珀特·弗斯的分布语义理论,他曾说过以下的名言:“你可以通过其周围的上下文单词来了解一个目标单词”,这表明一个词的语义表示取决于它所在的上下文。正是基于这一假设,Ashish Vaswani等人的论文“Attention is all you need” 具有重要的开创性,它将Transformer架构设定为许多迅速增长的工具的核心,如BERT、GPT4、Llama等。原创 2024-05-27 17:14:05 · 768 阅读 · 0 评论 -
快速入门PyTorch自然语言处理,实现文本分类
PyTorch为处理自然语言处理任务提供了一个直观且强大的平台,从创建简单的神经网络到处理词嵌入和文本分类,该框架简化了开发过程。随着深入使用PyTorch探索NLP,不妨尝试挑战一些更高级的领域,例如序列到序列模型、注意力机制和迁移学习。PyTorch社区提供了丰富的资源、教程和预训练模型,为大家学习和实践提供了强有力的支持。原创 2024-05-22 18:53:14 · 1230 阅读 · 0 评论 -
自然语言处理NLP:文本预处理Text Pre-Processing
大家好,自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向,其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将介绍文本预处理的本质、原理、应用等内容,助力自然语言处理和模型的生成使用。原创 2024-04-12 13:26:36 · 8914 阅读 · 0 评论 -
自然语言处理NLP关键知识点
自动文本摘要是自然语言处理( NLP )技术的一种应用,它可以将一篇较为冗长的文章摘要成一段较为简洁明了的内容,便于人们快速浏览和理解。自动文本摘要技术主要包括以下几个方面:1.文本处理:从原始文本中去除噪声和冗余信息,例如标点符号、停用词、重复词语等。2.句子分割:将文本分割成单独的句子,便于后续处理和分析。3.文本向量化:将每个句子转换成向量表示,便于计算机进行处理和比较。4.句子重要度评估:使用各种算法和技术来评估每个句子的重要度,例如 tf - idf 、 TextRank 等。原创 2024-04-12 12:27:49 · 1254 阅读 · 0 评论 -
自然语言处理NLP概述
大家好,自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向,其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将从自然语言处理的本质、原理和应用三个方面,对其进行概述。NLP是一种机器学习技术,使计算机能够解读、处理和理解人类语言,其本质就是人类和机器之间沟通的桥梁。人类使用自然语言交流,如中文、英文等,狗通过叫声和其他身体语言交流,机器使用数字信息进行交流。人类与机器之间存在交流障碍,因为人类不直接理解数字信息,而机器不直接理解自然语言。原创 2024-04-03 22:25:58 · 3282 阅读 · 0 评论 -
自然语言处理NLP:tf-idf原理、参数及实战
大家好,tf-idf作为文体特征提取的常用统计方法之一,适合用于文本分类任务,本文将从原理、参数详解和实际处理方面介绍tf-idf,助力tf-idf用于文本数据分类。tf 表示词频,即某单词在某文本中的出现次数与该文本中所有词的词数的比值,idf表示逆文本频率(语料库中包含某单词的文本数、倒数、取log),tf-idf则表示词频 * 逆文档频率,tf-idf认为词的重要性随着它在文本中出现的次数成正比增加,但同时会随着它在整个语料库中出现的频率成反比下降。原创 2024-03-14 18:14:56 · 3205 阅读 · 0 评论 -
自然语言处理NLP:姓名相似度
大家好,自然语言处理会涉及到一致性验证特征。英文的姓名相似度包含用户自己填写的姓名、身份证上ocr识别的姓名、征信报告中用户姓名,可以作为模型特征使用、也可以作为业务的个人信息验证规则使用,本文简单介绍其计算逻辑。原创 2024-03-14 17:13:04 · 1649 阅读 · 0 评论