自然语言处理之命名实体识别：Hidden Markov Model (HMM)：HMM解码：维特比算法

最新推荐文章于 2025-08-06 15:45:01 发布
最新推荐文章于 2025-08-06 15:45:01 发布
阅读量841 收藏 23
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 算法 easyui 人工智能 javascript 机器翻译
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhubeibei168/article/details/147431302

自然语言处理之命名实体识别：Hidden Markov Model (HMM)：HMM解码：维特比算法

在这里插入图片描述

自然语言处理简介

NLP的基本概念

自然语言处理（Natural Language Processing，简称NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究如何处理和运用自然语言；自然语言认知则是用于理解语言的含义。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

NLP的基本概念包括：

  • 语料库（Corpus）：大量的文本数据集合，用于训练和测试NLP模型。
  • 分词（Tokenization）：将文本分割成单词或短语的过程。
  • 词性标注（Part-of-Speech Tagging）：为每个单词分配一个词性标签，如名词、动
了解本专栏 订阅专栏 解锁全文 超级会员免费看
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：自然语言处理基础
zhubeibei168的博客
04-23 582
Hidden Markov Model (HMM) 是一种统计模型，特别适用于处理具有时间序列特性的数据，如语音识别、文本分析、生物信息学中的序列分析等。HMM 由两个随机过程组成：一个不可见的马尔可夫过程（状态序列），以及一个依赖于该马尔可夫过程的观测序列。模型的核心在于，观测序列是状态序列的间接表现，而状态序列是隐藏的，不可直接观测。状态集合Ss1s2sNSs1​s2​...sN​，其中NNN是状态总数。观测集合Vv1v2vMVv1​v。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：中文命名实体识别挑战
zhubeibei168的博客
04-23 1029
HMM 在 NLP 中的应用广泛，从词性标注到命名实体识别，都能发挥重要作用。通过学习序列数据中的概率关系，HMM 能够预测未知序列的状态，从而实现文本的自动分析和理解。在实际应用中，HMM 的参数估计和模型训练需要大量标注数据，以及适当的算法，如 Baum-Welch 算法，来优化模型性能。隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，常用于处理序列数据，如语音识别、文本分析等。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：命名实体识别简介
zhubeibei168的博客
04-23 799
通过上述介绍，我们了解了命名实体识别的基本概念、应用场景以及HMM模型在NER中的应用原理和步骤。HMM虽然在处理序列标注问题上具有一定的优势，但其局限性也促使研究者探索更复杂的模型，如条件随机场（CRF）、深度学习模型等。在实际应用中，选择合适的模型需要根据具体任务和数据特点来决定。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：基于HMM的多语言命名实体识别
zhubeibei168的博客
04-22 1081
HMM（Hidden Markov Model，隐马尔可夫模型）是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在HMM中，系统被假设为一个马尔可夫过程，其状态是不可见的（即隐藏的），但每个状态都产生一个可见的输出。状态集合Ss1s2sNSs1​s2​...sN​，其中NNN是状态的总数。观测集合Vv1v2vMVv1​v2​...vM​，其中MMM是观测的总数。状态转移概率矩阵AaijAaij​，其中a。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：隐马尔可夫模型原理
zhubeibei168的博客
04-23 813
隐马尔可夫模型（Hidden Markov Model, HMM）是一种统计模型，特别适用于处理序列数据，如时间序列或文本序列。在NLP中，HMM被广泛应用于词性标注、命名实体识别、语音识别等任务。HMM通过定义一系列隐藏状态和观测状态，以及状态之间的转移概率和观测概率，来建模序列数据的生成过程，从而实现对序列数据的分析和预测。马尔可夫链是一种统计模型，它描述了一种随机过程，其中下一状态的概率仅依赖于当前状态，而不依赖于过去的状态。这种特性被称为“马尔可夫性质”。
自然语言处理之命名实体识别：Hidden Markov Model (HMM) 与 CRF 比较
zhubeibei168的博客
04-22 765
HMM和CRF都是命名实体识别中常用的模型，但CRF在处理序列标注任务时具有明显优势，包括全局优化、特征灵活性和处理非马尔可夫性。在实际应用中，CRF通常能够提供更高的识别准确率。然而，HMM在模型理解和实现上相对简单，对于初学者来说是一个很好的起点。通过上述介绍，我们了解了 HMM 的基本原理，以及它如何应用于 NER 任务中。HMM 的训练和解码算法是其在序列数据处理中应用的关键。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：HMM状态与观测值定义
zhubeibei168的博客
04-22 794
在Hidden Markov Model (HMM)中，状态是模型的核心组成部分，代表了在某一时刻系统可能处于的内在情况。HMM通过这些状态来描述一个序列的生成过程，而这些状态是不可直接观测的，即它们是“隐藏的”。状态可以被定义为模型内部的抽象概念，它们不直接与外部世界交互，但可以通过观测值间接推断。在命名实体识别（NER）任务中，状态通常对应于文本中实体的类别，如“人名”、“地名”、“组织名”等。在HMM中，观测值是模型与外部世界交互的界面，它们是直接从数据中获取的，用于推断隐藏状态的线索。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：HMM在序列标注中的应用
zhubeibei168的博客
04-22 1097
B-：实体的开始I-：实体的内部O：非实体HMM在命名实体识别中提供了一种基于概率的序列标注方法，通过学习状态转移和观测概率，可以对文本中的实体进行有效识别。然而，它也存在一定的局限性，如假设限制和数据需求，这在处理复杂文本时可能成为瓶颈。HMM（Hidden Markov Model，隐马尔可夫模型）是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在HMM中，系统被假设为一个马尔可夫过程，其状态是不可见的（即隐藏的），但每个状态都产生一个可见的输出。状态集合Ss1s2sNS。
自然语言处理之命名实体识别：Hidden Markov Model (HMM)：命名实体识别的实际应用案例
zhubeibei168的博客
04-23 748
隐马尔可夫模型（HMM）是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在HMM中，系统的真实状态是不可见的，但可以通过观察序列来推断。状态集合：系统可能处于的状态。观察集合：在每个状态下可能观察到的事件。状态转移概率矩阵和观察概率矩阵：描述状态之间转移的概率和在特定状态下观察到特定事件的概率。条件随机场（Conditional Random Field, CRF）是一种用于序列标注和结构化预测的统计建模方法，它能够全局优化序列的标签，而不是像HMM那样局部优化。
从零打造大语言模型--处理文本数据
qq_45425616的博客
08-02 352
本文介绍了构建大语言模型前处理文本数据的关键步骤。主要内容包括：1）词嵌入将离散 token 映射为连续向量；2）文本分词技术，包含正则表达式切分英文、jieba 处理中文以及混合分词方案；3）建立词表实现 token 与 ID 的双向映射；4）实现简单分词器并处理特殊 token；5）介绍 BPE 算法和 tiktoken 工具的应用；6）展示滑动窗口采样和数据加载器的实现。文章通过代码示例演示了从原始文本到模型可处理数据的完整流程，涵盖了英文、中文及混合文本的处理方法。
大语言模型的解码策略：贪婪解码与波束搜索
qq_63117516的博客
08-03 380
以语言模型为例，给定起始 token，比如"<BOS>"
使用ACK Serverless容器化部署大语言模型FastChat
zhuoya_的博客
08-03 586
本文介绍了在阿里云ACK Serverless Pro版集群上部署FastChat聊天机器人的完整流程。通过使用弹性容器实例(ECI)、负载均衡CLB和NAT网关等技术，快速构建可扩展的AI对话系统。主要内容包括：1)创建ACK Serverless集群并配置API Server访问；2)使用YAML定义FastChat应用的Deployment和Service资源，包括GPU实例规格选择、资源配额设置和负载均衡配置；3)通过公网IP访问FastChat服务体验对话功能。
中科院自动化所机器人视觉中的多模态融合与视觉语言模型综述
weixin_37990186的博客
08-02 1190
论文全面综述了多模态融合和视觉-语言模型在机器人视觉中的应用，分析了这些技术在关键任务中的进展、挑战及未来发展方向，为推动机器人在复杂环境中的自主感知与交互提供了重要参考！
EAGLE-2：通过动态草稿树加速语言模型推理
08-05 971
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了EAGLE-2，该方法引入了一种新的上下文感知动态 draft tree。
NLP自然语言处理 03 Transformer架构
m0_54235621的博客
08-05 741
将模型分为多个头, 可以形成多个子空间, 让模型去关注不同方面的信息, 最后再将各个方面的信息综合起来得到更好的效果.在这里QKV是先经过三个不同的linear层,再分多头,然后每个头的QKV进行注意力计算再拼接,最后经过一个linear层。
【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 词云图-微博评论词云图实现
java1234的博客
08-05 391
【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 词云图-微博评论词云图实现
GEAR：一种高效的 KV Cache 压缩方法，用于几乎无损的大语言模型生成式推理
08-06 325
Key-value（KV）缓存已成为提升大语言模型（LLM）推理生成速度的事实标准技术。然而，随着序列长度的增加，缓存需求的不断增长使得LLM推理演变为一个受限于内存带宽的问题，显著限制了系统吞吐量。现有方法通常依赖于丢弃不重要的token或对条目进行分组量化。然而，这些方法在表示压缩矩阵时常常引入较大的近似误差。自回归解码过程进一步在每个步骤中累积误差，导致模型生成结果的严重偏离与性能下降。为了解决这一问题，我们提出了GEAR。
MiniMind：从零构建超轻量语言模型，3元成本+2小时实现大模型自由
xiezhipu的博客
08-06 211
MiniMind以"大道至简"的理念，打破了大模型开发的高门槛壁垒，让更多人能够亲身体验从0到1构建语言模型的乐趣与挑战。无论是AI初学者想要了解大模型的工作原理，还是开发者希望快速验证自己的想法，MiniMind都是一个值得深入研究的优秀项目。正如项目所说："用乐高拼出一架飞机，远比坐在头等舱里飞行更让人兴奋！"在MiniMind的世界里，每个人都能成为大模型的创造者。
AI大语言模型如何重塑软件开发与测试流程
最新发布
2501_91602431的博客
08-06 318
本文将深入探讨 LLM 在软件自动化中的应用价值，并借助 Parasoft 等行业实践案例，阐明为何灵活选择 LLM 提供商，是组织迈向智能化开发的关键一步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值