DeepSeek 系列模型详解之DeepSeek LLM

最新推荐文章于 2025-03-17 14:09:50 发布
最新推荐文章于 2025-03-17 14:09:50 发布
阅读量174 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 云原生 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjianwei666/article/details/145615625

一、预训练

1. 数据

为了全面提升数据集的丰富性和多样性，将数据构建方法分为三个关键阶段：去重、过滤和混洗。

(1) 去重阶段

采用激进的去重策略，扩大去重范围。分析表明，对整个Common Crawl语料库进行去重比单独处理单个数据包更能有效去除重复实例。如表展示了在跨91个数据包进行去重时，消除的重复文档数量是单个数据包方法的4倍。

各种Common Crawl数据包的去重比率

(2) 过滤阶段

在过滤阶段，专注于制定用于文档质量评估的稳健标准。

(3) 混洗阶段

调整策略以解决数据不平衡问题，侧重于增加代表性不足领域的数据。

DeepSeek LLM基于分词器库（Huggingface）实现了字节级字节对编码（BBPE）算法。与GPT-2类似，采用预分词处理，以防止来自不同字符类别的（如换行符、标点符号和中日韩（CJK）字符）合并。

此外，将数字拆分为单个数字，且将词汇表中的常规标记数量设定为100000。该分词器在一个约24GB的多语言语料库上进行训练，并在最终词汇表中增加了15个特殊词元标记，使得词表总大小达到

了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI写作神器：用DeepSeek轻松实现内容去重与原创化
qq_38027465的博客
02-13 792
请帮忙重写以下内容以降低相似度： 普通人入门不需要了解那么多原理，只需要看下这页ppt，知道DeepSeek和其他大模型有什么区别，就可以更好地使用DeepSeek。手册里手把手教你，更好地像AI表达需求，写出更加合适DeepSeek的提示词。我今天看到一个朋友写的介绍清华大学DeekSeek从入门到精通的文章，觉得很好，也想发一篇类似的文章。我想到了用DeepSeek，试了一下，觉得效果不错，成功满足了公众号的相似度审核要求。但发送的时候，被判定相似度高，不让标原创，那怎么降低相似度呢？
【DeepSeek R1构建本地RAG知识库】Reranker模型原理详解
少说，多做
04-08 431
随着生成式AI技术的迅猛发展，Retrieval-Augmented Generation（RAG）作为一种结合信息检索与文本生成的技术框架，正在变得越来越流行。它不仅提高了生成内容的相关性和精确度，还在许多实际应用场景中展现出了巨大的潜力。在本文中，我们将深入探讨如何使用DeepSeek R1来构建一个本地化的RAG知识库，并重点介绍其中的关键组件——Reranker模型的工作原理。Reranker模型的主要任务是对检索器初步筛选出来的结果进行重新排序，以确保最相关、最有用的信息能够被优先展示给用户。
LLM：DeepSeek 系列（一）
u012194696的专栏
02-08 1911
原文链接DeepSeek LLM 发布于 2023 年 11 月，收集了 2 万亿个词元用于预训练。在模型层面沿用了 LLaMA 的架构，将余弦退火学习率调度器替换为多步学习率调度器，在保持性能的同时便于持续训练。DeepSeek LLM 从多种来源收集了超过 100 万个实例，用于监督微调（SFT）。此外，利用直接偏好优化（DPO）来提升模型的对话性能。数据构建的主要目标是全面提升数据集的丰富性和多样性，将方法组织为三个基本阶段：去重、过滤和重新混合。去重和重新混合阶段通过采样独特实例确保数据的多样表现形
DeepSeek面试——分词算法
JimmyGoong的博客
03-14 901
DeepSeek面试——分词算法。
深度解读DeepSeek：技术原理
造梦先森Kai的专栏
03-08 1631
DeepSeek-V3：NLP预训练基础模型。采用传统预训练 + 监督微调（SFT）模式，依赖人工标注数据。DeepSeek-R1：复杂逻辑任务的深度推理模型。以强化学习（RL）为核心，减少对标注数据的依赖，通过自我演化和冷启动技术降低成本。例如，R1-Zero 完全通过 RL 训练，无需 SFTDeepSeek-Distill：轻量化部署推理模型蒸馏版本。
一文解读DeepSeek训练数据集
u013891230的博客
03-17 4047
本文重点以DeepSeek为例，详细介绍预训练数据集相关内容。大语言模型LLM（如DeepSeek、ChatGPT、文心一言等）的“智慧”源于它们学习的海量数据集。简单来说，数据集就是模型的“知识库”，通常由互联网公开的文本、图片、视频等。这些数据需满足两个特点：规模大和多样性。规模大是指数据量可达千亿级词汇，让模型学习复杂规律；多样性则涵盖多领域（如科技、文学）、多语言、多形式（对话、新闻），帮助模型适应不同场景。例如，训练数据中既有百科知识，也有日常对话，模型才能既解答专业问题，又能闲聊。
人工智能DeepSeek LLM本地部署教程：硬件要求、模型下载与优化方法详解
最新发布
06-12
`deepseek-llm-7b`）的本地部署教程，包括硬件要求（推荐 NVIDIA A100 或 RTX 3090/4090 GPU，至少 32GB RAM）、安装依赖（Python 3.8+、PyTorch、`transformers` 和 `accelerate` 库）、下载模型（从 Hugging Face ...
大模型系列：DeepSeek大模型与应用场景介绍
IT技术分享社区
03-10 1613
在训练方法上，它结合了预训练和监督微调（SFT），并采用了混合精度 FP8 训练，这不仅降低了算力需求，还在保证模型计算精度的前提下，大幅度减少了内存使用和计算成本。让我们共同期待 DeepSeek 在未来能够创造更多的奇迹，为我们带来更多的惊喜和便利，也希望更多的人能够关注和了解 DeepSeek，一起探索人工智能的无限可能。在创意写作领域，它同样表现出色。比如，在学习物理时，对于 “量子纠缠” 这样抽象的概念，DeepSeek Chat 可以通过生动的比喻和详细的解释，让学生轻松理解其中的奥秘。
北京大学：DeepSeek大模型推理技术及其教育与学术赋能应用详解
04-01
DeepSeek由幻方量化孵化，专注于开发大语言模型（LLM），并在2025年1月推出了推理模型R1。该模型在复杂推理任务中表现出色，尤其擅长数学、编程和自然语言推理任务。DeepSeek R1的特点包括开源、低成本和国产化，...
深度探索：DeepSeek-LLM - 一款高效文本生成与搜索工具
gitblog_00035的博客
04-13 1431
深度探索：DeepSeek-LLM - 一款高效文本生成与搜索工具 项目简介 是由 DeepSeek-AI 团队开发的一款基于语言模型的文本生成和搜索引擎优化工具。它利用先进的自然语言处理技术，为用户提供高质量的内容生成服务，并帮助优化搜索结果，以提升用户体验。 技术分析 基于大模型的语言生成 DeepSeek-LLM 的核心是其强大的语言模型。该模型经过大规模数据训练，能够理解和生成人类可读的自...
Crawl4AI：一个为大型语言模型（LLM）和AI应用设计的网页爬虫和数据提取工具实战
初夏0811的博客
12-16 7627
Crawl4AI 是一个开源的网页爬虫和数据抓取工具，一个python项目，主要为大型语言模型（LLM）和 AI 应用提供数据采集和处理服务。
deepseek 数据训练
qq_42985657的博客
02-12 711
这篇文章主要介绍下什么是大模型的数据训练。以及数据训练的大体思路。
DeepSeek关键技术详解
ytt0523_com的博客
03-13 1324
DeepSeek引发的行业轰动还在持续，已经有太多的博主对相关技术进行研究和解读，本系列文章将对所涉及的关键技术进行整理和汇总。同时，针对每一项技术尽可能用通俗易懂的方式进行解释，解决大家对技术存在的误区、技术所提出的创新点等等一系列问题。
DeepSeek-R1模型扫盲（自学记录）
weixin_52587220的博客
02-03 1812
（一）、Deepseek本地部署。如何实现个性化本地部署？（二）、常见问题及回复。
deepseekLLM发展历程
weixin_44245188的博客
02-05 1824
这种优化不仅提高了推理效率，还使得模型能够在更大的上下文长度下运行，支持 128K tokens 的上下文长度，极大地提升了模型在处理长文本任务时的能力。多 token 预测（MTP）机制是 DeepSeek V3 的一大亮点，将预测范畴拓展至每个位置的多个后续 token，采用顺序预测维持因果链，在训练时借助特定模块与损失计算强化模型对多 token 信息的捕捉与学习能力，推理阶段虽可独立运行，但 MTP 用于推测解码可显著加速生成进程，全面提升数据利用效率和预测精准度。
Deepseek技术浅析（一）
热门推荐
m0_75253143的博客
01-29 1万+
DeepSeek 是北京深度求索人工智能基础技术研究有限公司推出的人工智能技术品牌，专注于大语言模型（LLM）的研发与应用。其技术涵盖了从模型架构、训练方法到应用部署的多个层面，展现出强大的创新能力和应用潜力。以下将详细介绍 DeepSeek 的核心技术、工作原理以及具体实现方式。
【DeepSeek-R1背后的技术】系列十二：分词算法Tokenizer（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)）
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
02-27 2585
Tokenization（分词） 在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token 用于后续的处理。如何把文本处理成token呢？有一系列的方法，基本思想是构建一个词表通过词表一一映射进行分词，构建合适的词表。
DeepSeek专利：分布式系统的“去重神器”，如何让数据传输效率飙升？
mobingyu的博客
02-09 701
DeepSeek的专利通过减少冗余数据的传输，显著降低了网络带宽的占用，从而降低了企业的网络传输成本。某金融科技公司采用DeepSeek的技术后，将其高频交易系统的数据传输效率提升了40%，网络延迟降低了25%，显著提升了交易系统的响应速度和稳定性。- 节点重启管理：在节点重启后，通过时间戳和顺序编号判断数据包是否为重启后发送的，确保数据包的正确传输，避免因节点重启导致的数据丢失或重复。- 动态冗余数据消除：通过数据包的顺序编号和长度校验，识别并丢弃重复接收的数据包，避免冗余数据的存储和传输。
DeepSeek系列模型详解之——DeepSeek LLM
2401_85373898的博客
02-13 2586
DeepSeek LLM发布于2024年1月，收集了2万亿个词元用于预训练，在模型层面沿用了LLaMA的架构，并将余弦退火学习率调度器替换为多阶段学习率调度器，便于持续训练。并从多种来源收集了超过100万个实例进行监督微调(SFT)。此外，利用直接偏好优化（DPO）技术进一步提升模型的对话能力。
DeepSeek模型详解：AI技术突破与未来应用前景
资源摘要信息:"浙江大学研究团队开发的DeepSeek模型是一款领先的生成式AI模型，...最后，文档提及的梁文峰LLM和百模大战暗示了DeepSeek模型在当前AI领域中与其它大型语言模型的竞争关系，以及该模型在市场上的影响力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奔向理想的星辰大海

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值