从GLM-130B到ChatGLM：大模型预训练与微调

最新推荐文章于 2025-05-07 08:25:04 发布
最新推荐文章于 2025-05-07 08:25:04 发布
阅读量3.4k 收藏 12
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大语言模型 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/131034265
该报告由GLM技术团队成员在'NLG专委会真知论坛'分享，深入探讨了GLM-130B的预训练过程和ChatGLM的开发，提供了大模型开发的关键洞察。报告还提及了复旦大学MOSS团队的相关研究。视频受到观众热烈反响，展示了大模型在人工智能领域的最新进展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【报告】从GLM-130B到ChatGLM：大模型预训练与微调_哔哩哔哩_bilibili本报告为GLM技术团队成员在「NLG专委会真知论坛（GenTalk第7期）」的报告分享，报告中详细讲述了GLM-130B预训练过程，以及ChatGLM开发过程，并提出了几点大模型开发心得。本论坛另有复旦大学MOSS团队成员孙天祥的相关报告，可参考：https://www.bilibili.com/video/BV1is4y1i7cZ, 视频播放量 4201、弹幕量 7、点赞数 198、投硬币枚数 95、收藏人数 445、转发人数 79, 视频作者 ChatGLM, 作者简介 让机器像人一样思考，相关视频：ChatGLM 部署完体验，这效果真牛逼！—— 斯坦福大学大模型中心评测，GLM-130B 是亚洲唯一入选的大模型👍🏻&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
从GLM-130B到ChatGLM，清华ChatGLM一作曾博士报告ppt
AIMasterStar的博客
06-06 1513
自8月起，GLM团队进一步向模型注入了文本和代码预训练，通过有监督微调等技术实现人类意图对齐，于23年2月开始内测 ChatGLM千亿对话模型，于3月开源ChatGLM-6B模型。报告将分享 GLM团队在千亿训练和ChatGLM研发过程的一点思考和尝试。曾奥涵： 清华大学知识工程实验室一年级博士生，为开源双语预训练模型 GLM-130B 模型和 ChatGLM 系统的主要开发者之一，研究方向为自然语言处理与大规模预训练模型，指导老师为唐杰教授。
ChatGPT 使用 拓展资料: 从GLM 到ChatGLM：大模型预训练与微调
大模型与Agent智能体
06-04 747
ChatGPT技术和OpenAI API的基础应用和进阶应用：学习了ChatGPT技术和OpenAI API的基础和进阶应用，如大模型概述、API接口概述、向量检索、文本生成、嵌入式向量检索实现问答系统、使用LangChain等，可以在不同的场景中灵活应用ChatGPT技术和OpenAI API解决问题。2， 通过近21小时学习导师从自己阅读的超过3000篇NLP论文中的精选出的10篇质量最高的论文的架构、算法、实现等讲解，对新一代的NLP技术了然于胸，极大的加速NLP科研及项目开发进度。
《从GLM-130B到ChatGLM：大模型预训练与微调》笔记
yzy的博客
06-05 958
BF16牺牲了数据精度（表示由10位降到7位），但扩大了数据的表示范围（有研究表明数据表示范围比精度更重要）有个参数服务器，模型参数在参数服务器上进行更新，然后所有节点pull模型参数。alpha取0.1，手动降低embedding层的梯度。在code数据集上训练，增强大模型的逻辑推理能力。GLM和LLaMA中采用RoPE旋转式编码。100B参数的大模型开始出现智能涌现。LLaMA采用BF16训练的。大部分内存占用为激活函数。
大模型基础（六）：ChatGLM原理介绍
最新发布
TANTANWANG的博客
05-07 1246
ChatGLM是由中国智谱AI（Zhipu AI）与清华大学知识工程实验室（KEG）联合开发的一系列开源双语（中英文）对话大语言模型。该系列模型基于GLM（General Language Model）架构，针对对话场景进行了针对性改进，使其专注于高效推理和自然对话能力，适用于多种实际场景，如智能客服、内容生成、知识问答等，是国内目前的主流大模型之一。ChatGLM系列以高效、实用、安全为核心目标，通过GLM架构的创新和持续迭代，在双语对话场景中展现了强大的竞争力。
Chatglm-130b本地部署教程
lh1234567lh的博客
09-19 3478
记录chatglm-130b的部署过程本地服务器环境：A40 (48G) *4 Ubuntu 20.04.3 LTS。
LLMs之GLM-130B/ChatGLM-1：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 3677
​ LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 目录 相关文章 《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读 ABSTRACT摘要 1、INTRODUCTION引言 2、THE DESIGN CHOICES OF GLM-130B的设计选择 3、THE TRAINING STABILITY OF
基于chatGLM-6B模型预训练
sqlora的专栏
05-17 1157
基于chatGLM-6B模型预训练
ChatGLM：从GLM-130B到GLM-4全系列大语言模型
01-14 1530
我们介绍了ChatGLM，这是一个不断进化的大语言模型系列，我们一直在持续开发中。本报告主要聚焦于GLM-4语言系列，包括GLM-4、GLM-4-Air和GLM-4-9B。它们代表了我们从ChatGLM前三代中汲取的所有见解和经验教训所训练出的最强大模型。迄今为止，GLM-4模型已在以中文和英文为主的数万亿个token以及24种语言的小规模语料库上进行了预训练，并主要针对中文和英文使用场景进行了对齐。高质量的对齐通过多阶段的后训练过程实现，包括监督微调和人类反馈学习。
ChatGLM：大型语言模型家族，从GLM - 130B到GLM - 4所有工具论文解读
heyiqiunet的博客
10-21 1493
GLM - 4系列包括GLM - 4、GLM - 4 - Air和GLM - 4 - 9B，是能力最强的模型，融合了前三代ChatGLM的经验和教训。 预训练在十万亿个主要为中文和英文的标记上进行，主要针对中文和英文进行了校准。 校准流程包括有监督微调（SFT）和从人类反馈中学习（RLHF）。 GLM - 4全工具模型能理解用户意图，自主选择工具（如网络浏览器、Python解释器、文本到图像模型和用户自定义函数）完成复杂任务。
Chatglm系列：GLM GLM130B chatglmv1 chatglmv2
fjfdg666的博客
07-16 808
2. 预训练方式1：自编码使用blank infilling的方式训练，即提取spans，并替换成mask，使用自回归的方式预测mask，spans的双向可见性取决于spans的随机排列顺序。其通过mask spans来自回归的预测被mask的span，非span区域是互见的，span之间的可见性取决于span的随机排列顺序。5. 训练集的95%使用blank filling任务训练，分别占30%、70%，训练集的另外5%来自于各个NLP任务指令数据集，通过转化成prompt的方式构建。
教你10分钟部署chatglm130B大模型，无痛上手
xinwenh的博客
10-07 1381
chatglm大模型私有化部署
部署清华智谱ChatGLM3对话预训练模型
培根芝士的专栏
11-12 2135
ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
Together_CZ的博客
06-14 2606
chatGLM-130B vs chatGPT，简单初步实测，看看谁更能打？
大模型LLM-微调经验分享&总结
To be a better man
06-12 2916
模型越大对显卡的要求越高，目前主流对大模型进行微调方法有三种：Freeze方法、P-Tuning方法和Lora方法。笔者也通过这三种方法，在信息抽取任务上，对ChatGLM-6B大模型进行模型微调。
GpuMall智算云教程：ChatGLM3-6B 对话预训练模型
GpuMall的博客
01-12 2506
训练 ChatGLM3-6B 模型，显卡显存建议选择等于大于 16GB 以上的显卡，因为 ChatGLM3-6B 模型载入后会占用大约 13GB 左右显卡显存。下面会依此演示以上四种启动和通过外网访问方式，根据自己需求选择任意一种即可（通过 API 调用访问方式用的较多）。执行如下命令启动 API 方式 ChatGLM3-6B 模型，启动后默认监听 8000 端口。目录下，不建议移动，ChatGLM3-6B 代码中已指定模型路径为。，点击更多——》创建自定义端口。，点击更多——》创建自定义端口。
【chatGLM论文笔记】GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling
技术宅学长的博客
10-31 1686
CHATGML 。通过改变空格的数量和长度，可以对不同类型的任务进行GLM的预训练。在NLU、条件生成和无条件生成的广泛任务中，在相同模型大小和数据的情况下，GLM优于BERT、T5和GPT，并在单个BERTLarge参数为1.25倍的预训练模型上取得了最佳性能，证明了其对不同下游任务的泛化能力1。2 .T5 (Raffel等人，2020年)通过编码器-解码器模型统一了NLU和条件生成，但需要更多参数来匹配基于BRET的模型的性能，如RoBERTa(刘等人，2019年)和DeBERTa(何等人，2021年)
大模型微调经验总结与感想分享
机器学习社区
03-13 3311
终于有时间做个最近工作的小结，最近一个多月，做了很多大模型微调的工作，包括了生成式任务以及判别式任务，典型的任务如文创、意图分类等。整理一下微调的经验与感想 （几十块A100的堆出来的，都是钱啊！
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
dream_home8407的博客
04-12 5万+
ChatGLM2-6B 模型介绍及训练实战
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
热门推荐
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
GLM-130B：开源双语预训练模型揭秘与训练挑战
他们细致地探讨了GLM-130B的训练过程，包括设计决策、针对效率和稳定性制定的训练策略，以及在处理大规模模型训练时所面临的工程挑战。例如，他们可能采用了创新的架构优化、数据增强方法以及分布式训练技术来应对...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值