LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9b-chat训练(Lo

一个处女座的程序猿

已于 2025-02-26 02:31:58 修改

阅读量1.6k

点赞数 7

CC 4.0 BY-SA版权

分类专栏：精选(人工智能)-中级 NLP/LLMs 文章标签：大语言模型 GLM-4

于 2024-06-07 00:53:03 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_41185868/article/details/139512974

精选(人工智能)-中级同时被 2 个专栏收录

361 篇文章 ¥99.90 ¥299.90

订阅专栏

836 篇文章

订阅专栏

LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9b-chat训练(LoRA/P-Tuning v2微调)+推理+服务部署案例的全流程实战

目录

一、清理服务器缓存

ECS之AutoDL：AutoDL中系统盘和数据盘的简介、解决存储爆满实战案例图文教程(解决云计算服务器AutoDL中系统盘爆满、显存占用kill进程等)、清理服务器缓存之详细攻略

二、模型推理

2.1、一键部署官方模型并推理

三、模型微调

MLM之GLM-4：GLM-4-9B源码解读(finetune.py)模型微调与评估的完整实现——定义命令行参数→加载微调配置/模型/分词器/数据管理器→定义数据集(训练集/验证集/测试集)→模型训练(梯度检查点/支持从检查点恢复训练)→模型评估(存在测试数据集/基于ROUGE和BLEU分数)

3.1、基于GLM-4-9b实现问答对话(单轮)微调

第一步，构造并转换微调数据集

T1、采用LoRA实现

第二步，执行微调

解读训练输出日志

第三步，执行推理：测试对话功能

MLM之GLM-4：GLM-4-9B源码解读(inference.py)加载预训练的因果语言模型基于用户提问实现对话生成——定义对话消息模板{system+tools+user}→加载模型和分词器→利用apply_chat_template函数应用对话模板(将消息转换为模型输入格式)→定义生成参数并生成输出→解码输出并打印响应

第四步，部署服务：云端开启服务+本地测试

T2、采用P-Tuning v2实现微调：训练阶段(耗费显存更高)，推理阶段(易过拟合、易连续不断吐出文本)

ptuning_v2.yaml

第二步，执行微调

解读训练输出日志

第三步，执行推理

3.2、基于GLM-4-9b实现问答对话(多轮)微调

第一步，构造并转换微调数据集

T1、采用LoRA实现微调

第二步，执行微调

解读训练输出日志：爆显存！

lora.yaml：参数基本等同于单轮对话，但是为了降低显存，需要修改部分参数

第三步，执行推理：测试对话功能，更新中……

一、清理服务器缓存

了解本专栏

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

一个处女座的程序猿 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。