大模型ChatGLM的部署与微调

已于 2024-07-25 14:02:16 修改
阅读量1.1k 收藏 17
点赞数 27
CC 4.0 BY-SA版权
分类专栏： 人工智能 文章标签： chatGLM微调 大模型微调
于 2024-06-03 22:52:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/David_house/article/details/139248859

环境准备

GPU：3090两块
系统镜像：Ubuntu 9.4.0-1ubuntu1~20.04.2
python版本：Python 3.10

部署

  1. 创建python环境
conda create -n py310_chat python=3.10

小编这里报错了：
在这里插入图片描述
说什么channel获取不到，可以理解为conda的下载源找不到
解决办法：
将获取不到的channel删除即可

conda config --remove channels 要删除的channel

还有报错就接着删，然后查看当前是否还存在channel

conda config --show channels
最低0.47元/天 解锁文章
json.loads时TypeError: __init__() got an unexpected keyword argument ‘encoding‘ 的解决方案
weixin_43178406的博客
11-16 2万+
本文主要介绍了使用json.loads时TypeError: __init__() got an unexpected keyword argument 'encoding’解决方案，希望能对新手有所帮助。不管是使用json.load还是json.loads都会报相同的错误，而且只要是Python版本大于等于3.8，但其实解决方案都是一致的。 文章目录 1. 问题描述 2. 解决方案
没显卡也能微调大模型，手把手ChatGLM-6B微调实例教程，AutoDL云平台部署
最新发布
水滴爬呀爬
05-26 909
本教程详细介绍了在AutoDL云平台上部署ChatGLM-6B大模型并进行微调的全过程。主要内容包括：1）介绍智谱清言开源的ChatGLM-6B双语对话模型；2）创建云实例及配置环境；3）通过学术加速下载代码、模型权重（12GB）和广告数据集；4）安装相关依赖并解决版本兼容问题；5）调整训练参数后运行3小时完成微调；6）进行推理评估和Web测试（需配置SSH隧道访问）；7）对比微调前后模型效果。
ChatGLM3-6B微调实战--debug记录
MilkLeong的博客
07-08 1738
发现前一个requirements.txt文件中要求的transformers的版本为4.40.0，而我系统安装的transformers版本为4.41.2。系统安装的accelerate默认是当前最先的0.32.1 ，在命令行中查看accelerate文件夹中的文件，发现叫得出名字的只有test_utils，看不到hooks.py文件。，pyarrow conda-forge package有三个不同的版本，报错是因为默认安装的pyarrow不包含ListViewType。是有hooks.py文件的。
TypeError: batch() got an unexpected keyword argument 'drop_remainder'
swiftfake的博客
11-07 4687
TypeError: batch() got an unexpected keyword argument ‘drop_remainder’ 出现这个错误的原因极大可能是你正在使用的TensorFlow版本有点低了，将TensorFlow的版本update到 1.10.0版本及其以上就可以解决这个问题了。亲测有效 ...
Scrapy-Redis爬虫报错TypeError: __init__() got an unexpected keyword argument ‘encoding‘
Rex__404的博客
08-05 3742
前言 在学习Scrapy-Redis爬虫过程中，将别人的源码导入运行后报错 TypeError: __init__() got an unexpected keyword argument 'encoding' 分析 在爬虫settings.py文件中有如下两个配置 # 调度器启用Redis存储Requests队列 SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 确保所有的爬虫实例使用Redis进行重复过滤 DUPEFILTER_CLASS = "scra
pytorch单机多卡及常见问题
莫大逗比嘟嘟
11-15 6662
pytorch分布式，常见问题解决。
基于chatGLM的部署模型，包含前端模型和部署教程.zip
06-24
在本资源中，“基于ChatGLM的部署模型，包含前端模型和部署教程.zip”提供了从模型微调到实际部署的全套指南，对于想要学习和应用ChatGLM的人来说是一份宝贵的资料。 首先，让我们详细了解一下ChatGLM的核心特性： ...
python项目代码-基于chatGLM+pTuning微调的医疗领域大模型
04-10
本项目聚焦于医疗领域，利用先进的预训练语言模型chatGLM，并结合pTuning技术进行微调，旨在为医疗领域提供一个高效且精确的智能对话模型。 chatGLM是一种基于Transformer的语言模型，它通过大量医疗文本数据进行预...
ChatGLM3 模型微调教程，精准优化语言大模型
SJJS_1的博客
01-16 994
ChatGLM3是智谱 AI 和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，*ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能ChatGLM3-6B 采用了全新设计的Prompt 格式，除正常的多轮对话外。同时原生支持工具调用。
个人使用ChatGLM-6B遇到的部分问题汇总
weixin_48713918的博客
05-26 1万+
项目的github网址（https://github.com/THUDM/ChatGLM-6B）中有解决问题专用的Issues模块。建议遇到问题先将部分报错写在这里进行查询，大概率能找到问题的解决方法。本文章只用于记录个人在使用过程中遇到的问题，供以后回忆之用。以下都是在运行cli_demo.py遇到。推荐版本是4.27.1 ，但是好像不太行。以上修改完成后，我的程序就已经可以运行了。这里有多个问题需要解决。
TypeError: _init_() got an unexpected keyword argument ‘batch_size‘解决方法(opacus版本问题）
weixin_74009895的博客
03-02 492
我现在用的opacus是1.1.0版本，我们可以卸载重新安装成0.13.0版本的就可以了。
使用torchrun取代torch.distributed.launch
qq_43667603的博客
04-24 2895
【代码】使用torchrun取代torch.distributed.launch。
chatGlm报错
fjalan的专栏
05-10 1529
可能没有装cudnn(Ubuntu22.04)
本地化部署chatGLM开发实践报错汇总记录
Together_CZ的博客
06-22 3247
最近因为项目需要在接触chatGLM相关的内容，本地化部署运行是其中之一，在这个学习实践过程中也遇上了很多报错，这里主要是对各种报错的记录汇总，也欢迎大家一起贡献问题与解决方案，希望的就是帮到同样有需要的人。
本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化
chaishen10000的专栏
06-18 1万+
如果你电脑内存实在捉襟见肘的话，可以选择直接使用现成的INT4量化模型，这样内存中只需要占用5.5GB左右了，使用GPU运行时，8G内存的电脑也可以一战了，使用CPU运行时，可以允许24GB甚至16GB内存的电脑运行，显著降低运行配置。比如将 Temperature 设置为 0.05 和 0.95 的主要区别在于，T=0.05 会使得模型更加自信，更加倾向于选择概率最大的类别作为输出，而 T=0.95 会使得模型更加不确定，更加倾向于输出多个类别的概率值较大。（你需要那个文件就改哪个文件，不需要全改）
在Autodl中部署chatglm3-6b,在使用微调代码时出现的问题TypeError empty() received an invalid combination of arguments.
xiao_baia的博客
02-26 354
#大模型#chatglm3-6b
__init__() got an unexpected keyword argument 'namedtuple_as_object'
weixin_30508309的博客
12-05 249
我是一开始是根据源码里的方法来比较simplejson的版本号，因为文档中说，版本号为2.0.7,2.0.9没有发生不兼容的现象 于是我删除了python自带的simplejson: 1 mv /usr/local/lib/python2.7/dist-packages/simplejson* ~/ 用pip安装了2.0.9版本的simplejson: 1 pip instal...
tensorflow-object-detection-api 训练过程中的有关问题
holidayun的博客
09-27 2207
问题1： TypeError: non_max_suppression() got an unexpected keyword argument 'score_threshold' 解决方式： 将tensorflow升级至1.10.0 问题2： nvalidArgumentError (see above for traceback): assertion failed: [maximum bo...
成功解决TypeError: __init__() got an unexpected keyword argument 'indices'
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-30 9万+
成功解决TypeError: __init__() got an unexpected keyword argument 'indices' 目录 解决问题 解决思路 解决方法 解决问题 TypeError: __init__() got an unexpected keyword argument 'indices' 解决思路 类型错误：...
本地大模型部署与微调
03-23
对于Windows操作系统，可以参考《Win10本地部署大语言模型ChatGLM2-6B-CSDN博客》中的指导[^3]。该文章提供了详细的步骤说明，涵盖了从依赖库的安装到模型文件加载的一系列操作。 另一种高效的方式是利用Unsloth...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

疯狂的小强呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值