ChatGLM-6B LLM大模型使用；P-Tuning微调；prompt角色扮演history；web streamlit交互页面

已于 2023-11-10 14:53:30 修改
阅读量2.1k 收藏 6
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 人工智能
于 2023-04-24 15:11:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/130342799
本文介绍了ChatGLM-6B大模型的使用，包括安装环境、API多进程高并发的实现，以及P-Tuning v2微调的详细步骤。在微调过程中遇到的问题及解决方案，并分享了如何通过gradio和streamlit创建交互式web页面进行对话体验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。

本机显卡只有6G（GTX 1660 Ti），所以刚好可以使用，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存），可以去下面参考链接下载对应模型

参考：https://huggingface.co/THUDM/chatglm-6b-int4
https://github.com/THUDM/ChatGLM-6B

安装环境

1、安装对应cuda 版本的torch包

在这里插入图片描述
** CUDA 11.3

pip install torch==1.12.1+cu113 torchvision==0.13.1
了解本专栏 订阅专栏 解锁全文 超级会员免费看
ChatGLM-6B中英双语对话大模型Windows本地部署实战
L
10-19 567
ChatGLM是智谱清言大模型的开源版本，目前有ChartGLM、ChatGLM2、ChatGLM3和GLM-4版本。ChatGLM：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。
【ChatGPT】LLM三大核心技术及GPT应用（ChatGLM-6B、duckduckgo_search、GPT在科研的应用等）
发现问题，并解决问题，批判性思维
04-15 2万+
instructGPT（基于提示学习的系列模型）——>GPT3.5（大规模预训练语言模型）——>ChatGPT模型（高质量数据标注+反馈学习）。chatGPT三大技术：情景学习、思维链、自然指令学习。 GPT4飞跃式提升：多模态、输入字符数量、推理能力、文本创造，如poem、解释图片含义、图表计算等，2022年8月完成训练。 论文：https://cdn.openai.com/papers/gpt-4.pdf ChatGPT Plus：集成GPT-4的ChatGPT升级版，https://chat.open
论文阅读_训练大模型用于角色扮演
谢彦的技术博客
01-11 1762
利用大模型的理解能力和文本生成能力，来模拟一个人。
聊一聊做角色扮演大模型的经验
2401_84495872的博客
11-16 1605
在角色扮演这个领域也爬滚打了一段时间，分享一些自己的心得和思考。为了避免老板看到之后干掉我，有些细节就不展开了，多多包涵。前面讲一些虚的，后面再上模型训练经验。
角色扮演大模型的碎碎念
zenRRan的博客
03-21 1256
来自：NLP工作站今天给大家带来一篇角色大模型相关思考的文章，来自知乎@快乐子涵酱（已授权）。知乎：https://zhuanlan.zhihu.com/p/685823865什么是角色扮演大模型？首先提两个问题，目前大模型有自己的“自我意识”吗？为什么大模型生成的答案可以一眼分辨出来？答案其实很简单，目前所有大模型技术，并不能让大模型具备本身的独立意识，大模型表现出的「拟人化」本质上是在努力扮演...
[AI]大模型稳定角色扮演形成“自我认知”
BA2Ops的博客
12-07 564
本文从社会关系的角度,探讨人类自我身份认知形成的部分影响机理。并提出人工智能的角色扮演已经是一种基础的自我认知能力。当知识库中积累了足够的自我相关信息，那么人工智能可以模拟人类的这种自我身份认知的能力
大模型怎么做好角色扮演？最大的真实数据集、SoTA开源模型、最深入的评估在这里
2401_85773741的博客
03-19 991
角色扮演 AI（Role-Playing Language Agents，RPLAs）作为大语言模型（LLM）的重要应用，近年来获得了广泛关注。无论是用于情感陪伴、故事创作、游戏中的 AI 角色，还是真人的数字分身，都需要模型能够准确捕捉和模拟特定角色的设定、个性和行为模式。特别是当扮演小说、动漫中的知名角色时，模型需要获取并利用关于这些角色的大量知识。然而，现有的角色扮演 AI 面临两大核心挑战：缺乏高质量的真实角色数据集，以及缺少有效的评估方法。
从零开始学AI：ChatGLM2-6B 部署测试
weixin_44626085的博客
04-04 1342
本项目提供了 ChatGLM2-6B 非量化版本在 windows 平台 2张3060显卡机型上进行部署、推理测试教程。
ChatGLM-6B 优秀开发项目列表
AI天才研究院
05-27 4万+
本文简单介绍下如何将自己搭建的ChatGLM集成进LangChain工具链中，并且进行简单的试验的效果。当然如果有其他自己搭建的LLM模型也可以采用类似的方式集成。后续将使用ChatGLM来实现一个本地知识库做问答系统。
多模态大模型：技术原理与实战 如何提高角色扮演能力
AI天才研究院
05-19 642
1. 背景介绍 1.1 多模态技术的兴起 近年来，随着深度学习技术的快速发展，人工智能领域取得了显著的进展。其中，多模态学习作为人工智能领域的新兴研究方向，受到了越来越多的关注。多模态学习旨在通过整合来自不同模态的信息，例如文本、图像、音频和视频等，来构建更加智能的模型。
探索角色扮演与人格化：大型语言模型的创新应用
gitblog_00098的博客
06-04 825
探索角色扮演与人格化：大型语言模型的创新应用 在人工智能领域中，一个引人入胜的新趋势正在悄然兴起——将大型语言模型（LLMs）应用于角色扮演和人格化互动。这些前沿的项目不仅改变了我们与AI交互的方式，而且为我们提供了深入研究人格和人类行为的机会。如果你对这一新兴的技术感兴趣，那么就让我们一起深入了解这个名为“awesome-llm-role-playing-with-persona”的项目，并挖掘...
AIGC前沿：如何训练一个会角色扮演的AI大模型？
最新发布
AI 原生应用开发的博客
04-24 1505
随着AIGC（人工智能生成内容）技术的快速发展，具备角色扮演能力的AI大模型在虚拟助手、游戏娱乐、教育辅导等领域展现出巨大应用潜力。如何让AI理解并遵循特定角色的人设（性格、背景、语言风格）如何在多轮对话中保持角色一致性如何根据不同情境动态调整角色行为如何处理角色与用户的情感交互本文覆盖从需求分析、数据构建、模型架构设计到训练优化的全流程，适用于NLP开发者、AI产品经理和科研人员。背景介绍：明确技术目标和核心概念核心概念与联系：解析角色扮演AI的关键要素和系统架构核心算法原理。
chatglm2-6b-prompt尝试
a_blade_of_grass的博客
07-18 1万+
【代码】chatglm2-6b-prompt尝试。
ChatGLM3设置角色和工具调用的解决方案
热门推荐
herosunly的博客
11-04 6万+
本文主要介绍了ChatGLM3设置角色和工具调用的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 复用环境 2.2 安装额外库 3. 运行代码
AI对话AI才是正解？KAUST研究团队提出基于角色扮演的大模型交互代理框架CAMEL
TechBeat人工智能社区博客
04-25 1091
CAMEL的工作流首先需要开启一个角色扮演会话，如下图所示，用户会向CAMEL输入一个初步想法：“为股票市场开发一个交易机器人”，随后为会话指定一些可以完成该任务的潜在角色，例如，一位Python程序员与一位有经验的股票交易员合作，应该可以实现这样一个机器人。作者还另外提供了一个适用于数学计算场景的AI Math数据集，该数据集由20000个问题-解决方案对组成，主要通过GPT-4模型获得，该数据集的问题-解决方案对从25个数学主题中生成，每个主题有25个子主题，每个“主题、子主题“对应32个问题。
[NLP]LLM---大模型指令微调中的“Prompt”
摩登都市天空---专栏
09-09 6812
之前推理的时候，发现不加训练的时候prompt，直接输入模型性能会变差的，这个倒是可以理解。（3）另外通过实验发现，如果模型微调的时候使用模板，那么推理的时候应该也使用模板，否则效果会影响，直观上就是生成效果不理想，生成比较短，甚至“驴唇不对马嘴”；或者有继续微调比较合适的方案也可以，不损失之前模型的效果（或者损失比较小），目前可以尝试Lora或者Qlora的方式微调底座模型，然后将训练好的Lora权重合并到原始模型，这样可以减轻多次微调对模型的影响。那高质量如何定义呢？和alpaca模板差不多。
使用ChatGLM-6B基于Prompt封装创建应用
m0_63642362的博客
06-19 1146
PaddleNLP可以一键读取ChatGLM-6B啦！本项目基于Prompt封装创建应用“菜品推荐”，大家可以参考用于做一些创意项目~因为推理时的环境不是很强大，大家需要适当缩小参数配置~
基于ChatGLM-6B模型 + prompt实现角色扮演功能
m0_63642362的博客
05-27 5540
ChatGLM-6B模型paddle版，通过prompt预设和ChatGLM-6B的填词功能实现角色扮演。用法和ChatGPT、文心一言类似
ChatGLM2-6B模型尝鲜
Windsearcher的博客
10-27 419
ChatGLM2-6B 是开源中英双语对话模型的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值