之前5月份写过用autodl镜像一键安装langchain-ChatGLM,过了5个月,原来开发团队已经升级好几个版本,支持国内外各种基座模型,特别强调了国产的通义千问。模型的服务接口框架也变了,总之新功能很多,我抽时间安装了一下,记录一下过程。防止大家踩坑。
一、创建服务器
还是登录autodl申请实例,最近autodl加了好多4090显卡,而且涨价了,以前便宜的A5000很少了。
因为面对的是小白或者只想试用体验的用户,就不从基本框架安装了,如果想用在生产环境,建议从头安装,官网有文档:
这里创建的时候选择最新的社区镜像,是2023年10月4日,最新的模型!
点击创建以后,等1分钟左右,下图红框里出现内容的时候才算创建成功