书生浦语大模型实战营

书生浦语大模型实战营初夏专场开营了，具体的课程在以下链接

https://github.com/InternLM/Tutorial

本视频主要介绍了 书生·浦语大模型 相关的全链路产品体系。讲述老师为 上海人工智能实验室的青年科学家 陈恺。

大模型已经成为了发展人工智能的重要途经：

以往的人工智能的研究，都是针对特定任务，一个模型解决一个问题；而对于大模型而言，它是通过一个模型应对多个任务、多种模态。

上海人工智能实验室也开发了一整套开源产品体系：

InternLM2的两个规格：

下面是InternLM2相对与Intern性能对比：

InternLM2的性能特点有：

有了大模型，我们可以形成的应用是：

对于我们想要做成的应用，需要怎么做：

第一步：进行模型的选型。关注不同维度的能力，特别是专业上的能力。选择一个意向的模型。

第二步：评估自己的业务场景是否足够复杂。如果不是足够复杂，可以直接使用该模型，加上Prompt工程，就可以实现相关的业务；

如果业务场景足够复杂，一般需要进行模型微调。这个时候就要看算力是否足够。如果算力足够，可能就需要进行模型的续训，或者全参数的微调，当然，这个花的钱就比较多。如果算力不足，那么就只能考虑部分参数的微调，比如Lora微调。

在完成微调之后，这个模型能直接用于业务吗？这里要考察业务本身是否需要跟环境进行交互，如果这个业务是需要与环境进行交互的，比如需要调用外部API，或者与已有的数据库进行交互，那么就需要构建一个智能体（Agent），完成相关业务。

接着就需要对调好的模型进行评测。评测完之后进行模型的部署。

针对上图的全过程，书生.浦语也有一套全链路的开源体系，覆盖到上面通过模型搭建应用的全过程：

1.数据：开源了书生.万卷

2.预训练：开源了InternLM-train预训练框架

3.微调：开源了XTuner微调框架

4.部署：开源了LMDeploy框架

5.评测：开源了OpenCompass全方面评测工具

6.应用：开源了Lagent和AgentLego两个项目，Lagent是智能体搭建框架，AgentLego提供了供大模型调用的丰富的工具箱。

1.数据：书生.万卷

除了2023年开源的书生.万卷自己有多种数据集之外，还提供了OpenDataLab平台支持更多的开放数据集供大家下载

2.预训练：InternLM-train

预训练提供了完整的框架

3.微调：XTuner

XTuner可以适合不同的生态，支持不同的算法，支持不同的开原生态、不同的加速方式和Nvidia的各级显卡。

XTuner对显存的优化，可以实现仅需8G显存微调7B模型。

4.评测：OpenCompass

下面是OpenCompass2.0司南大模型评测体系开源历程：

在OpenCompass的能力评测下，如何通过它来促进模型的发展？

OpenCompass年度榜单（综合性客观评测）

5.部署：LMDeploy

针对LLM的特点，LMDeploy对部署进行了优化。

对于LLM的挑战，LMDeploy提供了全流程解决方案：对外提供接口，内部包含轻量化、推理引擎和服务等模块。

LMDeploy对于vLLM的对比：

6.应用：

LLM本身存在局限性，所以需要让LLM驱动智能体（Agent），需要搭建一个包括不同模块的智能体框架，以LLM为核心，进行规划、推理和执行。

Lagent框架可以支持不同智能体的能力，支持不同的LLM的API，并提供了很多的工具：

Agent可以完成以下代码数学题：

AgentLego聚焦在给LLM提供工具集合，其中积累了很多OpenMMLab工具集：