书生·浦语大模型全链路开源体系-第2关-CSDN博客

本文链接：https://blog.csdn.net/wux_labs/article/details/143904537

书生·浦语大模型全链路开源体系-第2关

为了推动大模型在更多行业落地应用，让开发人员更高效地学习大模型的开发与应用，上海人工智能实验室重磅推出书生·浦语大模型实战营，为开发人员提供大模型学习和开发实践的平台。
本文是书生·浦语大模型全链路开源体系-开源开放体系课程的笔记。

文章目录

书生·浦语大模型全链路开源体系-第2关

书生产品矩阵

书生·浦语：基于原生的 InternLM2.5 最新 Chat 模型 (InternLM2.5-20B) 搭建聊天机器人应用。所有注册用户默认开放 3 百万 Tokens/月的 API 调用额度！

MindSearch：InternLM 组织今年开源的 AI 搜索引擎 (框架)，基于多智能体技术将你提出的问题进行分析、拆解、网页搜索，最终给出有参考依据的高可信度回答。目前可直接在书生·浦语产品内体验以 InternLM2.5-20B 为 Agent 的 MindSearch 官方实现。

书生·万象：InternVL 开源模型的官方产品，原生支持图文多模态对话能力。

书生·浦语

(1) 对话

与所有大语言模型产品相同，我们可以与浦语进行以，“代码编程、文章创作、灵感创意、角色扮演、语言翻译、逻辑推理等等”任意主题的对话。也可在对话内尝试 prompt enginering 让浦语完成更复杂任务。

(2) 调用 API

在左侧导航栏点击“浦语API”即可进入 API 控制台

API 控制台内包含 “API 文档”、“API Tokens”、“限流策略”、“调用明细” 4 个模块。下面，我们将以首次调用浦语 Chat API 的用户视角了解这 4 个模块的功能。

API 文档

API 文档中给出了

API URL
API Auth
Python、Curl、openai 库的调用示例
请求参数、返回参数说明

等等快速开始使用浦语 API 的说明。更重要的是，浦语 API 已经支持 Tool Call (Beta) 功能啦！所有字段与 OpenAI 对齐，让使用 ChatGPT API 格式的同学可以无缝切换到浦语 API。

以下是使用 curl 工具非流式调用浦语 API 的一段示例代码：

curl --location 'https://internlm-chat.intern-ai.org.cn/puyu/api/v1/chat/completions' \
--header 'Authorization: Bearer xxxxxxx' \
--header 'Content-Type: application/json' \
--data '{
        "model": "internlm2.5-latest",  
        "messages": [{
                "role": "user",
                "content": "你知道刘慈欣吗？"
        }, {
                "role": "assistant",
                "content": "为一个人工智能助手，我知道刘慈欣。他是一位著名的中国科幻小说家和工程师，曾经获得过多项奖项，包括雨果奖、星云奖等。"
        },{
                "role": "user",
                "content": "他什么作品得过雨果奖？"
        }],
        "temperature": 0.8,
        "top_p": 0.9
}'

获取 API Tokens

从上面的代码可以看到，调用浦语 API 时需要在请求 Header 内传入 Authorization Tokens (Authorization: Bearer xxxxxxx) 参数用于用户身份验证。我们需要在 API Tokens 模块内创建此 API Tokens 替换掉 xxxxxxx 。

注意在最后一步时不要着急点确认，先复制好 tokens 妥善保管到自己的文件或者权限管理服务中。点击确认后将不再显示此 Token。

查看 API 可用 Models

如图所示，目前 Chat API 仅支持以 internlm2.5-latest 作为 model ID，它将默认指向我们最新的 InternLM2.5 模型 internlm2.5-20b-0719 。

注意：我们可能会定期上线一些新版的模型，或者改变 internlm2.5-latest 模型指向的实际模型版本。可以通过 Model API 查询当前可用的模型 ID。

模型	描述	窗口长度	最大输出 Tokens
internlm2.5-latest	默认指向我们最新发布的 internlm2.5 系列模型，当前指向`internlm2.5-20b-0719`	32K	4,096 tokens

查看 API Usage 与 API Rate Limits

我们为所有社区新注册的用户提供了 1 百万 Input Tokens/月，3 百万 Output Tokens/月的免费调用额度！可在 API Usage 模块查看到本月已用 Tokens 的数量，以及请求次数、请求 Tokens 的历史调用曲线。

在 API 限流策略模块可以查询到我们对这个账户调用 API 频率的流控限制，所有新注册的社区用户默认值为：

RPM (Requests per Minute)：10
TPM (Tokens per Minute)：5000

MindSearch

MindSearch 是一个开源的 AI 搜索引擎。它会对你提出的问题进行分析并拆解为数个子问题，在互联网上搜索、总结得到各个子问题的答案，最后通过模型总结得到最终答案。书生·浦语上的智能体为 MindSearch 的官方实现 (基于 InternLM2.5-20B) 具有与 Perplexity.ai Pro 相当的性能。