华为云ModelArts与OBS桶的数据上传下载
时间: 2023-05-24 13:06:45 浏览: 559
华为云ModelArts和OBS桶可以进行数据上传和下载。
1. 数据上传:将本地的数据文件上传至OBS桶中
Step 1:登录华为云官网,进入控制台
Step 2:在控制台中选择OBS存储服务,根据需求创建Bucket或在已有Bucket中创建文件夹
Step 3:选择要上传的文件,通过浏览器或命令行方式将文件上传至OBS桶中
2. 数据下载:从OBS桶中下载数据文件至本地
Step 1:在控制台中选择OBS存储服务,进入要下载的Bucket
Step 2:选择要下载的文件,通过浏览器或命令行方式将文件下载至本地
3. ModelArts使用OBS桶中的数据
Step 1:进入ModelArts控制台,创建计算节点
Step 2:在创建容器的过程中,将OBS桶中的数据添加至容器中,即可在计算节点中访问和使用OBS桶中的数据
总结:
华为云ModelArts与OBS桶的数据上传下载操作十分简单,通过控制台或命令行方式均可操作,且在ModelArts中使用OBS桶中的数据也十分方便。
相关问题
华为云modelarts打开文件
### 如何在华为云 ModelArts 中打开文件
为了能够在华为云ModelArts平台中顺利操作文件,需先了解几个基础概念以及必要的前期准备。
#### 前期准备工作
确保已经成功注册并登录到华为云账户,并通过适当的方式(如AK/SK认证)访问ModelArts服务[^1]。另外,在实际处理数据前,应该已经在对象存储服务(OBS)内建立了相应的存储空间——也就是所谓的“桶”,用于存放待处理的数据集或其他资源文件[^2]。
#### 打开文件的具体方法
当一切就绪后,可以通过如下方式来加载或查看上传至OBS中的文件:
- **通过Notebook实例**
一旦启动了Notebook实例,就可以利用Python代码直接与OBS交互读取文件。下面给出一段简单的Python脚本作为示范,展示怎样连接到指定的OBS路径并将其中的内容打印出来:
```python
from obs import ObsClient
# 初始化ObsClient客户端
obs_client = ObsClient(
access_key_id='your_access_key', # 替换成自己的Access Key ID
secret_access_key='your_secret_key', # 替换成自己的Secret Access Key
server='https://obs.cn-north-4.myhuaweicloud.com' # OBS服务器地址, 根据实际情况调整区域
)
bucket_name = 'your-bucket-name'
object_key = 'path/to/your/file.txt'
try:
resp = obs_client.getObject(bucket_name, object_key)
if resp.status < 300:
content = resp.body.read().decode('utf-8')
print(content)
finally:
if hasattr(resp, 'close'):
resp.close()
```
这段代码展示了如何借助`ObsClient`类从特定位置获取文本文件的内容并将其输出。当然也可以根据需求修改此段代码以适应不同的应用场景,比如解析CSV、JSON等其他类型的文件格式。
- **使用可视化界面**
除了编程手段外,还可以直接利用ModelArts提供的图形化管理工具来进行更直观的操作。进入ModelArts控制台左侧菜单栏下的【训练】-> 【我的数据集】页面,可以看到已关联好的OBS目录列表;点击对应条目即可浏览其内部结构,支持在线预览部分常见文档类型。
华为云ModelArts部署deepseek
### 如何在华为云 ModelArts 上部署 DeepSeek 模型
#### 准备工作
为了顺利在华为云ModelArts平台上完成DeepSeek-R1大模型的部署,需先做好一系列准备工作。确保拥有华为云账户,并已完成个人实名认证过程[^3]。
#### 创建环境
进入华为云官网后,在服务列表中找到并点击“ModelArts”,随后按照页面提示开通此服务。接着,依据实际需求配置计算资源实例规格,包括但不限于CPU核心数、内存大小等参数设置;同时指定存储空间容量以及网络带宽上限等内容。
#### 部署流程详解
一旦上述条件均满足,则可正式开启DeepSeek-R1大模型于云端平台上的安装与调试环节:
- **登录账号**:访问华为云官方网站,使用已有的华为账号进行登录操作,如果尚未注册则需要先行完成注册流程。
- **实名验证**:对于首次使用者而言,还需进一步完善个人信息并通过身份审核机制以获取更高权限级别。
- **授权委托**:为保障数据安全性和隐私保护措施的有效落实,建议用户在此阶段设立专门用于管理API接口调用行为的角色实体,并赋予其必要的执行权利范围内的各项功能选项。
- **更新权限**:根据具体业务场景的不同调整相应的访问控制策略,使得目标对象能够合法合规地行使被授予的各项特权。
- **上传文件**:将本地计算机中的预训练权重文件以及其他配套脚本程序打包成压缩包形式上传至Object Storage Service (OBS) 对象储存桶内保存备用。
- **启动训练作业**:利用图形界面化工具或者命令行方式提交新的训练任务指令给系统处理队列等待调度运行。
- **监控进度状态**:借助可视化仪表盘实时跟踪查看当前正在进行当中的各个子进程的工作状况及其所处位置信息变化情况。
- **测试效果评估**:待整个构建完成后即刻开展一轮全面细致的功能性检测活动,确认无误后再考虑对外提供在线预测服务能力支持。
```bash
# 登录到华为云CLI客户端
source /path/to/huaweicloud-openstackrc.sh
# 将准备好的模型及相关依赖上传至OBS
obsutil cp ./model.zip obs://your-bucket-name/
# 提交训练任务
modelarts job submit \
--job_name="deploy_deepseek_r1" \
--algorithm_id="custom_algorithm_id" \
--output_path="obs://your-bucket-name/output/" \
--input_path="obs://your-bucket-name/model.zip"
```
#### 使用API接口
成功部署之后便可以通过RESTful风格的标准HTTP协议向外部暴露一组可供第三方集成使用的远程方法调用入口点。具体的URL路径模式如下所示:
`https://infer-modelarts-cn-southwest-2.modelarts-infer.com/v1/infers/{project_id}/v1/chat/completions`
其中`{project_id}`部分代表项目唯一标识符字符串,请替换为自己实际情况下的对应值即可正常发起POST请求传递JSON格式化的输入参数体结构。
阅读全文
相关推荐
















