数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境 Notebook实例中的数据或代码文件可以存储在OBS中。 训练模型 训练作业使用的数据集、算法、运行脚本、训练输出产物、训练过程日志均可以存储在OBS中。 推理部署 训练作业结束后

查看更多 →

标签：设置组件的标签名，用于在界面展示。 文本：上传按钮上，显示的文本。 默认已上传的文件列表：设置默认已上传的文件列表。 存储：上传文件的存储类型，单击该参数后的，可进行配置。 存储：存储器类型。 OBS：通过OBS类型连接器，存储到华为OBS（Object-based Storage

查看更多 →

也可以进入待上传文件的文件夹，单击“上传对象”。 如果待上传至OBS的文件存放在Microsoft OneDrive中，建议这些待上传文件的名称不要超过32位，以保证兼容性。 图1 上传对象 指定对象的存储类别。如果不指定，默认与桶的存储类别一致。 对象存储类别和桶存储类别可以不一致。上传对象时，对象的存储类

查看更多 →

配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限

查看更多 →

e/ma-user/work/下的方式，请参见上传本地文件至JupyterLab。 Summary数据如果是通过OBS并行文件系统挂载到Notebook中，请将模型训练时产生的Summary文件先上传到OBS并行文件系统，并确保OBS并行文件系统与ModelArts在同一区域。在

查看更多 →

训练任务提交后，SDK会依次帮助用户完成以下流程： 将训练脚本打包成zip文件，上传到3中指定的obs_path中； 如果训练数据保存在Notebook中，则将其打包成zip文件并上传到指定的obs_path中； 将训练作业提交到ModelArts训练服务中，训练作业会使用当前Notebook的镜像来执行训练作业；

查看更多 →

上传 上传概述 流式上传（PUT上传） 表单上传（POST上传） 多段上传 断点续传 追加写对象 授权第三方上传 查看上传进度 使用上传回调获取对象信息 父主题： 对象管理

查看更多 →

在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 移动脚本或脚本目录。 方式一：通过右键的“移动”功能。 在脚本目录中选择需要移动的脚本或脚本文件夹，右键单击脚本或脚本文件夹名称，选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面，配置如表1所示的参数。 图2 移动脚本 图3 移动目录

查看更多 →

修改对象的存储类别、恢复归档存储对象等。 支持批量上传和下载对象，支持分段上传功能。 碎片管理 碎片管理功能可以清除由于对象上传失败而产生的数据。 权限控制 OBS Browser支持通过桶策略、对象策略、桶ACL和对象ACL进行权限控制。 服务端加密 用户可根据需要对对象进行服

查看更多 →

标签：设置组件的标签名，用于在界面展示。 文本：上传按钮上，显示的文本。 图4 设置后效果 默认已上传的文件列表：默认已上传的文件列表。 存储：上传文件的存储类型，单击该参数后的，可进行配置。 存储：存储器类型。 OBS：通过OBS类型连接器，存储到OBS上。 MINIO：通过MINIO类型连接器，存储到MINIO上。

查看更多 →

止的最大周期为10s。 插件包上传。 开通 对象存储服务 OBS。 进程包上传方式需要开通对象存储服务OBS，请参考对象存储服务 OBS_快速入门。 上传进程包。 上传方式，请参照对象存储服务(OBS)。 请设置桶策略为【公开读】，如未设置请前往“OBS首页 > 单击桶ID > 访问权限控制

查看更多 →

（可选）测试是否能在存储桶中，存储对象。 此处的测试只能上传小于1MB字节的对象，且只支持txt文件。 在该连接器详情页面，单击存储桶所在行的。 单击“点击上传”，选择对象文件，单击“上传”。 图4 选择对象 单击上传好的文件名，进行下载。 图5 下载文件 打开下载的对象存储文件，查看与上传的对象存储文件是否一致。

查看更多 →

对象存储（OBS） 对象存储概述 通过静态存储卷使用已有对象存储 通过动态存储卷使用对象存储 设置对象存储挂载参数 对象存储卷挂载设置自定义访问密钥（AK/SK） 父主题： 存储

查看更多 →

对象存储OBS 对象存储OBS源表 对象存储OBS结果表 父主题： Connector列表

查看更多 →

预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中，具体参考代码上传至OBS和使用Notebook将OBS数据导入SFS Turbo。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b

查看更多 →

装前和安装后注入脚本直接拉取OBS对应脚本的地址并执行即可。对于CCE节点池这处的配置基本来就可以不用变化了，后期如果有新的需求只需要更新OBS的脚本内容即可。 OBS桶维护建议 若无单独用于运维的OBS的桶，建议单独创建一个专用于运维的桶，方便后续整体运维组使用。 建议在桶中新

查看更多 →

OBS 对象存储服务（Object Storage Service，OBS）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践，使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台

查看更多 →

续配置的脚本中。 图2 租户名ID和IAM用户名ID 准备日志收集上传脚本。 修改以下脚本中NpuLogCollection的参数，将ak、sk、obs_dir替换为前面步骤中获取到的值，然后把该脚本上传到要收集NPU日志的节点上。 import json import os import

查看更多 →

ins自动构建打包，升级已经部署在ServiceStage上的组件版本配置。 本实践通过输出在Jenkins构建打包完成之后自动升级组件的shell脚本，实现了代码合入后自动构建打包并在ServiceStage上升级部署。 父主题： 使用GitLab对接Jenkins自动构建并升级部署到ServiceStage的组件

查看更多 →

备接入与管理，还得有边缘 服务器 作为节点被IoTEdge纳管。当前章节讲的是进程包，进程包需要开通OBS，将准备的进程包上传至OBS。 边缘服务器：第一点提到的IoTEdge, IoTDA, OBS是华为云服务，使用华为云租户账号直接免费开通可用，边缘服务器属于硬件，可以购买低配的

查看更多 →

obsutil cp命令如何开启增量上传、下载和复制？ 在执行obsutil cp命令进行上传/下载时，可以通过增加“-u”参数开启增量功能。 该参数的含义为：上传/下载/复制每个对象时都会对比源路径和目标路径，仅在目标对象不存在，或者对象大小不一致，或者目标对象的最后修改时间早

查看更多 →