关联OBS桶中嵌套的JSON格式数据如何创建表 DLI 支持关联OBS桶中嵌套的JSON格式数据，使用异步模式建表即可。 建表语句如下： create table tb1 using json options(path 'obs://....') 父主题： 作业开发

查看更多 →

。 将OBS中的数据传至Notebook中，通过在本地IDE的Terminal中使用ModelArts提供的Moxing库的文件操作API（mox.file.copy_parallel）完成。 在PyCharm环境中开启Terminal，VS Code中操作类似。 图2 PyCharm环境开启Terminal

查看更多 →

选择需要引用的项目以及项目中的数据，或者选择待引用的OBS桶路径，先选择OBS桶所在区域，再选择OBS桶名称，支持选择不在同一区域的OBS桶。 单击“确定”，引用其他项目中的数据至本项目。 引用的数据和项目将显示在左侧的数据列表中。 图4 引用的数据 引用OBS类型数据时，如果数据在OBS中的存储类型为“归档存

查看更多 →

使用Python环境 为了运行代码、获得编码帮助和其他Python相关功能，您需要为项目指定一个Python环境。 指定项目环境 选择并激活环境 从命令行新建虚拟环境 设置默认项目环境 环境和终端窗口 选择调试环境 父主题： 构建环境

查看更多 →

-bucket”）。 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 默认取值： 无 objectKey str 必选 参数解释： 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。 例如，您对象的访问地址为examplebucket

查看更多 →

单击“服务列表”，选择“ 对象存储服务 ”，打开OBS管理控制台页面。 创建桶。 如何创建OBS桶，具体请参见《对象存储服务控制台指南》中的创建桶章节。 例如，创建以下两个桶：“mybucket”和“mybucket02”。 新建文件夹。 具体请参见《对象存储服务控制台指南》中的新建文件夹章节。 例如：

查看更多 →

出的对话框中，选择数据存储的OBS桶及其文件或文件夹。 如果选取文件夹，该文件夹下面的数据格式需保持一致，避免数据干扰。 物品属性表 从OBS桶中选择数据。在“物品属性表”右侧，单击，从弹出的对话框中，选择数据存储的OBS桶及其文件或文件夹。 如果选取文件夹，该文件夹下面的数据格式需保持一致，避免数据干扰。

查看更多 →

DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《 数据湖探索 SQL语法参考》。 添加分区。 具体语法请参考《 数据湖 探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。

查看更多 →

如果函数工程引入了第三方依赖，可以将第三方依赖打成ZIP包，在函数代码界面设置外部依赖包；也可以将第三方依赖和函数工程文件一起打包。 将工程打成ZIP包，上传到OBS存储桶。 Python 2.7 不支持该方式 假如函数工程文件保存在“~/Code/”文件夹下，在打包的时候务必进入Code文件夹下选中所有工程文件进行

查看更多 →

如果上传文件或文件夹时弹出拒绝访问的错误提示，则有可能是如下几种情况导致的： 通过桶的ACL设置功能，限制了该桶的访问权限（如：该用户无桶的写入权限）。 通过桶的桶策略功能，限制了该桶的访问权限(如:当前时间段不允许对桶进行写入、该用户无桶的写入权限等)。 请检查桶的ACL设置和桶策略配置，排查错误。

查看更多 →

如果上传文件或文件夹时弹出拒绝访问的错误提示，则有可能是如下几种情况导致的： 通过桶的ACL设置功能，限制了该桶的访问权限（如：该用户无桶的写入权限）。 通过桶的桶策略功能，限制了该桶的访问权限(如:当前时间段不允许对桶进行写入、该用户无桶的写入权限等)。 请检查桶的ACL设置和桶策略配置，排查错误。

查看更多 →

通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档需要将运行代码以及输入输出数据存放OBS，请提前创建OBS（参考创建OBS桶），例如桶名：sdxl-train。并在该桶下创建文件夹目录用于后续存储代码使用，例如：code。 Step3 准备代码 在获取软件

查看更多 →

明请参见OBS创建桶。 若需要将原始文件和转码文件存储在不同的桶中，请创建两个桶。 OBS桶区域选择需要与使用的媒体处理服务的区域一致，若使用“华北-北京四”的媒体处理服务，则需要创建“华北-北京四”的桶。 在桶列表中单击创建的桶名称，进入桶管理页面。 单击“新建文件夹”，创建原始文件存放的文件夹，示例：input。

查看更多 →

如何上传数据至OBS 使用RES进行推荐时，您需要将数据上传至对象存储服务（OBS）桶中。您可以登录OBS管理控制台创建OBS桶，并在您创建的OBS桶中创建文件夹，然后再进行数据的上传。创建OBS桶和上传文件夹的操作指导请参见创建桶和上传对象。 您在创建OBS桶时，需保证您的OBS桶与RES在同一个区域。

查看更多 →

置镜像中可选择包含Mindspore的镜像。 图28 使用 自定义镜像 创建训练作业 查看训练日志。 在单击“Apply and Run”按钮后，训练的日志可以在PyCharm窗口中实时展示。也可以单击Event Log中的控制台链接，转调到网页端中查看训练日志。 图29 在PyCharm中查看训练日志

查看更多 →

删除桶(Python SDK) 功能说明 桶为空时，用户可以删除桶，以免占用桶数量配额。删除桶后需要等待30分钟才能创建同名桶。 华为云无法恢复用户主动删除的OBS数据。因此调用接口删除桶后，桶相关数据无法恢复，请谨慎操作。 接口约束 待删除的桶必须为空，桶为空包含两方面含义：

查看更多 →

，PyTorch版本根据训练要求选择。 代码目录 选择OBS桶中训练code文件夹所在路径，例如“obs://test-modelarts/code/”。 启动文件 选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。

查看更多 →

Browser+方式统计文件夹。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。 单击待统计文件夹操作列的“统计”，或单击“大小”列的。 单击对象列表上方的“任务中心”，在“统计”页签查看文件夹统计信息。 文件夹统计信

查看更多 →

Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例，请参考创建OBS桶，例如桶名：standar

查看更多 →

请参考创建AI应用的自定义镜像规范和从0-1制作自定义镜像并创建AI应用，制作自定义镜像。 推荐在开发环境Notebook中调试模型包，制作自定义镜像。请参考在开发环境中构建并调试推理镜像和无需构建直接在开发环境中调试并保存镜像用于推理。 更多的自定义脚本代码示例，请参考自定义脚本代码示例。 模型包里面必

查看更多 →

请参考创建AI应用的自定义镜像规范和从0-1制作自定义镜像并创建AI应用，制作自定义镜像。 推荐在开发环境Notebook中调试模型包，制作自定义镜像。请参考在开发环境中构建并调试推理镜像和无需构建直接在开发环境中调试并保存镜像用于推理。 更多的自定义脚本代码示例，请参考自定义脚本代码示例。 模型包里面必须

查看更多 →