对象存储服务 OBS     

对象存储服务(Object Storage Service)是一款稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。

 
 

    obs自动上传脚本 更多内容
  • 上传文件夹至OBS

    String 本地需要上传的文件夹路径。 当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时,OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。

    来自:帮助中心

    查看更多 →

  • 使用obsftp上传/下载数据失败

    使用obsftp上传/下载数据失败 现象描述 obsftp能够成功启动,但上传/下载数据失败。 可能原因 由于obsftp启动时,如果不指定使用端口,会从0~65535端口中随机选一个。当防火墙或者使用的虚拟机安全组限制了obsftp选择的端口时,使用obsftp时就会出现上传/下载数据失败的现象。

    来自:帮助中心

    查看更多 →

  • SAP备份上传OBS最佳实践

    SAP备份上传OBS最佳实践 简介 上传前准备 备份上传OBS 常见问题

    来自:帮助中心

    查看更多 →

  • 上传离线数据源至OBS

    上传离线数据源至OBS RES使用 对象存储服务 (Object Storage Service,简称OBS)进行数据源的存储。因此,在使用RES之前您需要开通OBS服务并创建桶,然后在OBS桶中上传用户数据用于推荐作业的计算。 需要存放在OBS桶中的数据包括: 离线数据源:包含用户

    来自:帮助中心

    查看更多 →

  • 模板:云上的自动化脚本

    模板:云上的自动脚本 AOS模板为一个YAML或JSON格式的文本描述文件,用于描述您想要的云对象(云对象包括应用、资源、服务等所有云上的对象)。AOS服务根据描述文件帮助您完成各种云对象的创建。 任何一种自动化的过程,都需要一种描述语言来控制其执行流程。 例如,shell脚本(文本

    来自:帮助中心

    查看更多 →

  • 脚本简介

    脚本简介 本脚本使用python开发,适用于Linux系统,本脚本主要作用是将本地文件上传OBS,并且在本地保留一定时间内的副本,本脚本会调用obsutil客户端来完成上传OBS的操作。 obsutil是一款用于访问管理华为云对象存储服务(Object Storage Ser

    来自:帮助中心

    查看更多 →

  • 准备代码

    # 推理工具 代码上传OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后,将llm_train文件上传OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传OBS后,OBS桶的目录结构如下。 <bucket_name>

    来自:帮助中心

    查看更多 →

  • 不上传数据到OBS,如何使用DLI

    上传数据到OBS,如何使用 DLI 当前DLI只支持对云上数据分析,数据还是要传到云上;但是用户可以折中处理:将待分析的数据脱敏后上传OBS临时存放,分析完之后将结果导出使用,同时将OBS临时存放数据删除;该方法主要适用于定期(如每天)对增量数据一次性分析统计,然后利用分析结果

    来自:帮助中心

    查看更多 →

  • 准备代码

    # 推理工具 代码上传OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后,将llm_train文件上传OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传OBS后,OBS桶的目录结构如下。 <bucket_name>

    来自:帮助中心

    查看更多 →

  • 上传数据至OBS(首次使用时需要)

    上传数据至OBS(首次使用时需要) 前提条件 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 操作步骤 登录Imagenet数据集下载官网地址,下载Imagenet21k数据集:http://image-net

    来自:帮助中心

    查看更多 →

  • 准备代码

    # 推理工具 代码上传OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后,将llm_train文件上传OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传OBS后,OBS桶的目录结构如下。 <bucket_name>

    来自:帮助中心

    查看更多 →

  • 脚本

    脚本 AstroZero脚本概述 AstroZero脚本开发规则及约束限制 创建空白AstroZero脚本 定制已有AstroZero脚本 管理AstroZero脚本 自定义调用AstroZero脚本的URL 父主题: 使用AstroZero开发应用后端

    来自:帮助中心

    查看更多 →

  • 脚本

    脚本 对应相对复杂的业务逻辑,AstroZero提供了脚本服务编排等后台逻辑形式。本章节主要带您了解脚本的基础知识。 AstroZero的脚本引擎采用TypeScript语言。脚本执行时,TypeScript语言会被翻译成JavaScript语言,由JavaScript引擎执行。在JavaScript

    来自:帮助中心

    查看更多 →

  • 脚本

    脚本 运行脚本 调试脚本 获取脚本签名信息 获取脚本内置库信息 获取Flow公式信息 父主题: API

    来自:帮助中心

    查看更多 →

  • 简介

    简介 OBS简介 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:创建、修改、删除桶,上传、下载、删除对象等。 脚本简介 本脚本使用python开发,适用于Linux系统,

    来自:帮助中心

    查看更多 →

  • 为obsutil配置自动获取访问密钥

    obsutil配置自动获取访问密钥 特性说明 除了从配置文件.obsutilconfig中获取访问密钥(AK/SK)外,obsutil还提供链式自动获取访问密钥功能,可以从系统环境变量获取访问密钥,或者通过E CS 接口获取临时访问密钥。 启用链式获取访问密钥功能后,obsutil会依次从

    来自:帮助中心

    查看更多 →

  • Ascend场景日志说明

    在训练进程结束后,该日志会生成到训练容器中。其中,使用MindSpore预置框架训练的device日志会自动上传OBS,使用其他预置框架和 自定义镜像 训练的device日志如果需要自动上传OBS,则需要在代码中配置ASCEND_PROCESS_ LOG _PATH,具体请参考如下示例。 # set

    来自:帮助中心

    查看更多 →

  • 准备MRS节点引导操作脚本

    准备 MRS 节点引导操作脚本 引导操作目前仅支持Linux Shell脚本脚本文件需以.sh结尾。 准备MRS节点引导操作脚本步骤如下: 上传所需安装包等文件至OBS文件系统。 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为不

    来自:帮助中心

    查看更多 →

  • 获取上传至OBS桶的临时ak/sk

    获取上传OBS桶的临时ak/sk 功能介绍 获取上传OBS桶的临时ak/sk。 调试 您可以在 API Explorer 中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project

    来自:帮助中心

    查看更多 →

  • 准备代码

    版本修复。 代码上传OBS 将AscendSpeed代码包AscendCloud-3rdLLM-905-xxx.zip在本地解压缩后,将llm_train文件上传OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传OBS后,OBS桶的目录结构如下。

    来自:帮助中心

    查看更多 →

  • 训练作业如何调用shell脚本,是否可以执行.sh文件?

    训练作业如何调用shell脚本,是否可以执行.sh文件? ModelArts支持调用shell脚本,可以使用python调用“.sh”。具体操作步骤如下: 上传“.sh”脚本OBS桶,例如“.sh”所在存储位置为 “ /bucket-name/code/test.sh”。 在本地创建“

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了