初始化大文件（API名称：initRiskBigFile） 功能介绍 该接口用于初始化大文件分段上传任务。 URL 请求方式 HTTPS地址 消息体类型 POST https://AppCube 域名 /service/ISDP__SecurityRiskBO/1.0.1/initRiskBigFile

查看更多 →

公网环境下如何提高上传大文件速度？ 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段，可大大提高传输效率。

查看更多 →

拷贝数据至容器中空间不足 问题现象 ModelArts训练作业运行时，日志中遇到如下报错，导致数据无法复制至容器中。 OSError:[Errno 28] No space left on device 原因分析 数据下载至容器的位置空间不足。 处理方法 请排查是否将数据下载至“

查看更多 →

启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。两个集群都需要配置。 该任务指导 MRS 集群管理员在MRS修改参数以启用集群间拷贝功能。 对系统的影响

查看更多 →

Browser上传文件时，出现蓝屏或黑屏现象 问题 为什么使用OBS Browser上传文件时，出现蓝屏或黑屏现象？ 回答 使用OBS Browser上传大量文件或少量大文件时，会占用较大的内存空间。请检查您PC机的内存剩余空间是否大于等于512MB，如果不足，请关闭其他应用程序释放内存，或者增加PC机的内存或虚拟内存后重试。

查看更多 →

如何拷贝导出历史视频/图片？ 前提条件 智能设备保持至少30%以上电源 操作步骤 正常启动智能设备，并保持30%以上的电源 使用对应的USB连接线让智能设备与电脑进行连接 在电脑中智能设备存放视频/图片/音频的目录如下：（假设连接智能设备后电脑新增了E盘） 表1 视频/图片/音频存放目录

查看更多 →

公网环境下如何提高上传大文件速度？(Python SDK) 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段

查看更多 →

在Terminal终端中解压model.zip 在Terminal运行界面，执行拷贝命令。查看镜像文件拷贝成功。 cp -rf model/* /home/ma-user/infer/model/1 图4 查看镜像文件拷贝成功 模型包文件样例 模型包文件model.zip中需要用户自己准备

查看更多 →

如何往容器中拷贝文件或拷出文件？ 前提条件 要求NUWA镜像的版本为3.0.4.101或以上。 准备一台VM机器。 从VM拷贝文件到容器 scp username@server-ip:/path/filename /path // 从VM下载文件 将容器中的文件拷贝到VM 将容器中的文件拷贝到VM

查看更多 →

将新旧版本之间的差异内容，拷贝到目标位置的旧版本文件中 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验 -strategy {dynamic|uniformsize} 指定拷贝任务的拷贝策略，默认策略是uniformsize，即每个拷贝任务复制相同的字节数 distcp常见使用问题

查看更多 →

Linux环境间拷贝文件报错: copy file failed 问题现象 日志显示“copy file failed”。 原因分析 原路径文件可能不存在或者没有访问权限。 目标路径可能没有访问权限。 处理办法 输入正确的可访问的文件路径即可。 父主题： 拷贝文件

查看更多 →

使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret

查看更多 →

训练作业中如何判断文件夹是否拷贝完毕？ 您可以在训练作业启动文件的脚本中，通过如下方式获取拷贝和被拷贝文件夹大小，根据结果判断是否拷贝完毕： import moxing as mox mox.file.get_size('obs://bucket_name/obs_file',recursive=True)

查看更多 →

大文件分片上传初始化（API名称：file/initBigFile） 功能介绍 大文件分片上传初始化 相关接口 接口名称 调用说明 获取Token 调用该接口获取到Token，再调用其他接口时，需要在请求消息头中添加“Authorization”，其值即为Token。 URL 请求方式

查看更多 →

公网环境下如何提高上传大文件速度？(Java SDK) 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段。通

查看更多 →

云服务内部自研格式，采用ZLIB压缩算法，支持顺序读写。 镜像服务 底层通用格式。镜像服务导入和导出支持格式。 说明： zvhd镜像文件格式不支持延迟加载特性，大文件在导入时依赖延迟加载特性，建议您使用zvhd2文件格式导入镜像文件。 ZVHD2 云服务内部自研格式，采用ZSTD压缩算法，支持延迟加载。

查看更多 →

上传本地大文件（100MB~5GB）至JupyterLab 对于大小超过100MB不超过5GB的文件可以使用OBS中转，系统先将文件上传至OBS（对象桶或并行文件系统），然后从OBS下载到Notebook。下载完成后，ModelArts会将文件自动从OBS中删除。 例如，对于下面这种情况，可以通过“OBS中转”上传。

查看更多 →

使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制，单次可上传的最大文件为5GB，如果需要上传超过5GB的大文件，需要通过OBS服务端提供的分段上传接口实现。具体步骤为： 调用OBS服务端初始化上传段任务接口，生成分段上传ID（Upload ID）。

查看更多 →

上传本地超大文件（5GB以上）至JupyterLab 不支持在Notebook的JupyterLab中直接上传大小超过5GB的文件。 图1 不支持直接上传大小超过5GB的文件 5GB以上的文件需要先从本地上传到OBS中，再在Notebook中调用ModelArts的Moxing接口或者SDK接口读写OBS中的文件。

查看更多 →

训练作业使用MoXing拷贝数据较慢，重复打印日志 问题现象 ModelArts训练作业使用MoXing拷贝数据较慢。 重复打印日志“INFO:root:Listing OBS”。 图1 重复打印日志 原因分析 拷贝数据慢的可能原因如下： 直接从OBS上读数据会造成读数据变成训练的瓶颈，导致迭代缓慢。

查看更多 →

若拷贝的源文件为文本文件，拷贝完成后仍然可以对新文件正常编辑。 若拷贝的源文件为非文本文件，拷贝完成后对新文件进行编辑则会出现乱码。 原因分析 拷贝文件的目标路径不以“/”结尾时，系统会以文件重命名的方式进行拷贝。如果文件名已存在，则会覆盖原来已有的文件。 处理方法 若源文件的名字、格式确定，则

查看更多 →