使用distcp命令拷贝空文件夹报错 问题背景与现象 通过 MRS 客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret

查看更多 →

OBS拷贝过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用moxing拷贝数据时出现如下报错。 图1 错误日志 原因分析 出现该问题的可能原因如下： 在大规模分布式作业上，每个节点都在拷贝同一个桶的文件，导致OBS桶限流。 OBS

查看更多 →

训练作业中如何判断文件夹是否拷贝完毕？ 您可以在训练作业启动文件的脚本中，通过如下方式获取拷贝和被拷贝文件夹大小，根据结果判断是否拷贝完毕： import moxing as mox mox.file.get_size('obs://bucket_name/obs_file',recursive=True)

查看更多 →

训练作业使用MoXing拷贝数据较慢，重复打印日志 问题现象 ModelArts训练作业使用MoXing拷贝数据较慢。 重复打印日志“INFO:root:Listing OBS”。 图1 重复打印日志 原因分析 拷贝数据慢的可能原因如下： 直接从OBS上读数据会造成读数据变成训练的瓶颈，导致迭代缓慢。

查看更多 →

若拷贝的源文件为文本文件，拷贝完成后仍然可以对新文件正常编辑。 若拷贝的源文件为非文本文件，拷贝完成后对新文件进行编辑则会出现乱码。 原因分析 拷贝文件的目标路径不以“/”结尾时，系统会以文件重命名的方式进行拷贝。如果文件名已存在，则会覆盖原来已有的文件。 处理方法 若源文件的名字、格式确定，则

查看更多 →

问题现象 从用户本地拷贝文本到Windows主机资源，提示“粘贴文本超长，建议使用文件管理功能”。 可能原因 云 堡垒机 “复制/粘贴”有字符数限制，不支持从用户本地“复制/粘贴”超过8万字符的文本。 解决办法 用户获取主机资源“文件管理”权限，分别需要开启主机“文件管理”功能和授权用户“文件管理”权限。

查看更多 →

<num_maps> 最大的同时运行的执行拷贝的任务数 -numListstatusThreads 构建被拷贝文件的文件列表时所用的线程数，该选项会提高distcp的运行速度 -overwrite 覆盖目标位置的文件 -update 如果源位置和目标位置的文件的大小，校验和不同，则更新目标位置的文件

查看更多 →

IFS共享文件系统使用的客户端是Windows操作系统，NFS共享文件系统使用的客户端是Linux或Unix操作系统。 设备下电和封装 确保待传输数据和签名文件全部上传到Teleport后，下电封装Teleport设备到设备箱，回邮Teleport设备箱。 父主题： 服务操作类

查看更多 →

收集netstat -anp命令输出，并拷贝/etc/resolv.conf和/etc/hosts文件 进程信息 收集ps -aux命令输出 时间信息 收集date和uptime命令输出 历史命令输入 收集当前用户所有输入的命令 IEF数据 IEF数据库数据 拷贝/opt/IEF/Edge-core/bin/edge

查看更多 →

选择的主机为Windows主机，目前主机间拷贝文件不支持Windows主机间的拷贝。 处理办法 选择Linux可以进行主机间拷贝。 父主题： 拷贝文件

查看更多 →

前言：如果想将MAC的音频进行投放，则需要进行音频资源的采集和重定向，此时需要使用声卡驱动；BlackHole是为MAC开发出的专门用于音频采集和重定向输出的第三方开源驱动。由于苹果官方的限制，所有上app store的app必须开启沙盒运行，此时无法在安装应用程序的时候将BlackHole安装到系统的指定目录

查看更多 →

如果在此之前是有进行数据拷贝的，每个节点拷贝的速度不是同一个时间完成的，然后有的节点没有拷贝完，其他节点进行torch.distributed.init_process_group()导致超时。 处理方法 如果是多个节点拷贝不同步，并且没有barrier的话导致的超时，可以在拷贝数据之前，先进行torch

查看更多 →

复制数据卡死 问题现象 调用mox.file.copy_parallel拷贝数据时卡死。 解决方案 拷贝文件和文件夹均可采用： import moxing as mox mox.file.set_auth(is_secure=False) 拷贝单个大文件5G以上时可采用： from

查看更多 →

lib 该文件夹下有win32和x64两个子文件夹，分别放置对应平台编译所依赖的.lib文件 dll 该文件夹下有win32和x64两个子文件夹，分别放置对应平台运行所依赖的.dll和SDK可执行.exe文件 HwmSdk 该文件夹下放置win32和x64公共使用的依赖库 demo

查看更多 →

号。您可以选择1和10000之间的任意段编号。段编号在您正在上传的对象中唯一地标示了段及其位置。如果您使用之前上传的段的同一段编号上传新段，则之前上传的段将被覆盖。无论您何时上传段，OBS都将在其响应中返回ETag标头。对于每个段上传任务，您必须记录每个段编号和ETag值。您需要

查看更多 →

将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_examples/co

查看更多 →

keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。 运行Spark SQL样例程序（Scala和Java语言）。

查看更多 →

files between”。 原因分析 选择的目标主机为密钥认证的主机，目前暂不支持向密钥认证的主机拷贝文件。 处理办法 建议将目标主机的认证方式改为密码认证的方式。 父主题： 拷贝文件

查看更多 →

禁止使用IP地址。 禁止以“-”或“.”开头及结尾。 禁止两个“.”相邻（如：“my..bucket”）。 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。 默认取值： 无

查看更多 →

Administrator 问题现象 部署“拷贝文件”步骤，跨主机拷贝文件时，日志信息提示“User is not Administrator”。 原因分析 目标主机未使用Administrator账户登录。 处理方法 使用Administrator账户登录的主机。 父主题： 拷贝文件

查看更多 →

创建AI应用时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会拷贝到镜像中去。拷贝进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入AI应用时，ModelArts会将指定的OBS目录下的所有文件和文件夹拷贝到镜像中的指定路径下，镜像内路径可以通过self.model_path获取。

查看更多 →