启用集群间拷贝功能 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导，在 FusionInsight Manager修

查看更多 →

公网环境下如何提高上传大文件速度？(Python SDK) 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段

查看更多 →

OBS拷贝过程中提示“BrokenPipeError: Broken pipe” 问题现象 训练作业在使用moxing拷贝数据时出现如下报错。 图1 错误日志 原因分析 出现该问题的可能原因如下： 在大规模分布式作业上，每个节点都在拷贝同一个桶的文件，导致OBS桶限流。 OBS

查看更多 →

复制数据卡死 问题现象 调用mox.file.copy_parallel拷贝数据时卡死。 解决方案 拷贝文件和文件夹均可采用： import moxing as mox mox.file.set_auth(is_secure=False) 拷贝单个大文件5G以上时可采用： from

查看更多 →

files 创建节点/节点池时自动配置最大文件句柄数 您可以设置节点或节点池安装后执行脚本，在新建节点或节点池时通过脚本配置最大文件句柄数。 首先您需要确认创建节点或节点池的操作系统，例如CentOS 7.6。 在同集群、同操作系统的节点上，参考以下文档进行脚本命令可行性的测试，

查看更多 →

公网环境下如何提高上传大文件速度？(Java SDK) 在公网环境下对于超过100MB的大文件建议通过分段上传方式上传。分段上传是将单个对象拆分为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败，可以重新传输该段且不会影响其他段。通

查看更多 →

训练作业中如何判断文件夹是否拷贝完毕？ 您可以在训练作业启动文件的脚本中，通过如下方式获取拷贝和被拷贝文件夹大小，根据结果判断是否拷贝完毕： import moxing as mox mox.file.get_size('obs://bucket_name/obs_file',recursive=True)

查看更多 →

勾选剪贴板 如需从本地主机复制文件到 云服务器 中，单击“详细信息”，勾选相应的磁盘。 图5 勾选驱动器 （可选）如需调整远程桌面窗口的大小，可以选择“显示”选项卡，再调整窗口大小。 图6 调整窗口大小 单击“确定”，根据提示输入密码，登录云 服务器 。 为安全起见，首次登录云服务器，需更改密码。

查看更多 →

如何在ModelArts上获得RANK_TABLE_FILE进行分布式训练？ ModelArts会帮用户生成RANK_TABLE_FILE文件，可通过环境变量查看文件位置。 在Notebook中打开terminal，可以运行如下命令查看RANK_TABLE_FILE： 1 env

查看更多 →

加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.

查看更多 →

如何在CodeLab上安装依赖？ ModelArts CodeLab中已安装Jupyter、Python程序包等多种环境，您也可以使用pip install在Notebook或Terminal中安装依赖包。 在Notebook中安装 在总览页面进入CodeLab。 在“Noteb

查看更多 →

在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

在Hue页面上传大文件失败 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

身的功能，先将数据备份到华为云的云硬盘或挂载的弹性文件服务上的文件系统里，再拷贝到华为云OBS上。 基于存储快照的备份与恢复 这种方式，是利用华为云云硬盘备份或云服务器备份的能力，将单个EVS卷或多个EVS卷或整个云服务器备份到OBS上。 其中，使用云服务器备份的数据，还可以制作

查看更多 →

创建的私有镜像如何使用到已有的云服务器上？ 如果创建的私有镜像和云服务器在一个区域，后续可以为云服务器切换操作系统，选择私有镜像即可，如图 切换操作系统所示。切换操作系统的详细指导请参见切换操作系统 。 图1 切换操作系统 如果创建的私有镜像和云服务器不在一个区域，需要先将私有镜

查看更多 →

输入待登录的云服务器的弹性公网IP和用户名，默认为Administrator。 如需再次登录时不再重复输入用户名和密码，可勾选“允许我保存凭据”。 图3 远程桌面链接 （可选）如需在远程会话中使用本地主机的资源，请单击“本地资源”选项卡完成如下配置。 如需从本地主机复制到云服务器中，请勾选“剪贴板”。

查看更多 →

输入待登录的云服务器的弹性公网IP和用户名，默认为Administrator。 如需再次登录时不再重复输入用户名和密码，可勾选“允许我保存凭据”。 图2 远程桌面链接 （可选）如需在远程会话中使用本地主机的资源，请单击“本地资源”选项卡完成如下配置。 如需从本地主机复制到云服务器中，请勾选“剪贴板”。

查看更多 →

Linux”，进入弹性云服务器。 后续处理 系统支持从本地拷贝命令行到弹性云服务器，实现本地数据与弹性云服务器之间的单向复制、粘贴功能，方法如下： 使用VNC方式成功登录弹性云服务器。 单击页面上方的“复制粘贴”。 图8 复制粘贴 使用快捷键Ctrl+C，复制本地计算机的数据。 使

查看更多 →

如何将文档数据库备份到弹性云服务器上 您可以通过mongoexport的方式将数据库备份到弹性云服务器上，但不建议将弹性云服务器作为数据库备份空间使用。 强烈推荐使用文档数据库实例的备份功能，将备份数据存放到专业的 对象存储服务 上，以获得更高的数据可靠性和服务保障。 父主题： 备份与恢复

查看更多 →

启用集群间拷贝功能备份集群数据 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间复制功能，该功能默认未启用。两个集群都需要配置。 该任务指导 MRS 集群管理员在MRS修改参数以启用集群间复制功能。 对系统的影响

查看更多 →

如何将RDS数据库备份到弹性云服务器上 您可以通过导出SQL语句的方式将数据库备份到弹性云服务器上。弹性云服务器不限制存放哪些数据，但是数据必须符合国家法律法规。您可以在弹性云服务器上存放数据库备份，但不建议将弹性云服务器作为数据库备份空间使用。 强烈推荐使用云数据库RDS的自动

查看更多 →