本地macOS系统主机上传文件到Windows云 服务器 本地Linux主机使用SCP上传文件到Linux云服务器 本地Linux主机使用SFTP上传文件到Linux云服务器 本地Windows主机使用FTP上传文件到Windows/Linux云服务器 本地Linux主机使用FTP上传文件到Linux云服务器

查看更多 →

典型场景：从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。

查看更多 →

CS V格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输， CDM 会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。

查看更多 →

FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S

查看更多 →

FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S

查看更多 →

fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式，目前支持以下文件格式： CSV_FILE：CSV格式，用于迁移文件到数据表的场景。 JSON_FILE：JSON格式，一般都是用于迁移文件到数据表的场景。 BINARY_FILE：二进制格式，不解析文件

查看更多 →

迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中， 对象存储服务 OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中，则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移，包括：Distcp方式迁移、CDM方式迁移和 OMS 方式迁移。

查看更多 →

} ] } 连接参数 FTP和SFTP的连接参数相同。 参数 是否必选 类型 说明 linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig

查看更多 →

} ] } 连接参数 FTP和SFTP的连接参数相同。 参数 是否必选 类型 说明 linkConfig.server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig

查看更多 →

使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题： 导出数据

查看更多 →

SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是 MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

SFTP类型存储的具体参数如表2所示。 FTP类型存储的具体参数如表3所示。 OBS类型存储的具体参数如表4所示。 表2 SFTP类型存储的参数说明 参数 说明 IP SFTP服务器的IP地址。 用户名/密码 登录SFTP服务器的用户名和密码。 端口 SFTP服务器的端口。 文件路径 下载数据到SFTP服务器上的存放路径。

查看更多 →

新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件：待迁移数据的目录或单个文件路径。

查看更多 →

HBase），且该MRS数据源均开启了Kerberos认证，则这两个数据集成任务不能同时运行，否则会导致集成任务运行失败。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。 MRS HDFS数据源所在的MRS集群已开启Ker

查看更多 →

恢复HDFS NameNode元数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对NameNode进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对NameNode进行恢复数据操作。

查看更多 →

登录Windows云服务器。 查看Windows云服务器的磁盘信息，如果有显示本地主机的磁盘设备，则表示您的本地主机与Windows云服务器之间可以互传数据了，如图5所示。 图5 查看磁盘设备 方法三：搭建FTP站点 通过搭建FTP站点，传输文件到云服务器。 搭建FTP站点，传输文件到云服务器。

查看更多 →

新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建MRS HDFS连接中的“hdfs_llink”。 源目录或文件：待迁移数据的目录或单个文件路径。

查看更多 →