提升HDFS写数据性能 操作场景 在HDFS中，通过调整属性的值，使得HDFS集群更适应自身的业务情况，从而提升HDFS的写性能。 本章节适用于 MRS 3.x及后续版本。 操作步骤 参数入口： 在 FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 >

查看更多 →

配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）

查看更多 →

CDM 方式迁移 云数据迁移（Cloud Data Migration，CDM）提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持关系数据库，数据仓库，NoSQL，大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS 方式迁移 对象存储迁移 服务（Object Storage

查看更多 →

典型场景：从HDFS/OBS导出数据到SFTP 服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SF

查看更多 →

数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取）、分析平台数据流向。

查看更多 →

客户线下数据中心迁移数据到华为云MRS集群，通过云专线服务为用户搭建本地数据中心与云上VPC之间的专属连接通道。可以使用华为云的云专线服务或使用第三方的云专线服务来连通华为云网络。 图1 线下数据中心迁移 客户在华为云上自建大数据集群（或老版本的MRS集群）需要迁移到华为云MRS集群，且在

查看更多 →

典型场景：从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP

查看更多 →

hdfs_path 格式 无。 说明 HDFS的路径，如“hdfs:///tmp”。 父主题： 标示符

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider

查看更多 →

HDFS HDFS基本原理 HDFS HA方案介绍 HDFS与其他组件的关系 HDFS开源增强特性 父主题： 组件介绍

查看更多 →

指定是否打开监控指标数据对接功能。 ：启用监控指标转储。 ：禁用监控指标转储。 是 FTP IP地址 指定监控指标数据对接后存放监控文件的FTP服务器。 是 FTP端口 指定连接FTP服务器的端口。 是 FTP用户名 指定登录FTP服务器的用户名。 是 FTP密码 指定登录FTP服务器的密码。

查看更多 →

10:15400/test（15400为样例端口） 用户名 表示连接数据库使用的用户名称。 密码 表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。

查看更多 →

10:15400/test（15400为样例端口） 用户名 表示连接数据库使用的用户名称。 密码 表示此用户对应的密码。需要与实际密码保持一致。 表2 ftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。

查看更多 →

配置FTP/SFTP连接 FTP/SFTP连接适用于从线下文件服务器或E CS 服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S FTP服务器 时，连接参数相同，如表1所示。

查看更多 →

配置FTP/SFTP连接 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。

查看更多 →

MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到 云搜索 服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到 DLI 服务 MRS HDFS数据迁移到OBS

查看更多 →

MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS

查看更多 →

MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS

查看更多 →

如果配置了时间宏变量，通过 DataArts Studio 数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 /ftp/a.csv|/ftp/b.txt 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：

查看更多 →

如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 /ftp/a.csv|/ftp/b.txt 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：

查看更多 →