Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource

查看更多 →

配置Doris源端参数 Doris源端参数列表 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句， CDM 将根据该语句导出数据。

查看更多 →

配置HBase 源端参数 表1 Hbase作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合

查看更多 →

配置OBS源端参数 作业中源连接为OBS连接时，源端作业参数如表1所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 源端为OBS时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET_2 源目录或文件

查看更多 →

配置HTTP源端参数 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 表1 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS

查看更多 →

配置作业源端参数 配置MySql源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置 DLI 源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数

查看更多 →

配置DLI源端参数 支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。

查看更多 →

配置GBase源端参数 表1 GBase作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，作业将根据该语句导出数据。

查看更多 →

> 服务配置”，将“基础配置”切换为“全部配置”，进入HBase配置界面修改参数配置。 表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable.sync 设置是否启用Hfile耐久性以将数据持久化到磁盘。若将该参数设置为t

查看更多 →

Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/Fli

查看更多 →

默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。

查看更多 →

conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark

查看更多 →

Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。在搜索框中输入参数名称。 本章节适用于 MRS 3.x及后续版本。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。

查看更多 →

Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题： 使用Hudi

查看更多 →

HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.

查看更多 →

维护窗口参数配置 RETENTION_TIME：评估与压缩记录的保留时长，单位天，默认值30。用户可根据自己存储容量自行调节。 EXECUTION_INTERVAL：评估任务的执行频率，单位分钟，默认值15。用户可根据自己维护窗口期间业务与资源情况调节。该参数与ABS_JOBLI

查看更多 →

配置构建任务参数 编译构建服务默认生成codeBranch参数和系统预定义参数。用户可以根据需要修改codeBranch参数类型和参数值，并添加其他自定义参数。 系统预定义参数 系统预定义参数的参数值由系统自动生成，无需定义，如表1所示，可在代码中使用${参数名}引用。 表1 系统预定义参数

查看更多 →

传输网络和路由域选用系统缺省配置的MPLS和Internet，不需要配置。 图2 路由域和传输网络 配置IPSec加密参数，如图3所示。 图3 IPSec加密参数 设备激活安全配置，如图4所示。 参数取值请参考网络设计参数规划。 图4 设备激活安全配置 配置链路通断检测参数，如图5所示。 图5

查看更多 →

示例：不同场景下连接数据库参数配置 以下示例场景中node代表“host:port”，host为数据库 服务器 名称或IP地址，port为数据库服务器端口。 容灾场景 某客户有两套数据库集群，其中A集群为生产集群，B集群为容灾集群。当客户执行容灾切换时，A集群将降为容灾集群，B集群将

查看更多 →

示例：不同场景下连接数据库参数配置 以下示例场景中node代表“host:port”，host为数据库服务器名称或IP地址，port为数据库服务器端口。 负载均衡场景 某客户存在一套数据库集群，包含如下节点{node1,node2,node3,node4,node5,node6,node7

查看更多 →

示例：不同场景下连接数据库参数配置 以下示例场景中node代表“host:port”，host为数据库服务器名称或IP地址，port为数据库服务器端口。 容灾场景 某客户有两套数据库实例，其中A数据库实例为生产数据库实例，B数据库实例为容灾数据库实例。当客户执行容灾切换时，A数据库实例将降为

查看更多 →