id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过 DataArts Studio 数据开发调

查看更多 →

配置Hudi源端参数 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。 该参

查看更多 →

配置DWS源端参数 表1 DWS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句， CDM 将根据该语句导出数据。

查看更多 →

配置YASHAN源端参数 作业中源连接从YASHAN导出的数据时，源端作业参数如表1所示。 表1 YASHAN作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用S

查看更多 →

配置Workflow参数 功能介绍 参数相关的配置使用Placeholder对象来表示，以占位符的形式实现用户数据运行时配置的能力，当前支持的数据类型包括：int、str、bool、float、Enum、dict、list。开发者可根据场景需要，将节点中的相关字段（如算法超参）通

查看更多 →

配置导入导出参数 功能介绍 配置导入导出参数。 URI POST /v1/{project_id}/exports/config 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 获取方法请参考获取项目ID。 请求参数 表2 请求Header参数

查看更多 →

参数配置说明 基础参数 表1 基础参数 参数名称 参数类型 是否必选 默认值 说明 参数规范 举例 name string 必选 - IaC3.0资源名 只能包括数字、字母、'-'、'_'、'.'，必须以字母开头，字母或数字结尾。长度2-64。 说明： 如果没有配置cluster

查看更多 →

传输网络和路由域选用系统缺省配置的MPLS和Internet，不需要配置。 图2 路由域和传输网络 配置IPSec加密参数，如图3所示。 图3 IPSec加密参数 设备激活安全配置，如图4所示。 参数取值请参考网络设计参数规划。 图4 设备激活安全配置 配置链路通断检测参数，如图5所示。 图5

查看更多 →

Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中，选择“集群 > 服务 > Impala > 配置”，选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs

查看更多 →

Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource

查看更多 →

配置Hive源端参数 作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名

查看更多 →

配置YASHAN源端参数 作业中源连接从YASHAN导出的数据时，源端作业参数如表1所示。 表1 YASHAN作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用S

查看更多 →

Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。在搜索框中输入参数名称。 本章节适用于MRS 3.x及后续版本。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。

查看更多 →

Hudi常见配置参数 写入操作配置 同步Hive表配置 index相关配置 存储配置 compaction&cleaning配置 单表并发控制配置 父主题： 使用Hudi

查看更多 →

配置构建任务参数 编译构建服务默认生成codeBranch参数和系统预定义参数。用户可以根据需要修改codeBranch参数类型和参数值，并添加其他自定义参数。 系统预定义参数 系统预定义参数的参数值由系统自动生成，无需定义，如表1所示，可在代码中使用${参数名}引用。 表1 系统预定义参数

查看更多 →

默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表2。具体配置操作请参考修改集群服务配置参数。 表2 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。

查看更多 →

Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数

查看更多 →

conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark

查看更多 →

> 服务配置”，将“基础配置”切换为“全部配置”，进入HBase配置界面修改参数配置。 表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable.sync 设置是否启用Hfile耐久性以将数据持久化到磁盘。若将该参数设置为t

查看更多 →

Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/Fli

查看更多 →

HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.

查看更多 →