更新时间:2026-07-13 GMT+08:00
分享

配置Hudi目的端参数

由于MRS Spark JDBC Server不支持拦截已提交的SQL,当Hudi连接采用JDBC模式时,作业停止后已提交的SQL可能无法被取消。

表1 MRS Hudi作为目的端时的作业参数

类别

配置项

配置说明

推荐配置

基本参数

数据库名称

输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。

dbadmin

表名

单击输入框后面的按钮可进入表的选择界面。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

说明:

如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

cdm

自动建表模式

是否自动创建Hudi表。

  • 一键建表:通过自动建表方式自动创建目的端表。
  • 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。

不存在时创建

写入模式

数据写入模式。

  • TRUNCATE+LOAD:TRUNCATE方式会在导入前执行TRUNCATE语句清空填写的分区数据,再进行LOAD写入数据。
  • LOAD:写入前不做任何处理。
  • INSERT_OVERWRITE:对数据进行覆盖写入。

LOAD

分区

写入模式为TRUNCATE+LOAD或INSERT_OVERWRITE时显示该参数。

分区信息,表为分区表的时候,写数据的时候,可以选择需要写入的分区数据。

year=2020,location=sun

运行队列

指定请求参数--queue的值,决定spark任务提交到哪个队列运行。

default

高级属性

sql执行参数

写hudi时,支持spark参数配置,此处填入的参数将会在请求体中以"--conf"参数形式添加,同时也支持Spark Driver、Executor相关配置参数。

--driver-memory=2G,--executor-memory=2G,--driver-cores=1,--executor-cores=1,--num-executors=2

入库时间字段

将一个字段标记为入库时间字段,自动建表时将此字段自动加到建表语句中,写入Hudi时将把此字段的值替换为当前时间。所选字段必须为timestamp类型。

-

写入参数

在执行Spark SQL往hudi插入数据前,通过set语法设置参数,从而控制spark的写入行为。

hoodie.combine.before.upsert

Compaction模式

配置Compaction的执行方式,此参数仅对MOR表生效。

  • 异步Compaction:数据写入Hudi后仅生成Compaction执行计划,不执行Clean与Archive,需要配合异步Compaction脚本使用。
  • 同步Compaction:数据写入Hudi表后立即执行Compaction、Clean、Archive,Compaction过程会增加作业执行时间。默认5次提交触发Compaction,默认最少保留20个deltacommit,最多保留30个,默认clean后保留10个deltacommit对应的数据文件。

异步Compaction

相关文档