最新动态
功能总览
服务公告
- 产品公告
- 版本支持公告
产品介绍
- 图解数据湖探索
- 数据湖探索简介
- 产品优势
- 应用场景
- 约束与限制
- 产品规格
- 安全
- 权限管理
- 配额管理
- 与其他云服务的关系
- 基本概念
计费说明
- 计费概述
- 计算计费
  - 弹性资源池计费
- 存储计费
- 扫描量计费
- 套餐包计费
- 计费样例
- 续费
- 费用账单
- 欠费说明
- 停止计费
- 计费相关问题
- 修订记录
快速入门
- 使用DLI提交SQL作业查询OBS数据
- 使用DLI提交SQL作业查询RDS MySQL数据
- 使用DLI提交Flink OpenSource SQL作业查询RDS MySQL数据
- 使用DLI提交Flink Jar作业
- 使用DLI提交Spark Jar作业
- 入门实践
用户指南
- DLI作业开发流程
- 准备工作
- 创建弹性资源池和队列
- 创建数据库和表
- 数据迁移与数据传输
- 配置DLI访问其他云服务的委托权限
- 使用DLI提交SQL作业
- 使用DLI提交Flink作业
- 使用DLI提交Spark作业
- 使用Notebook实例提交DLI作业
- 使用CES监控DLI服务
- 使用CTS审计DLI服务
- 权限管理
- DLI常用管理操作
最佳实践
- 最佳实践内容概览
- 使用DLI分析车联网场景驾驶行为数据
- 使用DLI将CSV数据转换为Parquet数据
- 使用DLI分析电商BI报表
- 使用DLI分析账单消费数据
- 使用DLI分析电商实时业务数据
- 使用BI工具连接DLI分析数据
开发指南
- 使用客户端工具连接DLI
- SQL作业开发指南
- Flink作业开发指南
- Spark Jar作业开发指南
Spark SQL语法参考
- Spark SQL常用配置项说明
- Spark SQL语法概览
- Spark开源命令支持说明
- 数据库相关
- 表相关
- 数据相关
- 导出查询结果
- 跨源连接相关
- 视图相关
  - 创建视图
  - 删除视图
- 查看计划
- 数据权限相关
- 数据类型
- 自定义函数
- 内置函数
  - 日期函数
    - 日期函数概览
    - add_months
    - current_date
    - current_timestamp
    - date_add
    - dateadd
    - date_sub
    - date_format
    - datediff
    - datediff1
    - datepart
    - datetrunc
    - day/dayofmonth
    - from_unixtime
    - from_utc_timestamp
    - getdate
    - hour
    - isdate
    - last_day
    - lastday
    - minute
    - month
    - months_between
    - next_day
    - quarter
    - second
    - to_char
    - to_date
    - to_date1
    - to_utc_timestamp
    - trunc
    - unix_timestamp
    - weekday
    - weekofyear
    - year
  - 字符串函数
    - 字符串函数概览
    - ascii
    - concat
    - concat_ws
    - char_matchcount
    - encode
    - find_in_set
    - get_json_object
    - instr
    - instr1
    - initcap
    - keyvalue
    - length
    - lengthb
    - levenshtein
    - locate
    - lower/lcase
    - lpad
    - ltrim
    - parse_url
    - printf
    - regexp_count
    - regexp_extract
    - replace
    - regexp_replace
    - regexp_replace1
    - regexp_instr
    - regexp_substr
    - repeat
    - reverse
    - rpad
    - rtrim
    - soundex
    - space
    - substr/substring
    - substring_index
    - split_part
    - translate
    - trim
    - upper/ucase
  - 数学函数
    - 数学函数概览
    - abs
    - acos
    - asin
    - atan
    - bin
    - bround
    - cbrt
    - ceil
    - conv
    - cos
    - cot1
    - degrees
    - e
    - exp
    - factorial
    - floor
    - greatest
    - hex
    - least
    - ln
    - log
    - log10
    - log2
    - median
    - negative
    - percentlie
    - percentlie_approx
    - pi
    - pmod
    - positive
    - pow
    - radians
    - rand
    - round
    - shiftleft
    - shiftright
    - shiftrightunsigned
    - sign
    - sin
    - sqrt
    - tan
  - 聚合函数
    - 聚合函数概览
    - avg
    - corr
    - count
    - covar_pop
    - covar_samp
    - max
    - min
    - percentile
    - percentile_approx
    - stddev_pop
    - stddev_samp
    - sum
    - variance/var_pop
    - var_samp
  - 分析窗口函数
    - 分析窗口函数概览
    - cume_dist
    - first_value
    - last_value
    - lag
    - lead
    - percent_rank
    - rank
    - row_number
  - 其他函数
    - 函数概览
    - decode1
    - javahash
    - max_pt
    - ordinal
    - trans_array
    - trunc_numeric
    - url_decode
    - url_encode
- SELECT
  - 基本语句
  - 排序
  - 分组
  - 连接
  - 子句
    - FROM
    - OVER
    - WHERE
    - HAVING
    - 多层嵌套子查询
  - 别名SELECT
    - 表别名
    - 列别名
  - 集合运算SELECT
    - UNION
    - INTERSECT
    - EXCEPT
  - WITH...AS
  - CASE...WHEN
    - 简单CASE函数
    - CASE搜索函数
- 标示符
- 运算符
Flink SQL语法参考
- Flink Opensource SQL1.15语法参考
- Flink Opensource SQL1.12语法参考
- Flink Opensource SQL1.10语法参考
HetuEngine SQL语法参考
- HetuEngine SQL语法
- 数据类型隐式转换
  - 简介
  - 隐式转换对照表
- 附录
  - 本文样例表数据准备
  - 常用数据源语法兼容性
Hudi SQL语法参考
- Hudi表概述
- DLI Hudi元数据
- DLI Hudi开发规范
- DLI中使用Hudi开发作业
- DLI Hudi SQL语法参考
- Spark datasource API语法参考
  - API语法说明
  - Hudi锁配置说明
- 数据管理维护
- Hudi常见配置参数
Delta SQL语法参考
- DLI Delta表概述
- DLI中使用Delta开发作业
  - DLI Delta元数据
  - 在DLI使用Delta提交Spark Jar作业
- Delta Time Travel
- Delta清理和优化
- Delta SQL语法参考
- Delta常见配置参数
- DLI Delta常见问题
API参考
- API使用前必读
  - 概述
  - 调用说明
  - 终端节点
  - 约束与限制
  - 基本概念
- API概览
- 如何调用API
  - 构造请求
  - 认证鉴权
  - 返回结果
- API快速入门
  - 创建并提交SQL作业
  - 创建并提交Spark作业
  - 创建并提交Flink作业
  - 创建并使用跨源链接
- 权限相关API
  - 数据赋权（用户或项目）
  - 查看赋权对象使用者权限信息
- 全局变量相关API
  - 创建全局变量
  - 删除全局变量
  - 修改全局变量
  - 查询所有全局变量
- 资源标签相关API
  - 批量添加资源标签
  - 批量删除资源标签
  - 查询资源实例数量
  - 查询资源实例列表
  - 查询指定资源类型的标签信息
  - 查询指定资源实例的标签信息
- 增强型跨源连接相关API
  - 创建增强型跨源连接
  - 删除增强型跨源连接
  - 查询增强型跨源连接列表
  - 查询增强型跨源连接
  - 绑定队列
  - 解绑队列
  - 修改主机信息
  - 查询增强型跨源授权信息
  - 创建路由
  - 删除路由
- 跨源认证相关API
  - 创建跨源认证
  - 获取跨源认证列表
  - 更新跨源认证
  - 删除跨源认证
- 弹性资源池相关API
  - 创建弹性资源池
  - 查询所有弹性资源池
  - 删除弹性资源池
  - 修改弹性资源池信息
  - 查询弹性资源池下所有队列
  - 关联队列到弹性资源池
  - 弹性资源池扩缩容历史记录
  - 修改弹性资源池关联队列的扩缩容策略
- 队列相关API（推荐）
  - 创建队列
  - 删除队列
  - 查询所有队列
  - 查询队列详情
  - 重启/扩容/缩容队列
  - 创建指定地址连通性测试请求
  - 查询指定地址连通性测试详情
- SQL作业相关API
  - 提交SQL作业（推荐）
  - 取消作业（推荐）
  - 查询所有作业
  - 预览SQL作业查询结果
  - 导出查询结果
  - 查询作业状态
  - 查询作业详细信息
  - 检查SQL语法
  - 查询作业执行进度信息
- SQL模板相关API
  - 保存SQL模板
  - 查看所有SQL模板
  - 更新SQL模板
  - 删除SQL模板
- Flink作业相关API
  - 新建SQL作业
  - 更新SQL作业
  - 新建Flink Jar作业
  - 更新Flink Jar作业
  - 批量运行作业
  - 查询作业列表
  - 查询作业详情
  - 查询作业执行计划
  - 批量停止作业
  - 删除作业
  - 批量删除作业
  - 导出Flink作业
  - 导入Flink作业
  - 生成Flink SQL作业的静态流图
- Flink作业模板相关API
  - 新建模板
  - 更新模板
  - 删除模板
  - 查询模板列表
- Flink作业管理相关API
  - 触发Flink作业保存点
  - 导入Flink作业保存点
- Spark作业相关API
  - 创建批处理作业
  - 查询批处理作业列表
  - 查询批处理作业详情
  - 查询批处理作业状态
  - 取消批处理作业
- Spark作业模板相关API
  - 创建作业模板
  - 查询作业模板列表
  - 修改作业模板
  - 获取作业模板
- 权限策略和授权项
- 历史API
  - 委托相关API（废弃）
    - 获取DLI委托信息（废弃）
    - 创建DLI委托（废弃）
  - 分组资源相关API（废弃）
  - Spark批处理相关API（废弃）
    - 查询批处理作业日志（废弃）
  - SQL作业相关API（废弃）
    - 导入数据（废弃）
    - 导出数据（废弃）
  - 资源相关API（废弃）
    - 数据库相关API（废弃）
    - 表相关API（废弃）
  - 权限相关API（废弃）
  - 队列相关API（废弃）
  - 跨源认证相关API（废弃）
  - 增强型跨源连接相关API（废弃）
    - 创建路由（废弃）
    - 删除路由（废弃）
  - 模板相关API（废弃）
    - 查询所有SQL样例模板（废弃）
  - 表相关API（废弃）
    - 查询所有表（废弃）
  - SQL作业相关API（废弃）
  - 上传数据相关API（废弃）
    - 对已创建的上传作业进行鉴权（废弃）
  - 集群相关API（废弃）
  - Flink作业相关API（废弃）
    - 查询作业监控信息（废弃）
    - OBS授权给DLI服务
- 公共参数
  - 状态码
  - 错误码
  - 获取项目ID
  - 获取账号ID
SDK参考
- DLI SDK简介
- （推荐）DLI SDK V3
- DLI SDK
  - DLI SDK功能矩阵
  - DLI SDK与API的对应关系
- Java SDK
- Python SDK
常见问题
- DLI产品咨询类
- DLI弹性资源池和队列类
- DLI数据库和表类
- 增强型跨源连接类
- SQL作业类
  - SQL作业开发类
  - SQL作业运维类
- Flink作业类
- Spark作业相类
  - Spark作业开发类
  - Spark作业运维类
- DLI资源配额类
- DLI权限管理类
- DLI API类
视频帮助
更多文档
- 用户指南（阿布扎比区域）
- API参考（阿布扎比区域）
- SQL语法参考（阿布扎比区域）
- 用户指南（巴黎区域）
- API参考 (巴黎区域)
- SQL语法参考（巴黎区域）
- 用户指南（吉隆坡区域）
- API参考（吉隆坡区域）
- SQL语法参考（吉隆坡区域）
通用参考
- 云服务等级协议（SLA）
- 白皮书资源
- 支持区域
- 系统权限

本文导读

展开导读

文档首页/ 数据湖探索 DLI/ Hudi SQL语法参考/ Hudi常见配置参数

Hudi常见配置参数

更新时间：2025-01-09 GMT+08:00

查看PDF

本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：https://hudi.apache.org/cn/docs/0.11.0/configurations/。

提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。
提交DLI Spark jar作业时，Hudi参数可以通过Spark datasource API的option来配置。
或者，在提交作业时配置到"Spark参数(--conf)" 中，注意，此处配置的参数，键需要添加前缀 ”spark.hadoop.”，例如”spark.hadoop.hoodie.compact.inline=true”

写入操作配置

表1 写入操作重要配置项
参数	描述	默认值
hoodie.datasource.write.table.name	指定写入的hudi表名。	无
hoodie.datasource.write.operation	写hudi表指定的操作类型，当前支持upsert、delete、insert、bulk_insert等方式。 upsert：更新插入混合操作 delete：删除操作 insert：插入操作 bulk_insert：用于初始建表导入数据，注意初始建表禁止使用upsert、insert方式 insert_overwrite：对静态分区执行insert overwrite insert_overwrite_table：动态分区执行insert overwrite，该操作并不会立刻删除全表做overwrite，会逻辑上重写hudi表的元数据，无用数据后续由hudi的clean机制清理。效率比bulk_insert + overwrite 高	upsert
hoodie.datasource.write.table.type	指定hudi表类型，一旦这个表类型被指定，后续禁止修改该参数，可选值MERGE_ON_READ。	COPY_ON_WRITE
hoodie.datasource.write.precombine.field	该值用于在写之前对具有相同的key的行进行合并去重。	指定为具体的表字段
hoodie.datasource.write.payload.class	在更新过程中，该类用于提供方法将要更新的记录和更新的记录做合并，该实现可插拔，如要实现自己的合并逻辑，可自行编写。	org.apache.hudi.common.model.DefaultHoodieRecordPayload
hoodie.datasource.write.recordkey.field	用于指定hudi的主键，hudi表要求有唯一主键。	指定为具体的表字段
hoodie.datasource.write.partitionpath.field	用于指定分区键，该值配合hoodie.datasource.write.keygenerator.class使用可以满足不同的分区场景。	无
hoodie.datasource.write.hive_style_partitioning	用于指定分区方式是否和hive保持一致，建议该值设置为true。	true
hoodie.datasource.write.keygenerator.class	配合hoodie.datasource.write.partitionpath.field，hoodie.datasource.write.recordkey.field产生主键和分区方式。说明：写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。	org.apache.hudi.keygen.ComplexKeyGenerator

同步Hive表配置

由DLI提供的元数据服务是一种Hive Metastore服务（HMS），因此下列参数与同步元数据服务相关。

表2 同步Hive表参数配置
参数	描述	默认值
hoodie.datasource.hive_sync.enable	是否同步hudi表信息到Hive。当使用DLI提供的元数据服务时，配置该参数代表同步至DLI的元数据中。注意：建议该值设置为true，统一使用元数据服务管理hudi表。	false
hoodie.datasource.hive_sync.database	要同步给hive的数据库名。	default
hoodie.datasource.hive_sync.table	要同步给hive的表名，建议这个值和hoodie.datasource.write.table.name保证一致。	unknown
hoodie.datasource.hive_sync.partition_fields	用于决定hive分区列。	""
hoodie.datasource.hive_sync.partition_extractor_class	用于提取hudi分区列值，将其转换成hive分区列。	org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
hoodie.datasource.hive_sync.support_timestamp	当hudi表存在timestamp类型字段时，需指定此参数为true，以实现同步timestamp类型到hive元数据中。该值默认为false，默认将timestamp类型同步为bigInt，默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。	true
hoodie.datasource.hive_sync.username	使用jdbc方式同步Hive时，指定的用户名。	hive
hoodie.datasource.hive_sync.password	使用jdbc方式同步Hive时，指定的密码。	hive
hoodie.datasource.hive_sync.jdbcurl	连接hive jdbc指定的连接。	""
hoodie.datasource.hive_sync.use_jdbc	是否使用Hive jdbc方式连接Hive同步Hudi表信息。建议该值设置为false，设置为false后jdbc连接相关配置无效。	true

index相关配置

表3 index相关参数配置
参数	描述	默认值
hoodie.index.class	用户自定义索引的全路径名，索引类必须为HoodieIndex的子类，当指定该配置时，其会优先于hoodie.index.type配置。	""
hoodie.index.type	使用的索引类型，默认为布隆过滤器。可能的选项是[BLOOM \| GLOBAL_BLOOM \| SIMPLE \| GLOBAL_SIMPLE] 。布隆过滤器消除了对外部系统的依赖，并存储在Parquet数据文件的页脚中。	BLOOM
hoodie.index.bloom.num_entries	存储在布隆过滤器中的条目数。假设maxParquetFileSize为128MB，averageRecordSize为1024B，因此，一个文件中的记录总数约为130K。默认值（60000）大约是此近似值的一半。注意：将此值设置得太低，将产生很多误报，并且索引查找将必须扫描比其所需的更多的文件；如果将其设置得非常高，将线性增加每个数据文件的大小（每50000个条目大约4KB）。	60000
hoodie.index.bloom.fpp	根据条目数允许的错误率。用于计算应为布隆过滤器分配多少位以及哈希函数的数量。通常将此值设置得很低（默认值：0.000000001），在磁盘空间上进行权衡以降低误报率。	0.000000001
hoodie.bloom.index.parallelism	索引查找的并行度，其中涉及Spark Shuffle。默认情况下，根据输入的工作负载特征自动计算的。	0
hoodie.bloom.index.prune.by.ranges	为true时，从文件框定信息，可以加快索引查找的速度。如果键具有单调递增的前缀，例如时间戳，则特别有用。	true
hoodie.bloom.index.use.caching	为true时，将通过减少用于计算并行度或受影响分区的IO来缓存输入的RDD以加快索引查找。	true
hoodie.bloom.index.use.treebased.filter	为true时，启用基于间隔树的文件过滤优化。与暴力模式相比，此模式可根据键范围加快文件过滤速度。	true
hoodie.bloom.index.bucketized.checking	为true时，启用了桶式布隆过滤。这减少了在基于排序的布隆索引查找中看到的偏差。	true
hoodie.bloom.index.keys.per.bucket	仅在启用bloomIndexBucketizedChecking并且索引类型为bloom的情况下适用。此配置控制“存储桶”的大小，该大小可跟踪对单个文件进行的记录键检查的次数，并且是分配给执行布隆过滤器查找的每个分区的工作单位。较高的值将分摊将布隆过滤器读取到内存的固定成本。	10000000
hoodie.bloom.index.update.partition.path	仅在索引类型为GLOBAL_BLOOM时适用。为true时，当对一个已有记录执行包含分区路径的更新操作时，将会导致把新记录插入到新分区，而把原有记录从旧分区里删除。为false时，只对旧分区的原有记录进行更新。	true

存储配置

表4 存储参数配置
参数	描述	默认值
hoodie.parquet.max.file.size	Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。	120 * 1024 * 1024 byte
hoodie.parquet.block.size	parquet页面大小，页面是parquet文件中的读取单位，在一个块内，页面被分别压缩。	120 * 1024 * 1024 byte
hoodie.parquet.compression.ratio	当Hudi尝试调整新parquet文件的大小时，预期对parquet数据进行压缩的比例。如果bulk_insert生成的文件小于预期大小，请增加此值。	0.1
hoodie.parquet.compression.codec	parquet压缩编解码方式名称，默认值为gzip。可能的选项是[gzip \| snappy \| uncompressed \| lzo]	snappy
hoodie.logfile.max.size	LogFile的最大值。这是在将日志文件移到下一个版本之前允许的最大值。	1GB
hoodie.logfile.data.block.max.size	LogFile数据块的最大值。这是允许将单个数据块附加到日志文件的最大值。这有助于确保附加到日志文件的数据被分解为可调整大小的块，以防止发生OOM错误。此大小应大于JVM内存。	256MB
hoodie.logfile.to.parquet.compression.ratio	随着记录从日志文件移动到parquet，预期会进行额外压缩的比例。用于merge_on_read存储，以将插入内容发送到日志文件中并控制压缩parquet文件的大小。	0.35

compaction&cleaning配置

表5 compaction&cleaning参数配置
参数	描述	默认值
hoodie.clean.automatic	是否执行自动clean。	true
hoodie.cleaner.policy	要使用的清理政策。Hudi将删除旧版本的parquet文件以回收空间。任何引用此版本文件的查询和计算都将失败。建议确保数据保留的时间超过最大查询执行时间。	KEEP_LATEST_COMMITS
hoodie.cleaner.commits.retained	保留的提交数。因此，数据将保留为num_of_commits * time_between_commits（计划的），这也直接转化为逐步提取此数据集的数量。	10
hoodie.keep.max.commits	触发归档操作的commit数阈值。	30
hoodie.keep.min.commits	归档操作保留的commit数。	20
hoodie.commits.archival.batch	这控制着批量读取并一起归档的提交即时的数量。	10
hoodie.parquet.small.file.limit	该值应小于maxFileSize，如果将其设置为0，会关闭此功能。由于批处理中分区中插入记录的数量众多，总会出现小文件。Hudi提供了一个选项，可以通过将对该分区中的插入作为对现有小文件的更新来解决小文件的问题。此处的大小是被视为“小文件大小”的最小文件大小。	104857600 byte
hoodie.copyonwrite.insert.split.size	插入写入并行度。为单个分区的总共插入次数。写出100MB的文件，至少1KB大小的记录，意味着每个文件有100K记录。默认值是超额配置为500K。为了改善插入延迟，请对其进行调整以匹配单个文件中的记录数。将此值设置为较小的值将导致文件变小（尤其是当compactionSmallFileSize为0时）。	500000
hoodie.copyonwrite.insert.auto.split	Hudi是否应该基于最后24个提交的元数据动态计算insertSplitSize，默认关闭。	true
hoodie.copyonwrite.record.size.estimate	平均记录大小。如果指定，Hudi将使用它，并且不会基于最后24个提交的元数据动态地计算。没有默认值设置。这对于计算插入并行度以及将插入打包到小文件中至关重要。	1024
hoodie.compact.inline	当设置为true时，紧接在插入或插入更新或批量插入的提交或增量提交操作之后由摄取本身触发压缩。	true
hoodie.compact.inline.max.delta.commits	触发内联压缩之前要保留的最大增量提交数。	5
hoodie.compaction.lazy.block.read	当CompactedLogScanner合并所有日志文件时，此配置有助于选择是否应延迟读取日志块。选择true以使用I/O密集型延迟块读取（低内存使用），或者为false来使用内存密集型立即块读取（高内存使用）。	true
hoodie.compaction.reverse.log.read	HoodieLogFormatReader会从pos=0到pos=file_length向前读取日志文件。如果此配置设置为true，则Reader会从pos=file_length到pos=0反向读取日志文件。	false
hoodie.cleaner.parallelism	如果清理变慢，请增加此值。	200
hoodie.compaction.strategy	用来决定在每次压缩运行期间选择要压缩的文件组的压缩策略。默认情况下，Hudi选择具有累积最多未合并数据的日志文件。	org.apache.hudi.table.action.compact.strategy. LogFileSizeBasedCompactionStrategy
hoodie.compaction.target.io	LogFileSizeBasedCompactionStrategy的压缩运行期间要花费的MB量。当压缩以内联模式运行时，此值有助于限制摄取延迟。	500 * 1024 MB
hoodie.compaction.daybased.target.partitions	由org.apache.hudi.io.compact.strategy.DayBasedCompactionStrategy使用，表示在压缩运行期间要压缩的最新分区数。	10
hoodie.compaction.payload.class	这需要与插入/插入更新过程中使用的类相同。就像写入一样，压缩也使用记录有效负载类将日志中的记录彼此合并，再次与基本文件合并，并生成压缩后要写入的最终记录。	org.apache.hudi.common.model.Defaulthoodierecordpayload
hoodie.schedule.compact.only.inline	在写入操作时，是否只生成压缩计划。在hoodie.compact.inline=true时有效。	false
hoodie.run.compact.only.inline	通过Sql执行run compaction命令时，是否只执行压缩操作，压缩计划不存在时直接退出。	false

单表并发控制配置

表6 单表并发控制参数配置
参数	描述	默认值
hoodie.write.lock.provider	指定lock provider，在元数据由DLI托管的场景，推荐配置com.huawei.luxor.hudi.util.DliCatalogBasedLockProvider	Spark SQL作业和Flink SQL作业会根据元数据服务切换对应的实现类，由DLI托管元数据的场景为com.huawei.luxor.hudi.util.DliCatalogBasedLockProvider
hoodie.write.lock.hivemetastore.database	HMS服务中的database	无
hoodie.write.lock.hivemetastore.table	HMS服务中的table name	无
hoodie.write.lock.client.num_retries	重试次数	10
hoodie.write.lock.client.wait_time_ms_between_retry	重试间隔	10000
hoodie.write.lock.conflict.resolution.strategy	lock provider类，必须是ConflictResolutionStrategy的子类	org.apache.hudi.client.transaction.SimpleConcurrentFileWritesConflictResolutionStrategy

Clustering配置

说明：

Clustering中有两个策略分别是hoodie.clustering.plan.strategy.class和hoodie.clustering.execution.strategy.class。一般情况下指定plan.strategy为SparkRecentDaysClusteringPlanStrategy或者SparkSizeBasedClusteringPlanStrategy时，execution.strategy不需要指定。但当plan.strategy为SparkSingleFileSortPlanStrategy时，需要指定execution.strategy为SparkSingleFileSortExecutionStrategy。

表7 Clustering参数配置
参数	描述	默认值
hoodie.clustering.inline	是否同步执行clustering	false
hoodie.clustering.inline.max.commits	触发clustering的commit数	4
hoodie.clustering.async.enabled	是否启用异步执行clustering	false
hoodie.clustering.async.max.commits	异步执行时触发clustering的commit数	4
hoodie.clustering.plan.strategy.target.file.max.bytes	指定clustering后每个文件大小最大值	1024 * 1024 * 1024 byte
hoodie.clustering.plan.strategy.small.file.limit	小于该大小的文件会被clustering	300 * 1024 * 1024 byte
hoodie.clustering.plan.strategy.sort.columns	clustering用以排序的列	无
hoodie.layout.optimize.strategy	Clustering执行策略，可选linear、z-order、hilbert 三种排序方式	linear
hoodie.layout.optimize.enable	使用z-order、hilbert时需要开启	false
hoodie.clustering.plan.strategy.class	筛选FileGroup进行clustering的策略类，默认筛选小于hoodie.clustering.plan.strategy.small.file.limit阈值的文件	org.apache.hudi.client.clustering.plan.strategy.SparkSizeBasedClusteringPlanStrategy
hoodie.clustering.execution.strategy.class	执行clustering的策略类（RunClusteringStrategy的子类），用以定义群集计划的执行方式。默认类们按指定的列对计划中的文件组进行排序，同时满足配置的目标文件大小	org.apache.hudi.client.clustering.run.strategy.SparkSortAndSizeExecutionStrategy
hoodie.clustering.plan.strategy.max.num.groups	设置执行clustering时最多选择多少个FileGroup，该值越大并发度越大	30
hoodie.clustering.plan.strategy.max.bytes.per.group	设置执行clustering时每个FileGroup最多有多少数据参与clustering	2 * 1024 * 1024 * 1024 byte

上一篇：Hudi Clustering操作说明

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消