高性能小文件合并命令

该工具合并性能极高，请按须知正确使用该工具：

只支持合并Flink Append模式写入的小文件。
不支持DDL变更的表合并，不支持Spark bulkInsert写入的Hudi表。

约束与限制

本章节仅适用于MRS 3.6.0-LTS及之后版本。

命令功能

用于高效合并Flink Append模式写入的小文件。

命令格式

(table => '[table]', database =>'[database]', tablePath => '[tablePath]')

call small_file_merge(table => '[table]', partition =>'[partition path]', rollBack => '[rollback]', targetSize=>'[fileSize]', compress=>'[compress]', shuffleNum=>'num',bucketTable=>'[tableType]')

参数描述

表1 参数描述
参数	描述	是否必填
table	要执行小文件合并的表名。	是
partition	要合并的分区，仅支持单分区。	是
rollBack	是否回滚上次合并，可多次执行。默认否。	否
targetSize	目标合并文件大小，默认1GB。	否
compress	压缩格式，默认snappy。这个值会严重影响合并效率，与原始表的压缩格式保持一致。	否
shuffleNum	任务并发度，默认200。	否
bucketTable	是否为分桶表，默认false。	否

示例

call small_file_merge(table=>'hudidb3.hudi_test1', partition=>'p=0')
call small_file_merge(table=>'hudidb3.hudi_test1', partition=>'p=0',rollBack=>true,targetSize=>100000000,compress=>'zstd')