MySQL到MRS Hudi参数调优

Hudi在checkpoint触发时做数据flush，【任务配置】中降低checkpoint周期和最小间隔时间，可以有效控制缓存空间占用。

使用场景：内存占用较高时使用；发现checkpoint.interval配置大于默认值。

使用方式：在任务配置中添加自定义属性。

图6 checkpoint周期参数配置

建表不合理，会导致作业整体内存占用大，建议客户在评估业务影响后按推荐重建表。

使用场景：

• 大表使用BLOOM索。

  参数名	默认值	解释
  index.type	BLOOM	索引类型，支持BLOOM/BUCKET。强烈建议使用BUCKET索引，Hudi表更加健壮。
  hoodie.bucket.index.num.buckets	256	BUCKET索引时生效，单个分区下桶文件（parquet文件）数量。

  强烈建议客户使用BUCKET索引，可以在【Hudi表全局属性】或【表属性编辑】中添加如下配置完成Hudi自动建表。

• 分区表BUCKET索引桶数量配置过大。

  分区表hoodie.bucket.index.num.buckets参数配置过大会导致单次flush数据写出的文件数量过多，会占用较多内存。

  taskmanager日志搜索关键字“bucket number”可以查看到单次flush数据写出文件数量，大于100时内存占用和写出效率都会相应降低，需要考虑降低表的桶文件数量。

  图7 单次flush桶文件数量过多场景日志
  

  建议客户根据实际的数据场景估算桶数据量，详情请参考表8，建议对非分区表hoodie.bucket.index.num.buckets参数控制在10以内。

Hudi需要定期完成compaction、clean和archive动作，如果在实时作业中完成这些任务会消耗大量的内存资源，建议拆分成独立的compaction作业。

• 使用场景：客户在作业中配置的为在线compaction、clean、archive，如果没有配置任何参数，默认也为在线compaction。
  图8 配置实时作业的compaction、clean、archive参数
  
• 使用方式：关闭/ 取消实时作业compaction、clean、archive。
  图9 关闭/ 取消实时作业的compaction、clean、archive
  

同时参考参考如何配置Hudi Compaction的Spark周期任务？手动配置离线compaction作业。

• 使用场景：客户对同步时延无强制要求，且希望作业能够避过数据高峰，稳定运行。
• 使用方式：在Hudi目的端参数配置中添加以下参数。

  参数名	默认值	解释
  write.rate.limit	无限制	单位：条/s

  Hudi支持对同步速率限制，但可能会引起作业时延，谨慎使用。

Migration默认1并发配置4G内存，扩展单个并发的可用内存可以通过以下表4 任务配置调优。

修改Migration单个并发的内存配置会导致资源组的使用率统计不正确，谨慎使用。

写Hudi表默认按照数据主键并发写，在【任务配置】加到作业并发数可以有效加快数据落盘到表目录。

每个taskmanager内会启动线程池按照Hudi桶ID并发写数据文件，默认线程数为2。

典型使用场景：

图10 CPU使用率低

Taskmanager日志搜索关键字“bucket number”可以看到每次flush数据需要写出的文件数量：

图11 单批次需要flush的数据文件过多

发现单次flush需要写出的文件数量超过100个，说明IO已经成为瓶颈，需要加大flush并发落盘数据文件。

参数配置方式：在Hudi全局配置或表属性配置中配置。

图12 Hudi高级参数配置方式

表5 单次flush需要的线程数

表类型	推荐值
rt表(非分区表)	5
dsy表(年分区)	10
dsm表(月份区)	20
ds表(日分区)	40

参考日志查询结果估算单次flush需要的线程数，也可以通过如下配置方案（前提是内存充足的情况下）进行配置：

Hudi在做compaction计划时会做全表扫描，查找需要合并的log文件，通过添加hoodie.context.flatmap.parallelism参数将全表扫描的过程并发起来，缩短Hudi commit阶段的时长，提高数据写出效率。

当客户使用BUCKET索引时，如果hoodie.bucket.index.num.buckets数量配置过少，会导致作业并发利用不起来，影响同步效率。

现象：搜索关键日志“bucket number”，显示每次flush数据只写出几个数据文件，且数据量较大，且添加作业并发或者flush线程数无法提升性能。

需要评估业务，必要时对Hudi表重建，扩大hoodie.bucket.index.num.buckets参数值，让分区目录下分桶数量增加。

实时写Hudi需要定期扫描Hudi表元数据目录（.hoodie目录），如果.hoodie目录下commit文件长时间不进行archive会导致扫描过程非常慢（list OBS操作），最终影响写出效率。

现象：时延上涨，数据同步速率非常慢只能达到几百条每秒，但是按压达到100，查看对应Hudi表元数据目录下commit文件数量达到几千甚至上万个。

图13 Hudi表commit元数据过多

需要及时调整archive参数，减少保留的commit文件数量，建议保留的commit文件不超过4000个。

set hoodie.keep.min.commits = 1830;

set hoodie.keep.max.commits = 1840;

在Hudi on OBS的场景，flush数据到OBS、扫描.hoodie目录都存在大量的IO消耗，为了减少IO交互的频率，避免重复的list OBS动作，可以延长作业的checkpoint周期，让缓存的数据量更多再进行flush。

在【任务配置】中添加如下自定义参数，扩大checkpoint周期。

checkpoint.interval可以扩大到300000（5min），需要同步扩大作业并发以减小内存压力，同时需要扩大checkpoint.timeout.ms到1800000以防止checkpoint超时。