Hudi性能调优

性能调优方式

当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似，可参考Spark性能调优。

推荐资源配置

• mor表：

  由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。

  dataSize如果只有几个G，推荐跑单节点运行spark，或者yarn模式但是只分配一个container。

  入湖程序的并行度p设置：建议 p = （dataSize）/128M, 程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1.5:1 即一个core配1.5G内存， 堆外内存设置建议内存大小和core的比例大于0.5:1。

• cow表：

  cow表的原理是重写原始数据，因此这种表的调优，要兼顾dataSize和最后重写的文件数量。总体来说core数量越大越好（和最后重写多少个文件数直接相关），并行度p和内存大小和mor设置类似。