更新时间:2023-11-09 GMT+08:00
联邦sql分析作业运行过慢,如何提升执行速度?
- 提升计算并行度
可以在作业开发界面的运行参数中,填写user.task.concurrency参数,提升用户侧此类加密任务的并行度。推荐该值填4-16左右,不建议超过30。
图1 填写参数
tics.task.concurrency参数提升的是tics平台提供的计算节点并发度,一般填写4左右即可,不建议超过8。
- 数据量提前过滤
作业运行参数中增加join.runtime.filter参数为true。
开启初筛后,做PSI或者聚合join前,会将提前做过安全处理的小表id放置到大表代理侧,进行提前过滤和初筛。大大减少了需要在网络中消耗的时间,避免传递不需要输出的数据。