性能调优概述
实时处理集成作业各链路如果出现时延持续增长、反压高企或同步速率过慢(查看作业监控指标速率不符合实时集成作业提供的性能规格)等情况,需要考虑以下几点:
- 目的端写入过慢。
- 源端抽取过慢。
- 其他问题(请联系技术支持人员协助解决)。
因为目的端写入过慢会影响至源端,导致源端抽取速度下降,因此链路速度过慢请优先排查目的端写入速度,在排除目的端因素后再排查上游。
目的端写入慢
- 检查目的端负载是否已达到目的端数据源上限。优先查看目的端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。
- 在排除目的端负载的情况下,加大作业并发,以提高写入速度。
- 如果第2步也无法有效提升性能,请根据源端抽取慢排查源端的性能因素。
- 如果排除了源端问题的情况下,请参考对应链路性能调优文档尝试进行参数优化。
- 如果上述步骤仍然无法提升作业速度,请联系技术支持人员协助解决。
源端抽取慢
- 检查源端负载是否已到达源端数据源上限。优先查看源端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。
- 在排除源端负载的情况下,如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段,或者Kafka\hudi等数据源抽取速度慢,请优先尝试加大作业并发数,以提高作业的并发抽取速率。
Mysql\Oracle\SqlServer\PostGres\OpenGauss等关系型数据为保证事务有序,在增量阶段是单并发抽取,加大并发一般不会提升抽取性能。
- 如果第2步也无法有效提升性能,请参考对应链路性能调优文档尝试进行参数优化。
- 如果上述步骤仍然无法提升作业速度,请联系技术支持人员协助解决。