更新时间:2024-12-03 GMT+08:00
分享

性能调优概述

实时处理集成作业各链路如果出现时延持续增长、反压高企或同步速率过慢(查看作业监控指标速率不符合实时集成作业提供的性能规格)等情况,需要考虑以下几点:

  • 目的端写入过慢。
  • 源端抽取过慢。
  • 其他问题(请联系技术支持人员协助解决)。

因为目的端写入过慢会影响至源端,导致源端抽取速度下降,因此链路速度过慢请优先排查目的端写入速度,在排除目的端因素后再排查上游。

目的端写入慢

  1. 检查目的端负载是否已达到目的端数据源上限。优先查看目的端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。
  1. 在排除目的端负载的情况下,加大作业并发,以提高写入速度。
  2. 如果第2步也无法有效提升性能,请根据源端抽取慢排查源端的性能因素。
  3. 如果排除了源端问题的情况下,请参考对应链路性能调优文档尝试进行参数优化。
  4. 如果上述步骤仍然无法提升作业速度,请联系技术支持人员协助解决。

源端抽取慢

  1. 检查源端负载是否已到达源端数据源上限。优先查看源端数据源的监控指标,查看CPU、内存、IO等参数是否处于高负载状态。
  2. 在排除源端负载的情况下,如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段,或者Kafka\hudi等数据源抽取速度慢,请优先尝试加大作业并发数,以提高作业的并发抽取速率。

    Mysql\Oracle\SqlServer\PostGres\OpenGauss等关系型数据为保证事务有序,在增量阶段是单并发抽取,加大并发一般不会提升抽取性能。

  3. 如果第2步也无法有效提升性能,请参考对应链路性能调优文档尝试进行参数优化。
  4. 如果上述步骤仍然无法提升作业速度,请联系技术支持人员协助解决。

相关文档