Flink作业自动调优

注意事项

• 自动调优期间可能短暂出现处理延迟，属于正常现象。
• Flink作业扩缩容时，内置算子（如GroupBy Window、Join等）及Kafka Connector保持运行不重启，其他Connector均会触发作业重启。
• 自动调优基于以下假设工作：流量平滑变化、无数据倾斜、算子吞吐能力随并行度线性扩展。以下问题无法通过扩缩容解决：
  • 代码中配置了固定并行度的算子无法调整。
  • 自定义函数（UDF/UDAF/UDTF）的性能瓶颈。
  • 外部系统故障（Kafka 分区不足、Sink 性能问题、Sink 数据库死锁等），扩容可能加重外部系统压力导致雪崩。

作业启动时配置

新建作业携带自动调优策略，作业运行后立即生效。

仅支持通过API方式配置，接口详情请参见创建FlinkJob作业。

运行时开启或修改

作业运行期间，可动态开启或修改自动调优，系统自动应用新参数，无需重启作业。

• 方式一：通过API接口开启或修改，接口详情请参见热更新Flink作业自动调优配置。
• 方式二：在AI DataLake控制台开启或修改。操作步骤如下：
  1. 登录AI DataLake管理控制台。
  2. 在“作业开发 > 作业运行历史”页面，单击“流处理引擎Flink”。
  3. 在Flink作业列表，单击目标作业名称。
  4. 在自动调优页签，配置自动调优功能。
     • 自动调优开关：开启后，根据作业的指标等信息，自动增加或者减少作业资源。
     • 调优配置：单击右侧的“编辑”，填写参数信息后单击“确定”。

       配置项	说明
       最大CPU限制（m）	作业自动调整资源可以扩容的最大CPU上限。
       最大内存限制（MiB）	作业自动调整资源可以扩容的最大内存上限。
       算子最大并行度	作业自动调整资源可以设置的算子最大并行度。

     • 参数配置：单击右侧的“编辑”，配置自定义参数后单击“确定”。配置参数详情请参见Autoscaler Configuration。

关闭自动调优

• 方式一：通过API接口关闭，接口详情请参见。
• 方式二：在AI DataLake控制台关闭。操作步骤如下：
  如需在运行时关闭自动调优：

  1. 登录AI DataLake管理控制台。
  2. 在“作业开发 > 作业运行历史”页面，单击“流处理引擎Flink”。
  3. 在Flink作业列表，单击目标作业名称。
  4. 在自动调优页签，关闭自动调优功能。

查看作业自动调优历史

无论通过哪种场景开启自动调优，均可查看调优历史，了解系统在什么时间做了哪些调优处理。

• 方式一：通过API接口查看，接口详情请参见查询Flink作业自动调优配置。
• 方式二：在AI DataLake控制台查看。
  1. 登录AI DataLake管理控制台。
  2. 在“作业开发 > 作业运行历史”页面，单击“流处理引擎Flink”。
  3. 在Flink作业列表，单击目标作业名称。
  4. 在自动调优页签，调优记录里查看相关调优历史。