配置DLI对接AOM Prometheus监控

使用须知

• 仅Flink 1.15版本支持对接AOM Prometheus监控。
• 需提前创建AOM Prometheus通用集群，创建AOM Prometheus通用集群不收费，AOM的计费项由自定义指标上报量、指标存储时长、数据转储量的费用组成。了解AOM计费模式与计费项。
• AOM 2.0基于自定义指标上报量进行计费，了解计费规则。
• 仅支持AOM Prometheus for通用实例。
• 弹性资源池对接Prometheus实例后，当前弹性资源池下所有新提交运行的Flink 1.15作业指标都会上报到绑定的Prometheus。默认只上报基础指标，基础指标AOM Prometheus不收取费用。如需上报所有指标请参考DLI对接AOM Prometheus监控的配置项章节的metrics.reporter.remote.report-all-metrics参数进行配置。
• DLI Flink指标上报周期默认为30秒，因此指标上报有一定延迟。如需调整上报周期，请参考DLI对接AOM Prometheus监控的配置项章节metrics.reporter.remote.interval参数进行配置。

  不建议将该参数设置过低，否则上报过于频繁，推荐配置为30秒。

• Flink 1.15及以上版本中，弹性资源池与Prometheus实例解绑后，新作业不再上报指标到该Prometheus实例，已提交的作业继续上报至作业运行结束。
• Flink 1.15及以上版本中，修改绑定的Prometheus实例后，新作业上报指标到修改后的Prometheus实例，已提交的作业继续上报至原Prometheus实例直至作业运行结束。

步骤1：创建AOM Prometheus实例

1. 登录AOM 2.0管理控制台。
2. 在左侧导航栏选择“Prometheus监控 > 实例列表”，然后单击“创建Prometheus实例”。
3. 设置实例名称、企业项目和实例类型信息。

   表1 配置Prometheus实例

   参数名称	说明
   实例名称	Prometheus实例的名称。
   企业项目	所属的企业项目。 如果在全局页面设置为“ALL”，此处请从下拉列表中选择企业项目。 如果在全局页面已选择企业项目，则此处灰化不可选。
   实例类型	Prometheus实例的类型，此处选择“Prometheus 通用实例”。

步骤2：弹性资源绑定AOM Prometheus集群

1. 登录DLI管理控制台，选择“资源管理 > 弹性资源池”。
2. 选择弹性资源池，单击操作列的“更多 > Prometheus > 绑定Prometheus”。
3. 选择步骤1：创建AOM Prometheus实例中创建的Prometheus集群。
4. 单击“确定”绑定AOM Prometheus集群。

   绑定AOM Prometheus实例后将新提交运行的作业监控指标上报到AOM，并按照AOM计费规则收费。

   

   绑定Prometheus需具备访问AOM Prometheus的权限，否则绑定失败。

   具体权限内容包括：

   • aom:prometheusInstances:list
   • aom:metric:list
   • aom:metric:get

步骤3：创建并提交Flik作业

参考创建Flink OpenSource SQL作业创建Flink作业。

选择Flink版本：1.15。仅Flink 1.15及以上版本支持AOM监控。

在作业运行后约30s后，系统上报作业的监控指标至AOM Prometheus实例。

步骤4：在AOM仪表盘中查看监控指标

DLI支持的Prometheus监控指标请参考DLI支持的Prometheus基础监控指标

步骤5：配置Prometheus监控告警通知（可选）

如需及时了解Prometheus监控状态并做出响应，您还需要配置告警通知，SMN服务为您提供了灵活的消息推送能力，可以将Prometheus的告警事件通知发送到不同的终端，从而实现多通道告警事件通知。本节操作介绍配置Prometheus监控告警通知的操作步骤。了解SMN计费规则请参考SMN计费说明。

1. 创建SMN主题并添加订阅。
   1. 创建SMN主题。
      1. 登录SMN管理控制台。
      2. 在左侧导航栏，选择“主题管理” > “主题”。进入主题页面。
      3. 在主题页面，单击“创建主题”。
      4. 配置主题的相关参数。

         输入“主题名称”和“显示名”。更多参数说明请参考SMN-创建主题。

      5. 在“主题名称”框中，输入主题名称，在“显示名”框中输入相关描述。
   2. 订阅主题。

      要接收发布至主题的消息，您必须向该主题添加订阅者。

      1. 登录SMN管理控制台。
      2. 在左侧导航栏，选择“主题管理 > 主题”。进入主题页面。
      3. 在主题列表中，选择您要向其添加订阅者的主题，在右侧“操作”栏单击“添加订阅”。
      4. 在添加订阅的对话框中，配置协议规则，“协议”下拉框中选择您需要的协议。
      5. 在“订阅终端”输入框中输入对应的订阅终端。

         更多订阅参数说明请参考 SMN-订阅主题。

         添加订阅后，消息通知服务会向订阅终端发送订阅确认信息，信息中包含订阅确认的链接。订阅确认的链接在48小时内有效，用户需要及时在手机端、邮箱或其他协议终端确认订阅。

2. 在AOM管理控制台创建告警行动规则。

   创建告警行动规则并关联SMN主题与消息模板，当日志、资源或指标数据满足对应的告警条件时，系统根据关联的SMN主题与消息模板来发送告警通知。

   请确保已创建SMN主题并已为主题添加订阅。

   1. 登录AOM 2.0控制台。
   2. 在左侧导航栏中选择“告警管理 > 告警行动规则”。
   3. 在右侧区域的“告警行动规则”页签下，单击“创建告警行动规则”。
   4. 设置行动规则名称、类型、行动方式等信息。

      详细参数说明请参考AOM-创建告警行动规则。

      当资源触发对应的告警条件时，系统根据关联SMN主题根据关联SMN主题与消息模板来发送告警通知。

3. 创建指标告警规则。

   通过指标告警规则可对资源的指标设置阈值条件。当指标数据满足阈值条件时产生阈值告警，当没有指标数据上报时产生数据不足事件。

   AOM创建指标告警规则可分为两种：按全量指标创建、按Prometheus命令创建。

   本例以按全量指标创建的方式为例。

   1. 登录AOM 2.0控制台。
   2. 在左侧导航栏中选择“告警管理 > 告警规则”。
   3. 单击“创建” 。
   4. 设置告警规则基本信息，并配置告警规则的详细信息。

      详细参数说明请参考按全量指标创建。

      • 配置告警规则时选择的Prometheus实例应是需要配置告警通知的作业所在的弹性资源池绑定的Prometheus 实例。
      • 配置高级设置：仅”全量指标创建”的方式支持该配置项，配置时建议开启无数据处理。即配置监控周期内无指标数据产生或指标数据不足时系统的处理方式。
      • 告警通知的行动规则：建议开启告警通知的行动规则，确保告警时可以通过邮件或者短信等方式获取通知。配置时选择2中配置的告警行动规则。

相关操作

预定义仪表盘不能满足业务需求时，您可以按需自定义仪表盘。具体操作请参考自定义仪表盘。