怎样查看弹性资源池和作业的资源使用情况？

怎样查看弹性资源池的资源使用情况？

1. 登录DLI管理管理控制台。
2. 选择“资源管理 > 弹性资源池”。

   在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。

   • 实际CUs：弹性资源池当前分配的可用CUs。
   • 已使用CUs：当前弹性资源池已经被分配使用的CUs

   待提交作业所需的CUs需小于等于弹性资源池的剩余可用CUs，才可以确保作业任务的正常执行。

   作业资源的占用情况请参考怎样查看作业所需的资源CUs数？。

怎样查看作业所需的资源CUs数？

• SQL作业：

  请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数，并根据作业数量判断SQL作业整体的资源占用情况。

• Flink 作业：
  1. 登录DLI管理管理控制台。
  2. 选择“作业管理 > Flink作业”。
  3. 单击作业名称进入作业详情页面。
  4. 选择“作业配置信息 > 资源配置”
  5. 查看作业的CU数量，即作业占用资源总CUs数。

     该CUs数可以编辑作业页面进行配置，CUs数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CUs数。

     图1 查看Flink作业所需CUs数
     
• Spark作业：
  1. 登录DLI管理管理控制台。
  2. 选择“作业管理 > Spark作业”。
  3. 选择要查看的作业，单击操作列的“编辑”进入作业配置页面。

     即可查看作业配置的计算资源规格。

     计算公式如下：

     Spark作业CUs数=Executor所占CU数+driver所占CUs数

     Executor所占CU数=max { [（Executor个数 x Executor内存）÷4]，（Executor个数 x Executor CPU核数）} x1

     driver所占CUs数=max [（ driver内存÷4）， driver CPU核数] x1

     

     • Spark作业未开启高级配置时默认按A类型资源规格配置。
     • Spark作业中显示计算资源规格的单位为CPU单位，1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。
     • 请分别使用内存和CPU核数计算所需的CUs，取两者中的最大值作为Executor 或driver所需的CU数。
     图2 查看Spark作业所需CUs数