文档首页/ 数据湖探索 DLI/ 常见问题/ Spark作业相类/ Spark作业开发类/ 如何查看DLI Spark作业的实际资源使用情况
更新时间:2024-11-06 GMT+08:00
分享

如何查看DLI Spark作业的实际资源使用情况

查看Spark作业原始资源配置

登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。

在创建Spark作业时,配置了“高级配置”中的参数,此处才会显示对应的内容。创建Spark作业请参考《创建Spark作业》。

图1 查看Spark作业原始资源配置

查看Spark作业实时运行资源

查看Spark作业实时运行资源,即查看有多少CU正在运行。

  1. 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“操作”列中的“SparkUI”。
  2. 在SparkUI页面可查看Spark作业实时运行资源。
    图2 SparkUI
  3. 在SparkUI页面还可以查看Spark作业原始资源配置(只对新集群开放)。

    在SparkUI页面,单击“Environment”,可以查看Driver信息和Executor信息。

    图3 Driver信息
    图4 Executor信息

相关文档