查看实例监控页面
操作场景
在HetuEngine的WebUI界面,可以查看指定业务的详细信息,包括每个SQL的执行情况。如果当前集群是双平面,需要一台和集群业务平面可以连通的Windows机器进行操作。
Internet Explorer浏览器不支持查看计算实例任务监控页面。
前提条件
已创建好用于访问HetuEngine WebUI界面的管理员用户,用户创建具体操作请参见创建HetuEngine用户。
操作步骤
- 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
- 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。
- 单击待操作“实例名”所在行的“WebUI”列的“LINK”链接,将在新页面展示计算实例任务监控页面信息。首次进入为“Query History”页面,单击“Metrics”即可查看计算实例任务监控页面信息。
图1 计算实例任务监控页面
表1 指标含义 指标
指标含义
Cluster CPU Usage
当前实例cpu使用率
Cluster Free Memory
当前实例空闲内存
Average Cluster CPU Usage
当前实例平均cpu使用率
Used Query Memory
当前实例已使用内存
Running Queries
当前实例并发执行的任务
Queued Queries
当前实例中等待队列中等待执行的任务数
Blocked Queries
当前实例中由于资源或其他原因被阻塞的任务数
Active Workers
当前实例中的有效worker数量
Avg Running Tasks
当前实例平均正在运行的任务数
Avg CPU cycles per worker
当前实例每个worker的平均CPU周期
- 通过页面的State选项可以对查询任务进行筛选。
图2 通过State对任务进行筛选
表2 State含义 State
含义
Select All
查看所有状态的任务
Queued
查看等待队列中等待执行的任务
Waiting For Resources
查看正在等待资源的任务
Dispatching
查看正在被调度的任务
Planning
查看正在执行计划的任务
Starting
查看开始运行的任务
Running
查看当前正在运行中的任务
Finishing
查看正在结束中的任务
Finished
查看执行完成的任务
Failed
查看执行失败的任务,并可以按照任务失败原因进行过滤
- 单击任务编号,可以进一步查看任务的基本信息、资源占用情况、Stages划分、 Tasks划分等信息,对于失败的任务,也可以在查询详情页面查看相关日志。
图3 查看任务详情
图4 任务资源使用情况
图5 任务Stages划分
表3 Stages监控信息 监控项
含义
SCHEDULED TIME SKEW
代表当前Stage节点并发任务被调度的时间
CPU TIME SKEW
可以判断是否存在Stage阶段并发任务是否存在计算倾斜
图6 Tasks划分
表4 Tasks监控项 监控项
含义
ID
代表多阶段并发执行Task的ID,格式为StageID:TaskID
Host
代表当前任务在哪个Worker节点执行
State
当前任务执行的状态,主要状态PLANNED、RUNNING、FINISHED、CANCELED、ABORTED、FAILED
Rows
Task读取的总数据条数,单位为千(k)、百万(M),通过分析相同Stage阶段不同Task读取的条数可以快速判断当前任务是否存在数据倾斜
Rows/s
Task每秒钟读取的数据条数,通过分析相同Stage阶段不同Task每秒中读取数据条数可以快速判断节点是否存在网络带宽差异,定位是否节点网卡存在问题
Bytes
Task读取的数据量
Bytes/s
Task每秒中读取的数据量
Elapsed
Task执行时长
CPU Time
Task使用的CPU时间
Buffered
Task的缓存数据大小
- 单击“Host”的链接,可以查看每个节点task资源占用情况。
图7 Task节点资源占用情况
表5 节点资源监控指标 指标名称
含义
Node ID
节点ID
Heap Memory
最大堆内存大小
Processors
处理器个数
Uptime
运行时长
External Address
外部地址
Internal Address
内部地址
Process CPU Utilization
物理CPU使用率
System CPU Utilization
系统CPU使用率
Heap Utilization
堆内存使用率
Non-Heap Memory Used
非堆内存使用大小
Memory Pools
当前Worker节点内存池大小