资源监控
集群中部分服务提供服务级别的资源监控项,默认显示12小时的监控数据。用户可单击自定义时间区间,缺省时间区间包括:12小时、1天、1周、1月。单击可导出相应报表信息,无数据的监控项无法导出报表。支持资源监控的服务及监控项如表1所示。
登录FusionInsight Manager以后,选择“集群 > 待操作集群的名称 > 服务”后,选择待操作的服务,单击“资源”,进入资源监控页面。
服务 |
监控指标 |
说明 |
---|---|---|
HDFS |
资源使用(按租户) |
|
资源使用(按用户) |
|
|
资源使用(按目录) |
|
|
资源使用(按副本) |
|
|
资源使用(按文件大小) |
|
|
回收站(按用户) |
|
|
操作数 |
|
|
自动balance |
|
|
NameNode RPC连接数(按用户) |
|
|
慢DataNode节点 |
集群中数据传输或处理慢的DataNode节点。 |
|
慢磁盘 |
集群中DataNode节点上数据处理慢的磁盘。 |
|
HBase |
表级别操作请求次数 |
所有RegionServer上的所有表中put、delete、get、scan、increment、append操作请求次数。 |
RegionServer级别操作请求次数 |
RegionServer中put、delete、get、scan、increment、append操作请求次数以及所有操作请求次数。 |
|
服务级别操作请求次数 |
RegionServer上所有Region中put、delete、get、scan、increment、append操作请求次数。 |
|
RegionServer级别HFile数 |
所有RegionServer中HFile数。 |
|
Hive |
HiveServer2-Background-Pool线程数(按IP) |
周期内统计并显示Top用户的HiveServer2-Background-Pool线程数。 |
HiveServer2-Handler-Pool线程数(按IP) |
周期内统计并显示Top用户的HiveServer2-Handler-Pool数监控。 |
|
MetaStore使用数(按IP) |
Hive周期内统计并显示Top用户的MetaStore使用数。 |
|
Hive的Job数 |
Hive周期内统计并显示用户相关的Job数目。 |
|
Split阶段访问的文件数 |
统计Hive周期内Split阶段访问底层文件存储系统(默认:HDFS)的文件数。 |
|
Hive基本操作时间 |
Hive周期内统计底层创建目录(mkdirTime)、创建文件(touchTime)、写文件(writeFileTime)、重命名文件(renameTime)、移动文件(moveTime)、删除文件(deleteFileTime)、删除目录(deleteCatalogTime)所用的时间。 |
|
表分区个数 |
Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 |
|
HQL的Map数 |
Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。 |
|
HQL访问次数 |
周期内HQL访问次数统计信息。 |
|
Kafka |
Kafka磁盘使用率分布 |
Kafka集群的磁盘使用率分布统计。 |
Spark2x |
HQL访问次数 |
周期内HQL访问次数统计信息,展示信息包括用户名,HQL语句,执行该语句的次数。 |
Yarn |
资源使用(按任务) |
|
资源使用(按租户) |
|
|
资源使用比例(按租户) |
|
|
任务耗时排序 |
对Yarn任务耗时进行排序显示。 |
|
ResourceManager RPC连接数(按用户) |
统计连接到RM的Client RPC请求中,各个用户的连接数。 |
|
操作数 |
统计Yarn每种操作类型对应的操作数及占比。 |
|
队列中任务资源使用排序 |
|
|
队列中用户资源使用排序 |
|
|
ZooKeeper |
资源使用(按二级Znode) |
|
连接数(按客户端IP) |
ZooKeeper客户端连接资源状况。 |