配置HBase慢查询语句查杀功能

操作场景

为了提升HBase组件的集群可靠性及易运维性，便于运维人员可以快速发现存在问题的查询请求并支持选择性手动终止，HBase提供了对慢查询语句的查看、查杀、主动识别和主动拦截能力。

为了保证集群功能的兼容性，慢查询查杀功能默认关闭，需要通过修改参数“hbase.slow.query.check.enabled”的值为“true”开启。

约束与限制

该章节操作仅适用于MRS 3.6.0-LTS.1及之后版本。

配置HBase慢查询语句查杀功能

1. 登录Manager界面，选择“集群 > 服务 > HBase > 配置”。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 搜索“hbase.slow.query.check.enabled”参数，并修改参数值为“true”开启HBase慢查询查杀功能。
3. 登录HBase客户端。
   1. 登录安装HBase客户端的节点，并切换至客户端安装目录：

      cd 客户端安装目录

   2. 配置环境变量：

      source bigdata_env

   3. 认证用户，集群未启用Kerberos认证（普通模式）请跳过该操作：

      kinit 组件业务用户

      其中：

      • HBase未启用Ranger鉴权，即使用ACL鉴权，该业务用户所绑定的HBase角色需具有“global”资源的“管理”权限，即创建HBase角色时，“配置资源权限”需选择“集群 > HBase > HBase Scope”，勾选“global”所在行的“管理”权限。
      • HBase已启用Ranger鉴权，则需要在Ranger策略配置界面，修改HBase默认策略“all - table, column-family, column”，在“Allow Conditions”区域新增策略允许条件，并在“Select User”列选择该业务用户，例如“admintest”，“Permissions”列添加“Admin”权限。
   4. 登录HBase客户端：

      hbase shell

4. 配置慢查询阈值。
   • 全局参数配置

     在HBase参数配置页面，搜索“hbase.slow.query.check.threshold”参数，设置慢查询的阈值，即scan查询持续的时间超过该阈值就会被定义为慢查询。参数的取值范围为1000~2147483647，单位为毫秒。

   • 表级别参数配置（优先级高于集群参数配置）

     也可以在hbase shell命令行中，执行以下命令设置指定表的慢查询阈值：

     alter '表名', CONFIGURATION => {'hbase.slow.query.check.threshold' => 阈值}

   建议该阈值不要配置过低，否则会因为将大量请求都识别为慢查询影响服务的性能。

5. 开启慢查询事前拦截。
   • 拦截一
     • 全局参数配置
       1. 在HBase参数配置页面，搜索“hbase.multi.region.scan.enabled”参数，修改参数值为“false”，关闭跨Region的scan查询。

          可用于拦截跨单Region的查询请求，即关闭跨Region的查询后，默认拦截所有的跨单Region区间的scan请求。

       2. 搜索“hbase.region.scan.limit.threshold”参数，配置scan查询允许扫描的数据条数，且只有未超过该参数配置的阈值的scan查询才允许被执行。
     • 表级别参数配置（优先级高于集群参数配置）
       也可以在hbase shell命令行中，执行以下命令配置指定表关闭跨Region的scan查询及配置查询阈值：

       alter '表名', CONFIGURATION => {'hbase.multi.region.scan.enabled' => false, 'hbase.region.scan.limit.threshold' => 阈值}

   • 拦截二

     如果scan查询未设置caching参数或者超过阈值，表示该查询每次请求缓存的数据条数过多，该查询请求将被拦截。

     可通过在HBase参数配置页面调整“hbase.client.scanner.caching.max”参数值，避免拦截单次缓存大量数据的查询请求，或将该参数值设置为“2147483647”关闭拦截。

     也可以在hbase shell命令行中，执行以下命令对指定表进行配置：

     alter '表名', CONFIGURATION => {'hbase.client.scanner.caching.max' => 阈值}

6. 开启慢查询事中拦截。
   • 全局参数配置
     1. 在HBase参数配置页面，搜索“hbase.regionserver.scan.block.size.threshold”参数，用于检测并限制scan查询每次从服务端扫描的数据大小（包括未命中查询条件的数据），当超过该阈值时，查询请求将被中止。
     2. 搜索“hbase.regionserver.scan.response.size.threshold”参数，用于检测并限制scan查询每次从服务端缓存的数据数据大小（仅包括命中查询条件的数据），当超过该阈值时，查询请求将被中止。
   • 表级别参数配置（优先级高于集群参数配置）

     也可以在hbase shell命令行中，执行以下命令配置指定表的对应阈值：

     alter '表名', CONFIGURATION => {'hbase.regionserver.scan.block.size.threshold' => 阈值, 'hbase.regionserver.scan.response.size.threshold' => 阈值}

   更多HBase慢查询相关参数介绍请参见表1。

7. 在HBase参数配置页面修改参数值后，单击“保存”保存配置。
   还需在hbase shell命令行执行以下命令，配置即可在服务端动态生效：

   update_all_config

HBase慢查询接口使用说明

• 查看慢查询
  • HBase Shell命令

    get_slow_query

    该命令支持查看当前所有的慢查询，包括指定表的慢查询和指定来自指定客户端IP的慢查询。可以在hbase shell执行以下操作获取命令帮助：

    help 'get_slow_query'

    图1 查看HBase慢查询
    
  • API接口

    可参考如下代码片段：

    如果集群已启用Kerberos认证（安全模式），请先配置安全认证，具体操作请参见HBase数据读写示例安全认证（单集群场景）。

    /**
    * 查看慢查询记录
    * @param admin
    */
    private static void getSlowQuery(Admin admin) throws IOException {
    // 获取当前所有的慢查询记录
    List<SlowQueryInfo> slowQueryList = admin.getSlowQuery();
    slowQueryList.forEach(slowQueryInfo -> printSlowQueryInfo(slowQueryInfo));
    
    // 获取来自指定客户端IP的慢查询记录
    slowQueryList = admin.getSlowQueryByClientIp(Arrays.asList("ip1", "ip2"));
    
    // 获取指定表的慢查询记录
    slowQueryList = admin.getSlowQueryByTable(Arrays.asList("table1", "table2"));
    }
    
    private static void printSlowQueryInfo(SlowQueryInfo slowQueryInfo) {
    // 获取QueryID
    long queryId = slowQueryInfo.getQueryId();
    // 获取客户端IP
    String clientIp = slowQueryInfo.getClientIp();
    // 获取表名
    String tableName = slowQueryInfo.getTableName();
    // 获取查询开始的时间戳
    long starTime = slowQueryInfo.getStartTime();
    // 获取查询的详细信息
    String scanDetail = slowQueryInfo.getQueryDetails();
    
    // 打印慢查询信息
    System.out.println(slowQueryInfo);
    }

• 终止慢查询
  • HBase Shell命令

    abort_slow_query

    该命令支持终止指定QueryID的慢查询，如果需要同时终止多个，可以同时指定多个QueryID，中间使用逗号分隔。可以在hbase shell执行以下操作获取命令帮助：

    help 'abort_slow_query'

    图2 终止HBase慢查询
    
  • API接口

    可参考如下代码片段：

    如果集群已启用Kerberos认证（安全模式），请先配置安全认证，具体操作请参见HBase数据读写示例安全认证（单集群场景）。

    /**
    * 终止慢查询
    * @param admin
    */
    private static void abortSlowQuery(Admin admin) throws IOException {
    // 指定待终止的QueryID
    List<Long> queryIds = new ArrayList<>();
    queryIds.add(123456789L);
    queryIds.add(987654321L);
    
    // 终止指定的一个或多个慢查询
    AbortSlowQueryResponse response = admin.abortSlowQueries(queryIds);
    
    // 未知的慢查询，有可能在发起abort慢查询时，该QueryID对应的查询请求已结束
    AbortSlowQueryResponse.ResultGroup unknownItems = response.getUnknownItems();
    if(unknownItems != null) {
    List<Long> unknownQueryIds = unknownItems.getQueryIds();
    unknownQueryIds.forEach(id -> {
    System.out.println("unknown: " + id);
    // 移除未知的QueryID
    queryIds.removeIf(id::equals);
    });
    }
    
    // 因为异常原因导致终止失败的慢查询
    AbortSlowQueryResponse.ResultGroup failedItems = response.getFailedItems();
    if(failedItems != null) {
    List<Long> failedQueryIds = failedItems.getQueryIds();
    failedQueryIds.forEach(id -> {
    System.out.println("failed: " + id);
    // 移除未知的QueryID
    queryIds.removeIf(id::equals);
    });
    }
    // 移除未知和终止失败的QueryID，剩下的则为成功的QueryID
    queryIds.forEach(id -> System.out.println("success: " + id));
    }

HBase慢查询参数介绍