DWS_2000000017 DWS集群查询语句堆积数量超阈值

告警解释

DWS开启实时查询监控时，默认每60秒通过GS_WLM_SESSION_STATISTICS视图检测CN上正在执行作业的排队状态。

如果10分钟（可配置）内检测集群中处于排队等待状态的SQL语句数量超过10个（可配置），则触发查询语句堆积数量超阈值告警；当集群处于等待状态的SQL语句数量小于10时，自动消除该告警。

如果一直存在能够引发告警的查询语句堆积数量，那么在24小时（可配置）后将再次发起告警。

告警属性

告警参数

告警指标

调用获取指定指标相关采集数据 - ListMetricsDataAPI接口获取该告警指标，其中接口中的指标名称为QueryMonitor。

• 请求示例：

  GET https://{Endpoint}/v1/{project_id}/clusters/{cluster_id}/dms/metrics/QueryMonitor?offset=0&limit=1&from=1786782138946&to=1786784159004&order_by=ctime&sort_by=desc

• 响应示例：

  告警指标为响应结果中的enqueue不为None且block_time大于5000的数据条数。

  {
   "code": 0,
   "msg": "OK",
   "data": [
    {
     "query_id": "80220368369538752",
     "backend_start": 1786783088,
     "pid": "140504051222312",
     "block_time": 0,
     "application_name": "OM",
     "estimate_total_time": 0,
     "memory_skew_percent": 0,
     "max_peak_memory": 0,
     "iops_skew_percent": 0,
     "min_peak_memory": 0,
     "ctime": 1786783088000,
     "warning": "",
     "min_cpu_time": 0,
     "total_cpu_time": 0,
     "dntime_skew_percent": 0,
     "average_spill_size": 0,
     "query": "/* autopilot */ SELECT pgsac.datname as db_name, pgws.nodename as inst_name, pgsac.pid as pid, pgsac.query_id as query_id, pgws.query_band, null as job_name, null as job_inst, pgsac.usename as user_name, pgsac.application_name, pgsac.client_addr as client_address, pgsac.client_hostname, pgsac.client_port, pgsac.waiting, extract('epoch' from pgws.start_time at time zone 'UTC')::bigint as start_time, pgswlm.block_time, pgws.duration, pgws.estimate_total_time, pgws.estimate_left_time, pgswlm.enqueue, pgswlm.priority, pgsac.resource_pool, pgws.control_group, pgws.min_peak_memory, pgws.max_peak_memory, pgws.average_peak_memory, pgws.memory_skew_percent, pgws.estimate_memory, pgws.spill_info, pgws.min_spill_size, pgws.max_spill_size, pgws.average_spill_size, pgws.spill_skew_percent, pgws.min_dn_time, pgws.max_dn_time, pgws.average_dn_time, pgws.dntime_skew_percent, pgws.min_cpu_time, pgws.max_cpu_time, pgws.total_cpu_time, pgws.cpu_skew_percent, pgws.warning, pgws.average_peak_iops, pgws.iops_skew_percent, pgws.ma",
     "priority": 2,
     "start_time": 0,
     "max_spill_size": 0,
     "db_name": "postgres",
     "average_peak_memory": 0,
     "query_plan": "",
     "query_band": "",
     "job_inst": "",
     "wlm_attrib": "Internal",
     "spill_info": "",
     "virtual_cluster_id": 81882,
     "waiting": false,
     "average_dn_time": 0,
     "user_name": "Ruby",
     "min_spill_size": 0,
     "query_status": "active",
     "resource_pool": "root",
     "duration": 0,
     "client_port": "-1",
     "estimate_memory": 0,
     "elapsed_time": 0,
     "curr_xact_start": 1786783088,
     "client_address": "",
     "lane": "None",
     "query_elapsed_time": 0,
     "control_group": "",
     "average_peak_iops": 0,
     "query_start": 1786783088,
     "max_dn_time": 0,
     "cpu_skew_percent": 0,
     "min_peak_iops": 0,
     "enqueue": "None",
     "job_name": "",
     "client_hostname": "",
     "spill_skew_percent": 0,
     "system_query": true,
     "estimate_left_time": 0,
     "min_dn_time": 0,
     "wlm_status": "running",
     "max_peak_iops": 0,
     "inst_name": "cn_5001",
     "max_cpu_time": 0,
     "state_change": 1786783088
    }
   ],
   "count": 166
  }

对系统的影响

SQL查询阻塞，导致运行时间过长。

可能原因

业务执行过程中查询语句处于排队等待的数量超过告警阈值。

处理步骤

确认集群当前排队作业情况是否正常

1. 登录DWS管理控制台。
2. 在左导航栏选择“监控 > 告警”，单击右上角“集群选择”下拉框，选中当前集群，查看集群最近7天的告警信息。通过定位信息锁定触发告警的集群名称。
3. 在“集群 > 集群列表”界面找到告警集群，在所在行操作列单击“监控面板”进入监控界面。
4. 选择“监控 > 实时查询 ”可查看当前集群实时会话和实时查询的具体情况，选择“实时查询”可看到当前集群中正在执行的作业状态，单击勾选“阻塞时间（ms）”和排队状态。单击对“阻塞时间（ms）”进行排序，可以看到当前处于排队状态、阻塞时间最长的SQL信息。如果存在处于排队状态、且阻塞时间异常的查询作业，可选择“终止查询”。

   语句当前的排队情况，包括：

   • Global：全局排队。
   • Respool：资源池排队。
   • CentralQueue：在中心协调节点(CCN)中排队。
   • Transaction：语句处于一个事务块中。
   • StoredProc : 语句处于一个存储过程中。
   • None：未在排队。
   • Forced None : 事务块语句或存储过程语句由于超出设定的等待时间而强制执行。

告警清除

查询排队的语句数量下降后，自动消除告警。