文档首页 > > 开发指南> 优秀实践> 数据倾斜查询优秀实践> 导入过程存储倾斜即时检测

导入过程存储倾斜即时检测

分享
更新时间: 2020/01/03 GMT+08:00

导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。

必须设置enable_stream_operator=on,确保计划下发到DN,DN一次性返回导入行数,从而可以在CN计算倾斜率。

使用方法

  1. 设置参数(表倾斜告警阈值table_skewness_warning_threshold和表倾斜告警最小行数table_skewness_warning_rows);
    • 表倾斜告警阈值取值范围0~1,默认值为1,即关闭状态,取其他值时为开启状态。
    • 表倾斜告警最小行数取值范围0~2147483647,默认值为100,000。当导入总行数超过该值与导入DN数之积时,才可能触发告警,从而不会在小数据量导入的场景进行无意义的告警。
    1
    2
    3
    4
    show table_skewness_warning_threshold;
    set table_skewness_warning_threshold = xxx;
    show table_skewness_warning_rows;
    set table_skewness_warning_rows = xxx;
    
  2. 执行导入,使用INSERT或者COPY;
  3. 发现并处理告警,告警信息包括表名、最小行数、最大行数、总行数、平均行数、倾斜率,以及提示信息(检查数据分布或者修改参数)。
    WARNING:  Skewness occurs, table name: xxx, min value: xxx, max value: xxx, sum value: xxx, avg value: xxx, skew ratio: xxx
    HINT:  Please check data distribution or modify warning threshold
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问