复杂查询造成磁盘满 场景描述 主机或只读节点偶尔出现磁盘占用高或磁盘占用满，其他只读节点磁盘空间占用正常。 原因分析 MySQL内部在执行复杂SQL时，会借助临时表进行分组（group by）、排序（order by）、去重（distinct）、Union等操作，当内存空间不够时，便会使用磁盘空间。

查看更多 →

复杂查询造成磁盘满 场景描述 主机或只读节点偶尔出现磁盘占用高或磁盘占用满，其他只读节点磁盘空间占用正常。 原因分析 MySQL内部在执行复杂SQL时，会借助临时表进行分组（group by）、排序（order by）、去重（distinct）、Union等操作，当内存空间不够时，便会使用磁盘空间。

查看更多 →

ser，二跳终点为movie的路径，并返回前100条。 分组聚集、去重 match (n) return count(*) ：查询全图点的数目。 match (n:user) return n.Gender, count(n) ：对label为user的点，统计不同Gender下各有多少点。

查看更多 →

知前按告警降噪规则对告警进行处理，处理完成后再发送通知，避免产生告警风暴。 告警降噪功能分为分组、去重、抑制、静默四部分。 去重为内置策略，服务后台会自动检验告警内容是否一致实现去重的效果，用户无需手动创建规则。 分组、抑制、静默需手动创建规则，具体的创建方式请参见创建分组规则、创建抑制规则和创建静默规则。

查看更多 →

CSS集群平均已用内存比例达到98%怎么办？ 问题现象 查看集群监控发现，Elasticsearch集群“平均已用内存比例”一直处于98%，用户担心内存比例过高是否对集群有影响。 问题原因 在Elasticsearch集群中，Elasticsearch会占用50%内存，另外50%内存会被Lucene用于缓存文件，因此

查看更多 →

COUNT/SUM/AVG/MAX/MIN等聚集函数。 DISTINCT子句。 UNION去重。 GROUP BY子句。 WindowAgg 窗口函数 WINDOW子句。 Unique 去重（下层已排序） DISTINCT子句。 UNION去重。 Hash HashJoin辅助节点 构造hash表，配合HashJoin。

查看更多 →

COUNT/SUM/AVG/MAX/MIN等聚集函数。 DISTINCT子句。 UNION去重。 GROUP BY子句。 WindowAgg 窗口函数 WINDOW子句。 Unique 去重（下层已排序） DISTINCT子句。 UNION去重。 Hash HashJoin辅助节点 构造hash表，配合HashJoin。

查看更多 →

分布式表转发给各个shard成功与否，插入数据的客户端是无法感知，转发失败的数据会不断重试转发消耗CPU。 只有在数据去重的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，方便后续去重查询。 【建议】慎用delete、update操作。 标准SQL的更新、删除操作是同步

查看更多 →

若上传文件中有重复号码，系统自动去重，仅以第一条数据为准。 手动输入接收号码 直接输入手机号，例如：138111XXXX1； 输入手机号敲击回车键确定，一行视为一个号码； 手动输入最多支持100个号码，大批量号码建议通过文件导入形式提交； 若输入手机号有重复号码，系统自动去重，仅以第一条数据为准。

查看更多 →

告警降噪功能分为分组、去重、抑制、静默四部分。 去重为内置策略，服务后台会自动检验告警内容是否一致实现去重的效果，用户无需手动创建规则。 图1 告警降噪流程图 分组、抑制、静默需手动创建规则，创建方式见下方文档说明。 此模块只作用于消息通知部分，所有触发的告警和事件都可在告警、事件页面查看。 告

查看更多 →

手写模式：执行11。 在“配置”区域的“基本配置”和“函数”中配置结果字段、结果显示行数、结果行数、是否去重、条件过滤、函数和数据分析等信息。 在右侧点击“查看代码”页签查看配置后生成的SQL。 数据分析的相关配置不展示在SQL中。 在“代码块”区域自定义SQL语句。 对于熟悉S

查看更多 →

对于agg操作，解决倾斜的思路与join操作不同，这里是通过首先在本DN内按照group by key对重分布键进行去重操作，然后再进行重分布。因为经过DN内部去重之后，重分布键的值每个DN最多只有一个，所以从全局来看，每个重分布键值的数量都不会超过DN数，因此不会出现严重的数据倾斜问题。以如下query为例：

查看更多 →

过滤数据来源于过滤规则产生的候选集，单击“选择”获取过滤的任务别名和UUID。 在线过滤 【去重】物品属性 属性名从画像算子生成，如“product_color”，则对产品颜色相同的物品进行去重。 【去重】忽略长度 截断物品ID末尾指定长度后的字符串进行去重，如指定长度为2，则SKU_A1234和SKU_A1244只会保留其中一个。

查看更多 →

对于agg操作，解决倾斜的思路与join操作不同，这里首先在本DN内按照group by key对重分布键进行去重操作，然后再进行重分布。因为经过DN内部去重之后，不同重分布键的值每个DN最多只有一个，所以从全局来看，每个重分布键值的数量都不会超过DN数，因此不会出现严重的数据倾斜问题。以如下query为例：

查看更多 →

时序数据重采样”，界面新增“时序数据重采样”内容。 对应参数说明，如表4所示。 表4 时序数据重采样参数说明 参数 参数说明 时间列 时序数据的时间字段。 重采样频率 重采样时间频率，如“5H”。 时间频率单位说明： S：秒 min：分钟 H：小时 D：天 B：工作日 W：周 M：月 Q：季 A：年 重采样方法

查看更多 →

agg优化 对于agg操作，解决倾斜的思路与join操作不同，这里是通过首先在本DN内按照group by key进行去重操作，然后再进行重分布。因为经过DN内部去重之后，从全局来看，每个值的数量都不会超过DN数，因此不会出现严重的数据倾斜问题。以如下query为例： 1 select

查看更多 →

agg优化 对于agg操作，解决倾斜的思路与join操作不同，这里是通过首先在本DN内按照group by key进行去重操作，然后再进行重分布。因为经过DN内部去重之后，从全局来看，每个值的数量都不会超过DN数，因此不会出现严重的数据倾斜问题。以如下query为例： 1 select

查看更多 →

actions”管理Storm拓扑。 激活拓扑 单击“Activate”，转化当前拓扑为激活状态。 去激活拓扑 单击“Deactivate”，转化当前拓扑为去激活状态。 重部署拓扑 单击“Rebalance”，将当前拓扑重新部署执行，需要输入执行重部署的等待时间，单位为秒。一般在集群中节点数发生变化时进行，以更好利用集群资源。

查看更多 →

ClickHouse数据入库规范 规则 写本地表，查询分布式表，提升写入和查询性能，保证写入和查询的数据一致性。 只有在去重诉求的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，便于后续去重查询。 外部模块保证数据导入的幂等性。 Clic

查看更多 →

阈值：阈值是用来衡量用户行为有效性的标准， 当数据源的actionMeasure的值大于阈值时， 当前用户行为有效。 去重：您可以单击勾选，根据用户对行为记录去重。 指标设置 指标名称：请您定义评估的指标名称。 指标公式：用户指定自定义指标公式，如：A/(A+B)，参数A、B代表

查看更多 →

该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max()

查看更多 →