数据汇聚

FileBeat采集端汇聚

采集端汇聚是在采集端清洗的基础上实现的，针对资源受限而日志总量大，单节点流量可控，需要优先保证统计分析数据正常上报的场景，前置汇聚可以很明显的缓解统计分析告警延迟的问题，同样可以更进一步节省整体资源占用。

采集端汇聚需要额外占用内存和磁盘存储空间，用来存储汇聚后的维度和度量数据，磁盘存储占用默认限制在100MB，内存占用最大为100000个不同的维度值大小。

在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚，如图1所示。

图1 数据汇聚

• 开启汇聚：选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇聚。

  开启后需要配置汇集相关参数。

• 汇聚粒度：开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。
• 汇聚时间戳：仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。
• 时间戳格式：选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。
• 汇聚维度：结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。
• 汇聚度量：设置对日志字段以COUNT、SUM、MAX、MIN进行度量。

  原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。

ClickHouse汇聚表汇聚

使用ClickHouse数据管理时，可以通过ClickHouse汇聚表完成数据汇聚。

1. 进入运维中心工作台。
2. 在顶部导航栏选择自有服务。

3. 单击，选择“运维 > 监控服务（ServiceInsight）”。

4. 选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。
5. 单击“数据管理 > ClickHouse”，进入ClickHouse页面。

6. 找到与日志接入时系统自动创建的检索空间同名的ClickHouse表，检索空间可在“日志空间”页面查看，如图2所示。单击该表所在行“操作”列的“创建聚合表”。
   图2 查看Topic
   

7. 配置聚合表参数，配置完成后，单击“确定”。

汇聚任务汇聚

应用平台支持多种数据类型的汇聚，可参考以下内容完成数据汇聚。

• Druid数据汇聚
• MPPDB数据汇聚
• ClickHouse数据汇聚
• Influxdb数据汇聚