更新时间:2026-07-09 GMT+08:00
分享

采集管理

采集管理,是AOM提供的一套统一的数据采集配置与管理中心。它允许您通过控制台集中管理所有监控数据源的采集任务,包括指标、日志和事件,无需登录每台服务器手动配置采集器。采集管理帮助您快速建立从云资源到AOM平台的数据通道,是实现统一可观测性的基础。

为什么需要采集管理

在云原生环境中,企业通常拥有数十甚至数百台服务器、容器和多种云服务,每种资源都需要采集不同的监控数据。传统方式下,运维人员需要登录每台机器手动安装和配置采集器,当环境规模扩大或配置需要变更时,工作量呈指数级增长,且容易因配置不一致导致数据缺失。同时,采集器版本更新、资源消耗控制等问题也增加了运维负担。

那么,如何实现海量资源监控数据的自动化、标准化采集,并降低运维成本?AOM的采集管理提供了统一的采集任务配置和下发能力,让您通过一次配置即可完成对大量目标的数据采集,大幅提升运维效率。

采集管理的优势是什么

  • 集中化配置管理:通过AOM控制台即可完成对所有采集任务的创建、修改和删除,无需登录每台目标服务器,所有配置变更自动同步至各采集目标。
  • 自动化采集部署:采集任务创建后,系统自动在目标主机或容器中安装并启动采集器,无需人工介入,减少部署时间和人为错误。
  • 多类型数据支持:支持同时采集指标、日志和事件三种数据类型,满足监控、审计和故障排查的多样化需求,无需为不同类型数据部署不同的采集方案。
  • 灵活的采集策略:支持按时间周期(如每分钟、每小时)或事件触发方式配置采集频率,并可对采集目标进行标签过滤,实现精细化数据采集控制。
  • 采集器生命周期管理:提供采集器的版本管理、状态监控和升级能力,当采集器出现异常或需要更新时,系统可自动或手动进行修复和升级。

采集管理的使用场景

  • 大规模服务器集群监控:运维团队面对数百台ECS服务器,需要统一采集CPU、内存、磁盘等基础指标。通过采集管理创建批量采集任务,系统自动在所有目标服务器上部署采集器并开始采集,无需逐台登录配置,降低部署时间和人力成本。
  • 容器化环境日志采集:容器平台运维人员需要采集Kubernetes集群中所有Pod的应用日志。通过采集管理配置日志采集任务并关联集群,系统自动发现新创建的Pod并开始采集日志,实现动态环境下的日志自动化采集,保障日志数据不遗漏。
  • 业务指标自定义采集:业务开发团队需要采集订单处理耗时、API调用次数等自定义业务指标。通过采集管理配置自定义指标采集任务,指定指标暴露端口和采集路径,即可将业务指标纳入统一监控体系,支撑业务性能分析。

采集管理的工作原理

采集管理的工作遵循“任务配置 > 采集器部署 > 数据采集 > 数据上报”的闭环流程,具体运作机制如下:
  1. 用户通过AOM控制台创建采集任务:用户指定采集目标(如ECS实例、Kubernetes集群)、采集数据类型(指标、日志或事件)以及采集策略(采集频率、过滤条件)。采集管理将任务配置持久化存储,并生成采集器部署指令。
  2. 系统自动在目标上部署采集器:采集管理根据任务配置中的目标信息,通过Agent管理服务向目标主机或容器下发采集器安装指令。目标上的Agent接收指令后,从华为云OBS下载对应版本的采集器安装包并完成安装。安装完成后,采集器自动加载任务配置并启动运行。
  3. 采集器执行数据采集:采集器根据任务配置,定期从目标系统的指定数据源获取数据。对于指标采集,采集器通过系统API或探针获取CPU、内存等资源使用数据;对于日志采集,采集器监控指定日志文件的变更,读取新增的日志内容;对于事件采集,采集器监听系统事件通道,捕获状态变更事件。
  4. 采集器将数据上报至AOM:采集器对采集到的原始数据进行格式化、压缩和缓存处理后,通过HTTPS协议将数据上报至AOM的数据接入层。数据接入层对数据进行校验、解析和路由,最终将数据写入对应的存储服务(指标存储、日志存储、事件存储)。
  5. AOM平台提供数据查询与分析:上报的数据经过处理后,可在AOM控制台进行实时查询、可视化展示和告警分析,用户无需关心底层数据采集的细节。

与采集管理相关的操作和特性

  • 安装UniAgent:AOM通过UniAgent实现统一插件生命周期管理,并支持通过UniAgent下发和执行脚本指令。详情请参考安装UniAgent(新版)
  • 管理主机的ICAgent插件:ICAgent插件是安装在主机上的数据采集代理程序,将主机的运行状态和业务数据实时上报至AOM平台。详情请参考管理主机的ICAgent插件
  • 采集日志数据:AOM支持主机日志采集,即采集您自定义的日志文件并展现在AOM界面中,以供您检索。详情请参考配置虚机日志采集路径

相关文档