更新时间:2024-12-18 GMT+08:00
云原生日志采集插件
插件简介
云原生日志采集插件(log-agent)是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent安装后,会自动创建fluent-bit容器组件,用于日志采集。此外,log-agent支持基于CRD的日志采集策略,可以根据您配置的策略规则,对集群中的容器标准输出日志、容器文件日志及K8s事件日志进行采集与转发。同时支持上报K8s事件到AOM,用于配置事件告警,默认上报所有异常事件和部分正常事件。采集日志的详细使用方法请参见收集容器日志。
fluent-bit容器组件由华为云免费提供,不收取任何费用。
约束与限制
云原生日志采集插件有如下限制:
- 每个集群限制50条日志规则。
- 不采集.gz、.tar、.zip后缀类型的日志文件。
- 若容器运行时为containerd模式,容器标准输出日志中的多行配置暂不生效。
- 每个集群限制单行日志采集速率不超过10000条/秒,多行日志不超过2000条/秒。
权限说明
云原生日志采集插件中的fluent-bit组件会根据用户的采集配置,读取容器标准输出、容器内文件日志并采集。
fluent-bit组件运行需要以下权限:
- CAP_DAC_OVERRIDE:忽略文件的 DAC 访问限制。
- CAP_FOWNER:忽略文件属主 ID 必须和进程用户 ID 相匹配的限制。
- DAC_READ_SEARCH:忽略文件读及目录搜索的 DAC 访问限制。
- SYS_PTRACE:允许跟踪任何进程。
安装插件
- 登录CCE控制台,单击集群名称进入集群,在左侧导航栏中选择“插件中心”,在右侧找到云原生日志采集插件,单击“安装”。
- 在安装插件页面,设置“规格配置”。
表1 插件规格配置 参数
参数说明
实例数
选择上方插件规格后,显示插件中的实例数。
选择“自定义”规格时,您可根据需求调整插件实例数。
容器
log-agent插件还包含以下容器组件,您可根据需求自定义调整规格:
- log-operator:负责解析及更新日志规则的组件。
- otel-collector:负责集中式日志转发的组件,将fluent-bit收集的日志转发到LTS。
- 完成以上配置后,单击“安装”。
组件说明
容器组件 |
说明 |
资源类型 |
---|---|---|
fluent-bit |
轻量级的日志收集器和转发器,用于采集日志。 |
Pod |
log-operator |
负责生成内部的配置文件。 |
Deployment |
otel-collector |
负责收集来自不同应用程序和服务的日志数据,集中后上报至LTS。 |
Deployment |