文档首页/ 云容器引擎 CCE_Autopilot集群/ 用户指南/ 插件/ 云原生日志采集插件
更新时间：2024-11-11 GMT+08:00
查看PDF
分享

云原生日志采集插件

插件简介

云原生日志采集插件（log-agent）是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent安装后，会自动创建fluent-bit容器组件，用于日志采集。此外，log-agent支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志及K8s事件日志进行采集与转发。同时支持上报K8s事件到AOM，用于配置事件告警，默认上报所有异常事件和部分正常事件。采集日志的详细使用方法请参见收集容器日志。

fluent-bit容器组件由华为云免费提供，不收取任何费用。

约束与限制

云原生日志采集插件有如下限制：
  • 每个集群限制50条日志规则。
  • 不采集.gz、.tar、.zip后缀类型的日志文件。
  • 若容器运行时为containerd模式，容器标准输出日志中的多行配置暂不生效。
  • 每个集群限制单行日志采集速率不超过10000条/秒，多行日志不超过2000条/秒。

权限说明

云原生日志采集插件中的fluent-bit组件会根据用户的采集配置，读取容器标准输出、容器内文件日志并采集。

fluent-bit组件运行需要以下权限：

  • CAP_DAC_OVERRIDE：忽略文件的 DAC 访问限制。
  • CAP_FOWNER：忽略文件属主 ID 必须和进程用户 ID 相匹配的限制。
  • DAC_READ_SEARCH：忽略文件读及目录搜索的 DAC 访问限制。
  • SYS_PTRACE：允许跟踪任何进程。

安装插件

  1. 登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件中心”，在右侧找到云原生日志采集插件，单击“安装”。
  2. 在安装插件页面，设置“规格配置”。

    表1 插件规格配置

    参数

    参数说明

    实例数

    选择上方插件规格后，显示插件中的实例数。

    选择“自定义”规格时，您可根据需求调整插件实例数。

    容器

    log-agent插件还包含以下容器组件，您可根据需求自定义调整规格：

    • log-operator：负责解析及更新日志规则的组件。
    • otel-collector：负责集中式日志转发的组件，将fluent-bit收集的日志转发到LTS。

  3. 完成以上配置后，单击“安装”。

组件说明

表2 log-agent组件

容器组件

说明

资源类型

fluent-bit

轻量级的日志收集器和转发器，用于采集日志。

Pod

log-operator

负责生成内部的配置文件。

Deployment

otel-collector

负责收集来自不同应用程序和服务的日志数据，集中后上报至LTS。

Deployment
父主题： 插件

相关文档