更新时间:2025-08-07 GMT+08:00

云原生日志采集插件

插件简介

云原生日志采集插件(原名log-agent)是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent插件支持将集群中训练、推理实例的容器标准输出日志采集到lts中。

日志采集可靠性说明

日志系统的核心功能在于记录业务组件的全生命周期状态数据(包括启动初始化、退出、运行时信息及异常事件等),主要服务于组件运行状态查看与故障根因分析等运维场景。

请注意标准输出流(stdout/stderr)采用非持久化存储机制,其数据完整性受制于以下风险因素:

  • 日志轮转压缩机制可能触发历史文件清除。
  • Kubernetes Pod实例终止导致的临时存储卷回收。
  • 节点存储空间限制触发的操作系统自动清理。

尽管云原生日志采集插件通过多级缓冲、优先级队列、断点续传等机制优化采集可靠性,但在以下场景仍存在日志采集丢失的可能:

  • 业务日志吞吐量超过采集端处理能力。
  • 业务Pod终止并立即被容器引擎回收。
  • 日志采集器Pod运行异常。

基于云原生日志最佳实践,为您提供以下重要建议:

  • 请通过专用高可靠性通道记录并持久化关键业务数据(如金融交易)。
  • 请勿在日志中进行记录客户信息、支付凭证、会话令牌等敏感数据。

约束与限制

建议安装使用1.7.3及以上版本。

支持CCE版本:v1.21-v1.32。

插件性能规格

性能项

说明

备注

单条日志大小

单条日志不得超过512k,多行日志采集则每行日志单独计算长度。

不涉及。

最大采集文件数

单个节点所有日志采集规则监听的文件数不超过4095个文件。

不涉及。

配置更新

配置更新生效的延时约1-3分钟。

不涉及。

安装插件

在资源池中安装指定插件。

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择“资源管理 > 标准算力集群 (Standard Cluster)”。
  2. 单击资源池名称,进入资源池详情页。
  3. 在资源池详情页,切换到“插件”页签。
  4. 在未安装插件列表中,选择待安装的插件,单击“安装”
  5. “安装插件”弹框中,配置相关参数,参数说明如下。
    表1 云原生日志采集插件配置参数说明

    参数

    子参数

    说明

    规格配置

    插件版本

    指定部署的云原生日志采集插件版本。支持版本1.7.3。

    插件规格

    预置规格:小规格(最大支持5000条日志/s的集群)、大规格(最大支持10000条日志/s的集群)。两种预置规格的配置不同,具体可参见预置规格对应的配置清单

    自定义规格:可根据需求调整插件实例数和资源配额。实例数为1时插件不具备高可用能力,当插件实例所在节点异常时可能导致插件功能无法正常使用,请谨慎选择。

    配置清单

    指定插件规格对应的云原生日志采集插件的各项具体配置参数。

    参数配置

    日志组

    下拉框中选择日志组。云日志服务进行日志管理的基本单位。

    日志流

    下拉框中选择日志流。

    日志读写的基本单位,日志组中可以创建日志流,将不同类型的日志分类存储,方便对日志进一步分类管理。

    采集逻辑子池日志

    逻辑子池日志默认不采集,开启后,支持采集日志并独立配置逻辑子池的采集策略。

    单击“添加逻辑池”,选择已创建的“逻辑池”以及逻辑池负责的“日志组”“日志流”

  6. 阅读使用说明,勾选“我已阅读并知晓上述使用说明”
  7. 单击“确定”

组件说明

容器组件

说明

资源类型

fluent-bit

轻量级的日志收集器和转发器,部署在每个节点上采集日志。1.5.0及以上版本将直接上报日志到LTS。

DaemonSet

cop-logs

负责生成采集文件的软链接,和fluent-bit运行在同一Pod。

DaemonSet

log-operator

负责生成内部的配置文件。

Deployment

otel-collector

负责采集Kubernetes事件上报到LTS以及AOM,同时接收日志数据上报至LTS。

其中,日志数据上报范围与插件版本有关。在1.5.1及以上版本则仅上报弹性到CCI的工作负载日志。

Deployment

版本记录

插件版本

支持的CCE集群版本

更新特性

1.7.3

v1.21

v1.23

v1.25

v1.27

v1.28

v1.29

v1.30

v1.31

支持采集容器标准输出日志

1.7.2

v1.21

v1.23

v1.25

v1.27

v1.28

v1.29

v1.30

v1.31

支持日志gzip压缩上报LTS