云原生日志采集插件

插件简介

云原生日志采集插件（原名log-agent）是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent插件支持将集群中训练、推理实例的容器标准输出日志采集到lts中。

日志采集可靠性说明

日志系统的核心功能在于记录业务组件的全生命周期状态数据（包括启动初始化、退出、运行时信息及异常事件等），主要服务于组件运行状态查看与故障根因分析等运维场景。

请注意标准输出流（stdout/stderr）采用非持久化存储机制，其数据完整性受制于以下风险因素：

• 日志轮转压缩机制可能触发历史文件清除。
• Kubernetes Pod实例终止导致的临时存储卷回收。
• 节点存储空间限制触发的操作系统自动清理。

尽管云原生日志采集插件通过多级缓冲、优先级队列、断点续传等机制优化采集可靠性，但在以下场景仍存在日志采集丢失的可能：

• 业务日志吞吐量超过采集端处理能力。
• 业务Pod终止并立即被容器引擎回收。
• 日志采集器Pod运行异常。

基于云原生日志最佳实践，为您提供以下重要建议：

• 请通过专用高可靠性通道记录并持久化关键业务数据（如金融交易）。
• 请勿在日志中进行记录客户信息、支付凭证、会话令牌等敏感数据。

约束与限制

建议安装使用1.7.3及以上版本。

支持CCE版本：v1.21-v1.33。

安装云原生日志采集插件后，一个资源池最多可以创建2000个LTS日志采集策略。

插件性能规格

安装插件

在资源池中安装指定插件。

1. 登录ModelArts管理控制台，在左侧菜单栏中选择“资源管理 > 专属算力资源 > 资源池”（旧版控制台：“资源管理 > 专属资源池”）。
2. 单击资源池名称，进入资源池详情页。
3. 在资源池详情页，切换到“插件”页签。
4. 在未安装插件列表中，选择待安装的插件，单击“安装”。
5. 在“安装插件”弹框中，配置相关参数，参数说明如下。

   表1 云原生日志采集插件配置参数说明

   参数	子参数	说明
   规格配置	插件版本	指定部署的云原生日志采集插件版本。支持版本1.7.3。
   	插件规格	预置规格：小规格（最大支持5000条日志/s的集群）、大规格（最大支持10000条日志/s的集群）。两种预置规格的配置不同，具体可参见预置规格对应的配置清单。 自定义规格：可根据需求调整插件实例数和资源配额。实例数为1时插件不具备高可用能力，当插件实例所在节点异常时可能导致插件功能无法正常使用，请谨慎选择。
   	配置清单	指定插件规格对应的云原生日志采集插件的各项具体配置参数。
   参数配置	日志组	下拉框中选择日志组。云日志服务进行日志管理的基本单位。
   	日志流	下拉框中选择日志流。 日志读写的基本单位，日志组中可以创建日志流，将不同类型的日志分类存储，方便对日志进一步分类管理。
   	采集资源队列日志	资源队列日志默认不采集，开启后，支持采集日志并独立配置资源队列的采集策略。 单击“添加逻辑池”，选择已创建的“逻辑池”以及逻辑池负责的“日志组”和“日志流”。

6. 阅读使用说明，勾选“我已阅读并知晓上述使用说明”。
7. 单击“确定”。

组件说明

插件相关操作

请见在资源池详情页查看专属资源池插件。

版本记录