# 云原生日志采集插件
#### 插件简介
云原生日志采集插件（原名log-agent）是基于开源fluent-bit和opentelemetry构建的云原生日志、K8s事件采集插件。log-agent插件支持将集群中训练、推理实例的容器标准输出日志采集到lts中。
#### 日志采集可靠性说明
日志系统的核心功能在于记录业务组件的全生命周期状态数据（包括启动初始化、退出、运行时信息及异常事件等），主要服务于组件运行状态查看与故障根因分析等运维场景。
请注意标准输出流（stdout/stderr）采用非持久化存储机制，其数据完整性受制于以下风险因素：
- 日志轮转压缩机制可能触发历史文件清除。
- Kubernetes Pod实例终止导致的临时存储卷回收。
- 节点存储空间限制触发的操作系统自动清理。
尽管云原生日志采集插件通过多级缓冲、优先级队列、断点续传等机制优化采集可靠性，但在以下场景仍存在日志采集丢失的可能：
- 业务日志吞吐量超过采集端处理能力。
- 业务Pod终止并立即被容器引擎回收。
- 日志采集器Pod运行异常。
基于云原生日志最佳实践，为您提供以下重要建议：
- 请通过专用高可靠性通道记录并持久化关键业务数据（如金融交易）。
- 请勿在日志中进行记录客户信息、支付凭证、会话令牌等敏感数据。
 
#### 约束与限制
建议安装使用1.7.3及以上版本。
支持CCE版本：v1.21-v1.33。
安装云原生日志采集插件后，一个资源池最多可以创建2000个LTS日志采集策略。
#### 插件性能规格
| 性能项     | 说明                              | 备注   |
|:---|:---|:---|
| 单条日志大小  | 单条日志不得超过512k，多行日志采集则每行日志单独计算长度。 | 不涉及。 |
| 最大采集文件数 | 单个节点所有日志采集规则监听的文件数不超过4095个文件。   | 不涉及。 |
| 配置更新    | 配置更新生效的延时约1-3分钟。                | 不涉及。 |
   
#### 安装插件
在资源池中安装指定插件。
1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，在左侧菜单栏中选择"资源管理 \> 专属算力资源 \> 资源池"。
2. 单击资源池名称，进入资源池详情页。
3. 在资源池详情页，切换到"插件"页签。
4. 在未安装插件列表中，选择待安装的插件，单击"安装"。
5. 在"安装插件"弹框中，配置相关参数，参数说明如下。
    表1云原生日志采集插件配置参数说明 
   | 参数   | 子参数      | 说明                                                                                                                                                                                                                    |
   |:---|:---|:---|
   | 规格配置 | 插件版本     | 指定部署的云原生日志采集插件版本。支持版本1.7.3。                                                                                                                                                                                           |
   | 规格配置 | 插件规格     | **预置规格** ：小规格（最大支持5000条日志/s的集群）、大规格（最大支持10000条日志/s的集群）。两种预置规格的配置不同，具体可参见预置规格对应的**配置清单**。 **自定义规格**：可根据需求调整插件实例数和资源配额。实例数为1时插件不具备高可用能力，当插件实例所在节点异常时可能导致插件功能无法正常使用，请谨慎选择。 |
   | 规格配置 | 配置清单     | 指定插件规格对应的云原生日志采集插件的各项具体配置参数。                                                                                                                                                                                          |
   | 参数配置 | 日志组      | 下拉框中选择日志组。云日志服务进行日志管理的基本单位。                                                                                                                                                                                           |
   | 参数配置 | 日志流      | 下拉框中选择日志流。 日志读写的基本单位，日志组中可以创建日志流，将不同类型的日志分类存储，方便对日志进一步分类管理。                                                                                                            |
   | 参数配置 | 采集资源队列日志 | 资源队列日志默认不采集，开启后，支持采集日志并独立配置资源队列的采集策略。 单击"添加逻辑池"，选择已创建的"逻辑池"以及逻辑池负责的"日志组"和"日志流"。                                                                                          |
      
   
6. 阅读使用说明，勾选"我已阅读并知晓上述使用说明"。
7. 单击"确定"。
 
#### 组件说明
| 容器组件           | 说明                                                                                                                                          | 资源类型       |
|:---|:---|:---|
| fluent-bit     | 轻量级的日志收集器和转发器，部署在每个节点上采集日志。1.5.0及以上版本将直接上报日志到LTS。                                                                                           | DaemonSet  |
| cop-logs       | 负责生成采集文件的软链接，和fluent-bit运行在同一Pod。                                                                                                           | DaemonSet  |
| log-operator   | 负责生成内部的配置文件。                                                                                                                                | Deployment |
| otel-collector | 负责采集Kubernetes事件上报到LTS以及AOM，同时接收日志数据上报至LTS。 其中，日志数据上报范围与插件版本有关。在1.5.1及以上版本则仅上报弹性到CCI的工作负载日志。 | Deployment |
   
#### 插件相关操作
请见[在资源池详情页查看专属资源池插件](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0065.html#ZH-CN_TOPIC_0000002251199197__section15181198173716)。
#### 版本记录
| 插件版本  | 支持的CCE集群版本                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | 更新特性             |
|:---|:---|:---|
| 1.7.9 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31 v1.32 v1.33 | 适配CCE v1.33集群。   |
| 1.7.2 | v1.21 v1.23 v1.25 v1.27 v1.28 v1.29 v1.30 v1.31                                                                                                    | 支持日志gzip压缩上报LTS。 |