更新时间:2025-10-31 GMT+08:00
分享

通过LTS服务日志采集

CCI 2.0利用LTS日志服务采集应用日志并上报LTS,可以协助您排查和诊断问题。

日志采集可靠性说明

日志系统的核心功能在于记录业务组件的全生命周期状态数据(包括启动初始化、退出、运行时信息及异常事件等),主要服务于组件运行状态查看与故障根因分析等运维场景。

请注意标准输出流(stdout/stderr)及本地日志文件采用非持久化存储机制,其数据完整性受制于以下风险因素:

  • 日志轮转压缩机制可能触发历史文件清除。
  • Kubernetes Pod实例终止导致的临时存储卷回收。
  • 节点存储空间限制触发的操作系统自动清理。

尽管云原生日志采集插件通过多级缓冲、优先级队列、断点续传等机制优化采集可靠性,但在以下场景仍存在日志采集丢失的可能:

  • 业务日志吞吐量超过采集端处理能力。
  • 业务Pod终止并立即被容器引擎回收。
  • 日志采集器Pod运行异常。

以下是基于云原生日志管理的最佳实践建议,请您认真考虑并采纳:

  • 请通过专用高可靠性通道记录并持久化关键业务数据(如金融交易)。
  • 请勿在日志中进行记录客户信息、支付凭证、会话令牌等敏感数据。

约束与限制

使用场景

使用说明

CCE内容器日志采集 + CCI集群容器日志采集

CCE集群内的工作负载支持三种日志采集类型:

  • 容器标准输出:采集集群内指定容器日志,仅支持Stderr和Stdout的日志。
  • 容器文件日志:采集集群内指定容器内的文件日志。
  • 节点文件日志:采集集群内指定节点路径的文件。
须知:

弹性到CCI的工作负载仅支持“容器标准输出”、“容器文件日志”类型的采集策略。

不支持采集的日志文件类型

  • 不支持容器中软链路径的日志采集。
  • Pod通过指定系统、设备、cgroup、tmpfs等挂载目录下的日志无法被采集。

超长日志采集

单条日志最大容量为250KB,多行日志采集则每行日志单独计算长度,超过会被丢弃。

超长日志文件名

容器中长度超过190的日志文件无法被采集。容器中长度在180~190范围的日志文件仅支持采集第一个文件。

最大采集文件数

单个Pod所有日志采集策略监听的文件数不超过2000个文件。

日志采集速率

单个Pod单行日志采集速率不超过20000条/秒,多行日志不超过2000条/秒,日志大小不超过10MiB/秒。超过限制尽可能提供服务,不保证服务质量。

日志采集性能消耗

为了更好的采集日志,建议为Pod预留充足CPU和内存。

  • Pod开启日志采集时请预留至少200MiB内存。另外每增加一个关联日志采集策略,建议多预留10MiB内存。
  • Pod中日志打印总速率每1000行/s建议多预留0.03核CPU。

容器停止前日志采集

当容器被停止时,如果出现因网络延迟、资源占用多等原因导致的采集延时,可能会丢失容器停止前的部分日志。

initContainer日志采集

当前暂不支持initContainer日志采集。

使用CCI鲲鹏实例

鲲鹏实例暂不支持日志采集。

操作步骤

  1. 安装“云原生日志采集插件”和“CCE 突发弹性引擎 (对接 CCI)”插件。
    1. 登录CCE控制台
    2. 选择CCE集群,单击进入CCE集群总览页面。
    3. 在导航栏左侧单击“插件中心”,进入插件中心首页。
    4. 选择“CCE 突发弹性引擎 (对接 CCI)”插件,单击“安装”。(需安装1.5.61及以上版本)
    5. 等待插件安装完成后,单击插件旁的“编辑” 编辑YAML,将“enableLogCollection”配置改为“true”,并单击“提交”
    6. 选择“云原生日志采集插件”,单击“安装”。
  2. 创建弹性到CCI的负载。
    1. 在导航栏左侧单击“工作负载”,进入工作负载首页。
    2. 单击“创建工作负载”,具体操作步骤详情请参见创建工作负载
    3. 填写基本信息并完成工作负载创建。更多创建弹性到CCI负载的方式,请参考调度负载到CCI 2.0
  3. 配置日志采集策略。
    1. 在导航栏左侧单击“日志中心”,进入日志中心首页。
    2. 单击“日志采集策略”,进入日志采集策略创建的界面。
    3. 配置具体日志采集策略,完成后单击“确定”。

      弹性到CCI的Pod不支持日志策略热更新,更新日志采集策略后需要重新部署弹性到CCI的Pod才可生效。

  4. 在日志中心查看日志上报。

    CCE集群日志中心更详细的用法可以参考CCE插件CCE Log Collector相关文档指导。

开启采集日志文件全路径功能

在采集容器内日志时,若被采集的日志文件的名称相同,但路径不同,无法准确定位到正确的日志文件。可以选择开启采集日志全路径功能。

  • 调度到CCE的pod采集依赖1.7.6及以上版本“云原生日志采集插件”插件,并在“云原生日志采集插件”插件开启采集日志文件全路径功能。
  • 该功能会有一定的性能损耗,若当前日志量已经接近或超过日志采集性能规格,不建议开启。
  1. 在CCE控制台,选择CCE集群,单击进入CCE集群总览页面。
  2. 在导航栏左侧单击“插件中心”,进入插件中心首页。
  3. 单击“CCE 突发弹性引擎 (对接 CCI)”插件旁的“编辑”。
  4. 单击左上角的“编辑YAML”
  5. “enableFullPathLogCollect”配置改为“true”,然后单击“提交”

相关文档