通过LTS服务日志采集
CCI 2.0利用LTS日志服务采集应用日志并上报LTS,可以协助您排查和诊断问题。
日志采集可靠性说明
日志系统的核心功能在于记录业务组件的全生命周期状态数据(包括启动初始化、退出、运行时信息及异常事件等),主要服务于组件运行状态查看与故障根因分析等运维场景。
请注意标准输出流(stdout/stderr)及本地日志文件采用非持久化存储机制,其数据完整性受制于以下风险因素:
- 日志轮转压缩机制可能触发历史文件清除。
- Kubernetes Pod实例终止导致的临时存储卷回收。
- 节点存储空间限制触发的操作系统自动清理。
尽管云原生日志采集插件通过多级缓冲、优先级队列、断点续传等机制优化采集可靠性,但在以下场景仍存在日志采集丢失的可能:
- 业务日志吞吐量超过采集端处理能力。
- 业务Pod终止并立即被容器引擎回收。
- 日志采集器Pod运行异常。
以下是基于云原生日志管理的最佳实践建议,请您认真考虑并采纳:
- 请通过专用高可靠性通道记录并持久化关键业务数据(如金融交易)。
- 请勿在日志中进行记录客户信息、支付凭证、会话令牌等敏感数据。
约束与限制
|
使用场景 |
使用说明 |
|---|---|
|
CCE内容器日志采集 + CCI集群容器日志采集 |
CCE集群内的工作负载支持三种日志采集类型:
须知:
弹性到CCI的工作负载仅支持“容器标准输出”、“容器文件日志”类型的采集策略。 |
|
不支持采集的日志文件类型 |
|
|
超长日志采集 |
单条日志最大容量为250KB,多行日志采集则每行日志单独计算长度,超过会被丢弃。 |
|
超长日志文件名 |
容器中长度超过190的日志文件无法被采集。容器中长度在180~190范围的日志文件仅支持采集第一个文件。 |
|
最大采集文件数 |
单个Pod所有日志采集策略监听的文件数不超过2000个文件。 |
|
日志采集速率 |
单个Pod单行日志采集速率不超过20000条/秒,多行日志不超过2000条/秒,日志大小不超过10MiB/秒。超过限制尽可能提供服务,不保证服务质量。 |
|
日志采集性能消耗 |
为了更好的采集日志,建议为Pod预留充足CPU和内存。
|
|
容器停止前日志采集 |
当容器被停止时,如果出现因网络延迟、资源占用多等原因导致的采集延时,可能会丢失容器停止前的部分日志。 |
|
initContainer日志采集 |
当前暂不支持initContainer日志采集。 |
|
使用CCI鲲鹏实例 |
鲲鹏实例暂不支持日志采集。 |
操作步骤
- 安装“云原生日志采集插件”和“CCE 突发弹性引擎 (对接 CCI)”插件。
- 登录CCE控制台。
- 选择CCE集群,单击进入CCE集群总览页面。
- 在导航栏左侧单击“插件中心”,进入插件中心首页。
- 选择“CCE 突发弹性引擎 (对接 CCI)”插件,单击“安装”。(需安装1.5.61及以上版本)
- 等待插件安装完成后,单击插件旁的“编辑” 编辑YAML,将“enableLogCollection”配置改为“true”,并单击“提交”。
- 选择“云原生日志采集插件”,单击“安装”。
- 创建弹性到CCI的负载。
- 在导航栏左侧单击“工作负载”,进入工作负载首页。
- 单击“创建工作负载”,具体操作步骤详情请参见创建工作负载。
- 填写基本信息并完成工作负载创建。更多创建弹性到CCI负载的方式,请参考调度负载到CCI 2.0。
- 配置日志采集策略。
- 在导航栏左侧单击“日志中心”,进入日志中心首页。
- 单击“日志采集策略”,进入日志采集策略创建的界面。
- 配置具体日志采集策略,完成后单击“确定”。
弹性到CCI的Pod不支持日志策略热更新,更新日志采集策略后需要重新部署弹性到CCI的Pod才可生效。
- 在日志中心查看日志上报。
CCE集群日志中心更详细的用法可以参考CCE插件CCE Log Collector相关文档指导。
开启采集日志文件全路径功能
在采集容器内日志时,若被采集的日志文件的名称相同,但路径不同,无法准确定位到正确的日志文件。可以选择开启采集日志全路径功能。
- 调度到CCE的pod采集依赖1.7.6及以上版本“云原生日志采集插件”插件,并在“云原生日志采集插件”插件开启采集日志文件全路径功能。
- 该功能会有一定的性能损耗,若当前日志量已经接近或超过日志采集性能规格,不建议开启。
- 在CCE控制台,选择CCE集群,单击进入CCE集群总览页面。
- 在导航栏左侧单击“插件中心”,进入插件中心首页。
- 单击“CCE 突发弹性引擎 (对接 CCI)”插件旁的“编辑”。
- 单击左上角的“编辑YAML”。
- 将“enableFullPathLogCollect”配置改为“true”,然后单击“提交”。