更新时间：2024-11-12 GMT+08:00
通过云原生日志采集插件采集容器日志
云原生日志采集插件是基于开源fluent-bit和opentelemetry构建的云原生日志、Kubernetes事件采集插件。CCE 云原生日志采集插件支持基于CRD的日志采集策略，可以根据您配置的策略规则，对集群中的容器标准输出日志、容器文件日志、节点日志及Kubernetes事件日志进行采集与转发。
约束与限制
- 每个集群最多支持创建50条日志规则。
- 云原生日志采集插件不会采集.gz、.tar、.zip后缀类型的日志文件，且不支持采集日志文件的软链接。
- 采集容器文件日志时，若节点存储模式为Device Mapper模式，路径配置必须为节点数据盘挂载路径。
- 若容器运行时为containerd模式，容器标准输出日志中的多行配置暂不生效。(插件1.3.0及以上版本没有该限制)
- 如果业务容器的数据目录是通过数据卷（Volume）挂载的，插件不支持采集它的父目录，需设置采集目录为完整的数据目录。
- 当容器存活时间低于1分钟时，日志无法及时采集，可能存在日志丢失的情况。
费用说明
LTS创建日志组免费，并每月赠送每个账号一定量免费日志采集额度，超过免费额度部分将产生费用（价格计算器）。
通过控制台配置日志采集
- 启用云原生日志采集插件日志采集功能
在集群创建时启用云原生日志采集插件日志采集
- 登录云容器引擎（CCE）控制台。
- 在控制台上方导航栏，单击“购买集群”。
- 在“插件选择”页面中，选择“云原生日志采集插件”。
- 单击右下角“下一步：插件配置”，根据需求勾选以下配置。
- 容器日志：开启后，将创建名为default-stdout的日志策略，并上报所有命名空间下的标准输出到云日志服务（LTS）。
- Kubernetes事件：开启后，将创建名为default-event的日志策略，并上报所有命名空间下的Kubernetes事件到云日志服务（LTS）。
- 配置完成后，单击右下角“下一步：确认配置”，在弹出的窗口中单击“确定”，完成创建。
为已有集群启用CCE 云原生日志采集插件日志采集
- 登录云容器引擎（CCE）控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。
- 未进行授权的用户需要先授权，已授权的用户直接跳转下一步。
图1 添加授权
- 页面单击“开启”，等待约30秒后，页面自动跳转。
图2 开启
- 采集容器标准输出：开启后，将创建名为default-stdout的日志策略，并上报所有命名空间下的标准输出到云日志服务（LTS）。
- 采集Kubernetes事件：开启后，将创建名为default-event的日志策略，并上报所有命名空间下的Kubernetes事件到云日志服务（LTS）。
- 采集插件日志（NGINX Ingress控制器容器标准输出）：需要安装NGINX Ingress控制器插件，并在插件中开启“日志采集”功能。
开启后，将创建名为default-nginx-ingress的日志策略，并上报所有命名空间下带有采集标签的nginx-ingress容器标准输出到云日志服务（LTS）。
- 查看并配置日志采集策略。
- 登录云容器引擎（CCE）控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。
- 右上角单击“日志采集策略”，将显示当前集群所有上报LTS的日志策略。
图3 查看日志策略
- 单击上方“创建日志采集策略”。
策略模板：若启用日志采集功能时未开启CCE默认提供的日志采集策略，或者删除了默认的日志采集策略，可通过该方式重新创建。
自定义策略：用于配置自定义日志策略。
图4 自定义策略
- 不同日志类型的日志采集策略，建议选择不同的日志流上报日志，避免日志混乱。
- 容器/节点文件日志路径配置要求如下：
- 日志目录：请填写绝对路径，如/log。文件路径必须以/ 开头，只能包含大写字母、小写字母、数字或特殊字符-_/*?，且长度不能超过512个字符。
- 日志文件名：文件名称只能包含大写字母、小写字母、数字或特殊字符-_*?.。且不支持.gz、.tar、.zip后缀类型。
目录名和文件名支持完整名称和通配符模式，最多有三级目录采用通配符匹配，且第一级目录不能使用通配符。通配符只支持星号（*）和半角问号（?）。星号（*）表示匹配多个任意字符。半角问号（?）表示匹配单个任意字符。例如：
- 日志路径为/var/logs/*，文件名为*.log，则匹配表达式为/var/logs/*/*.log，表示匹配/var/logs下的所有一级目录中后缀名为.log的文件。注意，该表达式无法匹配/var/logs当前目录以及/var/logs下多级目录中后缀名为.log的文件。
- 日志路径为 /var/logs/app_*，文件名为*.log，表示/var/logs目录下所有符合app_*格式的目录中后缀名为.log的文件。
表1 自定义策略参数说明 参数
配置说明
日志类型
容器标准输出：用于采集容器标准输出，可以按命名空间、工作负载名称、实例标签配置采集策略。
容器文件日志：用于采集容器内的日志，可以指定工作负载或指定实例标签配置采集策略。
节点文件日志：用于采集节点上的日志文件，一条日志策略只能配置一个文件路径。
日志源
- 所有容器：可以指定采集某个命名空间的所有容器，如不指定则采集所有命名空间的容器。
- 指定工作负载：指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
- 指定实例标签：根据标签指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
- 指定工作负载：指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
- 指定实例标签：根据标签指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
采集容器文件日志时，还需指定容器中的日志路径，详情请参见文件日志路径配置要求。
路径配置：用于配置需要采集的日志路径，详情请参见文件日志路径配置要求。
日志格式
- 单行文本
每条日志仅包含一行文本，以换行符 \n 作为各条日志的分界线。
- 多行文本
有些程序打印的日志存在一条完整的日志数据跨占多行（例如 Java 程序日志）情况，日志采集系统默认是按行采集。如果您想在日志采集系统中按整条显示日志，可以开启多行文本，采用首行正则的方式进行匹配，当选择多行文本时，需填写“日志匹配格式”。
例如，假设采集的日志格式如下，每条日志以日期开头但是占据三行，则可在“日志匹配格式”处填写时间的正则匹配，如\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}.*
在采集日志时，以日期开头三行日志会作为一条完整日志。2022-01-01 00:00:00 Exception in thread "main" java.lang.RuntimeException: Something has gone wrong, aborting! at com.myproject.module.MyProject.badMethod(MyProject.java:22) at com.myproject.module.MyProject.oneMoreMethod(MyProject.java:18)
上报到云日志服务(LTS)
用于配置日志上报的日志组和日志流。
- 使用默认日志组/日志流：将为您自动选择默认日志组（k8s-log-{集群ID}）和默认的日志流（stdout-{集群ID}）。
- 自定义日志组/日志流：可在下拉框选择任意日志组和日志流。
- 日志组：云日志服务进行日志管理的基本单位。如果您未创建日志组，CCE会提示您进行创建，默认名称为k8s-log-{集群ID}，如 k8s-log-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3。
- 日志流：日志读写的基本单位，日志组中可以创建日志流，将不同类型的日志分类存储，方便对日志进一步分类管理。在安装插件或者根据模板创建日志策略时，会自动创建以下日志流：
容器日志：默认名称为stdout-{集群ID}，如 stdout-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3
k8s事件：默认名称为event-{集群ID}，如 event-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3
NGINX Ingress控制器日志：默认名称为cceaddon-nginx-ingress-{集群ID}，如 cceaddon-nginx-ingress-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3
- 查看日志。
- 登录云容器引擎（CCE）控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。
- 日志中心下有多个页签，支持不同类型日志查看。
- 容器日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（stdout-{集群ID}）中的所有日志数据，支持通过工作负载搜索。
图5 容器日志查询
- Kubernetes事件：显示默认日志组（k8s-log-{集群ID}）下默认日志流（event-{集群ID}）中的所有日志数据，用于查询集群产生的Kubernetes事件。
- 控制面组件日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（{组件名}-{集群ID}）中的所有日志数据，用于查看集群控制面重要组件的日志信息。
- 控制面审计日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流audit-{集群ID}）中的所有日志数据，用于查看集群控制面审计日志信息。
- 全局日志查询：支持查看所有日志组日志流下的日志信息。可通过选择日志流查看所选日志流中的日志信息，默认会选择集群默认日志组（k8s-log-{集群ID}），可通过单击切换日志组右侧的图标切换其他日志组。
图6 全局日志查询
- 插件日志：显示默认日志组（k8s-log-{集群ID}）下的插件上报的日志数据，用于查看集群插件日志信息。
- 容器日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（stdout-{集群ID}）中的所有日志数据，支持通过工作负载搜索。
- 单击右上角“日志采集策略”，单击“查看日志”，可以直接跳转至对应日志策略的日志列表。
图7 查看日志
通过YAML配置日志采集
云原生日志采集插件版本要求为1.6.1及以上。
- 请参见通过kubectl连接集群，使用kubectl连接集群。
- 创建名为“log-config.yaml”的YAML文件，此处文件名可自定义。
vi log-config.yaml
YAML配置示例如下，详细字段说明请参见表2：
- 场景一：采集指定所有工作负载的标准输出
apiVersion: logging.openvessel.io/v1 kind: LogConfig metadata: name: test-log-01 # 规则名称按需修改 namespace: kube-system # 采集规则命名空间，固定为kube-system spec: inputDetail: # 输入配置 type: container_stdout # 输入类型，container_stdout表示标准输出 containerStdout: # 标准输出相关配置，仅当type为container_stdout时生效，其他type无需该字段 allContainers: true # 是否采集所有容器 namespaces: [] # 命名空间数组，仅在allContainers为true时生效，采集指定命名空间内的容器标准输出，空数组表示采集所有命名空间容器标准输出 outputDetail: # 输出配置 type: LTS # 输出类型，固定LTS LTS: ltsGroupID: abf5f0ad-627e-41cc-8d3f-61c9e1f57f5a # LTS日志组ID，指定的ID必须存在 ltsStreamID: f7ed71e9-6b9d-4ba3-86e4-b1b9d22ef4fb # LTS日志流ID，指定的ID必须存在
- 场景二：采集指定工作负载的容器内日志
apiVersion: logging.openvessel.io/v1 kind: LogConfig metadata: name: test-log-02 # 规则名称按需修改 namespace: kube-system # 采集规则命名空间，固定为kube-system spec: inputDetail: # 输入配置 type: container_file # 输入类型，container_file表示容器内日志文件 containerFile: # 容器内文件日志相关配置，仅当type为container_file时生效，其他type无需该字段 workloads: # 工作负载信息需要按照实际情况修改 - namespace: monitoring # 工作负载所属命名空间 kind: Deployment # 工作负载类型，支持Deployment、DaemonSet、StatefulSet、Job、CronJob name: prometheus-lightweight # 工作负载名称 container: prometheus # 容器名称 files: - logPath: "/var/log" # 日志目录，绝对路径 filePattern: "*.log" # 日志文件名，支持通配 processors: # 多行日志定义，若不需要多行，可直接删除processors部分 type: multiline # 日志类型，可选字段，支持singleline、multiline，默认为singleline multilineRegulation: '\d+:\d+:\d+.*?' # 多行正则表达式，可选字段，类型为multiline时有效 outputDetail: # 输出配置 type: LTS # 输出类型，固定LTS LTS: ltsGroupID: abf5f0ad-627e-41cc-8d3f-61c9e1f57f5a # LTS日志组ID，指定的ID必须存在 ltsStreamID: f7ed71e9-6b9d-4ba3-86e4-b1b9d22ef4fb # LTS日志流ID，指定的ID必须存在
- 场景三：采集携带指定标签的Pod的容器内日志
apiVersion: logging.openvessel.io/v1 kind: LogConfig metadata: name: test-log-03 # 规则名称按需修改 namespace: kube-system # 采集规则命名空间，固定为kube-system spec: inputDetail: # 输入配置 type: container_file # 输入类型，container_file表示容器内日志文件 containerFile: # 容器内文件日志相关配置，仅当type为container_file时生效，其他type无需该字段 podLabels: # podLabels信息需要参照CRD说明按照实际情况修改 - includeLabels: # 标签集合，包含以下Labels的Pod会被采集，至少需要指定一个，注意是Pod标签不是工作负载的标签 foo: bar namespaces: # 命名空间，数组类型，空数组表示所有命名空间 - monitoring - kube-system containers: [] # 指定容器名称，数组类型，空数组表示所有容器 files: - logPath: "/var/log" # 日志目录，绝对路径 filePattern: "*.log" # 日志文件名，支持通配 outputDetail: # 输出配置 type: LTS # 输出类型，固定LTS LTS: ltsGroupID: abf5f0ad-627e-41cc-8d3f-61c9e1f57f5a # LTS日志组ID，指定的ID必须存在 ltsStreamID: f7ed71e9-6b9d-4ba3-86e4-b1b9d22ef4fb # LTS日志流ID，指定的ID必须存在
- 场景四：采集主机目录的日志
apiVersion: logging.openvessel.io/v1 kind: LogConfig metadata: name: test-log-04 # 规则名称按需修改 namespace: kube-system # 采集规则命名空间，固定为kube-system spec: inputDetail: # 输入配置 type: host_file # 输入类型，host_file表示节点日志文件 hostFile: # 主机文件日志相关配置，仅当type为host_file时生效，其他type无需该字段 file: logPath: "/var/log" # 日志目录，绝对路径，按需修改 filePattern: "messages" # 日志文件，支持通配，按需修改 outputDetail: # 输出配置 type: LTS # 输出类型，固定LTS LTS: ltsGroupID: abf5f0ad-627e-41cc-8d3f-61c9e1f57f5a # LTS日志组ID，指定的ID必须存在 ltsStreamID: f7ed71e9-6b9d-4ba3-86e4-b1b9d22ef4fb # LTS日志流ID，指定的ID必须存在
表2 参数说明 参数
类型
描述
示例
spec.inputDetail.type
String
输入类型，支持以下参数值：
- container_stdout：表示采集标准输出，需要和containerStdout字段搭配使用。
- container_file：表示采集容器内日志文件，需要和containerFile字段搭配使用。
- host_file：表示采集节点日志文件，需要和hostFile字段搭配使用。
-
spec.inputDetail.containerStdout
Object
标准输出相关配置，仅当type为container_stdout时生效，其他type无需该字段。
包含以下字段：
- allContainers：是否采集所有容器。true表示采集所有容器，需指定namespaces字段；false表示采集指定工作负载，需指定workloads字段。
- namespaces：命名空间数组，仅在allContainers为true时生效。采集指定命名空间内的容器标准输出，空数组表示采集所有命名空间容器标准输出。
- workloads：指定工作负载采集，数组类型，仅在allContainers为false时生效。
- namespace：工作负载所属命名空间。
- kind：工作负载类型，支持Deployment、DaemonSet、StatefulSet、Job、CronJob。
- name：工作负载名称。
- containers：指定容器名称，数组类型，空数组表示所有容器。
- podLabels：指定Pod标签采集，数组类型，仅在allContainers为false且workloads数组为空时生效。
- includeLabels：标签集合，包含以下Labels的Pod会被采集，至少需要指定一个。注意是Pod标签不是工作负载的标签。
- namespaces：命名空间，数组类型，空数组表示所有命名空间。
- containers：指定容器名称，数组类型，空数组表示所有容器。
示例一：采集某个命名空间下的所有容器标准输出
... spec: inputDetail: type: container_stdout containerStdout: allContainers: true namespaces: - monitoring ...示例二：采集指定工作负载标准输出
... spec: inputDetail: type: container_stdout containerStdout: allContainers: false workloads: - namespaces: monitoring kind: Deployment name: prometheus-lightweight container: prometheus ...示例三：采集指定Pod标准输出
... spec: inputDetail: type: container_stdout containerStdout: allContainers: false workloads: [] podLabels: - includeLabels: foo: bar namespaces: - monitoring containers: [] ...spec.inputDetail.containerFile
Object
容器内文件日志相关配置，仅当type为container_file时生效，其他type无需该字段。
包含以下字段：
- workloads：指定工作负载采集，数组类型。
- podLabels：指定Pod标签采集，数组类型，仅在workloads为空时生效。
示例一：采集指定工作负载容器内文件
... spec: inputDetail: type: container_file containerFile: workloads: - namespaces: monitoring kind: Deployment name: prometheus-lightweight container: prometheus files: - logPath: "/var/log" filePattern: "*.log" ...示例二：采集指定Pod容器内文件
... spec: inputDetail: type: container_file containerFile: workloads: [] podLabels: - includeLabels: foo: bar namespaces: - monitoring containers: [] files: - logPath: "/var/log" filePattern: "*.log" ...spec.inputDetail.hostFile
Object
主机文件日志相关配置，仅当type为host_file时生效，其他type无需该字段。
- file：
- logPath：日志目录，绝对路径，例如"/var/log"。
- filePattern：日志文件名，支持通配，例如"*.log"。
... spec: inputDetail: type: host_file hostFile: files: logPath: "/var/log" filePattern: "*.log" ...spec.inputDetail.processors
Object
- type：日志类型，可选字段，支持singleline、multiline，默认为singleline。
- multilineRegulation：多行正则表达式，可选字段，类型为multiline时有效。
... processors: type: multiline multilineRegulation: '\d+:\d+:\d+.*?' ...spec.outputDetail.type
String
输出类型，固定值为LTS。
-
spec.outputDetail.LTS
Object
支持以下字段：
- ltsGroupID：LTS日志组ID，指定的ID必须存在。
- ltsStreamID：LTS日志流ID，指定的ID必须存在。
- ltsStreamName：LTS日志流名称，若指定的日志流名称不存在，则会自动创建。
- ltsStreamCreateParam：日志流创建参数，可选字段，仅在指定ltsStreamName且自动创建LTS日志流时生效。
- enterpriseProjectID：LTS日志组企业项目ID，可选字段，未指定则使用集群所属的企业项目ID。
示例一：指定已有的日志组ID和日志流ID
... LTS: ltsGroupID: ***** ltsStreamID: *****示例二：指定已有的日志组ID，并指定已有的日志流名称
... LTS: ltsGroupID: ***** ltsStreamName: test-stream-name-1示例三：指定已有的日志组ID，并指定不存在的日志流名称，自动创建日志流
... LTS: ltsGroupID: ***** ltsStreamName: test-stream-name-2 ltsStreamCreateParam: enterpriseProjectID: "" - 场景一：采集指定所有工作负载的标准输出
- 创建LogConfig。
kubectl create -f log-config.yaml
回显如下，表示LogConfig已创建。
logconfig.logging.openvessel.io/test-log-xx created
- 查看已创建的LogConfig。
kubectl get LogConfig -n kube-system
回显如下，表示日志采集策略创建成功。NAME AGE test-log-xx 30s
