文档首页> 云容器引擎 CCE> 用户指南> Standard和Turbo集群用户指南> 可观测性> 日志中心> 收集容器日志> 通过云原生日志采集插件采集容器日志
更新时间：2024-04-25 GMT+08:00
查看PDF

通过云原生日志采集插件采集容器日志

约束与限制

  • 每个集群最多支持创建50条日志规则。
  • 云原生日志采集插件不会采集.gz、.tar、.zip后缀类型的日志文件，且不支持采集日志文件的软链接。
  • 采集容器文件日志时，若节点存储模式为Device Mapper模式，路径配置必须为节点数据盘挂载路径。
  • 若容器运行时为containerd模式，容器标准输出日志中的多行配置暂不生效。(插件1.3.0及以上版本没有该限制)
  • 如果业务容器的数据目录是通过数据卷（Volume）挂载的，插件不支持采集它的父目录，需设置采集目录为完整的数据目录。
  • 当容器存活时间低于1分钟时，日志无法及时采集，可能存在日志丢失的情况。

费用说明

LTS创建日志组免费，并每月赠送每个账号一定量免费日志采集额度，超过免费额度部分将产生费用（价格计算器）。

使用云原生日志采集插件采集日志

  1. 启用云原生日志采集插件日志采集功能

    在集群创建时启用云原生日志采集插件日志采集

    1. 登录云容器引擎（CCE）控制台。
    2. 在控制台上方导航栏，单击“购买集群”。
    3. 在“插件选择”页面中，选择“云原生日志采集插件”。
    4. 单击右下角“下一步：插件配置”，根据需求勾选以下配置。
      • 容器日志：开启后，将创建名为default-stdout的日志策略，并上报所有命名空间下的标准输出到云日志服务（LTS）。
      • Kubernetes事件：开启后，将创建名为default-event的日志策略，并上报所有命名空间下的Kubernetes事件到云日志服务（LTS）。
    5. 配置完成后，单击右下角“下一步：确认配置”，在弹出的窗口中单击“确定”，完成创建。

    为已有集群启用CCE 云原生日志采集插件日志采集

    1. 登录云容器引擎（CCE）控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。
    2. 未进行授权的用户需要先授权，已授权的用户直接跳转下一步。

      在弹出框中单击“确认授权”。

    3. 页面单击“一键开启”，等待约30秒后，页面自动跳转。

      采集容器标准输出：开启后，将创建名为default-stdout的日志策略，并上报所有命名空间下的标准输出到云日志服务（LTS）。

      采集Kubernetes事件：开启后，将创建名为default-event的日志策略，并上报所有命名空间下的Kubernetes事件到云日志服务（LTS）。

  2. 查看并配置日志采集策略。

    1. 登录云容器引擎（CCE）控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。
    2. 右上角单击“日志采集策略”，将显示当前集群所有上报LTS的日志策略。
      图1 查看日志策略

      若启用日志采集功能时勾选了采集容器标准输出和采集Kubernetes事件，将创建两个日志策略，并对接默认的LTS日志组、日志流。

      • default-stdout

        采集标准输出。默认日志组：k8s-logs-{集群ID}；默认日志流：stdout-{集群ID}

      • default-event

        采集Kubernetes事件。默认日志组：k8s-logs-{集群ID}；默认日志流：event-{集群ID}

    3. 创建日志策略：单击上方“创建日志策略”，输入要采集的配置信息。

      策略模板：若启用日志采集功能时未勾选采集容器标准输出和采集Kubernetes事件，或者删除了对应的日志策略，可通过该方式重新创建默认日志策略。

      图2 使用策略模板

      自定义策略：用于配置自定义日志策略。

      图3 自定义策略
      • 不同日志类型的日志采集策略，建议选择不同的日志流上报日志，避免日志混乱。
      • 容器/节点文件日志路径配置要求如下：
        • 日志目录：请填写绝对路径，如/log。文件路径必须以/ 开头，只能包含大写字母、小写字母、数字或特殊字符-_/*?，且长度不能超过512个字符。
        • 日志文件名：文件名称只能包含大写字母、小写字母、数字或特殊字符-_*?.。且不支持.gz、.tar、.zip后缀类型。

        目录名和文件名支持完整名称和通配符模式，最多有三级目录采用通配符匹配，且第一级目录不能使用通配符。通配符只支持星号（*）和半角问号（?）。星号（*）表示匹配多个任意字符。半角问号（?）表示匹配单个任意字符。例如：

        • 日志路径为/var/logs/*，文件名为*.log，表示/var/logs下所有目录中后缀名为.log的文件。
        • 日志路径为 /var/logs/app_*，文件名为*.log，表示/var/logs目录下所有符合app_*格式的目录中后缀名为.log的文件。
      表1 自定义策略参数说明

      参数

      配置说明

      日志类型

      容器标准输出：用于采集容器标准输出，可以按命名空间、工作负载名称、实例标签配置采集策略。

      容器文件日志：用于采集容器内的日志，可以指定工作负载或指定实例标签配置采集策略。

      节点文件日志：用于采集节点上的日志文件，一条日志策略只能配置一个文件路径。

      日志源
      • 所有容器：可以指定采集某个命名空间的所有容器，如不指定则采集所有命名空间的容器。
      • 指定工作负载：指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
      • 指定实例标签：根据标签指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
      • 指定工作负载：指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。
      • 指定实例标签：根据标签指定采集哪些工作负载容器的日志，可以指定采集工作负载中具体容器的日志，如不指定则采集所有容器的日志。

      采集容器文件日志时，还需指定容器中的日志路径，详情请参见文件日志路径配置要求。

      路径配置：用于配置需要采集的日志路径，详情请参见文件日志路径配置要求。

      日志格式
      • 单行文本

        每条日志仅包含一行文本，以换行符 \n 作为各条日志的分界线。

      • 多行文本

        有些程序打印的日志存在一条完整的日志数据跨占多行（例如 Java 程序日志）情况，日志采集系统默认是按行采集。如果您想在日志采集系统中按整条显示日志，可以开启多行文本，采用首行正则的方式进行匹配，当选择多行文本时，需填写“日志匹配格式”。

        例如，假设采集的日志格式如下，每条日志以日期开头但是占据三行，则可在“日志匹配格式”处填写时间的正则匹配，如\d{4}-\d{2}-\d{2} \d{2}\:\d{2}\:\d{2}.*

        在采集日志时，以日期开头三行日志会作为一条完整日志。 
        2022-01-01 00:00:00 Exception in thread "main" java.lang.RuntimeException: Something has gone wrong, aborting!
at com.myproject.module.MyProject.badMethod(MyProject.java:22)
at com.myproject.module.MyProject.oneMoreMethod(MyProject.java:18)

      上报到云日志服务(LTS)

      用于配置日志上报的日志组和日志流。

      • 使用默认日志组/日志流：将为您自动选择默认日志组（k8s-log-{集群ID}）和默认的日志流（stdout-{集群ID}）。
      • 自定义日志组/日志流：可在下拉框选择任意日志组和日志流。
        • 日志组：云日志服务进行日志管理的基本单位。如果您未创建日志组，CCE会提示您进行创建，默认名称为k8s-log-{集群ID}，如 k8s-log-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3。
        • 日志流：日志读写的基本单位，日志组中可以创建日志流，将不同类型的日志分类存储，方便对日志进一步分类管理。在安装插件或者根据模板创建日志策略时，会自动创建以下日志流：

          容器日志：默认名称为stdout-{集群ID}，如 stdout-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3

          k8s事件：默认名称为event-{集群ID}，如 event-bb7eaa87-07dd-11ed-ab6c-0255ac1001b3
    4. 编辑日志策略：单击“编辑”按钮，可对已经存在的日志策略进行修改。
    5. 删除日志策略：单击“删除”按钮，可对已经存在的日志策略进行删除。

  3. 查看日志。

    1. 登录云容器引擎（CCE）控制台，单击集群名称进入集群，选择左侧导航栏的“日志中心”。
    2. 日志中心下有5个页签，支持不同类型日志查看。
      • 容器日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（stdout-{集群ID}）中的所有日志数据，支持通过工作负载搜索。
        图4 容器日志查询
      • Kubernetes事件：显示默认日志组（k8s-log-{集群ID}）下默认日志流（event-{集群ID}）中的所有日志数据，用于查询集群产生的Kubernetes事件。
      • 控制面组件日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流（{组件名}-{集群ID}）中的所有日志数据，用于查看集群控制面重要组件的日志信息。
      • 控制面审计日志：显示默认日志组（k8s-log-{集群ID}）下默认日志流audit-{集群ID}）中的所有日志数据，用于查看集群控制面审计日志信息。
      • 全局日志查询：支持查看所有日志组日志流下的日志信息。可通过选择日志流查看所选日志流中的日志信息，默认会选择集群默认日志组（k8s-log-{集群ID}），可通过单击切换日志组右侧的图标切换其他日志组。
        图5 全局日志查询
    3. 单击右上角“日志采集策略”，单击“查看日志”，可以直接跳转至对应日志策略的日志列表。
      图6 查看日志

父主题： 收集容器日志