更新时间:2023-12-01 GMT+08:00

CCE接入

云日志服务支持云容器引擎(Cloud Container Engine)日志接入。

前提条件

使用限制

  • 目前不支持ServiceStage托管场景。
  • 支持容器引擎为Docker的CCE集群节点。
  • 支持使用Container作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。
  • 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。
  • Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令:
    docker info | grep "Storage Driver" 
  • 如果选择日志流时,采集方式为采集到集中日志流时,则必须已创建CCE集群。

操作步骤

云日志服务接入方式选择CCE接入时,按照如下操作完成接入配置。

  1. 登录云日志服务控制台。
  2. 在左侧导航栏中,选择“日志接入”,单击“云容器引擎 CCE-应用日志”进行CCE接入配置。
  3. 选择日志流。

    有两种采集方式:采集到自定义日志流和采集到集中日志流,您可以根据实际情况选择采集方式。

    采集到自定义日志流

    1. 单击“CCE集群”后的目标框,在下拉列表中选择具体的集群。
    2. 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。
    3. 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。
    4. 单击“下一步:检查依赖项”。
      图1 采集到自定义日志流

    采集到集中日志流

    集中采集日志到一个固定的日志流。CCE集群默认有四种采集日志流,分别为标准输出/错误stdout-{ClusterID}、节点文件hostfile-{ClusterID}和容器文件containerfile-{ClusterID}。日志流名称会根据ClusterID自动命名,例如:集群ID为Cluster01,则标准输出/错误日志流为stdout-Cluster01。

    在一个CCE集群下可创建四条采集日志流,标准输出/错误stdout-{ClusterID}、节点文件hostfile-{ClusterID}、容器文件containerfile-{ClusterID}),如果某个日志组下,已创建某种采集日志流,则不会在其他日志组或当前日志组下再创建该日志流。

    1. 单击“CCE集群”后的目标框,在下拉列表中选择具体的集群。
    2. 默认所属日志组为k8s-log-集群ID,例如集群ID为c7f3f4a5-bcb8-11ed-a4ec-0255ac100b07,默认所属日志组为k8s-log-c7f3f4a5-bcb8-11ed-a4ec-0255ac100b07。

      当无该日志组时,系统会提示:暂无该日志组,后续操作中,系统将会为您自动创建,创建完成后日志会集中采集到该日志组中。

    3. 单击“下一步:检查依赖项”。
      图2 采集到集中日志流

  4. 检查依赖项。

    系统自动检查以下内容检查项是否符合要求:

    1. 已安装ICAgent,且版本 >= 5.12.130。
    2. 存在名称和自定义标识都是k8s-log-集群ID的主机组。
    3. 存在名为k8s-log-集群ID的日志组。
    4. 存在系统推荐的集中采集的日志流。当选择日志流为采集到集中日志流时,会进行该项内容检查。
    如果以上内容检查项中,有任意一项不符合要求,需单击“自动修复”按钮进行修复,否则将无法进行下一步操作。
    • 自动修复:一键帮您完成以上内容检查项配置。
    • 重新检查:重新检查依赖项。
    • 当选择日志流为采集到自定义日志流时,“存在名为k8s-log-集群ID的日志组”的检查项为可选项。您可以通过开启或关闭开关进行控制,确定是否进行该项检查。

  5. 选择主机组(可选)。

    1. 在主机组列表中选择一个或多个需要采集日志的主机组,若没有所需的主机组,单击列表左上方“新建”,在弹出的新建主机组页面创建新的主机组,具体可参考创建主机组(自定义标识)
      • 默认选择集群所在的主机组,您可以根据需要选择其他已创建的主机组。
      • 主机组可以为空,但是会导致采集配置不生效,建议第一次接入时选择主机组。若不选择,可以在接入配置设置完成后对主机组进行设置。
        • 在“主机管理 > 主机组”页面对主机组和接入配置进行关联。
        • 在接入配置详情中对主机组和接入配置进行关联。
    2. 单击“下一步:采集配置”。

  6. 采集配置。

    设置具体的采集规则,具体可参考采集配置

  7. 结构化配置(可选项)。

    结构化配置,具体请参考结构化配置。

    当所选日志流已配置结构化时,请谨慎执行删除操作。

  8. 单击“提交”,完成CCE接入。

采集配置

在使用CCE接入完成日志接入时,在采集配置页面的具体配置如下:

  1. 基本配置:自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。
  2. 数据源配置:选择数据源类型,进行对应的数据源配置。
    • 容器标准输出:采集集群内指定容器日志,仅支持Stderr和Stdout的日志。
      • 被匹配上的容器的标准输出会采集到指定的日志流,原先采集到的AOM的标准输出会停止采集。
      • 容器标准输出不能重复配置,即使跨日志组和日志流,也只能配置一次。
    • 容器文件路径:采集集群内指定容器内的文件路径日志。
    • 节点文件路径:采集集群内指定节点路径的文件。

      采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。

    表1 采集配置参数表

    类型

    参数配置

    容器标准输出

    采集容器标准输出到AOM、采集容器标准输出(stdout)和采集容器标准错误(stderr)。

    采集容器标准输出到AOM:默认集群下的主机已安装了ICAgent 且采集日志到AOM,采集容器标准输出到AOM的开关处于开启状态。开启后标准输出只会采集到AOM,不会采集到LTS,建议您手动关闭该开关。

    采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。

    容器文件路径

    • 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。
      说明:
      • 当CCE集群的工作负载中,已配置容器的挂载路径时,此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后,该配置才有效。
      • 采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。
    • 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。

    节点文件路径

    • 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。
      说明:

      采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。

    • 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。
  3. K8s匹配规则:当数据源类型选择容器标准输出和容器文件路径时,设置K8s匹配规则,非必选项。
    表2 K8s匹配规则

    参数名称

    参数说明

    K8s Namespace正则匹配

    通过Namespace名称指定采集的容器,支持正则匹配。
    说明:

    采集名称符合正则规则的Namespace的日志,为空时采集所有Namespace的日志。

    K8s Pod正则匹配

    通过Pod名称指定待采集的容器,支持正则匹配。

    说明:

    采集名称符合正则规则的Pod的日志,为空时采集所有Pod的日志。

    K8s容器名称正则匹配

    通过容器名称指定待采集的容器(Kubernetes容器名称是定义在spec.containers中),支持正则匹配。
    说明:

    采集名称符合正则规则的容器的日志,为空时采集所有容器的日志。

    容器Label白名单

    通过容器Label白名单指定待采集的容器。如果您要设置容器Label白名单,那么LabelKey必填,LabelValue可选填。
    说明:

    如果LabelValue为空,则容器Label中包含LabelKey的容器都匹配;如果LabelValue不为空,则容器Label中包含LabelKey=LabelValue的容器才匹配;多个白名单之间为或关系,即只要容器Label满足任一白名单即可被匹配。

    容器Label黑名单

    通过容器Label黑名单排除不采集的容器。如果您要设置容器Label黑名单,那么LabelKey必填,LabelValue可选填。
    说明:

    如果LabelValue为空,则容器Label中包含LabelKey的容器都被排除;如果LabelValue不为空,则容器Label中包含LabelKey=LabelValue的容器才会被排除;多个黑名单之间为或关系,即只要容器Label满足任一黑名单即可被排除。

    容器Label日志标签

    设置容器Label日志标签后,日志服务将在日志中新增容器Label相关字段。

    说明:

    设置容器 Label日志标签后,lts将在日志中新增相关字段。例如设置LabelKey为app,设置LabelValue为app_alias,当容器中包含app=lts时,将在日志中添加的内容{app_alias:lts}。

    环境变量白名单

    用于指定待采集的容器。如果您要设置环境变量白名单,那么Label Key必填,Label Value可选填。
    说明:

    如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都匹配;如果环境变量Value不为空,则容器环境变量中包含环境变量Key=环境变量Value的容器才被匹配;多个白名单之间为或关系,即只要容器的环境变量满足任一键值对即可被匹配。

    环境变量黑名单

    用于排除不采集的容器。如果您要设置环境变量黑名单,那么Label Key必填,Label Value可选填。
    说明:

    如果环境变量Value为空,则容器环境变量中包含环境变量Key的容器都将被排除;如果环境变量Value不为空,则容器环境变量中包含环境变量Key=环境变量Value的容器才会被排除;多个黑名单之间为或关系,即只要容器的环境变量满足任一键值对即可被排除。

    环境变量日志标签

    设置环境变量日志标签后,日志服务将在日志中新增环境变量相关字段。
    说明:

    设置环境变量日志标签后,lts将在日志中新增相关字段,例如设置环境变量Key为app,设置环境变量Value为app_alias,当容器中包含环境变量app=lts时,将在日志中添加的内容为{app_alias:lts}。

  4. 高级配置:日志格式、日志时间具体说明如下:
    表3 日志采集信息

    名称

    说明

    日志格式

    • 单行日志:采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。
    • 多行日志:采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。

    日志时间

    系统时间:表示系统当前时间,默认为日志采集时间,每条日志的行首显示日志的采集时间。

    说明:
    • 日志采集时间:ICAgent采集日志,并且发送到云日志服务的时间。
    • 日志打印时间:系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。
    • 采集日志时间限制:系统时间的前后24小时内。

    时间通配符:用日志打印时间来标识一条日志数据,通过时间通配符来匹配日志,每条日志的行首显示日志的打印时间。

    • 如果日志中的时间格式为:2019-01-01 23:59:59.011,时间通配符应该填写为:YYYY-MM-DD hh:mm:ss.SSS。
    • 如果日志中的时间格式为:19-1-1 23:59:59.011,时间通配符应该填写为:YY-M-D hh:mm:ss.SSS。
    说明:

    如果日志中不存在年份信息,则云日志会自动补齐年份数据为当前年份数据。

    填写示例:

    YY   - year (19)     
    YYYY - year (2019)  
    M    - month (1)     
    MM   - month (01)    
    D    - day (1)       
    DD   - day (01)        
    hh   - hours (23)     
    mm   - minutes (59)   
    ss   - seconds (59) 
    SSS  - millisecond(999)
    hpm     - hours (03PM)
    h:mmpm    - hours:minutes (03:04PM)
    h:mm:sspm  - hours:minutes:seconds (03:04:05PM)       
    hh:mm:ss ZZZZ (16:05:06 +0100)       
    hh:mm:ss ZZZ  (16:05:06 CET)       
    hh:mm:ss ZZ   (16:05:06 +01:00)

    分行模式

    日志格式选择多行日志时,需要选择分行模式,分行模式选择“日志时间”时,是以时间通配符来划分多行日志;当选择“正则模式”时,则以正则表达式划分多行日志。

    正则表达式

    此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。

    时间通配和正则表达式均是从每行日志的开头进行严格匹配,如果匹配不上,则会默认使用系统时间上报,这样可能会和文件内容中的时间不一致。如果没有特殊需求,建议使用单行日志-系统时间模式即可