ServiceStage容器应用日志接入LTS

前提条件

• 已安装ICAgent并添加至主机组。
• 已创建ServiceStage应用。详细操作请参考创建应用。
• 已创建ServiceStage环境。详细操作请参考创建环境。
• 已创建ServiceStage组件。详细操作请参考创建组件。
• 开启“ICAgent诊断开关”用于查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控，请参考设置ICAgent日志采集开关。

使用限制

• 支持容器引擎为Docker的CCE集群节点。
• 支持使用Containerd作为容器引擎的CCE集群节点（ICAgent 5.12.130及以上版本）。
• 容器内的日志目录如果已挂载到主机目录上，将无法通过配置容器文件路径方式采集到LTS，只能通过配置节点文件路径方式采集到LTS。
• Docker存储驱动限制：容器文件日志采集目前仅支持overlay2存储驱动，不支持devicemapper作为存储驱动的节点。查看存储驱动类型，请使用如下命令：

  docker info | grep "Storage Driver" 

步骤1：选择日志流

1. 登录云日志服务控制台。
2. 在左侧导航栏中，选择“接入 > 接入中心”，单击自建软件下的“ServiceStage-容器应用日志”进行ServiceStage接入配置。

   或在左侧导航栏中，选择“接入 > 接入管理 > 接入日志”，单击“ServiceStage-容器应用日志”进行ServiceStage接入配置。

   或在左侧导航栏中，选择“日志管理”，单击目标日志流的名称进入日志详情页面。单击右上角，在弹出页面中，选择“日志接入”页签，单击“接入日志”，在弹出页面中，单击自建软件下的“ServiceStage-容器应用日志”进行ServiceStage接入配置。

3. 在选择日志流页面，设置如下参数。
   1. 选择ServiceStage应用、ServiceStage环境。
   2. 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。
   3. 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。
4. 单击“下一步：检查依赖项”。

步骤2：检查依赖项

1. 系统自动检查是否存在自定义标识符为k8s-log-应用ID的主机组。
   如果不符合要求，需单击“自动修复”按钮进行修复，否则将无法进行下一步操作。

   

   • 自动修复：一键帮您完成内容检查项配置。
   • 重新检查：重新检查依赖项。
2. 单击“下一步：选择主机组（可选）”。

步骤3：选择主机组（可选）

1. 在主机组列表中，选择一个或多个需要采集日志的主机组。

   若没有所需的主机组，单击左上方“新建”，在弹出的新建主机组页面中，新建主机组。

2. 单击“下一步：采集配置”。

步骤4：采集配置

在ServiceStage容器应用日志接入时，采集配置的具体配置如下：

1. 采集配置名称：自定义采集配置名称，长度范围为1到64个字符，只支持输入英文、数字、中文、中划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。
2. 数据源配置：选择数据源类型，进行对应的数据源配置。支持的数据源类型有容器标准输出、容器文件路径、节点文件路径和K8S事件。

   表1 采集配置参数表

   类型	参数配置
   容器标准输出	采集集群内指定容器日志，仅支持Stderr和Stdout的日志。采集容器标准输出（stdout）和采集容器标准错误（stderr）两者必须得有一个是开启状态。 开启采集容器标准错误（stderr）后，选择采集目标路径：将标准输出和标准错误采集到不同的文件（stdout.log和stderr.log）、将标准输出和标准错误采集到同一个文件（stdout.log）。 被匹配上的容器的标准输出会采集到指定的日志流，原先采集到的AOM的标准输出会停止采集。 容器标准输出不能重复配置，即使跨日志组和日志流，也只能配置一次。
   容器文件路径	采集集群内指定容器内的文件日志。 路径配置：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集。 说明： 当CCE集群的工作负载中，已配置容器的挂载路径时，此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后，该配置才有效。 允许文件多次采集。（暂不支持Windows场景） 开启“允许文件多次采集”后，同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本，详见查看ICAgent版本说明。 关闭“允许文件多次采集”后，采集路径不能重复配置，即同一主机下的同一日志文件，即使跨日志流，也只能配置一次。 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。
   节点文件路径	采集集群内指定节点的文件。 路径配置：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集。 说明： 采集路径不能重复配置，即同一个主机下的同一路径，即使跨日志组和日志流，也只能配置一次。 允许文件多次采集。（暂不支持Windows场景） 开启“允许文件多次采集”后，同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本，详见查看ICAgent版本说明。 关闭“允许文件多次采集”后，采集路径不能重复配置，即同一主机下的同一日志文件，即使跨日志流，也只能配置一次。 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。
   K8S事件	采集K8S集群内的事件日志。无需设置参数，仅支持icagent 5.12.150 及以上版本。 说明： K8S事件不能重复配置，即一个K8S集群的K8S事件，只能配置接入到一个日志流。

3. 当数据源类型选择容器标准输出和容器文件路径时，需要设置ServiceStage匹配规则，在下拉框选择对应组件。
4. 开启结构化解析配置，详细操作请参考ICAgent结构化解析规则说明。

   支持组合解析，一个日志流的每个采集配置可以配置不同的结构化解析规则。

   

   若已经配置了云端结构化解析，请先删除云端结构化解析后再配置ICAgent结构化解析。

   图1 ICAgent结构化解析配置
   
5. 其他配置。

   表2 其他配置

   名称	说明
   最大目录深度	最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配，该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log，采集路径配置为：/var/logs/**/a.log，当配置为1时日志不会被采集，配置>=2时日志会被采集。
   日志拆分	云日志服务支持对日志进行拆分。 当日志大小超过500KB时，开启日志拆分按钮，则单行日志会被拆分为多行采集。支持设置日志拆分大小，最大为1024KB。例如：日志大小为600KB，被拆分为2行日志采集，第一行500KB，第二行100KB。 当日志大小超过500KB时，未开启日志拆分按钮，则单条日志大小限制不超过500KB，超过限制部分会被截断丢弃。
   采集二进制文件	云日志服务支持采集二进制文件。 您可以通过命令（file -i 文件名）查看文件类型，如果包含charset=binary，那么该日志文件就是二进制文件。 当日志的文件类型为二进制时，开启采集二进制文件按钮，则对接入的二进制文件日志进行采集，但仅支持UTF8编码的字符串，非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时，未开启采集二进制文件按钮，则对接入的二进制文件日志停止采集，开启后即可进行采集。
   日志文件编码	日志文件编码支持UTF-8、GBK（暂不支持Windows场景）。 UTF-8编码是一种变长编码方式，用于表示Unicode字符集。GBK全称《汉字内码扩展规范》，中文计算机编码的一种，是ASCII码和GB2312编码的扩展。
   采集策略	采集策略支持增量或全量。 增量采集：ICAgent采集新文件时，从文件的末尾开始读。 全量采集：ICAgent采集新文件时，从文件的开头开始读。
   自定义元数据	关闭“自定义元数据”，使用ICAgent系统默认配置的字段上报到LTS，不需要用户配置且ICAgent系统不支持配置。 开启“自定义元数据”，根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段：勾选需要设置的内置字段。 自定义键值对：单击“添加”，输入键值key和键值Value。

6. 参考表3设置日志格式、日志时间。

   表3 日志采集信息

   名称	说明
   日志格式	单行日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 多行日志：采集的日志中包含像java异常的日志，如果您希望多行异常的日志显示为一条日志，正常的日志每一行都显示为一条单独的日志数据，则选择多行日志，方便您查看日志并且定位问题。
   日志时间	系统时间：表示系统当前时间，默认为日志采集时间，每条日志的行首显示日志的采集时间。 说明： 日志采集时间：ICAgent采集日志，并且发送到云日志服务的时间。 日志打印时间：系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制：系统时间的前后24小时内。
   	时间通配符：用日志打印时间来标识一条日志数据，通过时间通配符来匹配日志，每条日志的行首显示日志的打印时间。 如果日志中的时间格式为：2019-01-01 23:59:59.011，时间通配符应该填写为：YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为：19-1-1 23:59:59.011，时间通配符应该填写为：YY-M-D hh:mm:ss.SSS。 说明： 如果日志中不存在年份信息，则云日志会自动补齐年份数据为当前年份数据。 填写示例： YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond（999） hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
   分行模式	日志格式选择多行日志时，需要选择分行模式，分行模式选择“日志时间”时，是以时间通配符来划分多行日志；当选择“正则模式”时，则以正则表达式划分多行日志。
   正则表达式	此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。

步骤5：索引配置

1. 索引配置（可选项），具体请参考设置LTS日志索引配置。
2. 单击“提交”。

步骤6：完成接入配置

批量设置多个接入配置

支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。

1. 在“接入管理”页面，单击“批量接入”，进入配置详情页面，请参考表4。

   表4 批量接入设置

   类型	操作	说明
   基本配置	接入类型	选择ServiceStage-容器应用日志。
   	接入配置数量	在输入框填写接入配置数量，单击“添加接入配置”。 在接入配置下方默认已有1个接入配置，最多支持再添加99个数量，因此支持同时添加100个接入配置。
   接入配置	接入列表	左侧显示接入配置的信息，最多支持添加99个配置。 右侧显示配置接入的内容，详细请参考步骤4：采集配置进行设置。 一个接入配置设置完成后，单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。

2. 单击“参数检查”，检查成功后，单击“提交”，批量接入设置完成。

   例如添加了4个接入配置，批量创建成功后，在接入规则页签下方，就会显示4条接入配置数量。

3. （可选）支持对接入配置任务进行以下操作：
   • 勾选多个已创建成功的接入配置，单击“批量编辑”进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。
   • 勾选多个已创建成功的接入配置，单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。
   • 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。