# 云容器引擎CCE应用日志接入LTS 云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群。借助云容器引擎，您可以轻松部署、管理和扩展容器化应用程序。 云容器引擎CCE应用日志接入LTS后，在LTS控制台可以对收集到的日志进行统一管理和分析，帮助用户能够快速发现容器的问题，提高容器的性能和可靠性。还可以将日志报表进行可视化展示，从而更好地监控和管理容器化应用的运行状态。 您可以按照如下步骤完成接入配置。 [步骤1：选择日志流]：选择将日志存储到对应的日志流中，便于不同类型日志分类存储管理。 [步骤2：检查依赖项]：自动检查安装ICAgent、自定义标识符、日志组或日志流等检查项是否符合要求。 [步骤3：选择主机组（可选）]：选择日志接入的主机范围，主机组是为了便于分类管理、提升配置多个主机日志采集的效率，对主机进行虚拟分组的单位。可以将需要采集日志的一台或多台主机加入到同一个主机组中，再将该主机组关联至同一个接入配置中。 [步骤4：采集配置]：配置日志的采集路径、采集策略等。 [步骤5：索引配置]：索引是一种存储结构，用于对日志数据进行查询。通过配置索引后，可对日志进行查询和分析操作。 [步骤6：完成接入配置]：接入成功后，可以在接入列表进行任务的增删改查。 若需要采集多个场景的日志，您可以选择[批量设置多个接入配置]的方式，同时设置多个接入配置。 #### 操作视频 #### 前提条件 - CCE集群已安装ICAgent，详细操作请参考[容器场景管理ICAgent](https://support.huaweicloud.com/usermanual-lts/lts_07_1119.html)。 当前只支持在CCE Standard集群和Turbo集群上安装ICAgent。不支持在CCE Autopilot集群和CCE敏捷版集群上安装ICAgent。 （若没有提前安装ICAgent，配置CCE接入LTS时会自动检查修复安装ICAgent，因此推荐预先安装ICAgent，以避免CCE接入LTS时触发自动安装流程带来的等待时间。） - 将已安装ICAgent的CCE集群加入自定义标识类型的主机组，详细操作请参考[创建主机组（自定义标识）](https://support.huaweicloud.com/usermanual-lts/lts_02_1033.html#lts_02_1033__section6798040548)。 - 已关闭采集容器标准输出到AOM的开关。 - 已创建日志组和日志流。详细请参考[管理日志组](https://support.huaweicloud.com/usermanual-lts/lts_04_0003.html)和[管理日志流](https://support.huaweicloud.com/usermanual-lts/lts_04_0004.html)。 - 日志接入前，需要确认开启ICAgent采集开关，请参考[设置LTS日志采集配额和使用量预警](https://support.huaweicloud.com/usermanual-lts/lts_0904.html)。 - 采集开关默认打开，当您不需要采集日志时，可通过关闭采集开关来停止日志采集，以减少资源占用。 - 日志采集关闭后，ICAgent会停止采集日志，并且在应用运维管理AOM控制台的"日志采集开关"也会同步关闭。 - 如果在LTS主机页面看不到CCE集群，需要AOM2.0授权给LTS后，就可以在LTS页面看到CCE集群。进入AOM2.0控制台后，请参考[云服务授权](https://support.huaweicloud.com/usermanual-aom2/mon_01_0056.html)授予云日志服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。 #### 使用限制 - 支持容器引擎为Docker的CCE集群节点。详情请查看[节点概述](https://support.huaweicloud.com/usermanual-cce/cce_10_0180.html#section6) - 支持使用Containerd作为容器引擎的CCE集群节点（ICAgent 5.12.130及以上版本）。 - 支持CCE Turbo集群（ICAgent 5.12.130及以上版本）。 - Docker存储驱动限制：容器文件日志采集目前仅支持overlay2存储驱动，不支持devicemapper作为存储驱动的节点。查看存储驱动类型，请使用如下命令： ``` docker info | grep "Storage Driver" ``` - 如果选择日志流时，采集方式为采集到集中日志流时，则必须已创建CCE集群。 - LTS下发采集配置后，ICAgent对文件的采集规则如下： - 新文件（首次采集）：若文件最后修改时间与当前时间相差超过12小时，则不采集。 - 旧文件（非首次采集）：若文件最后修改时间与当前时间相差超过2小时，则不采集。 #### 步骤1：选择日志流 1. 登录[云日志服务控制台](https://console.huaweicloud.com/lts/)。 2. 在左侧导航栏中，选择"日志接入 \> 接入中心"，在类型下方选择"运行环境"或"云服务"，鼠标悬浮在CCE卡片上，单击"接入日志（LTS）"进入配置页面。 图1进入CCE接入配置 ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002500241897.png "点击放大") 或在左侧导航栏中，选择"日志接入 \> 接入管理"，单击"创建"，在弹出的页面中，在类型下方选择"运行环境"或"云服务"，鼠标悬浮在CCE卡片上，单击"接入日志（LTS）"进入配置页面。 3. 采集方式支持"采集到集中日志流"和"采集到自定义日志流"，您可以根据实际情况选择采集方式，推荐您使用采集到集中日志流。 表1采集方式 | 采集方式 | 说明 | |:---|:---| | 采集到集中日志流 | - 优点：在CCE界面可以根据命名空间、工作负载、容器名称直接查看对应的日志，将所有日志采集到一个日志流。 - 缺点： - 不同的工作负载的日志结构不一样，采集到一个日志流后无法配置结构化解析，无法使用SQL可视化分析。 - 单个日志流的写入速率上限是100MB/S，集中采集对于大流量场景有性能瓶颈。 | | 采集到自定义日志流 | - 优点： - 不同的工作负载的日志结构不一样，采集到不同日志流后可以配置结构化解析，使用SQL可视化分析。 - 多个日志流的写入速率累加起来可以线性扩增，自定义采集对于大流量场景没有性能瓶颈。 - 缺点：在CCE界面无法根据命名空间、工作负载、容器名称直接查看对应的日志。 | - 若选择"采集到集中日志流"，请执行如下操作步骤： 集中采集日志到一个固定的日志流。CCE集群默认的采集日志流分别为标准输出/错误stdout-{ClusterID}、节点文件hostfile-{ClusterID}、K8S事件event-{ClusterID}和容器文件containerfile-{ClusterID}。日志流名称会根据ClusterID自动命名，例如：集群ID为Cluster01，则标准输出/错误日志流为stdout-Cluster01。 在一个CCE集群下可以创建的采集日志流为标准输出/错误stdout-{ClusterID}、节点文件hostfile-{ClusterID}、K8s事件event-{ClusterID}和容器文件containerfile-{ClusterID}，如果某个日志组下，已创建某种采集日志流，则不会在其他日志组或当前日志组下再创建该日志流。 1. 单击"CCE集群"后的目标框，在下拉列表中选择具体的集群。 2. 默认所属日志组为k8s-log-集群ID，例如集群ID为c7f3f4a5-bcb8-11ed-a4ec-0255ac100b07，默认所属日志组为k8s-log-c7f3f4a5-bcb8-11ed-a4ec-0255ac100b07。当无该日志组时，系统会提示：暂无该日志组，后续操作中，系统将会为您自动创建，创建完成后日志会集中采集到该日志组中。 3. 单击"下一步：检查依赖项"。 - 若选择"采集到自定义日志流"，请执行如下操作步骤： 1. 单击"CCE集群"后的目标框，在下拉列表中选择具体的集群。 2. 单击"所属日志组"后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击"所属日志组"目标框后的"新建"，在弹出的创建日志组页面创建新的日志组。 3. 单击"所属日志流"后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击"所属日志流"目标框后的"新建"，在弹出的创建日志流页面创建新的日志流。 4. 单击"下一步：检查依赖项"。 #### 步骤2：检查依赖项 系统自动检查以下内容检查项是否符合要求： 1. 已安装ICAgent，且版本 \>= 5.12.130。 2. 存在自定义标识符为**k8s-log-集群ID**的主机组。 3. 存在名为**k8s-log-集群ID** 的日志组。当选择日志流为**采集到集中日志流**时，会进行该项内容检查。 4. 存在系统推荐的集中采集的日志流。当选择日志流为**采集到集中日志流**时，会进行该项内容检查。 如果以上内容检查项中，有任意一项不符合要求，需单击"自动修复"按钮进行修复，否则将无法进行下一步操作。 - **自动修复**：一键帮您完成以上内容检查项配置。 - **重新检查**：重新检查依赖项。 #### 步骤3：选择主机组（可选） 主机组是为了便于分类管理、提升配置多个主机日志采集的效率，对主机进行虚拟分组的单位。CCE集群已安装ICAgent，并且已创建自定义标识的主机组（如果不满足，配置CCE接入LTS时会自动检查修复）。 1. 在选择主机组页面，系统自动勾选检查依赖项创建的**k8s-log-集群ID** 的主机组。 - 您可以根据需要选择其他已创建的主机组。 - 对于自定义CCE集群的主机组，自定义标识的格式需要是**k8s-log-集群ID**。 - **主机组可以为空，但是会导致采集配置不生效，建议第一次接入时选择主机组。** 若不选择，可以在接入配置设置完成后对主机组进行设置。 - 在"主机管理 \> 主机组"页面对主机组和接入配置进行关联。 - 在"日志接入 \> 接入管理"页面，单击操作列的"修改"，进入接入配置页面对主机组和接入配置进行关联。 2. 单击"下一步：采集配置"。 #### 步骤4：采集配置 采集配置项涉及日志的采集范围、采集方式、格式处理等内容配置，请参考以下步骤完成采集配置。 1. **采集配置名称**：自定义采集配置名称，长度范围为1到64个字符，只支持输入英文、数字、中文、中划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。 2. **数据源配置** ：选择数据源类型，进行对应的数据源配置，详细请参考[表2]。对挂载的网盘或者共享存储，配置多台机器同时采集，会导致日志重复。 表2数据源配置参数 | 类型 | 参数配置 | |:---|:---| | 容器标准输出 | 采集集群内指定容器的标准输出日志和标准错误日志，仅支持Stderr和Stdout的日志。 被匹配上的容器的标准输出会采集到指定的日志流，原先采集到的AOM的标准输出会停止采集。 - 采集容器标准输出到AOM1.0：默认集群下的主机已安装了ICAgent且采集日志到AOM，采集容器标准输出到AOM的开关处于关闭状态。开启后标准输出只会采集到AOM，不会采集到LTS，建议您手动关闭该开关。 如果开启"采集容器标准输出到AOM"，云日志服务根据您实际的日志流量进行收费，详情请参见[LTS价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/lts)。 - 采集容器标准输出（stdout）和采集容器标准错误（stderr）两者必须得有一个是开启状态。 - 开启采集容器标准错误（stderr）后，选择采集目标路径：将标准输出和标准错误采集到不同的文件（stdout.log和stderr.log）、将标准输出和标准错误采集到同一个文件（stdout.log）。 - 允许文件多次采集。 开启"允许文件多次采集"后，同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本，详见[查看ICAgent版本说明](https://support.huaweicloud.com/usermanual-lts/lts_02_0014.html#lts_02_0014__section7761151916252)。 关闭"允许文件多次采集"后，采集路径不能重复配置，即同一主机下的同一日志文件，即使跨日志流，也只能配置一次。 | | 容器文件路径 | 采集集群内指定容器内的文件日志。 - 添加采集路径：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集，更多示例请参考[路径配置](https://support.huaweicloud.com/usermanual-lts/lts_04_1031.html#lts_04_1031__li17754123317308)。 当CCE集群的工作负载中，已配置容器的挂载路径时，此时路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后，该配置才有效。 采集容器日志，当前不支持采集软链接文件，如果采集软链接文件，需要您配置到软链接所指向的文件。 自定义挂载的日志文件路径禁止使用软链接，正确配置需直接使用物理路径/mnt/logs，错误配置示例是通过软链接关联（例如/var/log -\> /mnt/logs）。 - 添加自定义绕接规则，ICAgent目前是通过文件名规则来判断是否为绕接文件，如果您的绕接规则不符合内置类型时，可以通过单击"添加自定义绕接规则"来进行匹配，避免重复采集和绕接时的日志丢失。 **内置类型** 为{basename}{连接符}{绕接标识}.后缀，{basename}.{后缀}{连接符}{绕接标识}。其中连接符为**-._**绕接标识为非字母符号，后缀为字母。 **自定义绕接规则**为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为test.out.log，绕接后的文件名为test.2024-01-01.0.out.log，test.2024-01-01.1.out.log，因此在路径配置时，采集路径为/opt/\*.log，Linux的绕接规则为：{basename}\\.\\d{4}-\\d{2}-\\d{2}\\.\\d{1}.out.log；Windows的绕接规则为：{basename}.\[0-9\]{4}-\[0-9\]{2}-\[0-9\]{2}.\[0-9\]{1}.out.log - 支持验证采集路径的正确性，确保正常采集日志。单击"使用路径验证"，输入采集路径和日志文件绝对路径，最多支持添加30个采集路径，单击"确定"，若路径正确，界面提示验证成功。 - 支持验证绕接规则的正确性，确保正常采集日志。单击"使用绕接规则验证"，输入采集文件名、绕接后的文件名、绕接规则，单击"确定"，若绕接规则正确，界面提示验证成功。 - 允许文件多次采集。 开启"允许文件多次采集"后，同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本，详见[查看ICAgent版本说明](https://support.huaweicloud.com/usermanual-lts/lts_02_0014.html#lts_02_0014__section7761151916252)。 关闭"允许文件多次采集"后，采集路径不能重复配置，即同一主机下的同一日志文件，即使跨日志流，也只能配置一次。 - 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。 | | 节点文件路径 | 采集集群内指定节点的文件。 - 添加采集路径：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集，更多示例请参考[路径配置](https://support.huaweicloud.com/usermanual-lts/lts_04_1031.html#lts_04_1031__li17754123317308)。 - 添加自定义绕接规则，ICAgent目前是通过文件名规则来判断是否为绕接文件，如果您的绕接规则不符合内置类型时，可以通过单击"添加自定义绕接规则"来进行匹配，避免重复采集和绕接时的日志丢失。 **内置类型** 为{basename}{连接符}{绕接标识}.后缀，{basename}.{后缀}{连接符}{绕接标识}。其中连接符为**-._**绕接标识为非字母符号，后缀为字母。 **自定义绕接规则**为{basename}+绕接文件的特征正则表达式组成匹配规则。例如您的日志文件名称为test.out.log，绕接后的文件名为test.2024-01-01.0.out.log，test.2024-01-01.1.out.log，因此在路径配置时，采集路径为/opt/\*.log，Linux的绕接规则为：{basename}\\.\\d{4}-\\d{2}-\\d{2}\\.\\d{1}.out.log；Windows的绕接规则为：{basename}.\[0-9\]{4}-\[0-9\]{2}-\[0-9\]{2}.\[0-9\]{1}.out.log - 支持验证采集路径的正确性，确保正常采集日志。单击"使用路径验证"，输入采集路径和日志文件绝对路径，最多支持添加30个采集路径，单击"确定"，若路径正确，界面提示验证成功。 - 支持验证绕接规则的正确性，确保正常采集日志。单击"使用绕接规则验证"，输入采集文件名、绕接后的文件名、绕接规则，单击"确定"，若绕接规则正确，界面提示验证成功。 - 允许文件多次采集。 开启"允许文件多次采集"后，同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本，详见[查看ICAgent版本说明](https://support.huaweicloud.com/usermanual-lts/lts_02_0014.html#lts_02_0014__section7761151916252)。 关闭"允许文件多次采集"后，采集路径不能重复配置，即同一主机下的同一日志文件，即使跨日志流，也只能配置一次。 - 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。 | | K8S事件 | 采集K8S集群内的事件日志。 K8S事件不能重复配置，即一个K8S集群的K8S事件，只能配置接入到一个日志流。 | 3. （可选）**K8s匹配规则** ：当数据源类型选择**容器标准输出** 和**容器文件路径** 时，支持设置K8s匹配规则。 填写正则匹配规则后，单击校验按钮，支持校验确保正则表达式的正确性。ICAgent只支持RE2风格的正则表达式，详细请参考[语法](https://github.com/google/re2/wiki/syntax)。 表3K8s匹配规则 | 参数名称 | 参数说明 | |:---|:---| | K8s Namespace正则匹配 | 通过Namespace名称指定采集的容器，支持正则匹配。 采集名称符合正则规则的Namespace的日志，为空时采集所有Namespace的日志。 | | K8s Pod正则匹配 | 通过Pod名称指定待采集的容器，支持正则匹配。 采集名称符合正则规则的Pod的日志，为空时采集所有Pod的日志。 | | K8s容器名称正则匹配 | 通过容器名称指定待采集的容器（Kubernetes容器名称是定义在spec.containers中），支持正则匹配。 采集名称符合正则规则的容器的日志，为空时采集所有容器的日志。 | | K8s Label白名单 | 通过K8s Label白名单指定待采集的容器。如果您要设置K8s Label白名单，那么LabelKey必填，LabelValue可选填。 新增多条白名单时，支持选择And或or的关系，即全部满足或满足任意白名单就可以被匹配。 若LabelValue为空，则K8S Label中包含LabelKey的容器都匹配；若LabelValue不为空，则K8S Label中包含LabelKey=LabelValue的容器才匹配；LabelKey需要全匹配，LabelValue支持正则匹配。 | | K8s Label黑名单 | 通过K8s Label黑名单排除不采集的容器。如果您要设置K8s Label黑名单，那么LabelKey必填，LabelValue可选填。 新增多条黑名单时，支持选择And或or的关系，即全部满足或满足任意黑名单就可以被排除。 若LabelValue为空，则K8S Label中包含LabelKey的容器都被排除；若LabelValue不为空，则K8S Label中包含LabelKey=LabelValue的容器才会被排除；LabelKey需要全匹配，LabelValue支持正则匹配。 | | K8s Label日志标签 | 设置K8s Label日志标签后，日志服务将在日志中新增K8s Label相关字段。 设置K8S Label日志标签后，lts将在日志中新增相关字段。例如设置LabelKey为app，设置LabelValue为app_alias，当容器中包含app=lts时，将在日志中添加内容{app_alias：lts}。 | | 容器Label白名单 | 通过容器Label白名单指定待采集的容器。如果您要设置容器Label白名单，那么LabelKey必填，LabelValue可选填。 新增多条白名单时，支持选择And或or的关系，即全部满足或满足任意白名单就可以被匹配。 若LabelValue为空，则容器Label中包含LabelKey的容器都匹配；若LabelValue不为空，则容器Label中包含LabelKey=LabelValue的容器才匹配；LabelKey需要全匹配，LabelValue支持正则匹配。 | | 容器Label黑名单 | 通过容器Label黑名单排除不采集的容器。如果您要设置容器Label黑名单，那么LabelKey必填，LabelValue可选填。 新增多条黑名单时，支持选择And或or的关系，即全部满足或满足任意黑名单就可以被排除。 若LabelValue为空，则容器 Label中包含LabelKey的容器都被排除；若LabelValue不为空，则容器Label中包含LabelKey=LabelValue的容器才会被排除；LabelKey需要全匹配，LabelValue支持正则匹配。 | | 容器Label日志标签 | 设置容器Label日志标签后，日志服务将在日志中新增容器Label相关字段。 设置容器 Label日志标签后，lts将在日志中新增相关字段。例如设置LabelKey为app，设置LabelValue为app_alias，当容器中包含app=lts时，将在日志中添加内容{app_alias：lts}。 | | 环境变量白名单 | 用于指定待采集的容器。如果您要设置环境变量白名单，那么Label Key必填，Label Value可选填。 新增多条白名单时，支持选择And或or的关系，即全部满足或满足任意白名单就可以被匹配。 如果环境变量Value为空，则容器环境变量中包含环境变量Key的容器都匹配；如果环境变量Value不为空，则容器环境变量中包含环境变量Key=环境变量Value的容器才被匹配；LabelKey需要全匹配，LabelValue支持正则匹配。 | | 环境变量黑名单 | 用于排除不采集的容器。如果您要设置环境变量黑名单，那么Label Key必填，Label Value可选填。 新增多条黑名单时，支持选择And或or的关系，即全部满足或满足任意黑名单就可以被排除。 如果环境变量Value为空，则容器环境变量中包含环境变量Key的容器都将被排除；如果环境变量Value不为空，则容器环境变量中包含环境变量Key=环境变量Value的容器才会被排除；LabelKey需要全匹配，LabelValue支持正则匹配。 | | 环境变量日志标签 | 设置环境变量日志标签后，日志服务将在日志中新增环境变量相关字段。 设置环境变量日志标签后，lts将在日志中新增相关字段，例如设置环境变量Key为app，设置环境变量Value为app_alias，当K8S中包含环境变量app=lts时，将在日志中添加的内容为{app_alias：lts}。 | 4. **结构化解析配置** 。 LTS支持**单行-全文日志** 、**多行-全文日志** 、**JSON** 、**分隔符** 、**单行-完全正则** 、**多行-完全正则** 、**组合解析**多种类型日志解析规则，您可以根据日志内容选择合适的解析规则。日志采集成功后，结构化处理好的日志会发送到指定的日志流上，您就可以对日志进行字段搜索。 - 开启结构化解析配置，详细操作请参考[配置ICAgent结构化解析](https://support.huaweicloud.com/usermanual-lts/lts_07_0072.html)。 图2ICAgent结构化解析配置 ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002363494973.png "点击放大") - 关闭结构化解析配置，则不会对日志数据进行结构化处理，原始日志格式会发送到指定日志流中，仅可以对日志进行一些常规关键词搜索。 5. **其他配置** 。设置采集路径后，您还可以设置日志拆分、采集二进制文件、自定义元数据等。 表4其他配置 | 名称 | 说明 | 示例 | |:---|:---|:---| | 最大目录深度 | 该参数用于控制日志采集路径使用\*\*模糊匹配的文件目录层级，LTS支持设置最大目录层级为20层。 例如您的日志路径为/var/logs/department/app/a.log，采集路径配置为：/var/logs/\*\*/a.log，最大目录深度设置为5。 如果需要采集容器文件路径，需要ICAgent升级到7.3.3版本以上才支持\*\*模糊匹配。 | 5 | | 日志拆分 | 为了防止单条日志过大或被截断丢弃，您可以按文件大小拆分日志。 - 开启"日志拆分"，支持自定义设置日志拆分大小，设置范围为500KB-1024KB。日志拆分大小为500KB，即单条日志超过500KB会被拆分为多条采集。例如：日志大小为600KB，被拆分为2条日志采集，第一条500KB，第二条100KB。仅支持单行日志，不支持多行日志。 - 不开启"日志拆分"，单条日志大小限制不超过500KB，超过限制部分会被截断丢弃。 | 开启 | | 采集二进制文件 | 支持采集以二进制格式存储的日志数据，您可以通过如下命令查看文件类型，如果包含charset=binary，那么该日志文件就是二进制文件。 ``` file -i 文件名 ``` - 当日志的文件类型为二进制时，开启"采集二进制文件"，则对匹配接入规则的二进制日志文件进行采集，但仅支持UTF-8、GBK编码的字符串，非UTF-8、GBK编码的字符在LTS控制台页面会显示乱码。 - 当日志的文件类型为二进制时，未开启"采集二进制文件"，则对匹配接入规则的二进制日志文件停止采集，开启后即可进行采集。 | 开启 | | 日志文件编码 | 日志文件里字符内容的存储格式，支持UTF-8、GBK文件编码类型。请合理设置编码，确保日志内容能被正确读取和解析，避免乱码或数据损坏。 - UTF-8编码是一种变长编码方式，用于表示Unicode字符集。 - GBK全称《汉字内码扩展规范》，中文计算机编码的一种，是ASCII码和GB2312编码的扩展。 | UTF-8 | | 采集策略 | ICAgent采集新文件时，您可以设置从文件的末尾或开头开始读取文件。 - 增量采集：ICAgent采集新文件时，从文件的末尾开始读。 - 全量采集：ICAgent采集新文件时，从文件的开头开始读。 | 增量采集 | | 自定义元数据 | - 关闭"自定义元数据"，使用ICAgent系统默认配置的字段上报到LTS，不需要用户配置且ICAgent系统不支持配置。 - 开启"自定义元数据"，根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段：勾选需要设置的内置字段。 自定义键值对：单击"添加"，输入键值key和键值Value。 | 开启 | 6. 参考[表5]配置日志格式、日志时间。若开启结构化解析配置则不用设置该参数。 表5日志采集信息 | 名称 | 说明 | |:---|:---| | 日志格式 | - 单行日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 - 多行日志：采集的日志中包含像java异常的日志，如果您希望多行异常的日志显示为一条日志，正常的日志每一行都显示为一条单独的日志数据，则选择多行日志，方便您查看日志并且定位问题。 | | 日志时间 | 系统时间：表示系统当前时间，默认为日志采集时间，每条日志的行首显示日志的采集时间。 - 日志采集时间：ICAgent采集日志，并且发送到云日志服务的时间。 - 日志打印时间：系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒。 - 采集日志时间限制：系统时间的前后24小时内。 | | 日志时间 | 时间通配符：用日志打印时间来标识一条日志数据，通过时间通配符来匹配日志，每条日志的行首显示日志的打印时间。 - 如果日志中的时间格式为：2019-01-01 23:59:59.011，时间通配符应该填写为：YYYY-MM-DD hh:mm:ss.SSS。 - 如果日志中的时间格式为：19-1-1 23:59:59.011，时间通配符应该填写为：YY-M-D hh:mm:ss.SSS。如果日志中不存在年份信息，则云日志会自动补齐年份数据为当前年份数据。 填写示例： ``` YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond（999） hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) ``` | | 分行模式 | 日志格式选择多行日志时，需要选择分行模式，分行模式选择"日志时间"时，是以时间通配符来划分多行日志；当选择"正则模式"时，则以正则表达式划分多行日志。 | | 正则表达式 | 此配置是用来标识一条日志数据的正则表达式。日志格式选择"多行日志"格式后且"分行模式"已选择"正则模式"后需要设置。 时间通配和正则表达式均是从每行日志的开头进行严格匹配，如果匹配不上，则会默认使用系统时间上报，这样可能会和文件内容中的时间不一致。**如果没有特殊需求，建议使用单行日志-系统时间模式即可**。 ICAgent只支持RE2风格的正则表达式，详细请参考[语法](https://github.com/google/re2/wiki/syntax)。 | 7. 单击"下一步：索引配置"。 #### 步骤5：索引配置 索引是一种存储结构，用于对日志数据进行查询。通过配置索引后，可对日志进行查询和分析操作。不同的索引配置，则会产生不同的查询和分析结果，请根据您的需要，合理配置索引。 - 若您暂时无需通过某字段进行查询或分析，接入时可以直接跳过索引配置，不影响日志采集。待日志接入成功后，再根据业务需求优化索引配置**（仅对新写入的日志生效）。** 详细操作请参考[创建LTS日志索引](https://support.huaweicloud.com/usermanual-lts/lts_05_0008.html)。在"索引配置"页面保持默认设置，直接单击"跳过并提交"，界面提示"日志接入成功"。 - 若您需要通过特定字段进行查询或分析，接入时请在"索引配置"页面配置索引。详细操作请参考[创建LTS日志索引](https://support.huaweicloud.com/usermanual-lts/lts_05_0008.html)。 您可以单击"自动配置"，云日志服务LTS会根据近15分钟的第一条日志内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引。或者手动添加字段，只能添加已结构化的字段。设置完成后，单击"提交"，界面提示"日志接入成功"。**日志接入成功后，您仍可以根据业务需求随时调整索引配置（仅对新写入的日志生效）。** #### 步骤6：完成接入配置 接入成功后会生成一条接入配置信息。 - 单击接入配置名称可进入详情页面，查看该接入配置详细信息。 - 单击接入配置操作列的"修改"重新修改接入配置信息。 接入方式为云容器引擎CCE、ServiceStage-容器应用日志、自建K8s集群的接入任务不支持导航流程切换。其他接入方式支持切换导航流程。操作参考如下：您可以直接单击上方导航流程里的"选择日志流"、"选择主机组（可选）"、"采集配置"或"索引配置"快速切换到对应页面进行修改，修改完成，单击"提交"后才能保存该页面的内容。 - 单击接入配置操作列的"更多 \> 标签管理"即可添加标签。 - 单击接入配置操作列的"更多 \> 复制"复制一条新的接入配置信息。 - 单击接入配置操作列的"删除"即可删除接入配置信息。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/warning_3.0-zh-cn.png) 删除接入配置后会导致日志无法正常采集，可能会影响用户日志相关业务异常，且删除后无法恢复，请谨慎操作。 - 若不需要采集日志，关闭"接入配置开关"列的开关。若需要重新采集日志，需要重新开启"接入配置开关"列的开关。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/warning_3.0-zh-cn.png) 关闭接入配置后会导致日志无法正常采集，可能会影响用户日志相关业务异常，请谨慎操作。 - 单击接入配置操作列的"更多 \> ICAgent采集诊断"，可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。如果没有显示该功能，请参考[设置ICAgent日志采集开关](https://support.huaweicloud.com/usermanual-lts/lts_05_0003.html)，开启"ICAgent诊断开关"。 #### 批量设置多个接入配置 支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置 1. 在"接入管理"页面，单击"批量创建"，进入配置详情页面。 1. 接入类型：选择云容器引擎 CCE-应用日志。 2. 规则列表： - 在输入框填写接入配置数量，单击"添加接入配置"。 - 在右侧配置项下方自定义填写"规则名称"，配置项设置完成后，也可以双击左侧接入配置的名称自定义命名。规则名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 - 鼠标放在接入配置上面，单击![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002224771849.png)即可直接复制接入配置。 - 鼠标放在接入配置上面，单击![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002189491442.png)，在弹出的提示框单击"确定"删除接入配置。 3. 配置项： - 左侧显示接入配置的信息，最多支持添加99个配置。 - 右侧显示配置接入的内容，详细请参考[步骤4：采集配置]进行设置。 - 一个接入配置设置完成后，单击"应用于其他接入配置"即可将该接入配置复制到其他接入配置。 2. 单击"参数检查"，检查成功后，单击"提交"，批量接入设置完成。 例如添加了4个接入配置，批量创建成功后，在"接入管理"下方，就会显示4条接入配置任务。 3. （可选）支持对接入配置任务进行以下操作： - 勾选多个已创建成功的接入配置，单击"批量编辑"进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。 - 勾选多个接入配置开关显示关闭的接入配置，单击"接入配置开启/关闭"，选择"开启"即可批量开启接入配置任务。 - 勾选多个接入配置开关显示开启的接入配置，单击"接入配置开启/关闭"，选择"关闭"。接入配置状态关闭后不会继续采集日志，请谨慎操作。 - 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。 #### 相关文档 - 日志接入LTS成功后，您可通过云日志服务LTS的搜索与分析功能快速洞察日志数据，请参考[日志搜索与分析（即将下线SQL分析方式）](https://support.huaweicloud.com/usermanual-lts/lts_05_0004.html)。 - 日志接入LTS成功后，您可通过云日志服务LTS的日志告警功能，通过设置告警规则提醒您日志中的异常情况，请参考[配置日志告警规则](https://support.huaweicloud.com/usermanual-lts/lts_04_0062.html)。 - 如果在安装ICAgent时遇到问题，您可以参考[主机管理常见问题](https://support.huaweicloud.com/lts_faq/lts_faq_0010.html)获取解决方案。 - 如果在配置日志接入时遇到问题，您可以参考[日志接入常见问题](https://support.huaweicloud.com/lts_faq/lts_faq_0020.html)获取解决方案。 - LTS支持通过调用API接口实现创建日志接入、查询日志接入、删除日志接入等，详细请参考[日志接入](https://support.huaweicloud.com/api-lts/topic_300000004.html)。 - 为您推荐几种在真实使用场景下的数据采集实践教程。更多信息请参考[日志接入最佳实践](https://support.huaweicloud.com/bestpractice-lts/lts_07_0027.html)。 1. 如果是多云或者跨Region采集日志的场景，您可以参考[采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS](https://support.huaweicloud.com/bestpractice-lts/lts_07_0018.html)。 2. 如果需要采集多渠道数据，您可以参考[采集多渠道日志数据到LTS](https://support.huaweicloud.com/bestpractice-lts/lts_07_0066.html)。 3. 如果是跨IAM账号采集日志的场景，您可以参考[通过跨IAM账号接入LTS采集数据](https://support.huaweicloud.com/bestpractice-lts/lts_07_0168.html)。