ServiceStage云主机日志接入LTS

前提条件

• 已创建ServiceStage应用。详细操作请参考创建应用。
• 已创建ServiceStage环境。详细操作请参考创建环境。
• 已创建ServiceStage组件。详细操作请参考创建组件。
• 已创建日志组和日志流。详细请参考管理日志组和管理日志流。
• 主机已安装ICAgent，根据主机所在位置选择安装方式，详细请参考安装ICAgent（区域内主机）、安装ICAgent（区域外主机）。
• 已将安装ICAgent的主机加入主机组，详细请参考管理LTS主机组。
• 日志接入前，需要确认开启ICAgent采集开关，请参考设置LTS日志采集配额和使用量预警。
  • 采集开关默认打开，当您不需要采集日志时，可通过关闭采集开关来停止日志采集，以减少资源占用。
  • 日志采集关闭后，ICAgent会停止采集日志，并且在应用运维管理AOM控制台的“日志采集开关”也会同步关闭

步骤1：选择日志流

1. 登录云日志服务控制台。
2. 在左侧导航栏中，选择“日志接入 > 接入中心”，单击“ServiceStage - 云主机日志”进行ServiceStage接入配置。

   或在左侧导航栏中，选择“日志接入 > 接入管理”，单击“创建”，在弹出的页面中，单击“ServiceStage - 云主机日志”进行ServiceStage接入配置。

3. 选择应用。在下拉列表中选择具体的ServiceStage应用。
4. 选择环境。在下拉列表中选择具体的ServiceStage环境。
5. 选择日志组。
   • 选择已创建的日志组：单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组名称。
   • 若没有所需的日志组：单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组，详情请参考管理日志组。
6. 选择日志流。
   • 选择已创建的日志组：单击“所属日志流”后的目标框，在下拉列表中选择已创建的日志流。
   • 若没有所需的日志组：单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。详情请参考管理日志流。
7. 单击“下一步：选择主机组（可选）”。

步骤2：选择主机组（可选）

主机组是为了便于分类管理、提升配置多个主机日志采集的效率，对主机进行虚拟分组的单位。

1. 在主机组列表中选择一个或多个需要采集日志的主机组。

   主机组可以为空，但是会导致采集配置不生效，建议第一次接入时选择主机组。若不选择，可以在接入配置设置完成后对主机组进行设置。

   • 在“主机管理 > 主机组”页面对主机组和接入配置进行关联。
   • 在“接入 > 接入管理”页面，单击操作列的“修改”，进入接入配置页面对主机组和接入配置进行关联。
2. 若没有所需的主机组，单击列表左上方“新建”进入“新建主机组”页面。单击“添加标识”填写自定义标识，具体操作可参考创建主机组（自定义标识）。
   图1 新建主机组
   
3. 单击“下一步：采集配置”。

步骤3：采集配置

采集配置项涉及日志的采集范围、采集方式、格式处理等内容配置，请参考以下步骤完成采集配置。

1. 采集配置名称：自定义采集配置名称，长度范围为1到64个字符，只支持输入英文、数字、中文、中划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。
2. 路径配置：添加您需要收集的日志路径，LTS将按照配置的路径进行日志采集。最多支持添加30个路径。采集路径设置规则参考如下：
   • 采集路径支持递归路径，**表示递归5层目录。

     示例：采集路径配置为 /var/logs/**/a.log，日志匹配如下：

     /var/logs/a.log
     /var/logs/1/a.log 
     /var/logs/1/2/a.log
     /var/logs/1/2/3/a.log
     /var/logs/1/2/3/4/a.log
     /var/logs/1/2/3/4/5/a.log

     • 以上示例中的/1/2/3/4/5/，表示/var/logs目录中，往里递归的5个目录层级，在这5个目录层级中只要存在a.log，都能进行日志匹配。
     • 采集路径中只能出现一次**，不能出现两个及以上。正确示例：/var/logs/**/a.log；错误示例：/opt/test/**/log/**。
     • 采集路径中第一个层级不允许为**（避免误采集系统文件），错误示例：/**/test。
   • 采集路径支持模糊匹配，匹配目录或文件名中的任何字符。如果配置了C:\windows\system32类似的日志采集路径，但无法采集日志，请尝试打开WAF物理防火墙后重新配置。
     • 示例1：采集路径配置为 /var/logs/*/a.log，表示/var/logs/目录下，任何一个目录中存在a.log，都能进行日志匹配，例如：

       /var/logs/1/a.log

       /var/logs/2/a.log

     • 示例2：采集路径配置为 /var/logs/service-*/a.log，日志匹配示例：

       /var/logs/service-1/a.log

       /var/logs/service-2/a.log

     • 示例3：采集路径配置为 /var/logs/service/a*.log，日志匹配示例：

       /var/logs/service/a1.log

       /var/logs/service/a2.log

   • 如果配置的是文件名，则直接采集对应文件，只支持内容是文本格式的文件。
   • 支持验证采集路径的正确性，确保正常采集日志。单击“使用路径验证”，输入采集路径和日志文件绝对路径，最多支持添加30个采集路径，单击“确定”，若路径正确，界面提示验证成功。
3. 允许文件多次采集。（暂不支持Windows场景）

   开启“允许文件多次采集”后，同一主机下的同一日志文件支持被采集到多个日志流。该功能依赖ICAgent版本，详见查看ICAgent版本说明。

   关闭“允许文件多次采集”后，采集路径不能重复配置，即同一主机下的同一日志文件，即使跨日志流，也只能配置一次。

4. 设置采集黑名单：LTS支持对日志进行过滤采集，即通过设置黑名单，在采集时过滤指定的目录或文件。指定按目录过滤，可过滤掉该目录下的所有文件。

   目录和文件名支持完全匹配，也支持模糊匹配，具体可参考路径配置内容进行设置。

   当设置的黑名单与配置的采集路径重复或者有重合时，优先过滤掉黑名单设置的文件。

5. 采集Windows事件日志：当选择Windows主机采集日志时，需要开启“采集Windows事件日志”，配置如下参数：

   表1 采集Windows事件日志参数

   名称	说明
   日志类型	日志类型有系统、应用程序、安全和启动。 系统日志：记录由Windows操作系统组件生成的事件，包括驱动程序、系统服务、硬件故障等。 应用程序日志：记录由用户应用程序或第三方软件生成的事件。 安全日志：记录与系统安全相关的事件，如登录尝试、权限变更、审计策略触发等。 启动日志：记录Windows操作系统启动过程中发生的各种事件信息。
   首次采集时间偏移量	如设置为7天，表示从采集开始时间前7天内的日志（7天前的日志被忽略），该时间仅在首次配置采集生效，确保不会重复采集。最大支持设置为7天。
   事件等级	事件等级有information、warning、error、critical和verbose。根据Windows事件等级过滤采集。仅支持Windows Vista及以上的操作系统。

6. 设置ServiceStage匹配规则，选择对应组件。
7. 结构化解析配置。

   LTS支持单行-全文日志、多行-全文日志、JSON、分隔符、单行-完全正则、多行-完全正则、组合解析多种类型日志解析规则，您可以根据日志内容选择合适的解析规则。日志采集成功后，结构化处理好的日志会发送到指定的日志流上，您就可以对日志进行字段搜索与SQL分析。

   • 开启结构化解析配置，详细操作请参考配置ICAgent结构化解析。
     图2 ICAgent结构化解析配置
     
   • 关闭结构化解析配置，则不会对日志数据进行结构化处理，原始日志格式会发送到指定日志流中，仅可以对日志进行一些常规关键词搜索。
8. 其他配置。设置采集路径后，您还可以设置日志拆分、采集二进制文件、自定义元数据等。

   表2 其他配置

   名称	说明	示例
   最大目录深度	该参数用于控制日志采集路径使用**模糊匹配的文件目录层级，LTS支持设置最大目录层级为20层。 例如您的日志路径为/var/logs/department/app/a.log，采集路径配置为：/var/logs/**/a.log，最大目录深度设置为5。	5
   日志拆分	为了防止单条日志过大或被截断丢弃，您可以按文件大小拆分日志。 开启“日志拆分”，支持自定义设置日志拆分大小，设置范围为500KB-1024KB。日志拆分大小为500KB，即单条日志超过500KB会被拆分为多条采集。例如：日志大小为600KB，被拆分为2条日志采集，第一条500KB，第二条100KB。仅支持单行日志，不支持多行日志。 不开启“日志拆分”，单条日志大小限制不超过500KB，超过限制部分会被截断丢弃。	开启
   采集二进制文件	支持采集以二进制格式存储的日志数据，您可以通过如下命令查看文件类型，如果包含charset=binary，那么该日志文件就是二进制文件。 file -i 文件名 当日志的文件类型为二进制时，开启“采集二进制文件”，则对接入的二进制文件日志进行采集，但仅支持UTF8编码的字符串，非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时，未开启“采集二进制文件”，则对接入的二进制文件日志停止采集，开启后即可进行采集。	开启
   日志文件编码	日志文件里字符内容的存储格式，支持UTF-8、GBK文件编码类型，GBK暂不支持Windows场景。请合理设置编码，确保日志内容能被正确读取和解析，避免乱码或数据损坏。 UTF-8编码是一种变长编码方式，用于表示Unicode字符集。 GBK全称《汉字内码扩展规范》，中文计算机编码的一种，是ASCII码和GB2312编码的扩展。	UTF-8
   采集策略	ICAgent采集新文件时，您可以设置从文件的末尾或开头开始读取文件。 增量采集：ICAgent采集新文件时，从文件的末尾开始读。 全量采集：ICAgent采集新文件时，从文件的开头开始读。	增量采集
   自定义元数据	关闭“自定义元数据”，使用ICAgent系统默认配置的字段上报到LTS，不需要用户配置且ICAgent系统不支持配置。 开启“自定义元数据”，根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段：勾选需要设置的内置字段。 自定义键值对：单击“添加”，输入键值key和键值Value。	开启

9. 参考表3设置日志格式、日志时间。若开启结构化解析配置则不用设置该参数。

   表3 日志采集信息

   名称	说明
   日志格式	单行日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 多行日志：采集的日志中包含像java异常的日志，如果您希望多行异常的日志显示为一条日志，正常的日志每一行都显示为一条单独的日志数据，则选择多行日志，方便您查看日志并且定位问题。
   日志时间	系统时间：表示系统当前时间，默认为日志采集时间，每条日志的行首显示日志的采集时间。 日志采集时间：ICAgent采集日志，并且发送到云日志服务的时间。 日志打印时间：系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒。 采集日志时间限制：系统时间的前后24小时内。
   	时间通配符：用日志打印时间来标识一条日志数据，通过时间通配符来匹配日志，每条日志的行首显示日志的打印时间。 如果日志中的时间格式为：2019-01-01 23:59:59.011，时间通配符应该填写为：YYYY-MM-DD hh:mm:ss.SSS。 如果日志中的时间格式为：19-1-1 23:59:59.011，时间通配符应该填写为：YY-M-D hh:mm:ss.SSS。如果日志中不存在年份信息，则云日志会自动补齐年份数据为当前年份数据。 填写示例： YY - year (19) YYYY - year (2019) M - month (1) MM - month (01) D - day (1) DD - day (01) hh - hours (23) mm - minutes (59) ss - seconds (59) SSS - millisecond（999） hpm - hours (03PM) h:mmpm - hours:minutes (03:04PM) h:mm:sspm - hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00)
   分行模式	日志格式选择多行日志时，需要选择分行模式，分行模式选择“日志时间”时，是以时间通配符来划分多行日志；当选择“正则模式”时，则以正则表达式划分多行日志。
   正则表达式	此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。 ICAgent只支持RE2风格的正则表达式，详细请参考语法。

10. 单击“下一步：索引配置”。

步骤4：索引配置

索引是一种存储结构，用于对日志数据进行查询。通过配置索引后，可对日志进行查询和分析操作。不同的索引配置，则会产生不同的查询和分析结果，请根据您的需要，合理配置索引。

• 若您暂时无需通过某字段进行查询或分析，接入时可以直接跳过索引配置，不影响日志采集。待日志接入成功后，再根据业务需求优化索引配置（仅对新写入的日志生效），详细操作请参考创建LTS日志索引。在“索引配置”页面保持默认设置，直接单击“跳过并提交”，界面提示“日志接入成功”。
• 若您需要通过特定字段进行查询或分析，接入时请在“索引配置”页面参考创建LTS日志索引配置索引。

  您可以单击“自动配置”，云日志服务LTS会根据近15分钟的第一条日志内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引。或者手动添加字段，只能添加已结构化的字段。设置完成后，单击“提交”，界面提示“日志接入成功”。日志接入成功后，您仍可以根据业务需求随时调整索引配置（仅对新写入的日志生效）。

步骤5：完成接入配置

接入成功后会生成一条接入配置信息。

图3 接入配置

批量设置多个接入配置

支持同时批量设置多个接入配置，操作简单，不用重复配置即可快速完成多个场景的接入配置。

1. 在“接入管理”页面，单击“批量创建”，进入配置详情页面。
   1. 接入类型：选择ServiceStage-云主机日志。
   2. 规则列表：
      • 在输入框填写接入配置数量，单击“添加接入配置”。
      • 在右侧配置项下方自定义填写“规则名称”，配置项设置完成后，也可以双击左侧接入配置的名称自定义命名。规则名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。
      • 鼠标放在接入配置上面，单击即可直接复制接入配置。
      • 鼠标放在接入配置上面，单击，在弹出的提示框单击“确定”删除接入配置。
   3. 配置项：
      • 左侧显示接入配置的信息，最多支持添加99个配置。
      • 右侧显示配置接入的内容，详细请参考步骤3：采集配置进行设置。
      • 一个接入配置设置完成后，单击“应用于其他接入配置”即可将该接入配置复制到其他接入配置。

2. 单击“参数检查”，检查成功后，单击“提交”，批量接入设置完成。

   例如添加了4个接入配置，批量创建成功后，在“接入管理”下方，就会显示4条接入配置任务。

3. （可选）支持对接入配置任务进行以下操作：
   • 勾选多个已创建成功的接入配置，单击“批量编辑”进入配置详情页面，通过选择不同接入类型，修改对应的接入配置信息。
   • 勾选多个接入配置开关显示关闭的接入配置，单击“接入配置开启/关闭”，选择“开启”即可批量开启接入配置任务。
   • 勾选多个接入配置开关显示开启的接入配置，单击“接入配置开启/关闭”，选择“关闭”。接入配置状态关闭后不会继续采集日志，请谨慎操作。
   • 勾选多个已创建成功的接入配置，单击删除按钮即可批量删除接入配置。

添加接入配置标签

支持对已创建的接入配置任务添加标签，每个标签由“标签键”和“标签值”组成，用于快速识别、检索和管理接入配置任务。添加、修改、删除标签仅对当前接入配置有效。

1. 左侧导航栏选择“日志接入 > 接入管理”，进入“接入管理”页面。
2. 单击目标接入配置操作列的“更多 > 标签管理”。
3. 在弹出的编辑标签页面，单击“添加”，填写标签键和标签值。如需添加多个标签可重复该步骤，最多支持添加20个标签。
   图4 接入配置编辑标签
   

   标签键key限制条件：

   • 标签键可以包含任意语种的字母、数字和空格，以及_.:=+-@字符，但首尾不能包含空格，且不能以_sys_开头。
   • 标签键长度不能超过128个字符。
   • 标签键名称不可重复。

   标签值value限制条件：

   • 标签值可以包含任意语种的字母、数字和空格，以及_.:=+-@字符。
   • 标签值长度不能超过255个字符。

   标签策略：

   若您的组织已经设定云日志服务的相关标签策略，则需按照标签策略规则为日志组、日志流、日志接入、主机组添加标签。标签如果不符合标签策略的规则，则可能会导致日志组、日志流、日志接入、主机组创建失败，请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述，标签管理详细介绍请参考标签管理。

   删除标签：

   如需删除标签，在“编辑标签”页面单击标签操作列的“删除”。

   

   如果配置转储时使用了该标签，删除标签后，请同步修改转储配置信息。

4. 单击“确定”，接入配置的标签添加完成。在接入配置列表的“标签”列可以查看接入配置已添加的标签。
   图5 接入标签