配置虚拟机日志接入并查看日志

步骤一：为主机创建并绑定业务账号

1. 单击，选择“运维 > 主机管理服务（VMS）”。

2. 选择左侧导航栏的“运维账号 > 账号规划”。
3. 单击“创建”，进入运维账号创建页面。
4. 配置运维账号参数，参数说明如表1所示，配置完成后，单击“确定”。

   账号规划列表显示该账号信息。

   表1 创建运维账号参数说明

   参数	示例	说明
   账号	appstage	自定义账号。 只能包含数字、字母、“-”、“_”，且字符长度不超过32。
   产品	-	默认显示当前服务所属的产品名称，不可修改。
   服务	-	默认显示当前服务的服务名称，不可修改。
   是否默认账号	-	选择创建的账号是否为选择服务的默认账号。 每个服务可以创建多个运维账号，只能设置其中一个为默认账号。
   公私钥算法	RSA	选择公私钥算法。

5. 选择左侧导航栏的“OS管理 > OS列表”，进入“OS列表”页面。
6. 勾选需要绑定账号的主机，单击“绑定服务账号”，进入“绑定服务账号”页面。
7. 选择已创建的业务账号“appstage”，单击“确定”。

   可根据页面提示，跳转至“任务列表”页面，单击“任务总数”列的数字，可查看对应主机的任务执行情况，当主机的状态变为“成功”时表示主机已绑定成功账号。

步骤二：虚拟机日志接入

1. 单击，选择“运维 > 监控服务（ServiceInsight）”。
2. 单击“开始初始化”。

   首次进入监控服务需要进行初始化，完成监控服务运维资源及数据的初始化，初始化后可以进入使用监控服务。

创建日志项目

3. 在监控服务左侧导航栏选择“日志 > 日志接入”。
4. 在“日志接入”页面，选择左侧导航栏的“日志项目”。
5. 单击“创建日志项目”。
6. 配置日志项目参数，如图1所示，参数说明如表2所示，配置完成后，单击“创建”。

   创建完成后，页面提示“创建日志项目成功”。

   图1 创建日志项目
   

   表2 日志项目参数说明

   参数	示例	说明
   日志项目	appstageshowtest	自定义日志项目名称。 日志项目是一个包含多个日志服务配置的整体，可以看作是一个微服务实例。 同一个微服务实例下的日志服务配置应当包含在一个日志项目中。 不同微服务实例使用完全相同的日志服务配置时，也可以共用同一个日志项目。
   描述	-	输入日志项目描述，非必填项。

创建日志空间

7. 在“创建日志项目成功”提示页面，单击“申请日志空间”，进入“日志空间”页面。
8. 单击“申请实时日志空间”。
9. 根据界面提示填写日志空间参数。
   1. 配置实时日志空间信息，如图2所示，参数说明如表3所示，配置完成后，单击“下一步”。
      图2 配置实时日志空间信息
      

      表3 实时日志空间信息参数说明

      参数	示例	说明
      空间名称	appstageshowspacetest	自定义日志空间名称，建议包含日志类型语义。
      空间描述	-	输入日志空间描述，非必填项。
      区域	cn-north-4	选择需要接入日志的区域。
      日志类型	接口日志	选择需接入的日志类型，该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。
      日志大小	1	预计一天的日志量，默认为1GB。
      日志TTL	7	设置日志的保存时间，默认为7天，最多可设置30天。 日志保存在所选择或自动创建的ClickHouse表中。如需长期存储，可以开启日志对接OBS，将超出期限的日志推送至OBS桶。
      开启日志检索	开启	如果需要使用日志检索功能，可以打开该开关，并创建导流任务将数据导流至ClickHouse表，创建导流任务后可以在“日志检索”页面查看日志。 如果创建时没有打开日志检索开关，后续编辑打开该开关，需要手动创建或绑定检索空间表。 单击该空间所在行“操作”列的，选择“日志空间表管理”并切换至“检索空间表”页签，单击右上角的“创建新空间表”或“选择已有空间表”，手动为该日志空间创建或绑定检索空间表，然后单击列表“操作”列的“上线”。
      检索空间类型	ClickHouse	选择ClickHouse。
      原索引名称(ClickHouse)	-	可选择现有的ClickHouse，如果不填会自动生成。
      开启日志对接OBS	不开启	支持开启日志对接OBS。 开启对接OBS后运维中心会将超过TTL期限的日志推送至OBS桶，此过程OBS会产生相应的流量费用，请合理评估是否开启，OBS计费相关内容请参见OBS计费说明。

   2. 配置实时日志字段信息，如图3所示，参数说明如表4所示，配置完成后，单击“测试解析脚本”查看字段是否符合预期，符合预期后单击“下一步”。
      图3 配置实时日志字段信息

      

      表4 实时日志字段信息参数说明

      参数	示例	说明
      自定义字段 Custom Field	-	必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。
      清洗规则 Format Rule	算子清洗	选择日志清洗规则。 请优先使用算子清洗模式采样，通过配置解析脚本将原始日志清洗为业务需要的日志字段。 如果创建时选择“无清洗”，后续编辑选择对日志进行清洗，需要手动创建或绑定异常存储空间表。 单击该空间所在行“操作”列的，选择“日志空间表管理”并切换至“异常存储空间表”页签，单击右上角的“创建新空间表”或“选择已有空间表”，手动为该日志空间创建或绑定异常存储空间表，然后单击列表“操作”列的“上线”。
      日志样例 Log Example	2024-02-05 14:31:19.403|INFO|(LogRecordPostFilter.java:48)|DemoServiceA|GET|http://org-app.appstageshow.com:8081/user/1|373|302	输入日志样例。
      解析脚本 Parse Script	- dissect: tokenizer: "%{time_local}|%{log_type}|%{message_all}|%{request_service}|%{request_type}|%{request_url}|%{delay|integer}|%{request_status|integer}" field: "message" target_prefix: "" - timestamp: field: time_local target_field: timestamp timezone: "Asia/Shanghai" target_layout: "UNIX_MS" layouts: '2006-01-02 15:04:05.999'	配置解析脚本，将日志样例清洗为字段显示。 配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。
      清洗字段 Format Field	-	配置解析脚本后单击“测试解析脚本”，自动生成清洗字段，查看字段是否符合预期。 Test Parse Script

   3. 日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击“下一步”。

      其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。

   4. 申请日志空间共享，如果需要其他服务共用这个空间进行日志下发和日志检索，可以添加共享服务。

      此处可不配置，单击“保存”。

      保存后列表显示该日志空间信息，等待申请，状态变为“已创建”，表示申请成功。

创建日志采集配置

10. 在“日志接入”页面，选择左侧导航栏的“日志采集配置”。
11. 单击“创建日志采集配置”。
12. 配置日志采集参数，如图4所示，参数说明如表5所示，配置完成后，单击“确定”。

    创建完成后，页面提示“创建日志采集配置成功”。

    新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。

    图4 配置日志采集参数
    

    表5 日志采集配置参数说明

    参数	示例	说明
    日志项目	appstageshowtest	选择已创建的日志项目，相同服务的不同日志使用同一个日志项目。
    日志空间	appstageshowspacetest	选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。
    配置名称	showServiceAA01-showtestconfig	自定义日志采集配置名称，配置名称前默认会添加服务名称前缀。
    配置类型	FILEBEAT	选择日志采集配置类型，建议选择“FILEBEAT”。
    日志类型	-	输入采集日志类型。
    日志路径	/opt/wiseeye/test/appstageshow.log	填写实际日志路径，可使用通配符进行匹配。 接入容器日志需要根据通配符匹配完成。 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。
    日志TPS	1000	TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。 如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。 如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。
    日志模式	单行模式	选择日志采集模式，是单行模式还是多行模式。
    是否支持软连接	默认不开启	当填写的日志路径为链接路径时，需要开启支持软连接。
    日志提取规则	-	根据填写的配置参数会自动生成提取规则。

创建任务

13. 在“日志接入”页面，选择左侧导航栏的“任务管理”。
14. 单击页面右上角的“新建任务”。
15. 配置任务参数，参数说明如表6所示，配置完成后，单击“确定”。

    创建完成后，任务列表显示该任务，状态为“已创建”。

    表6 任务参数说明

    参数	示例	说明
    日志项目	appstageshowtest	选择已创建的日志项目。
    任务名称	showServiceAA01-taskappstageshow	自定义任务名称，任务名称前默认会添加服务名称前缀。
    任务类型	配置下发	选择任务类型。
    配置类型	FILEBEAT接入	选择日志采集配置类型。
    配置列表	showServiceAA01-showtestconfig	选择需要下发的配置。
    用户名称	appstage	选择已规划并拥有日志读取权限的业务账号。
    选择主机	cce-appstage-show-nodepool-lpn38	选择需要下发配置的主机。
    已选主机	勾选cce-appstage-show-nodepool-lpn38	显示已选主机。

16. 在任务列表单击该任务所在行“操作”列的“执行”，将进行filebeat agent安装和相关配置的下发，单击“确定”。

    执行完成后，状态为“成功”即表示日志配置内容已下发成功，filebeat已成功安装，同时12中创建的采集配置会从“草稿”状态变更为“已下发”，监控服务会按照配置将日志接入AppStage运维中心监控服务中。

步骤三：创建导流任务

1. 在监控服务左侧导航栏选择“运维数据开发 > 数据开发”，进入“数据开发”页面。
2. 单击“数据管理”，选择“ClickHouse”。
3. 在列表中，单击申请实时日志空间时系统自动创建的ClickHouse表所在行的“编辑任务”。

   系统自动创建的ClickHouse表与检索空间同名，检索空间可在“日志空间”页面查看。

4. 单击“创建导流任务”。
5. 在“导流任务配置”页面配置导流任务及字段，参数说明如表7所示，然后单击“确认创建”。

   创建完成后任务列表显示该任务信息。

   表7 配置导流任务参数说明

   参数	示例	说明
   执行集群	aiops_aPaaS_mrs_stream1	选择Topic所在的Kafka集群。
   执行队列	queue_wiseoap_stream	选择yarn队列资源。
   Kafka Group Id	-	设置Kafka消费者组。
   Kafka Topic	APAAS-AIOPS-MRS/BI-platform-200-appstageshowspacetest-ootb	选择需要导流的数据所在的Topic，即日志接入时系统自动创建的Topic，可在“日志空间”页面查看“存储空间”。
   是否从头消费	否	是：系统将会读取Topic中的历史数据。 否：从当前创建任务时间点的数据开始读取。

6. 在任务列表中单击导流任务后的“启动”。

   启动后，刷新列表，当实际状态显示为“Running”，表示导流任务启动成功。

步骤四：查看已采集日志

导流任务创建后，等待大约2 ~3分钟，就可以在日志检索页面进行日志检索。

1. 在监控服务左侧导航栏选择“日志 > 日志检索”。

2. 在日志检索页面选择已创建的日志空间“appstageshowspacetest/cn-north-4”。
3. （可选）可以设置筛选条件，检索目标日志。
   • 输入查询条件、选择查询时间。
   • 单击“+筛选条件”，添加筛选条件，并单击“保存”，规则如表8所示。
   • 可以在展开页面“未选字段”，添加指定的筛选条件。

     表8 筛选条件规则

     筛选项	筛选效果简介
     =	返回筛选字段内容等于输入的查询值的记录列表，即SQL的=查询。
     !=	返回筛选字段内容不等于输入的查询值的记录列表，即SQL的!=查询。
     in	返回筛选字段内容包含输入的值列表的任意一个的记录列表，即SQL的in查询。
     not in	返回筛选字段内容不包含输入的值列表的任意一个的记录列表，即SQL的not in查询。
     like	返回筛选字段内容包含输入的值的记录列表，即SQL的like查询。
     not like	返回筛选字段内容不包含输入的值的记录列表，即SQL的like查询。
     >=	返回筛选字段内容大于等于输入的值的记录列表，即SQL的>=查询，只有数值型可以使用。
     <=	返回筛选字段内容小于等于输入的值的记录列表，即SQL的<=查询，只有数值型可以使用。
     自定义查询	可以自定义输入查询条件，返回符合查询条件的记录列表。