# 接入虚拟机日志 本章节介绍如何通过filebeat采集虚拟机日志。 ![](https://support.huaweicloud.com/usermanual-wiseeye/public_sys-resources/note_3.0-zh-cn.png) 监控服务安装filebeat是使用子用户sudo权限进行安装，需要确保子用户具有sudo权限，同时虚拟机/etc/sudoers目录包含root ALL=(ALL) ALL命令，如果检查没有该命令，需要手动添加。 SUSE15系统没有自带sudo命令，如果需要采集的虚拟机操作系统为SUSE15，需要使用root用户登录主机，并执行**zypper install sudo**命令手动为SUSE15下载安装sudo，执行安装命令时需要保证机器与公网连通。 #### 前提条件 - 已[设置执行机](https://support.huaweicloud.com/usermanual-wiseeye/appstage_04_2155.html)。 - 已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见[申请权限](https://support.huaweicloud.com/usermanual-appstage/appstage_04_0009.html)。 #### 步骤一：创建日志项目 1. [进入AppStage运维中心](https://support.huaweicloud.com/usermanual-wiseeye/appstage_04_0089.html#appstage_04_0089__zh-cn_topic_0000001896253866_zh-cn_topic_0000001785965698_section11734269409)。 2. 在顶部导航栏选择服务。 3. 单击![](https://support.huaweicloud.com/usermanual-wiseeye/zh-cn_image_0000002178508025.png)，选择"运维 \> 监控服务（ServiceInsight）"。 4. 选择左侧导航栏的"日志 \> 日志接入"。 5. 在"日志接入"页面，选择左侧导航栏的"日志项目"。 6. 单击"创建日志项目"。 7. 配置日志项目参数，参数说明如[表1]所示，配置完成后，单击"创建"。 表1日志项目参数说明 | **参数名称** | **参数说明** | |:---|:---| | 日志项目 | 自定义日志项目名称。 日志项目是一个包含多个日志服务配置的整体，可以看作是一个微服务实例。 - 同一个微服务实例下的日志服务配置应当包含在一个日志项目中。 - 不同微服务实例使用完全相同的日志服务配置时，也可以共用同一个日志项目。 | | 描述 | 输入日志项目描述，非必填项。 | #### 步骤二：创建日志空间 1. 在"日志接入"页面，选择左侧导航栏的"日志空间"。 2. 单击"申请实时日志空间"。 3. 根据界面提示填写日志空间参数。 1. 配置实时日志空间信息，参数说明如[表2]所示，配置完成后，单击"下一步"。 表2实时日志空间信息参数说明 | **参数名称** | **参数说明** | |:---|:---| | 空间名称 | 自定义日志空间名称，建议包含日志类型语义。 | | 空间描述 | 输入日志空间描述，非必填项。 | | 区域 | 选择需要接入日志的区域。 | | 日志类型 | 选择需接入的日志类型，该日志空间中接入的日志数据"logType"字段会根据选择的日志类型生成。不同日志类型所对应的"logType"字段如下： - 访问日志：ACCESS_LOG - 接口日志：INTERFACE_LOG - 错误日志：ERROR_LOG - 异常日志：EXCEPTION_LOG - 安全日志：SAFE_LOG - 资源日志：RESOURCE_LOG - 运行日志：RUN_LOG - 话单日志：CDR_LOG - 指标日志：METRICS_LOG - GC日志：GC_LOG - HCW日志：HCW_LOG | | 日志大小 | 预计一天的日志量，默认为1GB。 | | 日志TTL | 设置日志的保存时间，默认为7天，最多可设置30天。 日志保存在所选择或自动创建的ClickHouse表中。如需长期存储，可以开启日志对接OBS，将超出期限的日志推送至OBS桶。 | | 开启日志检索 | - 如果需要使用日志检索功能，可以打开该开关，并[创建导流任务](https://support.huaweicloud.com/usermanual-wiseeye/appstage_04_2168.html)将数据导流至ClickHouse表，创建导流任务后可以在"日志检索"页面查看日志。 - 如果创建时没有打开日志检索开关，后续编辑打开该开关，需要手动创建或绑定检索空间表。 单击该空间所在行"操作"列的![](https://support.huaweicloud.com/usermanual-wiseeye/zh-cn_image_0000002178508437.png)，选择"日志空间表管理"并切换至"检索空间表"页签，单击右上角的"创建新空间表"或"选择已有空间表"，手动为该日志空间创建或绑定检索空间表，然后单击列表"操作"列的"上线"。 | | 检索空间类型 | 选择ClickHouse。 | | 原索引名称(ClickHouse) | 可选择现有的ClickHouse，如果不填会自动生成。 | | 开启日志对接OBS | 支持开启日志对接OBS。 开启对接OBS后运维中心会将超过TTL期限的日志推送至OBS桶，此过程OBS会产生相应的流量费用，请合理评估是否开启，OBS计费相关内容请参见[OBS计费说明](https://support.huaweicloud.com/price-obs/obs_42_0001.html)。 | | OBS桶 | 开启日志对接OBS，需要填写对应的OBS桶，填写前确保对应Region的OBS存在该桶，如不存在，请[创建桶](https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829088.html)后填写。 日志会存储在该桶的/appstage/serviceinsight/log目录下，每天生成一个日志文件目录，每30分钟上报一个日志文件。 | 2. 配置实时日志字段信息，参数说明如[表3]所示，配置完成后，单击"下一步"。 表3实时日志字段信息参数说明 | **参数名称** | **参数说明** | |:---|:---| | 自定义字段 | 必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。 | | 清洗规则 | 选择日志清洗规则。 - 请优先使用算子清洗模式采样，通过配置解析脚本将原始日志清洗为业务需要的日志字段，算子清洗功能及使用样例请参见[算子清洗功能介绍](https://support.huaweicloud.com/usermanual-wiseeye/appstage_04_1156.html)。 - 如果创建时选择"无清洗"，后续编辑选择对日志进行清洗，需要手动创建或绑定异常存储空间表。 单击该空间所在行"操作"列的![](https://support.huaweicloud.com/usermanual-wiseeye/zh-cn_image_0000002143309050.png)，选择"日志空间表管理"并切换至"异常存储空间表"页签，单击右上角的"创建新空间表"或"选择已有空间表"，手动为该日志空间创建或绑定异常存储空间表，然后单击列表"操作"列的"上线"。 | | 日志样例 | 输入日志样例。 | | 解析脚本 | 配置解析脚本，将日志样例清洗为字段显示，具体算子功能及使用样例请参见[算子清洗功能介绍](https://support.huaweicloud.com/usermanual-wiseeye/appstage_04_1156.html)。 配置解析脚本时字段命名不支持使用中划线"-"，支持使用下划线"_"。 | | 清洗字段 | 配置解析脚本后单击"测试解析脚本"，自动生成清洗字段，查看字段是否符合预期。 | 3. 日志字段确认，确认日志字段配置是否达到预期，达到预期后可单击"下一步"。 其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。 4. 申请日志空间共享，如果需要其他服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击"保存"。 #### 步骤三：创建日志采集配置 1. 在"日志接入"页面，选择左侧导航栏的"日志采集配置"。 2. 单击"创建日志采集配置"。 3. 配置日志采集参数，参数说明如[表4]所示，配置完成后，单击"确定"。 - 新创建的采集配置默认为草稿状态，展示在"草稿"页签下，当配置被微服务使用后，状态会更新为"已下发"，并展示到"已下发"页签下。 - 对于已创建的日志采集配置，支持勾选后单击列表上方的"导出"，导出JSON文件。 可以单击"导入"，将文件导入至其他日志项目及日志空间下使用。 表4日志采集配置参数说明 | **参数名称** | **参数说明** | |:---|:---| | 日志项目 | 选择已创建的日志项目，相同服务的不同日志使用同一个日志项目。 | | 日志空间 | 选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。 | | 配置名称 | 自定义日志采集配置名称。 | | 配置类型 | 选择日志采集配置类型，建议选择"FILEBEAT"。 | | 日志类型 | 输入采集日志类型。 | | 日志路径 | 填写实际日志路径，可使用通配符进行匹配。 - 接入容器日志需要根据通配符匹配完成。 - 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。 | | 日志TPS | TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。 - 如果采集路径是单个日志，则按照单个日志单台机器（pod）的TPS值填写，且按照高峰期计算。 - 如果采集路径配置了通配符，则将采集的日志TPS累加，累加计算高峰期单台机器（pod）的TPS，建议按近期业务增长预期填写。 | | 日志模式 | 选择日志采集模式，是单行模式还是多行模式。 | | 是否支持软连接 | 当填写的日志路径为链接路径时，需要开启支持软连接。 | | 首行正则表达式 | 日志模式选择多行模式时，需要输入首行正则表达式。 | | 日志提取规则 | 根据填写的配置参数会自动生成提取规则。 | #### 步骤四：创建任务 1. 在"日志接入"页面，选择左侧导航栏的"任务管理"。 2. 单击页面右上角的"新建任务"。 3. 配置任务参数，参数说明如[表5]所示，配置完成后，单击"确定"。 表5任务参数说明 | **参数名称** | **参数说明** | |:---|:---| | 日志项目 | 选择已创建的日志项目。 | | 任务名称 | 自定义任务名称。 | | 任务类型 | 选择任务类型。 | | 配置类型 | 选择日志采集配置类型。 | | 配置列表 | 选择需要下发的配置。 | | 用户名称 | 选择已规划并拥有日志读取权限的业务账号。 | | 选择主机 | 选择需要下发配置的主机。 | | 已选主机 | 显示已选主机。 | 4. 在任务列表中查看已创建的任务，单击任务所在行"操作"列的"执行"，如[图1]所示。 图1执行任务 ![](https://support.huaweicloud.com/usermanual-wiseeye/zh-cn_image_0000002178390077.png) 执行完成后，状态为成功即表示日志配置内容已下发成功，filebeat已成功安装，监控服务会按照配置将日志接入AppStage。 如需卸载filebeat，请参考[如何卸载虚拟机上安装的filebeat](https://support.huaweicloud.com/appstage_faq/appstage_05_0201.html)。