容器日志接入

前提条件

已获取服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。

步骤一：创建日志项目

1. 进入AppStage运维中心。
2. 在顶部导航栏选择服务。

3. 单击，选择“运维 > 监控服务（ServiceInsight）”。

4. 选择左侧导航栏的“日志 > 日志接入”。
5. 在“日志接入”页面，选择左侧导航栏的“日志项目”。
6. 单击“创建日志项目”。
7. 配置日志项目参数，参数说明如表1所示，配置完成后，单击“创建”。

   表1 日志项目参数说明

   参数名称	参数说明
   日志项目	自定义日志项目名称。 日志项目是一个包含多个日志服务配置的整体，可以看作是一个微服务实例。 同一个微服务实例下的日志服务配置应当包含在一个日志项目中。 不同微服务实例使用完全相同的日志服务配置时，也可以共用同一个日志项目。
   描述	输入日志项目描述，非必填项。

步骤二：创建日志空间

1. 在“日志接入”页面，选择左侧导航栏的“日志空间”。
2. 单击“申请实时日志空间”。
3. 根据界面提示填写日志空间参数。
   1. 配置实时日志空间信息，参数说明如表2所示，配置完成后，单击“下一步”。

      表2 实时日志空间信息参数说明

      参数名称	参数说明
      空间名称	自定义日志空间名称，建议包含日志类型语义。
      空间描述	输入日志空间描述，非必填项。
      日志类型	选择需接入的日志类型，该日志空间中接入的日志数据“logType”字段会根据选择的日志类型生成。不同日志类型所对应的“logType”字段如下： 访问日志：ACCESS_LOG 接口日志：INTERFACE_LOG 错误日志：ERROR_LOG 异常日志：EXCEPTION_LOG 安全日志：SAFE_LOG 资源日志：RESOURCE_LOG 运行日志：RUN_LOG 话单日志：CDR_LOG 指标日志：METRICS_LOG GC日志：GC_LOG HCW日志：HCW_LOG
      日志大小	预计一天的日志量，默认为1GB。
      开启日志检索	如果需要使用日志检索功能，可以打开该开关，并创建导流任务，创建导流任务后可以在“日志检索”页面查看日志。 如果创建时没有打开日志检索开关，后续编辑打开该开关，需要手动创建或绑定检索空间表。 单击该空间所在行“操作”列的，选择“日志空间表管理”并切换至“检索空间表”页签，单击右上角的“创建新空间表”或“选择已有空间表”，手动为该日志空间创建或绑定检索空间表，然后单击列表“操作”列的“上线”。
      检索空间类型	选择ClickHouse。
      原索引名称(ClickHouse)	可选择现有的ClickHouse，如果不填会自动生成。

   2. 配置实时日志字段信息，参数说明如表3所示，配置完成后，单击“下一步”。

      表3 实时日志字段信息参数说明

      参数名称	参数说明
      自定义字段	必须接入的日志字段已默认勾选，可以勾选其他需要接入的日志字段，包括通用字段、容器字段和虚机字段。
      新增自定义环境变量	如需添加自定义环境变量，请选择环境变量名，然后单击“添加”。虚机暂无可选自定义环境变量。
      清洗规则	选择日志清洗规则。 请优先使用算子清洗模式采样，通过配置解析脚本将原始日志清洗为业务需要的日志字段，算子清洗功能及使用样例请参见算子清洗功能介绍。原始日志采样清洗只适用于单纯采样，不需要清洗的场景。 如果创建时选择“无清洗”，后续编辑选择对日志进行清洗，需要手动创建或绑定异常存储空间表。 单击该空间所在行“操作”列的，选择“日志空间表管理”并切换至“异常存储空间表”页签，单击右上角的“创建新空间表”或“选择已有空间表”，手动为该日志空间创建或绑定异常存储空间表，然后单击列表“操作”列的“上线”。
      日志样例	输入日志样例。
      解析脚本	配置解析脚本，将日志样例清洗为字段显示，具体算子功能及使用样例请参见算子清洗功能介绍。 配置解析脚本时字段命名不支持使用中划线“-”，支持使用下划线“_”。
      清洗字段	配置解析脚本后单击“配置解析脚本”，自动生成清洗字段，查看字段是否符合预期。
      开启汇聚	选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇集。 开启后会自动创建用于存储汇聚数据的Topic，同时需要配置汇集相关参数。
      汇聚粒度	开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。
      汇聚时间戳	仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。
      时间戳格式	选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。
      汇聚维度	结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。
      汇聚度量	设置对日志字段以COUNT、SUM、MAX、MIN进行度量。 原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。
      输出原始日志	选择是否需要输出原始日志。如果打开输出原始日志，原始日志也会上报。

   3. 日志字段确认，确认日志字段配置是否达到预期，已达到预期，单击“下一步”。

      其中字段来源COMMON表示通用字段、CONTAINER表示容器字段、VM表示虚机字段。

   4. 申请日志空间共享，如果需要其他服务共用这个空间进行日志下发和日志检索，可以添加共享服务。配置完成后，单击“保存”。

步骤三：创建日志采集配置

1. 在“日志接入”页面，选择左侧导航栏的“日志采集配置”。
2. 单击“创建日志采集配置”。

3. 配置日志采集参数，配置完成后，单击“确定”。

   新创建的采集配置默认为草稿状态，展示在“草稿”页签下，当配置被微服务使用后，状态会更新为“已下发”，并展示到“已下发”页签下。

   • 表4 日志采集配置参数说明

     参数名称	参数说明
     日志项目	选择已创建的日志项目，相同服务的不同日志使用同一个日志项目
     日志空间	选择已创建的日志空间。选择日志空间时日志提取规则会展示日志空间定义的日志格式，采集的日志须满足对应格式。
     配置名称	自定义日志采集配置名称。
     配置类型	选择日志采集配置类型，建议选择“FILEBEAT”。
     日志类型	输入采集日志类型。
     日志路径	宿主机上的日志文件的绝对路径（业务容器通过hostpath挂载到宿主机上的路径）。 可使用通配符进行匹配。 注意避免同一台主机上下发的多个采集任务重复采集相同的日志文件，会导致filebeat进程异常。
     日志TPS	TPS表示单实例每秒日志条数，请准确填写，用于推荐资源自动计算。
     日志模式	选择日志采集模式，是单行模式还是多行模式。
     是否支持软连接	当填写的日志路径为链接路径时，需要开启支持软连接。
     首行正则表达式	日志模式选择多行模式时，需要输入首行正则表达式。
     日志提取规则	根据填写的配置参数会自动生成提取规则。

步骤四：创建日志配置组

1. 在“日志接入”页面，选择左侧导航栏的“日志配置组”。
2. 单击“创建日志配置组”。
3. 设置日志配置组参数，参数说明如表5所示，配置完成后，单击“确定”。

   表5 日志配置组参数说明

   参数名称	参数说明
   日志配置组名称	自定义日志配置组名称。
   安装方式	选择安装方式，推荐使用“DAEMONSET”。
   命名空间	当安装方式为“DAEMONSET”时，需要配置服务日志命名空间。 命名空间为hostpath的下一级目录名称，该目录下48小时内有日志文件更新，才会拉取日志采集配置，必须为英文名。
   日志项目	选择已创建的日志项目。
   配置类型	选择配置类型，即创建日志采集配置时选择的配置类型，根据配置类型会过滤采集配置列表中的数据。
   采集配置列表	选择需要下发的配置。

步骤五：安装日志采集插件

1. 在“日志接入”页面，选择左侧导航栏的“集群插件管理”。
2. 在集群列表中单击待安装插件的集群所在行“操作”列的“安装插件”。
3. 在“插件安装”页面配置安装参数，具体内容如下所示，配置完成后，单击“确定”。
   1. 输入日志挂载路径：挂载到容器指定挂载点中的容器所在宿主机的文件目录，通常为宿主机上日志文件的hostpath目录。需要设置为单独的文件路径，不能设置为类似于/root、/home等包含有其他文件的目录，并且一个集群只能设置一个挂载路径。

      需要对日志挂载路径执行chmod o+rx命令，确保日志采集容器的启动用户拥有该路径的访问权限。

   2. 选择主机：选择待安装插件的主机，默认全部勾选进行安装，可以去掉勾选不需要安装插件的主机，且当主机状态为“Active”时才可以正常安装插件。
   3. 选择日志配置组：选择日志配置组，安装插件并下发配置。