MRS服务如何对接云日志服务？

前提条件

已获取账号AK和SK，详情请参考：如何获取访问密钥（AK/SK）？。

操作步骤

1. 在MRS主机上安装ICAgent，详情请参考：安装ICAgent（华为云主机）。
   

   首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。

2. 创建主机组，把1中已安装的ICAgent的主机加到主机组里面。
   1. 在云日志服务管理控制台，单击“主机管理”，进入主机管理页面，单击右上角“新建主机组”。
   2. 在弹出的新建主机组页面，输入“主机组名称”，选择主机类型“Linux主机”或“Windows主机”。
   3. 在列表中选择需要加入该主机组的主机，单击“确定”，完成主机组的创建。
      • 可以通过主机名称或主机IP对列表进行过滤，也可以单击“批量搜索主机IP”，并在弹出的搜索框中输入多个主机IP，进行批量搜索。
      • 当列表中没有所需主机时，单击“安装ICAgent”，在弹出的页面安装指引完成主机安装。
3. 创建日志组。
   1. 在云日志服务管理控制台，单击页面右上角的“创建日志组”。
   2. 在“创建日志组”页面中，输入日志组名称，名称需要满足如下要求：
      • 只支持输入英文、数字、中文、中划线、下划线及小数点。
      • 不能以小数点、下划线开头或以小数点结尾。
      • 长度为1-64个字符。
   3. 输入“日志存储时间”，如果不设置，系统默认存储时间为7天。日志组创建后，日志存储时间支持修改。

      云日志服务的计费单位为日志使用量，免费额度为500MB/月，包括日志读写、日志存储和日志索引，超过免费额度后将按照日志使用量进行收费。

   4. 单击“确定”，完成日志组的创建。
      • 在日志组页面中，可以查看日志组名称（不支持修改）、日志存储时间（支持修改）、创建时间、创建类型和标签（支持修改）。单击日志组操作列的“修改”可修改日志存储时间。
      • 单击日志组名称，可跳转到日志流详情页面。
4. 创建日志流。
   1. 在云日志服务管理控制台，单击日志组名称对应的下拉按钮。
   2. 单击展开页面左上角的“创建日志流”，输入日志流名称，名称需要满足如下要求：
      • 只支持输入英文、数字、中文、中划线、下划线及小数点。
      • 不能以小数点、下划线开头或以小数点结尾。
      • 长度为1-64个字符。
   3. 在“企业项目”处选择业务需要的企业项目，也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。
   4. 单击“确定”，完成日志流的创建。

      在日志流页面中，可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。

      

      可以给不同的组件设置不同的日志流进行区分。

5. 主机接入。
   1. 在云日志服务管理控制台，单击“日志接入”。
   2. 在“全部分类”页签单击“云主机ECS”。
   3. “采集路径”增加如下配置内容：

      Yarn任务日志路径：

      /srv/BigData/*/nm/containerlogs/**/container-localizer-syslog

      /srv/BigData/*/nm/containerlogs/**/directory.info

      /srv/BigData/*/nm/containerlogs/**/launch_container.sh

      /srv/BigData/*/nm/containerlogs/**/prelaunch.err

      /srv/BigData/*/nm/containerlogs/**/prelaunch.out

      /srv/BigData/*/nm/containerlogs/**/stderr

      /srv/BigData/*/nm/containerlogs/**/stdout

      /srv/BigData/*/nm/containerlogs/**/syslog*

      /srv/BigData/*/nm/containerlogs/**/*.log

      

      路径配置：

      • 采集路径支持递归路径，**表示递归5层目录。
      • 采集路径支持模糊匹配，匹配目录或文件名中的任何字符。
      • 采集路径如果配置的是目录，示例：/var/logs/，则只采集目录下后缀为“.log”、“.trace”和“.out”的文件。

      组件日志：

      HDFS服务全部日志：

      /var/log/Bigdata/audit/hdfs/jn/hdfs-audit-journalnode.log

      /var/log/Bigdata/audit/hdfs/jn/SecurityAuth.audit

      /var/log/Bigdata/hdfs/*/

      其他组件可以参考HDFS服务日志进行配置。