接入日志操作指导

采集数据需要一台用于安装日志采集的各项配置的ECS主机，且ECS的系统内存 ≥ 50 GB。

请参考查看ECS信息查看ECS的信息，如果已有满足条件的ECS，则请跳过该步骤。如果没有符合条件的ECS，请参考本步骤购买满足条件的ECS。

前提条件

已获取IAM管理员账号信息。

购买ECS操作步骤

1. 使用IAM管理员账号登录管理控制台。
2. 单击管理控制台左上角的，选择区域或项目后，单击页面左上方的，选择“计算 > 弹性云服务器 ECS”。
3. 在弹性云服务器页面，单击右上角的“购买弹性云服务器”。
4. 在购买页面配置ECS购买参数信息。

   表1 ECS购买参数说明

   参数名称		配置说明
   基础配置		根据需要自定义配置。 其中，“可用分区”如果没有特殊要求，建议选择“随机分配”。
   实例	CPU架构	请选择“鲲鹏计算”。 目前，日志采集的组件控制器（isap-agent）支持运行在Linux系统X86_64和Arm64架构的ECS主机上，因此，此处请选择“鲲鹏计算”。
   	实例筛选	最低要求CPU 2核，内存4 GB，根据需要选择符合要求的实例。
   操作系统	镜像	建议选择“公共镜像 > Huawei Cloud EulerOS”后，根据需要选择镜像。 由于名称中带有“制作资源专用不支持密码注入”描述的镜像无法使用密码进行登录，因此请勿选择此类镜像。 选择镜像后，“开启安全防护”根据需要自定义配置。
   存储与备份	系统盘	最低要求系统磁盘50 GB。 根据需要选择符合要求的系统盘。
   	数据盘	最低要求数据磁盘100 GB。 单击“增加一块数据盘”，根据需要选择符合要求的数据盘。
   	开启备份	根据需要自定义配置。
   网络	虚拟私有云	根据需要自定义配置。 配置后，请记录此处选择的虚拟私有云和子网名称，方便后续使用。
   	主网卡
   安全组		根据需要自定义配置。
   公网访问		根据需要自定义配置。
   云服务器管理		根据需要自定义配置。 配置后，请记录此处设置的云服务器名称、用户名、密码信息，方便后续使用。
   高级配置		根据需要自定义配置。
   购买量		根据需要自定义配置。

5. 确认参数配置无误后，勾选协议并单击“立即购买”。
6. 在订单页面，选择付款方式完成付款，完成购买操作。

ECS中有用于采集管理的日志采集器的空闲数据盘，此数据磁盘需要和已有的ECS属于同一可用区，且磁盘容量 ≥ 100 GB。

请参考查看数据磁盘信息查看数据磁盘的信息，如果已有的ECS中已有满足条件的数据盘，则请跳过该步骤；如果是参照（可选）步骤一：购买ECS购买的ECS，购买时已配置数据盘参数，则请跳过该步骤。如果没有符合条件的数据盘，请参考本步骤购买满足条件的数据盘。

前提条件

已获取IAM管理员账号信息。

购买数据磁盘操作步骤

1. 使用IAM管理员账号登录管理控制台。
2. 单击管理控制台左上角的，选择区域或项目后，单击页面左上方的，选择“存储 > 云硬盘 EVS”。
3. 在云硬盘页面右上角，单击“购买磁盘”。
4. 在购买页面配置磁盘购买参数信息。

   表2 磁盘购买参数说明

   参数名称	配置说明
   区域	请选择与（可选）步骤一：购买ECS中相同的区域。
   可用区	请选择与（可选）步骤一：购买ECS中相同的可用区。
   挂载到云服务器	请选择“立即挂载”，并单击“选择云服务器”，再选择（可选）步骤一：购买ECS中的ECS后，单击“确定”。
   计费模式	根据需要自定义配置。
   数据源	根据需要自定义配置。
   磁盘规格	磁盘类型：根据需要自定义配置。 容量 (GiB)：最低要求数据磁盘100 GB。请根据需要选择符合要求的数据盘。
   当前已选	展示当前已选择磁盘配置信息，无需配置。
   云备份	根据需要自定义配置。
   更多	根据需要自定义配置。
   企业项目	根据需要自定义配置。
   磁盘名称	根据需要自定义配置。
   购买量	根据需要自定义配置。

5. 确认参数配置无误后，勾选协议并单击“立即购买”。
6. 在订单页面，根据界面提示完成购买操作。
   

   购买完成后，不需要初始化，后续网络连通配置会自动进行初始化配置。

如果您已有符合条件的ECS，且有符合条件的数据磁盘，请参考查看ECS中已挂载的数据盘查看符合条件的数据磁盘是否已挂载在符合条件的ECS上。

如果已完成挂载，则请跳过该步骤；以下任一场景也无需执行此步骤：

• 参考（可选）步骤一：购买ECS购买的ECS，则在购买时已经了购买符合条件的ECS和数据磁盘，且磁盘已挂载到ECS，无需执行此步骤。
• 已有符合条件的ECS（没有参考（可选）步骤一：购买ECS进行购买），而参考（可选）步骤二：购买数据磁盘购买了符合条件的数据盘，则购买数据磁盘时已经执行了数据磁盘挂载到云服务器操作，无需执行此步骤。

如果数据磁盘没有挂载在符合条件的ECS上，需要执行挂载数据磁盘操作，保障日志采集器有足够的运行空间，请参考本步骤进行处理。

挂载数据磁盘操作步骤

1. 使用IAM管理员账号登录管理控制台。
2. 单击管理控制台左上角的，选择区域或项目后，单击页面左上方的，选择“计算 > 弹性云服务器 ECS”。
3. 在弹性云服务器页面中，单击符合条件的ECS名称，进入ECS详情页面。
4. 选择“云硬盘”页签后，在云硬盘页面中单击“挂载磁盘”，并在挂载磁盘弹窗中，勾选符合条件的数据磁盘，单击“确定”。
   图2 挂载磁盘
   

租户采集的鉴权采用的是IAM鉴权，因此，需要创建拥有安全云脑接口访问权限，禁止开启MFA等校验规则的IAM最小权限账户（机机账户）。

该账户主要用于租户侧日志采集器登录并访问安全云脑。本部分介绍如何创建IAM用户。

前提条件

已获取IAM管理员账号信息。

创建IAM用户操作步骤

1. 使用IAM管理员账号登录管理控制台。
2. 在页面左上角单击，选择“管理与监管 > 统一身份认证服务 IAM”，进入统一身份认证服务管理控制台。
3. 创建用户组。
   1. 在左侧导航栏选择“用户组”，进入用户组页面后，单击右上角“创建用户组”。
   2. 在创建用户组页面，设置用户组名称和描述信息。
      • 用户组名称：请设置为“租户采集用户组”。
      • 描述：自定义描述信息即可。
   3. 单击“确定”。
4. 添加权限。
   1. 在左侧导航栏选择“权限管理 > 权限”，并在权限页面右上角单击“创建自定义策略”。
   2. 配置策略。
      • 策略名称：请设置为“租户采集最小权限策略”。
      • 策略配置方式：选择“JSON视图”。
      • 策略内容：请直接复制粘贴以下内容。

        { 
            "Version": "1.1", 
            "Statement": [ 
                { 
                    "Effect": "Allow", 
                    "Action": [ 
                        "secmaster:workspace:get", 
                        "secmaster:node:create", 
                        "secmaster:node:monitor", 
                        "secmaster:node:taskQueueDetail" ,
                        "secmaster:node:updateTaskNodeStatus" 
                    ] 
                } 
            ] 
        }

   3. 单击“确定”。
5. 给用户组授权。
   1. 在左侧导航栏选择“用户组”，进入用户组页面后，单击3创建的用户组“租户采集用户组”名称，进入用户组详情页面。
   2. 在“授权记录”页签中，单击“授权”。
   3. 在选择策略页面，搜索并选中4添加的权限“租户采集最小权限策略”后，单击“下一步”。
   4. 设置最小授权范围，请选择“所有资源”，设置完成后，单击“确定”。

      添加成功后显示如下：

6. 创建用户。
   1. 在左侧导航栏选择“用户”，进入用户页面后，单击“创建”。
   2. 配置用户基本信息。

      表3 用户基本信息

      参数名称		配置说明
      用户信息		自定义配置。 设置后，记录此处IAM用户名信息（IAM User Name），方便后续使用。
      访问方式	编程访问	勾选。
      	管理控制台访问	不勾选。
      凭证类型	访问密钥	勾选。
      	密码	勾选。 勾选密码后，勾选“自定义”，并自定义设置密码。设置后，记录此处IAM用户密码信息（IAM User Password），方便后续使用。

   3. 单击“下一步”，进入加入用户组页面。
   4. 搜索并选中3创建的用户组“租户采集用户组”，单击“创建用户”。
7. 确认用户未绑定虚拟MFA设备。
   1. 在左侧导航栏选择“用户”，进入用户页面后单击6创建的用户的名称。
   2. 选择“安全设置”页签，并确认“虚拟MFA设备”的状态为“未绑定”。
8. 查看IAM用户的域账号信息。
   1. 将鼠标悬停至右上角用户名上，并在下拉框中选择“我的凭证”。
   2. 在API凭证信息中，查看并记录账号名，此信息则为后续安装isap-agent的域账号信息。
      图3 域账号信息
      

采集数据前，需要进行网络连通配置，以便实现租户VPC与安全云脑的网络连通。

前提条件

已开通付费版安全云脑服务，且已创建工作空间。详细操作请参见购买安全云脑、新增工作空间。

网络连通配置操作步骤

1. 在页面左上角单击，选择“安全与合规 > 安全云脑 SecMaster”，进入安全云脑管理页面。
2. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。
   图4 进入目标工作空间管理页面
   
3. 在左侧导航栏选择“设置 > 组件管理”，默认进入节点管理页面。
   图5 进入节点管理页面
   
4. 在节点管理页面中，单击“新增”，页面右侧弹出新增节点页面。
5. 在新增节点页面中，配置通道。
   图6 新增节点
   
   1. 在网络通道配置栏中，选择（可选）步骤一：购买ECS中记录的ECS所属的虚拟私有云和子网。
   2. 在网络通道列表中，单击所有通道操作列的“配置”，并在弹出的确认框中，单击“确定”。

      当所有通道的状态为已接受时，则表示网络通道配置完成。

      图7 新增节点
      
      

      VPC终端节点（用于连通和管理采集节点）配置后，系统将根据使用情况进行收费，具体收费情况请参见VPC终端节点计费说明。

      后续如果不再使用数据采集功能，需要手动释放用于连通和管理采集节点的VPC终端节点，详细操作请参见删除终端节点。

本步骤介绍如何安装安全云脑组件控制器（isap-agent），将日志采集器节点（ECS）纳管到安全云脑。

前提条件

已完成网络连通配置。

安装组件控制器操作步骤

1. 在步骤五：网络连通配置执行后的页面中，单击页面右下角“下一步”，进入“脚本安装验证”页面。
2. 选择云服务器系统，根据安装系统，并单击复制安装组件控制器的命令。
   图8 复制安装命令
   
3. 安装组件控制器。
   1. 远程登录（可选）步骤一：购买ECS准备的ECS。
      • 您可以登录弹性云服务器控制台，在“弹性云服务器”列表中，单击“远程登录”登录主机，详细操作请参见在云服务器控制台上登录主机。
      • 如果您的主机已经绑定了弹性IP，您也可以使用远程管理工具（例如：PuTTY、Xshell等）登录主机，并使用root账号在主机中安装组件控制器。
   2. 粘贴2复制的安装命令，并以root权限执行，在ECS中安装组件控制器。
   3. 根据界面提示，输入步骤四：创建IAM用户中创建的机机账户域名、用户名、密码。
   4. 如果界面回显“install isap-agent successfully”信息时，则表示组件控制器安装成功。
      图9 安装成功
      

   安装过程中，如果安装失败请参考组件控制器安装失败问题排查进行排查处理；如果提示内存不足，请参见磁盘分区进行处理。

4. 确认已安装后，返回安全云脑新增节点页面，单击页面右下角“确认”。

   安装完成后，可以在节点管理页面查看已新增的节点。

   图10 已新增节点
   

安装安全云脑日志采集组件（Logstash），配置日志采集进程。

安装日志采集组件操作步骤

1. 在左侧导航栏选择“设置 > 组件管理”，进入节点管理页面后，选择“组件管理”页签，进入组件管理页面。
   图11 进入组件管理页面
   
2. 在组件管理页面中，单击待查看组件右上角“编辑配置”，右侧将弹出该组件的配置管理页面。
3. 在节点配置栏中，单击节点列表左上角“添加”，并在弹出的“添加节点”框中选择（可选）步骤一：购买ECS购买/准备的节点后，单击“确认”。
   图12 添加节点
   
4. 单击页面右下角“保存并应用”。

   等待一段时间，当组件状态为“应用完成”时，表示在当前ECS节点上采集器Logstash已经安装完成。

   图13 配置完成
   

在安全云脑中创建日志存储位置（管道），用于日志存储、分析。

前提条件

已有可用的数据空间。

创建日志存储管道操作步骤

1. 在左侧导航栏选择“威胁运营 > 安全分析”，进入安全分析页面。
   图14 进入安全分析页面
   
2. 在左侧数据空间导航栏中，单击数据空间名称右侧的，并在下拉选项中选择的“创建管道”，系统从右侧弹出创建管道页面。
   图15 创建管道
   
3. 在创建管道页面中，配置管道参数，参数说明如表4所示。

   表4 创建管道

   参数名称	参数说明
   数据空间	该管道所属的数据空间，系统默认生成。
   管道名称	自定义管道的名称。命名规则如下： 名称长度取值范围为5-63个字符。 可包含英文字母、数字和-。其中，-不能出现在开头和结尾，且不能连续出现。 名称须为数据空间中的唯一，不能与数据空间中其他管道名称相同。
   Shard数	该管道的Shard数量。取值范围为：1-64。 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求，Elasticsearch提供了一个能力，将一个索引拆分为多个，称为Shard。当您创建一个索引时，您可以根据实际情况指定Shard的数量。每个Shard托管在集群中的任意一个节点中，且每个Shard本身是一个独立的、全功能的“索引”。
   生命周期	该管道内数据的生命周期。取值范围为：7-180。
   描述	可选参数，设置该管道的备注信息。

4. 单击“确定”。

   创建成功后，可单击数据空间名称，展开查看已创建的管道。

配置日志来源、接收目的的参数信息。

配置连接器操作步骤

1. 在左侧导航栏选择“设置 > 采集管理”，默认进入连接管理页面。
   图16 进入连接管理页面
   
2. 新增数据连接来源。
   1. 在“连接管理”页面中，单击“新增”，默认进入选择数据连接来源页面。
   2. 配置数据连接来源参数。

      表5 日志来源

      参数名称	配置说明
      连接方式	选择“来源”。
      连接类型	选择“用户数据协议（Udp）”。
      名称	自定义设置数据连接来源名称。
      描述	自定义设置数据来源描述信息。
      端口	保持缺省值即可。
      解码类型	保持缺省值即可。
      高级设置	无需配置。

      图17 来源
      
   3. 设置完成后，单击页面右下角“确认”。
3. 新增数据连接目的。
   1. 在“连接管理”页面中，单击“新增”，进入选择数据连接页面。
   2. 配置数据连接目的参数。

      表6 日志目的

      参数名称	配置说明
      连接方式	选择“目的”。
      连接类型	选择“云脑管道（Pipe）”。
      名称	自定义设置数据连接目的名称。
      描述	自定义设置日志数据目的描述信息。
      类型	自定义设置日志目的类型。
      管道	选择（可选）步骤八：创建日志存储管道创建的管道。
      域账户	输入当前登录Console的IAM账号的域账户信息。
      用户名	输入当前登录Console的IAM账号的用户信息。
      密码	输入当前登录Console的IAM账号的密码。
      高级设置	无需配置。

      图18 目的
      
   3. 设置完成后，单击页面右下角“确认”。

配置日志解析器，以便将日志数据进行格式转换，实现无码化，将源日志转换成用户需要的数据类型。

配置日志解析器操作步骤

• 方式一：使用模板进行创建

  此处以“安恒WAF日志解析”为例进行介绍。

  1. 在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“解析器管理”页签，进入解析器管理页面。
     图19 进入解析器管理页面
     
  2. 在解析器管理页面中，选择“模板列表”页签。
  3. 在模板列表页面中，单击“安恒WAF日志解析”所在行“操作”列的“由模板创建”。
  4. 在新增解析器页面中，进行参数配置。

     表7 新增解析器

     参数名称		参数说明
     基本信息	名称	解析器名称，系统已根据模板自动生成，可进行修改。
     	描述	解析器描述信息，系统已根据模板自动生成，可进行修改。
     规则列表		解析器解析规则，系统已根据模板自动生成，可进行修改。 如需添加规则，可以单击“添加”，选择规则类型，并根据选择的规则配置对应的参数信息。 解析规则：选择解析器的解析规则，详细参数说明请参见解析器规则说明。 条件控制：选择解析器的条件控制原则，支持选择“if条件”、“else条件”、“else if条件”。

  5. 设置完成后，单击页面右下角“确定”。
• 方式二：自定义新增解析器

  模板日志解析器（规则）无法满足日志转换的情况下，可自定义新增日志解析器（规则）。

  1. 在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“解析器管理”页签，进入解析器管理页面。
     图20 进入解析器管理页面
     
  2. 在解析器列表管理页面中，单击“新增”，进入新增解析器页面。
  3. 在新增解析器页面中，进行参数配置。

     表8 新增解析器

     参数名称		参数说明
     基本信息	名称	设置解析器名称。
     	描述	输入解析器描述信息。
     规则列表		设置解析器解析规则。操作步骤如下： 单击“添加”，并选择规则类型。 解析规则：选择解析器的解析规则，详细参数说明请参见解析器规则说明。 条件控制：选择解析器的条件控制原则，支持选择“if条件”、“else条件”、“else if条件”。 根据选择的规则配置对应的参数信息。

  4. 设置完成后，单击页面右下角“确定”。

完成各功能组件连接，实现安全云脑和日志采集器正常工作。

配置日志采集通道操作步骤

1. 在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“采集通道管理”页签，进入采集通道管理页面。
   图21 进入采集通道管理页面
   
2. 新增日志采集通道分组。
   1. 在采集通道管理页面中，单击“分组列表”右侧的。
   2. 自定义输入分组名称，并单击，完成新增。
3. 新建日志采集通道。
   1. 在采集通道管理页面的分组列表右侧，单击“新增”，进入新增采集通道页面。
   2. 在“基础配置”页面中，配置基础信息。

      表9 基础配置参数说明

      参数名称		参数说明
      基础信息	名称	自定义采集通道名称。
      	通道分组	选择2创建的分组。
      	（可选）描述	自定义填写采集通道描述信息。
      来源配置	源名称	选择步骤九：配置连接器新增的日志来源名称。 选择后系统将自动生成已选择来源的相关信息。
      目的配置	目的名称	选择步骤九：配置连接器新增的日志目的名称。 选择后系统将自动生成已选择目的相关信息。

   3. 单击页面右下角“下一步”，进入“解析器配置”页面。
   4. 在“解析器配置”页面中，选择（可选）步骤十：配置日志解析器配置的解析器，并单击页面右下角“下一步”，进入“运行节点选择”页面。

      如果未配置解析器，可以选择“快速接入”，将原始日志直接接入采集通道列表中。

   5. 在“运行节点选择”页面中，单击“新增”，并在弹出的添加节点框中选择（可选）步骤一：购买ECS购买的ECS节点后，单击“确认”。
      图22 选择运行节点
      
4. 单击页面右下角“下一步”，进入“通道详情预览”页面。
5. 在“通道详情预览”页面确认配置无误后，单击“保存并执行”。

   当采集通道状态为“正常”，表示当前采集通道下发已经全部成功。

   图23 采集通道配置完成
   

测试验证日志是否接入成功

测试验证操作步骤

1. 手动触发生成日志。
   1. 远程登录（可选）步骤一：购买ECS的ECS。
      • 您可以登录弹性云服务器控制台，在“弹性云服务器”列表中，单击“远程登录”登录主机，详细操作请参见在云服务器控制台上登录主机。
      • 如果您的主机已经绑定了弹性IP，您也可以使用远程管理工具（例如：PuTTY、Xshell等）登录主机，并使用root账号在主机中安装组件控制器。
   2. 执行以下命令，手动触发生成日志。

      echo ”asdfsadfsadf” > /dev/udp/0.0.0.0/1025

2. 在安全云脑控制台的采集通道中查看数据。
   1. 在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“采集通道管理”页签，进入采集通道管理页面。
   2. 在采集通道页面中，单击表格右上角的设置按钮，勾选“接收数量”和“发送数量”。
      图24 配置表格参数
      
   3. 在表格中，查看对应采集通道监控，有接收数量和发送数量，说明日志接入成功。
      图25 查看日志接入情况
      
3. 在安全云脑控制台的安全分析日志管道中查看数据。
4. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道列后，再单击（可选）步骤八：创建日志存储管道创建的管道名称，右侧将显示管道数据的检索页面。
   图26 管道数据页面
   
5. 日志管道有数据，说明日志接入成功。