AWS ALB日志接入安全云脑

约束与限制

• 数据采集的组件控制器仅支持运行在Linux系统X86和ARM架构的ECS主机上。
• 安装组件控制器时，在控制台中查看信息时，仅支持使用IAM非管理员账号登录。
• 读取OBS文件的采集通道，只能部署在单节点上，多节点文件读取记录无法同步。数据量较多的场景，可以通过前缀控制，配置多个采集通道，部署在不同的节点上。

前提条件

• 已开通付费版安全云脑服务，且已创建工作空间。

  详细操作请参见购买安全云脑、新增工作空间。

AWS ALB日志接入安全云脑操作步骤

1. 采集数据需要一台用于安装日志采集的各项配置的ECS主机，且ECS的系统磁盘容量 ≥ 50 GB。

   若已有满足条件的ECS，则跳过此步骤。

   若需新购买ECS，请参考购买申请ECS。

2. 购买数据磁盘，保障日志采集器有足够的运行空间。

   ECS中有用于采集管理的日志采集器的空闲数据盘，此数据磁盘需要和已有的ECS属于同一可用区，且磁盘容量 ≥ 100 GB。

   如果参照购买申请ECS时已购买且配置了数据磁盘，则请跳过该步骤。否则参考购买申请数据磁盘。

3. 挂载数据磁盘到符合条件的ECS上。

   需要将符合条件的数据磁盘挂载在已有的符合条件的ECS上，保障日志采集器有足够的运行空间，操作指导请参考挂载数据磁盘。

   若满足以下任一场景则无需执行此步骤：

   • 场景一：参考购买申请ECS时已经了购买符合条件的ECS和数据磁盘，且磁盘已挂载到ECS，则无需执行此步骤。
   • 场景二：已有符合条件的ECS，且参考购买申请数据磁盘购买了符合条件的数据磁盘，购买数据磁盘时已经执行了数据磁盘挂载到云服务器ECS的操作，则无需执行此步骤。

4. 创建非管理员IAM账户。

   租户采集的鉴权采用的是IAM鉴权，因此需要创建拥有安全云脑接口访问权限的IAM最小权限账户（机机账户），同时禁止开启MFA。该账户主要用于租户侧日志采集器登录并访问安全云脑，操作指导请参考创建非管理员IAM账户。

5. 采集数据前，需要进行网络连通配置，以便实现租户VPC与安全云脑的网络连通。操作指导请参考网络连通配置。
6. 安装组件控制器（isap-agent），纳管日志采集器节点（ECS）到安全云脑。操作指导请参考安装组件控制器（isap-agent）。
7. 安装日志采集组件（Logstash），配置日志采集进程。操作指导请参考安装日志采集组件（Logstash）。
8. 创建日志存储管道，在安全云脑中创建日志存储位置（管道），用于日志存储、分析。

   （可选）新增用于转入数据的数据空间，如果已有三方数据存放空间，无需再进行新增。

   （可选）在已新增的数据空间中新增用于转入数据的存储管道，如果已有存储管道，无需再进行新增。

   1. 进入目标工作空间管理页面，在左侧导航栏选择“威胁管理 > 安全分析”，进入安全分析页面。
      图2 进入安全分析页面
      

   2. 新增数据空间。
      1. 在数据空间列表左上角，单击“新增”，系统从右侧弹出新增数据空间界面。
         图3 新增数据空间
         
      2. 在新增数据空间页面中，配置新建数据空间参数，参数说明如下所示：

         表1 新增数据空间

         参数名称	参数说明
         数据空间	输入数据空间名称。命名规则如下： 名称长度取值范围为5-63个字符。 可包含英文字母、数字和-。其中，-不能出现在开头和结尾，且不能连续出现。 名称须为全局（整个华为云上）唯一，不能与其他数据空间名称相同。 此处示例命名为“DataTransfer”。
         描述	可选参数，设置该数据空间的备注信息。

      3. 单击“确定”。
   3. 在左侧数据空间导航栏中，单击b.新增数据空间。新增的数据空间名称右侧的，并在下拉选项中选择的“创建管道”，系统从右侧弹出创建管道页面。
      图4 创建管道
      
   4. 在创建管道页面中，配置管道参数，参数说明如表2所示。

      表2 创建管道

      参数名称	参数说明
      数据空间	该管道所属的数据空间，系统默认生成。
      管道名称	自定义管道的名称。命名规则如下： 名称长度取值范围为5-63个字符。 可包含英文字母、数字和-。其中，-不能出现在开头和结尾，且不能连续出现。 名称须为数据空间中的唯一，不能与数据空间中其他管道名称相同。 建议命名为“aws_alb_log”。
      Shard数	该管道的Shard数量。取值范围为：1-64。保持缺省值即可。 索引可以存储数据量超过1个节点硬件限制的数据。为满足这样的需求，Elasticsearch提供了一个能力，将一个索引拆分为多个，称为Shard。当您创建一个索引时，您可以根据实际情况指定Shard的数量。每个Shard托管在集群中的任意一个节点中，且每个Shard本身是一个独立的、全功能的“索引”。
      生命周期	该管道内数据的生命周期。取值范围为：7-180。 保持缺省值即可。
      描述	可选参数，设置该管道的备注信息。

   5. 单击“确定”。创建成功后，可单击数据空间名称，展开查看已创建的管道。
   

   不同的数据来源接入安全云脑，建议使用不同的管道进行存储，方便后续对指定数据进行查询分析。

9. 配置连接器，配置日志来源、接收目的的参数信息。
   1. 进入目标工作空间管理页面，在左侧导航栏选择“设置 > 采集管理”，默认进入连接管理页面。
      图5 进入连接管理页面
      
   2. 新增数据连接来源。
      1. 在“连接管理”页面中，单击“新增”，默认进入选择数据连接来源页面。
      2. 配置数据连接来源参数。

         此处以日志数据来源类型为对象存储（Obs）为例进行介绍，更多连接类型介绍请参见连接器规则说明。

         图6 配置数据连接来源参数
         

         表3 日志来源

         参数名称	配置说明
         连接方式	选择“来源”。
         连接类型	选择“对象存储（Obs）”。
         名称	自定义设置数据连接来源名称。此处示例设置为“in-s3-aws-alb”。
         描述	自定义设置数据来源描述信息。此处示例设置为“AWS ALB日志”。
         region	AWS 对象存储桶所在的region，例：us-east-2。
         桶	对象存储桶名。
         endpoint	对象存储endpoint，例：https://s3.us-east-2.amazonaws.com格式固定，根据实际情况替换region即可。
         AK	认证AK。
         SK	认证SK。
         前缀	日志对象目录，例：AWSLogs/aws-account-id/elasticloadbalancing/。
         缓存文件夹	系统运行缓存，例：/tmp。
         报文标签	来源标签，写入数据，例：aws-alb。
         记忆路径	设置记忆路径，用于设置读取的位置信息，防止重启导致的全文遍历。

      3. 设置完成后，单击页面右下角“确认”。
   3. 新增数据连接目的。
      1. 在“连接管理”页面中，单击“新增”，进入选择数据连接页面。
      2. 配置数据连接目的参数。
         图7 配置连接目的参数
         

         表4 日志目的

         参数名称	配置说明
         连接方式	选择“目的”。
         连接类型	选择“云脑管道（Pipe）”。
         名称	自定义设置数据连接目的名称。此处示例设置为“out-pipe-aws-alb-log”。
         描述	自定义设置日志数据目的描述信息。此处示例设置为“AWS ALB日志”。
         类型	自定义设置日志目的类型。此处请选择“租户”。
         管道	选择创建日志存储管道创建的管道。此处示例选择“aws_alb_log”。
         域账户	输入当前登录Console的IAM账号的域账户信息。
         用户名	输入当前登录Console的IAM账号的用户信息。
         密码	输入当前登录Console的IAM账号的密码。
         高级设置	无需配置。

      3. 设置完成后，单击页面右下角“确认”。

10. 新增解析器。由解析器模板“AWS ALB日志解析”创建解析器。
    1. 进入目标工作空间管理页面，在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“解析器管理”页签，进入解析器管理页面。
    图8 进入解析器管理页面
    
    2. 在解析器管理页面，单击“模板列表”页签。在名称为“AWS ALB日志解析”的解析器模板所在的操作列单击“由模板创建”按钮。进入“新建解析器”页面。
    3. 在“新建解析器”页面，配置解析器参数。
       • 名称：保持模板默认配置即可，无需修改，默认是“AWS ALB日志解析”。
       • 描述：保持模板默认配置即可，无需修改。默认是“AWS ALB日志解析”。
       • 解析规格：保持模板默认配置即可，无需修改。
    4. 单击“确定”。返回“解析器管理 > 解析器列表”页面，可查看已创建的解析器。
    图9 查看新建解析器
    

11. 配置日志采集通道，完成各功能组件连接，实现安全云脑和日志采集器正常工作。
    1. 进入目标工作空间管理页面，在左侧导航栏选择“设置 > 采集管理”，进入采集管理页面后，选择“采集通道管理”页签，进入采集通道管理页面。
       图10 进入采集通道管理页面
       
    2. 新增日志采集通道分组。
       1. 在采集通道管理页面中，单击“分组列表”右侧的。
       2. 自定义输入分组名称（此处示例：AWS ALB日志），单击，完成新增。
    3. 新建日志采集通道。
       1. 在采集通道管理页面的分组列表右侧，单击“新增”，进入新增采集通道页面。
       2. 在“基础配置”页面中，配置基础信息。

          表5 基础配置参数说明

          参数名称		参数说明
          基础信息	名称	自定义采集通道名称。此处示例设置为“AWS ALB日志”。
          	通道分组	选择b. 新增日志采集通道分组创建的分组。此处示例选择“AWS ALB日志”。
          	（可选）描述	自定义填写采集通道描述信息。
          来源配置	源名称	选择配置连接器新增的日志来源名称。此处示例选择为“in-s3-aws-alb”。 选择后系统将自动生成已选择来源的相关信息。
          目的配置	目的名称	选择配置连接器新增的日志目的名称。此处示例选择为“out-pipe-aws-alb-log”。 选择后系统将自动生成已选择目的相关信息。

       3. 单击页面右下角“下一步”，进入“解析器配置”页面。
       4. 在“解析器配置”页面中，选择“AWS ALB日志解析”，单击页面右下角“下一步”，进入“运行节点选择”页面。
       5. 在“运行节点选择”页面中，单击“新增”，并在弹出的添加节点框中选择安装组件控制器（isap-agent）中纳管的ECS节点后，单击“确认”。
          图11 选择运行节点
          
    4. 单击页面右下角“下一步”，进入“通道详情预览”页面。
    5. 在“通道详情预览”页面确认配置无误后，单击“保存并执行”。
    6. 在采集通道管理页面，当采集通道的健康状态列显示为“正常”，表示当前采集通道下发已经全部成功。
       图12 采集通道配置完成
       

12. 安全查询与分析，将日志接入安全云脑管道后可在安全云脑中查询。
    1. 进入目标工作空间管理页面，在左侧导航栏选择“威胁管理 > 安全分析”，进入安全分析页面。选择创建日志存储管道新增或使用的管道（此处选择“aws_alb_log”），即可查看日志解析后的数据。
    2. 查询与分析日志详细操作请参见查询与分析日志。
    图13 查询与分析