使用LTS查询并分析WAF访问日志

应用场景

开启WAF全量日志功能后，您可以将攻击日志、访问日志记录到云日志服务（Log Tank Service，简称LTS）中，通过LTS记录的WAF日志数据，快速高效地进行实时决策分析、设备运维管理以及业务趋势分析。

本实践以日志组“lts-waf”的访问日志流“lts-waf-access”为例，说明如何通过LTS快速查询分析日志。

资源与成本规划

步骤一：购买云模式标准版

以购买WAF云模式标准版为例进行介绍。

1. 登录Web应用防火墙控制台。
2. 在页面右上角，单击“购买WAF实例”，进入购买页面，“WAF模式”选择“云模式”。
   • “区域”：根据防护业务的所在区域就近选择购买的WAF区域。
   • “版本规格”：选择“标准版”。
   • “扩展包”及“购买时长”：根据具体情况进行选择。

3. 确认参数配置无误后，在页面右下角单击“立即购买”。
4. 确认订单详情无误后，阅读并勾选《Web应用防火墙免责声明》，单击“去支付”，完成购买操作。
5. 进入“付款”页面，选择付款方式进行付款。

   订单支付成功后，单击“进入Web应用防火墙控制台”，进入WAF“总览”页面。将鼠标悬停在“产品信息”区域，查看已购实例版本及其详细规格。

步骤二：将网站信息添加到WAF

此处以云模式-CNAME接入为例进行介绍。

• 云模式-ELB接入方式请参见将网站接入WAF防护（云模式-ELB接入）。
• 独享模式接入方式请参见将网站接入WAF防护（独享模式）。

1. 在左侧导航树中，选择“网站设置”，进入网站设置列表。
2. 在网站列表的左上角，单击“添加防护网站”。
3. 选择“云模式-CNAME接入”并单击“开始配置”。
4. 根据界面提示，配置网站信息，如表2所示。
   图1 基础信息配置
   

   表2 重点参数说明

   参数	参数说明	取值样例
   防护域名	需要添加到WAF中防护的域名。 域名已完成备案 支持单域名（例如，一级域名example.com，二级域名www.example.com等）和泛域名（例如，*.example.com）。	www.example.com
   防护端口	需要防护的域名对应的业务端口。	标准端口
   服务器配置	网站服务器地址的配置。包括对外协议、源站协议、源站地址、源站端口和权重。 对外协议：客户端请求访问服务器的协议类型。包括“HTTP”、“HTTPS”两种协议类型。 源站协议：Web应用防火墙转发客户端请求的协议类型。包括“HTTP”、“HTTPS”两种协议类型。 源站地址：客户端访问的网站服务器的公网IP地址（一般对应该域名在DNS服务商处配置的A记录）或者域名（一般对应该域名在DNS服务商处配置的CNAME）。 源站端口：WAF转发客户端请求到服务器的业务端口。 权重：负载均衡算法将按权重将请求分配给源站。	对外协议：HTTP 源站协议：HTTP 源站地址：IPv4 XXX.XXX.1.1 源站端口：80
   是否使用七层代理	在WAF前是否使用了七层代理产品。 根据实际情况进行选择。	是

5. 单击“下一步”，完成防护网站基本信息填写。根据“添加防护网站”面板提示，完成如下操作：
   图2 添加域名完成
   
   1. 放行回源IP
   2. 本地验证

   完成上述步骤后，您可以在域名列表，查看已添加的域名“接入状态”。此时，域名“接入状态”为“未接入”，原因为“修改DNS解析”。

步骤三：将防护日志配置到LTS

1. 登录Web应用防火墙控制台。
2. 在控制台左上角，单击图标，选择区域或项目。
3. (可选) 如果您已开通企业项目，在左侧导航栏上方，单击“按企业项目筛选”下拉框，选择您所在的企业项目。完成后，页面将为您展示该企业项目下的相关数据。
4. 在左侧导航栏，单击“防护事件”。
5. 如果WAF还未对接云日志服务（LTS），需要在“全量日志”页签，单击“对接LTS配置”，完成对接操作。

   表3 对接LTS配置参数说明

   参数	说明	取值样例
   日志类型	选择要转存到LTS的日志类型，支持转存“WAF访问日志”、“WAF攻击日志”。 攻击日志、访问日志的格式不同，如果同时选择两种日志类型，需要配置两个不同的日志流，用于分别记录日志信息。	“WAF访问日志”和“WAF攻击日志”
   日志组	选择要转存的日志组。您也可以单击“创建日志组”，新建一个日志组。 日志组（LogGroup）是云日志服务进行日志管理的基本单位，用于对日志流进行分类，一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据，仅方便您管理日志流，每个账号下可以创建100个日志组。更多信息，请参见管理日志组。	lts-group-waf
   WAF访问日志流	“日志类型”选择“WAF访问日志”时，需要选择WAF访问日志流。您也可以单击“创建日志流”，新建一个WAF访问日志流，用于记录每一个HTTP访问的关键信息，包括访问时间、访问客户端IP、访问资源URL等信息。	lts-topic-waf-access
   WAF攻击日志流	“日志类型”选择“WAF攻击日志”时，需要选择WAF攻击日志流。您也可以单击“创建日志流”，新建一个WAF攻击日志流，用于记录每一个攻击告警信息，包括攻击事件类型、防护动作、攻击源IP等信息。	lts-topic-waf-attack

   配置完成后，不会立即生效，存在10分钟左右的时延。配置生效后，云日志服务LTS会按流量单独计费。有关LTS的计费详情，请参见LTS价格详情。

6. 查看或分析日志。

   成功对接LTS后，“全量日志”页签会自动显示记录日志的日志组（图3①）、日志流（图3②）（包含的访问日志流、攻击日志流）。您可以单击WAF访问日志流或WAF攻击日志流，查看、搜索或分析WAF日志。更多信息，请参见搜索与分析日志。

   图3 全量日志
   

7. 选择日志流后，在“日志搜索”页签（图3③），选择“ > 下载日志”（图3④），下载日志流中的上报日志。
   • 前端直接下载：直接将前端查询的结果保存到本地，下载记录不会出现在日志下载历史中。单次下载支持最大5,000条日志。支持下载“.csv”或“.txt”格式的日志。
   • 后台离线下载：通过后台任务将日志文件下载到临时OBS桶中，您的浏览器需要有公网访问权限才能在日志下载历史中下载结果文件。单次下载支持最大2,000万条日志。支持下载“.csv”、“.txt”或“.json”格式的日志。

   您也可以通过OBS转储任务下载日志文件，详细请参考日志转储至OBS。

步骤四：通过LTS查询并分析WAF访问日志

1. 登录云日志服务控制台。
2. 在“日志组名称”列，单击访问日志流所在的日志组名称（例如，“lts-waf”），进入日志流页面。
3. 在“日志流名称”列，单击访问日志流名称（例如，“lts-waf-access”），如图4所示，进入“日志流”页面。
   图4 进入访问日志流页面
   

4. 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”页签，进入日志结构化配置页面。
5. 选择“JSON”日志结构化方式，如图5所示。
   图5 选择JSON格式
   

6. 在“步骤1 选择示例”日志区域，单击“从已有日志中选择”，在弹出“选择已有日志”对话框中任选一条日志后，单击“确定”。
   图6 选择已有日志
   

7. 在“步骤2 字段提取”区域，单击“智能提取”，开启需要快速分析的字段（例如，“remote_ip”），如图7所示。

   “remote_ip”：访问请求的客户端IP地址。

   图7 选择快速分析日志字段
   

8. 单击“保存”，LTS将对周期内的日志进行快速分析、统计，如图8所示。
   图8 快速分析访问日志
   

9. 在左侧导航树中，选择“可视化”，在页面右侧选择日志查询时间段，在搜索框中输入SQL语句后单击“执行查询”，查询指定日志。

   您可以在搜索框中输入如下SQL语句，查询指定IP的日志：

   select * where remote_ip = 'xx.xx.xx.xx' 或者select * where remote_ip like 'xx.xx.xx%'

   有关SQL查询语法的详细介绍，请参见SQL查询语法。