文档首页 > > 最佳实践> 通过配置反爬虫防护策略阻止爬虫攻击

通过配置反爬虫防护策略阻止爬虫攻击

分享
更新时间:2020/11/20 GMT+08:00

网络爬虫为网络信息收集与查询提供了极大的便利,但同时也对网络安全产生以下负面影响:

  • 网络爬虫会根据特定策略尽可能多的“爬过”网站中的高价值信息,占用服务器带宽,增加服务器的负载
  • 恶意用户利用网络爬虫对Web服务发动DoS攻击,可能使Web服务资源耗尽而不能提供正常服务
  • 恶意用户利用网络爬虫抓取各种敏感信息,造成网站的核心数据被窃取,损害企业经济利益

Web应用防火墙可以通过Robot检测(识别User-Agent)、网站反爬虫(检查浏览器合法性)和CC攻击防护(限制访问频率)三个反爬虫策略,全方位帮您解决业务网站遭受的爬虫问题。

前提条件

域名已成功接入WAF。

开启Robot检测(识别User-Agent)

开启Robot检测后,WAF可以检测和拦截恶意爬虫、扫描器、网马等威胁。

  1. 登录管理控制台
  2. 进入网站设置页面入口,如图1所示。

    图1 网站设置入口

  3. 在您需要防护的域名(网站)所在行的“防护策略”栏中,单击“配置防护策略”,进入“防护配置”页面,确认“Web基础防护”“状态”,如图2所示。

    图2 Web基础防护配置框

  4. 单击“高级设置”,确认Robot检测开关为打开状态,如图3所示。

    图3 打开Robot检测开关

    当WAF检测到恶意爬虫、扫描器等对网站进行爬取时,将立即拦截并记录该事件,您可以在“防护事件”页面查看爬虫防护日志。

开启网站反爬虫(检查浏览器合法性)

开启网站反爬虫,WAF可以动态分析网站业务模型,结合人机识别技术和数据风控手段,精准识别爬虫行为。

  1. 登录管理控制台
  2. 进入网站设置页面入口,如图4所示。

    图4 网站设置入口

  3. 在您需要防护的域名(网站)所在行的“防护策略”栏中,单击“配置防护策略”,进入“防护配置”页面,在“网站反爬虫”配置框,单击开启网站反爬虫,如图5所示。

    图5 开启网站反爬虫

    开启该防护后,非浏览器的访问将不能获取业务页面。

配置CC攻击防护(限制访问频率)

开启CC攻击防护,限制单个IP/Cookie/Referer访问者对您的网站上特定路径(URL)的访问频率,缓解CC攻击对业务的影响。

  1. 登录管理控制台
  2. 进入网站设置页面入口,如图6所示。

    图6 网站设置入口

  3. 在您需要防护的域名(网站)所在行的“防护策略”栏中,单击“配置防护策略”,进入“防护配置”页面,确认“CC攻击防护”“状态”,如图7所示。

    图7 CC防护规则配置框

  4. “CC防护”规则配置页面左上角,单击“添加规则”。以IP限速和人机验证为例,添加IP限速规则,如图8所示。

    图8 配置IP限速模式

    设置成功后,当用户访问超过限制后需要输入验证码才能继续访问。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问