文档首页> > 最佳实践> 反爬虫防御最佳实践> 基于反爬虫防护的配置

基于反爬虫防护的配置

分享
更新时间: 2019/06/25 09:14

本节介绍反爬虫防护的配置。

  1. 登录华为云控制台,将您的网站成功接入Web应用防火墙,关于域名接入的具体操作请参见添加防护域名
  2. 选择安全 > Web应用防火墙 > 域名配置,进入“域名配置”页面,在您需要防护的域名(网站)所在行的“防护策略”栏中,单击“配置防护策略”,进入“防护配置”页面,确认“Web基础防护”“状态”“开启”,单击可切换防护状态,如图1所示。
    图1 防护配置
  1. 单击“高级设置”,确认Robot检测开关为打开状态。如图2所示。
    图2 打开Robot检测开关
    开启了Web基础防护中的Robot检测开关。当恶意爬虫、扫描器等对站点进行爬取时,可以看到下面的防护日志,如 图3所示。
    图3 Robot防护日志
  1. 如果业务接口没有API调用、且没有接入CDN等缓存服务,可开启网站反爬虫功能。如图4所示。
    图4 打开网站反爬虫功能
    说明:

    该特性依赖浏览器对javascript代码的解析,因此如果业务接口存在API调用的场景,不建议开启本特性,此外,由于CDN服务会缓存图片、静态资源等文件,因此爬虫请求很可能直接在CDN返回给用户,WAF侧的策略无法达到预想的效果。

    开启了网站反爬虫。非浏览器的访问将不能获取业务页面。如 图5所示。
    图5 网站反爬虫防护效果
如果您喜欢这篇文档,您还可以:

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区