BOT设置

根据您的业务场景，您可以选择开启合适的防护功能，以下提供了已知BOT检测、请求特征检测和BOT行为检测三种检测类型。

• 已知BOT检测：将访问者请求与内置特征库进行比对，比对命中时按照配置的防护动作处置该请求。

  表1 已知BOT检测项说明

  检测项	说明
  搜索引擎机器人	搜索引擎利用网络爬虫聚合并索引在线内容（如网页、图像及其他类型的文件），为用户提供实时信息。
  网络扫描器	病毒/漏洞扫描器旨在评估和发现网络资产中是否存在病毒或因配置错误、编程缺陷而产生的漏洞。比较典型的扫描器有Nmap、Sqlmap、WPSec等。
  网页抓取工具	在网络上流行的爬虫工具或服务，常用于抓取任何网页并提取内容以满足使用者的需求。如Scrapy、pyspider、Prerender等。
  网站开发和监控服务机器人	一些公司利用机器人提供服务，帮助Web开发人员监控他们的站点，以确保它们正常运行。这些机器人可以检查链接和域名的可用性、来自不同地理位置的连接和网页加载时间、DNS解析问题及其他一些功能。
  商业分析和营销机器人	SEO优化网站或网页在搜索引擎结果中的排序。许多提供SEO服务的公司，同时也利用机器人为用户评估网站内容，提供受众和竞争分析，支撑在线广告的投放和市场营销。
  新闻和社交媒体机器人	新闻和社交媒体平台允许用户在线浏览热点资讯、分享想法和互动交流，许多企业的营销策略包括在这些网站上运营页面，与消费者就产品或服务进行互动。一些公司会利用机器人从这些平台中收集数据，用于媒体趋势和产品的洞察，丰富网络体验。
  屏幕快照机器人	一些公司利用机器人对外提供网站截图服务。它可以对网站、社交网络上的帖子、新闻、论坛/博客上的帖子等在线内容进行完整的长屏幕截图。
  学术和研究机器人	有些大学和公司会使用机器人从各种网站收集数据，用于学术或研究目的，包括参考文献搜索、语义分析、特定类型的搜索引擎等。
  RSS提要阅读器	有些大学和公司会使用机器人从各种网站收集数据，用于学术或研究目的，包括参考文献搜索、语义分析、特定类型的搜索引擎等。
  网络存档机器人	一些组织会使用机器人定期从网络中爬取并存档有价值的在线信息和内容副本，例如维基百科。这些网络存档服务与搜索引擎非常相似，但是提供的数据并不是最新的，它们的目的主要是用于研究。

• 请求特征检测：自动识别访问者请求中HTTP头域特征，检测HTTP头域合法性，匹配主流开发框架和HTTP库、仿冒已知BOT，比对命中时按照配置的防护动作处置该请求。

  表2 请求特征检测项说明

  检测项	说明
  HTTP请求头域检测	异常的请求头。
  开发框架和HTTP库	主流的开发框架和HTTP库，如Apache HttpComponents、OKHttp、Python-requests、Go-http-client等。
  其他	仿冒BOT：开启后，将检测已知Bot请求的源IP是否符合其对应的合法客户端IP，防止攻击者仿冒。 自动化程序：具有爬虫行为特征，但目的尚不明确的自动化程序。

• BOT行为检测：通过AI智能防护引擎对访问者请求进行分析和自动学习，给出行为检测评分，您可以设置行为检测评分对应的防护动作。

  表3 BOT行为检测场景表

  序号	行为检测模型	适用场景
  1	随机UA检测模型	开启随机UA功能的Bot
  2	重复URL检测模型	数据窃取
  3	Referer异常模型	Referer字段未正确设置
  4	短会话数量异常模型	低频爬虫
  5	短会话持续时间异常模型	高频爬虫
  6	长会话主动请求URL重复模型	数据窃取，比上述URL重复检测模型精确
  7	长会话主动请求时间间隔CCE模型	请求时间有规律的爬虫