绝对Bots

功能简介

管理非公开的、具备明确自动化工具特征或者伪造公开Bots的流量，包括命令行网络请求工具、浏览器自动化测试工具、HTTP库、漏洞扫描器、爬虫工具、代理工具、伪造蜘蛛等，这些工具通常被用于发起恶意Bot攻击，建议拦截。

检测逻辑

当绝对Bots策略开启后（监控或拦截），系统会检测常见的自动化工具User-Agent特征和伪造蜘蛛行为，具体检测维度如下：

• HTTP库：如requests、urllib等Python HTTP库，常用于自动化脚本和爬虫开发。
• 命令行网络请求工具：如curl、wget，可在终端直接发送 HTTP 请求，常用于调试、脚本调用、简单爬取或探测。
• 浏览器自动化测试工具：如Selenium、Puppeteer，用于模拟真实用户操作浏览器，常用于功能测试，但也可能被滥用于自动化刷单、批量注册等。
• 漏洞扫描器：如Nmap、==Nessus=，用于安全测试和漏洞扫描，也常被攻击者使用。
• 爬虫工具：如Heritrix、Scrapy，用于自动抓取网页内容，合法用于数据采集，但高频或绕过反爬可能被视为恶意。
• 代理工具：如Proxychains、Luminati，用于中转或拦截网络流量，可隐藏真实 IP 或分析通信内容，常配合其他工具绕过限制。
• 伪造蜘蛛：冒充公开爬虫（如Googlebot）的请求，通过伪造 User-Agent 等标识规避反爬策略，通常用于隐蔽抓取或攻击。

访问请求匹配命中以上任意类型，系统会直接判断并标记为绝对Bots，同时会记录Bot分值为100，输出相应Bot标签，便于后续分析和追溯。详细说明请参见Bot分值和Bot标签章节。

处置动作

您可以持续监控或一键拦截绝对Bots流量。

操作步骤

1. 登录控制台并进入已订阅的安全产品页面。
2. 前往防护配置>安全策略页面。
3. 选择要配置安全策略的域名，点击，进入安全策略编辑页面。
4. 选择Bot管理标签页，若Bot管理总开关已关闭，请开启。
5. 定位到绝对Bots策略，可直接设置处理动作，包括不使用、监控、拦截。
6. 更改配置后，点击底部<部署>按钮，下发配置（等待1-3分钟生效）。

防护建议

• 这些爬虫通常是来自黑灰产发起的恶意行为，建议您直接开启拦截模式。
• 若您的网站存在自研或已授权的自动化工具访问，建议您通过自定义Bots策略放行对应User-Agent特征，避免被误拦截。