管理绝对Bots

阅读时间： 约 4 分钟
前置条件： 域名已接入，Bot管理总开关已开启
操作路径： 防护配置 > 安全策略 > [目标域名] > Bot管理 > 绝对Bots

什么是绝对Bots

绝对Bots是指具备明确自动化工具特征或者伪造公开Bots的流量，包括：

• HTTP库：如requests、urllib等Python HTTP库，常用于自动化脚本和爬虫开发。
• 命令行网络请求工具：如curl、wget，可在终端直接发送 HTTP 请求，常用于调试、脚本调用、简单爬取或探测。
• 浏览器自动化测试工具：如Selenium、Puppeteer，用于模拟真实用户操作浏览器，常用于功能测试，但也可能被滥用于自动化刷单、批量注册等。
• 漏洞扫描器：如Nmap、Nessus，用于安全测试和漏洞扫描，也常被攻击者使用。
• 爬虫工具：如Heritrix、Scrapy，用于自动抓取网页内容，合法用于数据采集，但高频或绕过反爬可能被视为恶意。
• 代理工具：如Proxychains、Luminati，用于中转或拦截网络流量，可隐藏真实 IP 或分析通信内容，常配合其他工具绕过限制。
• 伪造蜘蛛：冒充公开爬虫（如Googlebot）的请求，通过伪造 User-Agent 等标识规避反爬策略，通常用于隐蔽抓取或攻击。

这类工具常被黑灰产用于发起恶意攻击，系统通过User-Agent特征和伪造蜘蛛行为识别后，直接标记为绝对Bots，并记录Bot分值为100，输出相应Bot标签，便于后续分析和追溯。详细说明请参见相关参考中Bot分值和Bot标签章节。

配置步骤

1. 登录控制台并进入已订阅的安全产品页面。
2. 前往 防护配置 > 安全策略 页面。
3. 选择要配置安全策略的域名，点击 编辑，进入 安全策略 编辑页面。
4. 选择Bot管理标签页，若Bot管理总开关已关闭，请开启。
5. 定位到绝对Bots策略，可直接设置处理动作，包括不使用、监控、拦截。
6. 更改配置后，点击底部<部署>按钮提交配置（等待1-3分钟生效）。

处理动作说明

防护建议

建议直接开启拦截： 这些爬虫通常由黑灰产发起，属于恶意行为，建议您直接开启拦截模式。
开启拦截前请先确认： 网站是否存在授权的自动化工具访问（如企业内部开发的程序、第三方合作伙伴的自动化脚本）。如果有，建议先在自定义Bots中为这些工具配置放行规则，再开启绝对Bots拦截，避免误拦。