Bot标记回源

更新时间:2026-03-25 18:14:14

功能简介

如果您的网站有针对特定爬虫设计的用户差异化响应页面,或需结合自有风控体系进行进一步分析,可以通过自定义HTTP请求头,标记请求命中的Bot结果并将回传至原始站点。

注意: 该功能按需授权,如有需求请联系客户经理。

操作步骤

  1. 登录控制台并进入已订阅的安全产品页面。
  2. 前往防护配置>安全策略页面。
  3. 选择要配置安全策略的域名,点击安全产品默认拦截页面优化升级公告,进入安全策略编辑页面。
  4. 选择Bot管理标签页,若Bot管理总开关已关闭,请开启。
  5. 定位到Bot标记功能,点击右侧<配置>按钮,打开配置页面。
  6. 添加自定义HTTP请求头标记Bot流量特征
  7. 更改配置后,点击底部<部署>按钮,下发配置(等待1-3分钟生效)。

配置说明

标记回源类型 标记说明 回源值 取值说明 数据示例

自定义Bots

在自定义HTTP请求头中标记命中的自定义Bots策略名称同时命中多条时以分号隔开。

定义Bots策略名称

文本,共2个数据,以“,”隔开:

第一个固定为策略类型Custom Bots);

第二个为自定义Bots策略名称命中多条用分号隔开)。

X-Custom-Bots:Custom Bots,name1;Custom Bots,name2

 

AI Bots

在自定义HTTP请求头中标记命中的AI Bots策略类别。

AI Assistant

AI Search Crawler

AI Data Scraper

Undocumented AI Agent

文本,共2个数据,以“,”隔开:

第一个固定为策略类型(Public Bots);

第二个为公开Bots类别(Search Engine/Site Monitor/Page Viewer/Marketing Analysis/Feed Fetcher/Practical Tools)。

X-AI-Bots:AI Bots,AI Assistant

公开Bots

在自定义HTTP请求头中标记命中的公开Bots策略类别。

Search Engines

Site Monitor

Page Viewer

Marketing Analysis

Feed Fetcher

Practical Tools

文本,共2个数据,以“,”隔开:

第一个固定为策略类型(AI Bots);

第二个为AI Bots类别Assistant/ AI Search Crawler/AI Data Scraper/Undocumented AI Agent)。

X-Public-BotsPublic Bots,Search Engines

Bot分值

在自定义HTTP请求头中标记命中的Bot分值

1-100

整数值,分值越高,表示Bot可疑程度越高。

Ø 100:绝对Bots(100%是自动化)

Ø 80-99:疑似Bots(极可能是自动化)

Ø 2-79:疑似人类(存在异常,可能是人类)

Ø 1:疑似人类(未发现异常,极可能是人类)

X-Bot-Score:100

Bot标签

在自定义HTTP请求头中标记命中的Bot标签

1,2,3,4,5,6,7,8,9,10,30,31,32,33,34,35,36,60

根据访问请求命中异常情况打上对应标签。

Ø 1:云厂商IP

Ø 2:情报风险IP

Ø 3:代理IP

Ø 4:伪造User_Agent

Ø 5:低版本浏览器或操作系统

Ø 6:请求头与User-Agent声明的客户端类型不一致

Ø 7:浏览器请求头完整性严重缺失

Ø 8:浏览器请求头完整性部分缺失

Ø 9:已知Bot工具库指纹

Ø 10:浏览器JA4指纹异常

Ø 30:HTTP库

Ø 31:浏览器自动化测试工具

Ø 32:命令行网络请求工具

Ø 33:扫描工具

Ø 34:爬虫工具

Ø 35:代理工具

Ø 36:伪造蜘蛛

Ø 60:异常聚集行为

X-Bot-Tags:1,2,3,4,5,6,7,9,10,30

备注说明:

  • 若Bot分值为1,表示检测未发现异常,无对应Bot标签;
  • 若Bot分值为2-99,对应Bot标签:1、2、3、4、5、6、7、8、9、10、60;
  • 若Bot分值为100,对应Bot标签:30、31、32、33、34、35、36。
本篇文档内容对您是否有帮助?
有帮助
我要反馈
提交成功!非常感谢您的反馈,我们会继续努力做到更好!