启发式检测

功能简介

启发式检测是Bot 管理中的基础识别能力之一。它基于长期Bot对抗经验沉淀的规则与特征库，对请求中的已知风险信号进行实时匹配，用于快速识别具有明显自动化特征的访问行为，例如基础扫描、恶意爬虫、脚本访问和已知自动化工具请求。

启发式检测可用于识别以下常见类型的自动化威胁：

• 简单Bot：行为模式固定、特征明显的脚本或自动化工具请求。
• 复杂Bot：具有一定伪装能力，但仍存在可识别异常特征的自动化访问。
• 伪装型Bot：通过伪造 User-Agent、请求头或爬虫身份，模拟正常客户端行为的自动化请求。

启发式检测结果会作为 Bot 评分 的重要输入之一，与机器学习分析结果共同参与请求风险评估，用于提升识别效率、检测覆盖度和结果可解释性。

工作原理

启发式检测引擎部署在全球边缘节点，以在线实时分析的方式对请求进行检测。当访问请求到达节点后，系统会提取请求中的关键特征，并与威胁情报、异常特征库和自动化工具特征进行匹配，以识别已知风险模式。

与侧重发现未知行为模式的机器学习不同，启发式检测更适合识别以下风险：

• 已知自动化工具请求
• 明显异常的客户端和请求头特征
• 已沉淀的高风险访问模式
• 伪装公开爬虫身份的恶意请求

检测维度

启发式检测主要从以下维度识别自动化威胁：

1. IP 情报

结合威胁情报识别请求源 IP 的风险属性，包括但不限于：

• 云厂商及托管机房 IP
• 已知代理 IP
• 近期存在 DDoS、漏洞扫描或 Bot 攻击行为的高风险 IP

该维度可用于快速识别具备已知风险背景的请求来源, 但不直接等同于恶意判定。

2. 客户端特征异常

分析客户端 User-Agent 的完整性和一致性，以及存在较高安全风险或兼容性风险的低版本浏览器与操作系统。包括但不限于：

• 伪造 User-Agent
• 版本声明异常或不匹配
• 关键字段缺失
• 低版本浏览器或操作系统带来的高风险特征

该维度有助于识别伪装浏览器、低质量自动化工具或具有明显异常特征的客户端。

3. HTTP 请求头校验

校验浏览器请求头的完整性与一致性，例如：

• Accept-、Sec-CH-UA、Sec-Fetch- 等字段严重缺失或部分缺失
• 请求头特征与User-Agent声明的客户端类型不一致
• 浏览器请求中缺少典型头字段

该维度适用于识别伪装浏览器请求和异常自动化访问。

4. TLS 指纹与协议特征

基于客户端与服务器握手阶段的底层加密特征（如JA4指纹），识别客户端指纹是否与其声明身份一致，并发现已知 Bot 工具库的伪装特征。

该维度有助于识别仅通过表层字段难以发现的伪装行为。

5. 自动化工具与特征库识别

识别黑灰产常用的全链路自动化工具特征，包括但不限于：

• HTTP 请求库：如 Python requests、urllib
• 浏览器自动化框架：如 Selenium、Puppeteer
• 命令行与扫描工具：如 curl、wget、Nmap、Burp Suite
• 爬虫与代理工具：如 Scrapy、Proxychains
• 伪造公开爬虫身份的请求：如冒充 Googlebot 等公开爬虫

该维度适用于快速识别已知工具发起的自动化请求。

适用场景

启发式检测适用于以下场景：

• 识别已知自动化工具请求：适用于检测基础脚本、自动化框架、扫描工具和常见爬虫工具发起的访问。
• 发现伪装客户端或伪造爬虫身份的请求：适用于识别通过伪造 User-Agent、请求头或公开爬虫身份绕过检测的自动化行为。
• 识别基础扫描和批量化访问行为：适用于发现具有固定模式和明显自动化特征的扫描、采集或批量请求。
• 作为 Bot 风险评估的基础输入：启发式检测可以提供明确的风险标签，辅助 Bot 分值计算及后续策略联动。

与机器学习的协同方式

启发式检测和机器学习是 Bot 评分 的两类核心技术，二者分工如下：

启发式检测更适合识别：

• 已知工具
• 已知异常
• 高确定性的风险特征
• 可通过规则快速匹配的自动化行为

特点是： 检测速度快，实时性强，结果可解释性高

机器学习更适合识别：

• 特征不明显的自动化行为
• 行为模式复杂的 Bot
• 持续变化或不断演化的攻击方式
• 规则难以直接覆盖的异常访问模式

特点是：适合发现未知威胁，能补充启发式检测的覆盖盲区，更适用于复杂和变化型攻击识别

联合评估
系统会综合启发式标签、行为特征和机器学习分析结果，对请求进行联合评估，并生成最终的 Bot 分值。您可以基于 Bot 分值及相关检测结果，进一步配置观察、挑战、拦截等防护动作。

功能特点

• 实时检测：基于边缘节点进行在线识别，适合高并发访问场景。
• 结果可解释：可输出具体风险标签，便于日志分析和风险溯源。
• 识别效率高：对已知工具、已知异常和固定模式威胁具有较高识别效率。
• 便于联动：可与机器学习、Bot 评分和安全策略联合使用。