管理公开Bots
更新时间：2026-08-21 17:39:05
阅读时间： 约 5 分钟
前置条件： 域名已接入，Bot 管理总开关已开启
操作路径： 防护配置 > 安全策略 > [目标域名] > Bot 管理 > 公开Bots
什么是公开Bots
公开Bots是指互联网上公开声明身份、运营主体可验证的自动化程序，包括搜索引擎、网站监控工具、市场分析爬虫等。这类Bot通常对网站有益，但对信息敏感的网站也可能带来不必要的带宽消耗。
公开Bots按类别管理，您可以对每个类别独立设置处理动作：
| 公开Bots类别 | 说明 | 示例 |
|---|---|---|
| 搜索引擎 | 通过自动化程序从互联网上抓取网页内容，并将其信息存储在搜索引擎的数据库中，为用户提供网页搜索服务。 | 谷歌、百度、雅虎、搜狗爬虫等 |
| 网站监控 | 定期访问和监测网站可用性、性能和安全性的自动化程序。 | Pingdom、SiteLockSpider等 |
| 市场分析 | 以市场分析为目的，收集和分析网页内容，帮助客户提高广告、资料等方面的可见性。 | 谷歌AdWords、Semrush、领英爬虫等 |
| 页面预览 | 快速提取并呈现目标页面的关键信息，以便后续处理或展示。 | Zoom、Twitter爬虫等 |
| 信息流汇聚 | 帮助用户跟踪和聚合各种信息流，通过自动化程序从不同来源获取最新的内容并进行自动更新和推送。 | Archive.org、Feeder、ipip.net爬虫等 |
| 实用工具 | 能够给网站提供一些实用性帮助的自动化程序，比如对网站进行快照保存、分析并优化网站加载速度等。 | Google-Site-Verification、Google-PageRenderer爬虫等 |
配置步骤
- 登录控制台并进入已订阅的安全产品页面。
- 前往防护配置>安全策略页面。
- 点击目标域名，进入安全策略编辑页面。
- 选择Bot 管理标签页，若Bot 管理总开关已关闭，请开启。
- 定位到公开Bots策略，点击右侧<配置>按钮，打开配置页面。
- 为不同类别的公开Bots分别设置处理动作，包括不使用、监控、放行、拦截。
- 更改配置后，点击底部<部署>按钮，部署配置（等待1-3分钟生效）。
处理动作说明
| 动作 | 描述 |
|---|---|
| 不使用 | 不使用该策略进行流量检测，仍会流入其他检测模块。 |
| 监控 | 仅日志记录该类型的请求，会正常转发该请求。 |
| 拦截 | 阻断请求并响应403。 |
| 放行 | 记录请求并跳过后续所有Bot策略检测，但仍会进行其他防护模块的检测，如WAF、API安全等 |
防护建议
- 建议监控：初次配置，尚未评估公开Bots对业务的影响。
- 建议拦截：网站信息敏感，或带宽有限不希望爬虫消耗资源。
- 建议放行：网站需要曝光，有搜索引擎流量需求。
- 需要精细管理（仅拦截/放行特定公开爬虫）：请使用自定义Bots策略，选择拦截/放行特定公开爬虫。
收录标准
公开Bots库收录的机器人需同时满足以下条件：
- 身份可验证：机器人运营主体明确，具备可验证且不易仿冒的身份标识，访问行为和网络属性长期保持稳定一致。
- 流量达到一定规模：机器人需在全网产生稳定流量（如最近一个月内，日均已验证流量请求数大于1000），以确保收录的普适性。
- IP情报可追溯：用于机器人判定的IP数据应具备可追溯的来源，例如官方API、RDNS库等。
移除条件
若已收录的机器人不再满足上述条件，将从公开Bots库中移除。以下是一些违反政策例子：
- 存在滥用行为：不遵守合理的访问频率限制，频繁触发 WAF 或风控高风险规则。
- 身份信息不一致或存在伪装：User-Agent冒充知名Bot，但其IP、RDNS或官方来源信息与声明身份不匹配。
特殊需求说明
公开Bots库会定期收录主流搜索引擎SEO、市场分析、网站监控等机器人，并支持按类别处置。
若您有特殊需求，可联系客户技术服务申请新增特定机器人。建议申请时提供：机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。
本篇文档内容对您是否有帮助？
有帮助
我要反馈