公开Bots

功能简介

管理互联网中活跃的搜索引擎、信息抓取、网站监控等自动化程序流量。对网站业务开展有益的爬虫，可以一键放行。如果是信息比较敏感的网站，您也可以一键拦截这些爬虫。

公开Bots类别

主要分为以下6个类别：

处置动作

您可对不同类别的公开Bots流量选择监控、拦截或放行。具体说明见下表：

操作步骤

1. 登录控制台并进入已订阅的安全产品页面。
2. 前往防护配置>安全策略页面。
3. 选择要配置安全策略的域名，点击，进入安全策略编辑页面。
4. 选择Bot管理标签页，若Bot管理总开关已关闭，请开启。
5. 定位到公开Bots策略，点击右侧<配置>按钮，打开配置页面。
6. 可对公开Bots不同分类设置不同处理动作，包括不使用、监控、放行、拦截。
7. 更改配置后，点击底部<部署>按钮，下发配置（等待1-3分钟生效）。

防护建议

• 建议监控：初次配置，尚未评估公开Bots对业务的影响。
• 建议拦截：网站信息敏感，或带宽有限不希望爬虫消耗资源。
• 建议放行：网站需要曝光，有搜索引擎流量需求。
• 需要精细管理（仅拦截/放行特定公开爬虫）：请使用自定义Bots策略，选择拦截/放行特定公开爬虫。

收录标准

公开Bots库收录的机器人需同时满足以下条件：

• 身份可验证：机器人运营主体明确，具备可验证且不易仿冒的身份标识，访问行为和网络属性长期保持稳定一致。
• 流量达到一定规模：机器人需在全网产生稳定流量（如最近一个月内，日均已验证流量请求数大于1000），以确保收录的普适性。
• IP情报可追溯：用于机器人判定的IP数据应具备可追溯的来源，例如官方API、RDNS库等。

违反政策

若已收录的机器人不再满足上述条件，将从公开Bots库中移除。以下是一些违反政策例子：

• 存在滥用行为：不遵守合理的访问频率限制，频繁触发 WAF 或风控高风险规则。
• 身份信息不一致或存在伪装：User-Agent冒充知名Bot，但其IP、RDNS或官方来源信息与声明身份不匹配。

特殊需求说明

公开Bots库会定期收录主流搜索引擎SEO、市场分析、网站监控等机器人，并支持按类别处置。
若您有特殊需求，可联系客户技术服务申请新增特定机器人。建议申请时提供：机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。