公开Bots

功能简介

管理互联网中活跃的搜索引擎、信息抓取、网站监控等自动化程序流量。对网站业务开展有益的爬虫，可以一键放行。如果是信息比较敏感的网站，您也可以一键拦截这些爬虫。

公开Bots类别

主要分为以下6个类别：

处置动作

您可对不同类别的公开Bots流量选择监控、拦截或放行。具体说明见下表：

操作步骤

1. 登录控制台并进入已订阅的安全产品页面。
2. 前往防护配置>安全策略页面。
3. 选择要配置安全策略的域名，点击，进入安全策略编辑页面。
4. 选择Bot管理标签页，若Bot管理总开关已关闭，请开启。
5. 定位到公开Bots策略，点击右侧<配置>按钮，打开配置页面。
6. 可对公开Bots不同分类设置不同处理动作，包括不使用、监控、放行、拦截。
7. 更改配置后，点击底部<部署>按钮，下发配置（等待1-3分钟生效）。

防护建议

• 若网站有投流或推广需求，建议将公开Bots设为放行，避免有益爬虫被误拦。
• 对于信息敏感或带宽受限的网站，建议将公开Bots设为拦截，减少爬虫带来的压力。
• 如需精细化防护，仅放行或拦截特定爬虫，可通过自定义Bots组合策略（指定类别+User-Agent关键字）实现，详见自定义Bots章节介绍。

收录标准

公开Bots库收录的机器人需同时满足以下条件：

• 身份可验证：机器人运营主体明确，具备可验证且不易仿冒的身份标识，访问行为和网络属性长期保持稳定一致。
• 流量达到一定规模：机器人需在全网产生稳定流量（如最近一个月内，日均已验证流量请求数大于1000），以确保收录的普适性。
• IP情报可追溯：用于机器人判定的IP数据应具备可追溯的来源，例如官方API、RDNS库等。

违反政策

若已收录的机器人不再满足上述条件，将从公开Bots库中移除。以下是一些违反政策例子：

• 存在滥用行为：不遵守合理的访问频率限制，频繁触发 WAF 或风控高风险规则。
• 身份信息不一致或存在伪装：User-Agent冒充知名Bot，但其IP、RDNS或官方来源信息与声明身份不匹配。

特殊需求说明

公开Bots库会定期收录主流搜索引擎SEO、市场分析、网站监控等机器人，并支持按类别处置。
若您有特殊需求，可联系客户技术服务申请新增特定机器人。建议申请时提供：机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。

公开Bots明细表