管理AI Bots
更新时间：2026-08-21 15:56:07
阅读时间： 约 5 分钟
前置条件： 域名已接入，Bot管理总开关已开启
操作路径： 防护配置 > 安全策略 > [目标域名] > Bot 管理 > AI Bots
什么是AI Bots
AI Bots是指与AI大模型相关的自动化爬虫程序，主要包括：
| AI Bots类别 | 说明 | 示例 |
|---|---|---|
| AI助手 | 专注于人机交互与任务执行，通过自然语言处理（NLP）理解用户指令，完成问答、提醒、文件处理等操作。 | ChatGPT-User、DuckAssist等 |
| AI数据抓取工具 | 专注于精准抓取特定数据，支持复杂场景内容爬取。 | GPTBot、ClaudeBot、Google-Extended等 |
| AI搜索爬虫 | 专用于索引互联网内容，为搜索引擎提供数据支持。 | Amazonbot、Claude-SearchBot、OAI-SearchBot等 |
| 未备案AI代理 | 未明确设计目的、运行机制或应用范围的人工智能实体。 | anthropic-ai、cohere-ai等 |
配置步骤
- 登录控制台并进入已订阅的安全产品页面。
- 前往防护配置>安全策略页面。
- 选择要配置安全策略的域名，点击 编辑，进入安全策略编辑页面。
- 选择Bot管理标签页，若Bot管理总开关已关闭，请开启。
- 定位到AI Bots策略，点击右侧<配置>按钮，打开配置页面。
- 为AI Bots各分类分别设置处理动作（不使用、监控、拦截、放行）。
- 更改配置后，点击底部<部署>按钮，部署配置（等待1-3分钟生效）。
处理动作说明
| 动作 | 描述 |
|---|---|
| 不使用 | 不使用该策略进行流量检测，仍会流入其他检测模块。 |
| 监控 | 仅日志记录该类型的请求，会正常转发该请求。 |
| 拦截 | 阻断请求并响应403。 |
| 放行 | 记录请求并跳过后续所有Bot策略检测，但仍会进行其他保护，如WAF、API安全。 |
防护建议
建议监控的情况： 初次配置，尚未评估AI爬虫对业务的影响。
建议拦截的情况： 网站包含版权内容或敏感数据，不希望被AI爬虫抓取训练。
建议放行的情况： 网站需要曝光，有AI引流需求。
需要精细管理（仅拦截/放行特定AI爬虫）： 请使用自定义Bots策略，拦截/放行AI Bots对应User-Agent关键字。
AI Bots收录列表
| AI Bots类别 | Bot名称 | 对应User-Agent关键字 |
|---|---|---|
| AI助手 | Amazon Kendra爬虫 | amazon-kendra |
| Bedrock机器人 | bedrockbot/ | |
| ChatGPT-User爬虫 | ChatGPT-User/ | |
| DuckAssist爬虫 | DuckAssistBot/ | |
| Echobox爬虫 | EchoboxBot/ | |
| Google NotebookLM爬虫 | Google-NotebookLM | |
| iAsk机器人 | iaskspider/ | |
| Liner机器人 | LinerBot | |
| Meta-ExternalFetcher爬虫 | meta-externalfetcher/ | |
| MistralAI-User爬虫 | MistralAI-User/ | |
| Qualified机器人 | QualifiedBot | |
| Rye机器人 | RyeBot/ | |
| WP机器人 | wpbot/ | |
| AI数据抓取工具 | AI2爬虫 | AI2Bot |
| Applebot-Extended爬虫 | Applebot-Extended/ | |
| CC爬虫 | CCBot/ | |
| Claude爬虫 | ClaudeBot/ | |
| Cotoyogi爬虫 | Cotoyogi | |
| Google_Extended爬虫 | Google-Extended/ | |
| GPTBot爬虫 | GPTBot/ | |
| ICC爬虫 | ICC-Crawler/ | |
| ImageSift机器人 | ImagesiftBot | |
| Meta_External爬虫 | meta-externalagent/ | |
| 盘古爬虫 | pangubot | |
| TikTok爬虫 | TikTokSpider | |
| Timpi爬虫 | Timpibot | |
| Velen爬虫 | VelenPublicWebCrawler/ | |
| WARD机器人 | WARDBot/ | |
| Zanista机器人 | ZanistaBot/ | |
| Cohere爬虫 | cohere-training-data-crawler | |
| Diff爬虫 | Diffbot | |
| Kangaroo爬虫 | Kangaroo | |
| Omgili爬虫 | omgili | |
| Webzio_Extended爬虫 | Webzio-Extended | |
| AI搜索爬虫 | Amazon爬虫 | Amazonbot/ |
| Channel3机器人 | Channel3 | |
| Claude搜索机器人 | Claude-SearchBot/ | |
| Claude-User爬虫 | Claude-User/ | |
| Google Cloud Vertex机器人 | Google-CloudVertexBot | |
| Meta网页索引爬虫 | meta-webindexer/ | |
| Oai_Search爬虫 | OAI-SearchBot/ | |
| Perplexity-User爬虫 | perplexity-user/ | |
| Perplexity爬虫 | PerplexityBot/ | |
| You爬虫 | YouBot/ | |
| 未备案AI代理 | Anthropic-AI爬虫 | anthropic-ai |
| Claude-Web爬虫 | Claude-Web | |
| Cohere-AI爬虫 | cohere-ai |
特殊需求说明
AI Bots库会定期收录主流AI大模型应用工具。若您有特殊需求，可联系客户技术服务申请新增特定机器人。建议申请时提供：机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。
本篇文档内容对您是否有帮助？
有帮助
我要反馈