AI Bots

更新时间:2026-03-25 18:14:05

功能简介

管理与AI大模型相关的AI助手、AI数据抓取工具、AI搜索等自动化程序流量。主要为您提供一键拦截或监控已知AI Bots的能力,有效防止因AI大模型爬虫造成您的网站敏感数据泄露,版权内容被恶意盗用。

AI Bots类别

主要分为以下4个类别:

AI Bots类别 说明
AI助手 专注于人机交互与任务执行,通过自然语言处理(NLP)理解用户指令,完成问答、提醒、文件处理等操作。
AI数据抓取工具 专注于精准抓取特定数据,支持复杂场景内容爬取。
AI搜索爬虫 专用于索引互联网内容,为搜索引擎提供数据支持。
未备案AI代理 未明确设计目的、运行机制或应用范围的人工智能实体。

处置动作

动作 描述
不使用 不使用该策略进行流量检测,仍会流入其他检测模块。
监控 仅日志记录该类型的请求,会正常转发该请求。
拦截 阻断请求并响应403。

操作步骤

  1. 登录控制台并进入已订阅的安全产品页面。
  2. 前往防护配置>安全策略页面。
  3. 选择要配置安全策略的域名,点击Upcoming Updates to Product Navigation and Document Center,进入安全策略编辑页面。
  4. 选择Bot管理标签页,若Bot管理总开关已关闭,请开启。
  5. 定位到AI Bots策略,点击右侧<配置>按钮,打开配置页面。
  6. 可对AI Bots不同分类设置不同处理动作,包括不使用、监控、拦截。
  7. 更改配置后,点击底部<部署>按钮,下发配置(等待1-3分钟生效)。

注意: 配置生效后,请及时验证防护效果,确保业务正常访问。

防护建议

  • 若您的网站无AI应用引流需求,且关注敏感数据或版权内容安全,推荐在AI Bots分类设置为拦截,可一键禁止对应AI Bots访问。
  • 如需精细化防护,例如仅拦截某个AI大模型爬虫,请使用自定义Bots策略,拦截对应User-Agent关键字。

AI Bots明细表

AI Bots类别 Bot名称 对应User-Agent关键字
AI助手 ChatGPT-User爬虫 ChatGPT-User
DuckAssist爬虫 DuckAssistBot
Meta-ExternalFetcher爬虫 Meta-ExternalFetcher
AI数据抓取工具 GPTBot爬虫 GPTBot
AI2爬虫 AI2Bot
Applebot-Extended爬虫 Applebot-Extended
CC爬虫 CCBot
Claude爬虫 ClaudeBot
Cohere爬虫 cohere-training-data-crawler
Diff爬虫 Diffbot
Google_Extended爬虫 Google-Extended
Kangaroo爬虫 Kangaroo
Meta_External爬虫 Meta-ExternalAgent
Omgili爬虫 omgili
盘古爬虫 PanguBot
Timpi爬虫 Timpibot
Webzio_Extended爬虫 Webzio-Extended
AI搜索爬虫 Oai_Search爬虫 OAI-SearchBot
Amazon爬虫 Amazonbot
Perplexity爬虫 PerplexityBot
You爬虫 YouBot
未备案AI代理 Anthropic-AI爬虫 anthropic-ai
Claude-Web爬虫 Claude-Web
Cohere-AI爬虫 cohere-ai

特殊需求说明

AI Bots库会定期收录主流AI大模型应用工具。若您有特殊需求,可联系客户技术服务申请新增特定机器人。建议申请时提供:机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。

本篇文档内容对您是否有帮助?
有帮助
我要反馈
提交成功!非常感谢您的反馈,我们会继续努力做到更好!