更新时间:2026-03-25 18:14:05
管理与AI大模型相关的AI助手、AI数据抓取工具、AI搜索等自动化程序流量。主要为您提供一键拦截或监控已知AI Bots的能力,有效防止因AI大模型爬虫造成您的网站敏感数据泄露,版权内容被恶意盗用。
主要分为以下4个类别:
| AI Bots类别 | 说明 |
|---|---|
| AI助手 | 专注于人机交互与任务执行,通过自然语言处理(NLP)理解用户指令,完成问答、提醒、文件处理等操作。 |
| AI数据抓取工具 | 专注于精准抓取特定数据,支持复杂场景内容爬取。 |
| AI搜索爬虫 | 专用于索引互联网内容,为搜索引擎提供数据支持。 |
| 未备案AI代理 | 未明确设计目的、运行机制或应用范围的人工智能实体。 |
| 动作 | 描述 |
|---|---|
| 不使用 | 不使用该策略进行流量检测,仍会流入其他检测模块。 |
| 监控 | 仅日志记录该类型的请求,会正常转发该请求。 |
| 拦截 | 阻断请求并响应403。 |
,进入安全策略编辑页面。注意: 配置生效后,请及时验证防护效果,确保业务正常访问。
| AI Bots类别 | Bot名称 | 对应User-Agent关键字 |
|---|---|---|
| AI助手 | ChatGPT-User爬虫 | ChatGPT-User |
| DuckAssist爬虫 | DuckAssistBot | |
| Meta-ExternalFetcher爬虫 | Meta-ExternalFetcher | |
| AI数据抓取工具 | GPTBot爬虫 | GPTBot |
| AI2爬虫 | AI2Bot | |
| Applebot-Extended爬虫 | Applebot-Extended | |
| CC爬虫 | CCBot | |
| Claude爬虫 | ClaudeBot | |
| Cohere爬虫 | cohere-training-data-crawler | |
| Diff爬虫 | Diffbot | |
| Google_Extended爬虫 | Google-Extended | |
| Kangaroo爬虫 | Kangaroo | |
| Meta_External爬虫 | Meta-ExternalAgent | |
| Omgili爬虫 | omgili | |
| 盘古爬虫 | PanguBot | |
| Timpi爬虫 | Timpibot | |
| Webzio_Extended爬虫 | Webzio-Extended | |
| AI搜索爬虫 | Oai_Search爬虫 | OAI-SearchBot |
| Amazon爬虫 | Amazonbot | |
| Perplexity爬虫 | PerplexityBot | |
| You爬虫 | YouBot | |
| 未备案AI代理 | Anthropic-AI爬虫 | anthropic-ai |
| Claude-Web爬虫 | Claude-Web | |
| Cohere-AI爬虫 | cohere-ai |
AI Bots库会定期收录主流AI大模型应用工具。若您有特殊需求,可联系客户技术服务申请新增特定机器人。建议申请时提供:机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。