概述

阅读时间： 约 5 分钟

什么是AI爬虫管控

随着AI技术的快速发展，越来越多的AI服务商（如OpenAI、Google、Anthropic等）通过爬虫程序大规模抓取网站内容，用于模型训练、AI搜索、内容生成等用途。这些AI爬虫流量已成为Bot流量中增速最快的类别，给网站运营者带来了带宽成本上升、内容被未经授权使用等问题。

AI爬虫管控是面向全网公开、可识别的AI大模型服务流量推出的一体化治理产品。产品融合可视化态势感知与多维度精细化管控能力，构建 “可视、可析、可管” 的AI爬虫全面治理体系，帮助企业全面洞察、规范各类AI服务商对网站内容的爬虫与访问行为。

应用场景

AI爬虫管控适用于以下典型应用场景：

• 版权内容保护：出版商和内容创作者可以监控并防止AI爬虫未经授权大量抓取原创内容。
• 敏感信息访问控制：电子商务和企业网站可以识别产品页面和企业信息上的AI爬虫活动，并控制对价格和库存等敏感数据的访问。
• 流量成本管控：AI爬虫的高频请求会占用带宽资源，通过管控可有效降低不必要的流量成本。
• 品牌曝光诉求：希望内容被AI大模型收录引用（如Perplexity、ChatGPT），提升品牌在AI回答中的曝光。

核心能力

AI爬虫管控提供两大核心能力：

• AI爬虫态势感知（可视、可析）：提供AI爬虫请求的全局可视化分析，包括请求总量与趋势、爬虫类别分布、活跃爬虫排行、热门抓取域名与路径等多维度洞察。
• AI爬虫控制（可管）：提供域名粒度的AI爬虫精细化管控，支持爬虫类别、服务厂商等多种维度处置（不使用/监控/放行/拦截）。

版本说明

AI爬虫管控提供基础版和高级版两个版本，满足不同客户的需求：

开通条件：

• 基础版：仅需开通WAAP-Bot管理服务，即可自动获得AI爬虫基础管控能力。
• 高级版：在开通WAAP-Bot管理服务的基础上，需额外开通AI爬虫管控增值服务。

提示：如需升级至高级版，请联系您的客户经理申请开通。

管控范围

目前，已收录OpenAI、Anthropic、Google、Meta、Amazon等多家主流AI服务商共40多个AI大模型爬虫，覆盖以下几个类别：

收录标准

AI爬虫收录需同时满足以下条件：

• 运营主体可溯源：运营主体为公开运营的AI大模型或AI搜索服务商，具备可查证的企业实体信息。
• 流量具备可观测性：满足以下条件之一。
  • 全网产生稳定流量（最近一个月内，日均已验证流量请求数大于1000），以确保收录的普适性。
  • 或虽未达到流量门槛，但其运营主体为行业头部AI服务商（如OpenAI、Anthropic、Google、Meta AI等），具备高关注度和管控必要性。

违反政策：

若已收录的AI爬虫不再满足上述条件，将从AI Bots库中移除。以下是一些违反政策例子：

• 运营主体不再可溯源： 运营方停止服务、企业实体注销等。
• 长期无流量： 连续6个月未在全网观测到有效流量。

特殊需求说明

AI爬虫库会定期收录主流AI大模型应用工具。若您有特殊需求，可联系客户技术服务申请新增特定机器人。建议申请时提供：机器人名称与用途、官方说明链接、User-Agent、来源IP/ASN范围及期望处置策略等信息。