爬虫控制

阅读时间：约 5 分钟
前置条件：域名已接入，AI爬虫管控总开关已开启
操作路径：AI爬虫管控 > 爬虫控制

功能简介

爬虫控制是AI爬虫管控的核心操作页面，提供域名粒度的AI爬虫管控能力。您可以在此页面查看所有已收录AI爬虫的信息和管控状态，并对单个或多个爬虫执行处置操作。

• 基础版：支持查看爬虫列表和管控状态，支持单个或多个爬虫处置操作（不使用/监控/放行/拦截）。
• 高级版：额外提供查看各爬虫的请求统计数据和活跃趋势，辅助管控决策。

典型配置场景

针对高活跃爬虫精准处置

如发现某个爬虫（如GPTBot）请求量异常突出，您可以在爬虫列表中直接对单个爬虫进行快捷处置操作。

操作步骤：

1. 在爬虫管控列表中找到目标爬虫（例如 GPTBot）。
2. 在该行的"处置动作"列，点击目标处置动作按钮（如"拦截"），系统弹出确认弹窗：“是否确认将 GPTBot 设置为 拦截？点击确认，直接下发部署任务，预计1-3分钟生效。”
3. 点击 “确定” → 配置即时下发生效，处置动作按钮状态更新，管控状态总览数值同步刷新。
4. 点击 “取消” → 操作取消，保持原状态不变。

爬虫批量处置

当需要对同类或多个AI爬虫执行相同处置动作时，如批量拦截不希望访问的类别（如AI数据抓取工具），或批量放行希望被收录的类别（如AI搜索爬虫），可使用批量操作。

操作步骤：

1. 通过类别筛选或直接在爬虫列表中勾选需要操作的爬虫。
2. 勾选后，列表上方出现批量操作栏，显示"已选中 N 个爬虫"。
3. 在 “批量设置动作” 下拉中选择目标处置动作（不使用/监控/放行/拦截）。
4. 点击 “确认下发”，系统弹出确认弹窗：“是否确认将选中的 N 个爬虫批量设置为 [处置动作]？点击确认，直接下发部署任务，预计1-3分钟生效。”
5. 点击 “确定” → 所有选中爬虫的处置动作批量更新，管控状态总览数值同步刷新。
6. 如需取消选择，点击 “取消选择” 即可清除所有勾选。

多域名统一策略配置

在某个主域名上完成了AI爬虫管控策略配置，希望其他域名沿用相同策略。可进入安全策略管理页面，使用"复制策略"功能，将主域名的AI爬虫管控配置复制到目标域名，避免逐个域名重复配置。

处置动作说明

AI爬虫管控目前提供以下4种处置动作：

建议：对于新接入域名，建议先将所有AI爬虫设置为 “监控”，观察一段时间后根据实际情况决定是否需要放行或拦截特定爬虫。

策略优先级说明

AI爬虫管控与原Bot管理中“AI Bots”策略执行顺序一致：

1. 自定义Bots
2. AI Bots
3. 公开Bots
4. 绝对Bots
5. 疑似Bots
6. Web风险检测
7. 业务流检测