Bot可以分为两大类:
- 好Bot:主要用于方便人们的生活和工作,例如搜索引擎,网站监控等。
- 坏Bot:主要表现在破坏网络的安全性和稳定性,例如L7 DDoS攻击、凭证填充、恶意扫描、自动抢票等。
现实中,我们无法直接清晰地区分所有的好Bot和坏Bot,网络中还存在大量未知类型的Bot。CDNetworks的Bot情报库收录了各种已知类型的Bot,根据这些Bot通常是否对网站产生积极影响,我们将其分为好Bot和坏Bot两类。未知类型的Bot是指CDNetworksBot情报库中没有收录的Bot,这些Bot需要通过一系列的检测策略进行验证。
进入Bot管理:
- 登录CDNetworks控制台,在**“已订阅产品”**下找到正在使用的安全产品。
- 转到安全部分,防护配置 > 安全策略配置。
- 找到需要配置安全策略的主机名,点击 。
- 转到**“Bot Management”(Bot管理)**选项卡。如果此策略处于关闭状态,请将其打开。
场景一:缓解爬虫工具带来的网站访问压力
- 配置基本检测策略:
- 允许特定站点的监控工具通过(若存在)。根据监控工具的特点,在自定义Bot中创建规则,并将操作设置为跳过。了解更多。
- 允许搜索引擎爬虫,保证网站的SEO效果。在Known Bots中,设置搜索引擎类别的操作为允许;若无此需要,也可以将操作设置为拒绝。
- 拦截常见的商业或开源工具。在基于 User-Agent 的检测中,将低版本 User-Agent 、虚假 User-Agent 、自动化工具、爬虫工具等类别的操作设置为拒绝。
- 启用基于客户端的检测:
- 检查网站是否有非Web/H5页面的业务,若有,请将相关业务特性配置为Bypass 流量 from Specific Clients,避免在开启Web Bot Detection策略时影响此类业务的正常访问。了解更多。
- 启用基于 JavaScript 的 Web 增强保护解决方案。将Web Bot 检测的操作设置为拒绝。了解更多。
在发布到生产环境之前,建议通过页面底部的“发布更改-发布到暂存”按钮预发布测试,以验证 Web Bot Detection 的 JS SDK 与您的网站的兼容性。
- 确认配置正确后,点击页面底部的Publish Changes按钮,再点击页面底部的Publish to Production按钮,使配置生效。
场景二:阻断不符合正常业务访问逻辑的行为
针对不符合正常业务访问逻辑的行为,比如自动化工具绕过页面访问,直接对某个接口发起持续攻击,建议在场景一的基础上配置业务流检测策略加强防护,配置示例请参考业务流检测详解。