2026-10-29 · 行业
日志里越来越多自称AI爬虫的陌生UA，单IP频率不高却把动态页面反复渲染。本文先分清搜索引擎、AI训练抓取与伪装采集三类流量，再给出UA与IP校验、分级限速、缓存卸载等做法。
打开访问日志，你可能会看到大量陌生 UA：自称各类 AI 训练与问答爬虫，或者干脆是一串看不出含义的字符串，来源 IP 集中在几家云厂商的机房段。它们不攻击你，但一直在抓。 这类流量有几个特点：单 IP 频率不高，很难触发传统 CC 防护的阈值；抓取路径随机，专挑文章详情、搜索页、分页列表；总量却很大，把动态页面反复渲染一遍，CPU 和数据库连接数就上去了。 所以先分类，再决定拦不拦。 第一类是搜索引擎爬虫。它们直接影响收录和自然流量，正常抓取不该拦，拦了吃亏的是自己。 第二类是 AI 训练与问答类抓取。内容被抓走用于模型训练或生成答案，多数情况下不会给站点带来访问量。是否放行是商业判断，但至少应该让它守规矩。 第三类是伪装成爬虫的采集程序。它们不读 robots 协议、不限速、专挑高价值内容，这类要拦。 具体做法有五条。 一、把 robots 规则写清楚。对合规爬虫有效，对恶意采集无效，但成本几乎为零，值得先做。可以按目录分级，正文页放行，搜索与筛选页禁止。 二、UA 与 IP 双向校验。只看 UA 等于把钥匙交给对方，任何人改个字符串就能冒充。主流 AI 爬虫厂商会公布 IP 段，用 UA 加来源 IP 段一起判断，误判会少很多。 三、把动态页面挡住。搜索页、筛选页、带参数的列表页是最容易被反复抓的地方，这类页面既耗数据库又不适合被收录。用 CDN 或 WAF 对这类路径做限速，或者直接要求验证。 四、让静态内容走缓存。文章页、图片、样式与脚本缓存起来，爬虫抓一万次和抓一次对源站的压力是一样的。这一步对带宽成本的改善最直接。 五、监控回源带宽和 5xx。抓取压力上来时，最先出问题的往往不是带宽跑满，而是应用扛不住并发、开始返 502。设置阈值告警，比事后看账单有用。 最后提醒一句：限速时返回 429 比直接 403 更规范，合规爬虫会据此退避；一刀切封掉所有非常规 UA，很容易误伤合作伙伴的接口调用和监控探针。 加速IDC 的 CDN 加速覆盖东南亚 12 个节点，支持按目录与 URL 配置缓存策略，配合高防清洗可以在边缘挡掉无效抓取，减少回源带宽消耗。
