AI爬蟲大量抓站，內容站頻寬成本怎麼控

日誌裡越來越多自稱AI爬蟲的陌生UA，單IP頻率不高卻把動態頁面反覆渲染。本文先分清搜尋引擎、AI訓練抓取與偽裝採集三類流量，再給出UA與IP校驗、分級限速、快取解除安裝等做法。

開啟訪問日誌，你可能會看到大量陌生 UA：自稱各類 AI 訓練與問答爬蟲，或者乾脆是一串看不出含義的字串，來源 IP 集中在幾家雲廠商的機房段。它們不攻擊你，但一直在抓。 這類流量有幾個特點：單 IP 頻率不高，很難觸發傳統 CC 防護的閾值；抓取路徑隨機，專挑文章詳情、搜尋頁、分頁列表；總量卻很大，把動態頁面反覆渲染一遍，CPU 和資料庫連線數就上去了。 所以先分類，再決定攔不攔。 第一類是搜尋引擎爬蟲。它們直接影響收錄和自然流量，正常抓取不該攔，攔了吃虧的是自己。 第二類是 AI 訓練與問答類抓取。內容被抓走用於模型訓練或生成答案，多數情況下不會給站點帶來訪問量。是否放行是商業判斷，但至少應該讓它守規矩。 第三類是偽裝成爬蟲的採集程式。它們不讀 robots 協議、不限速、專挑高價值內容，這類要攔。 具體做法有五條。 一、把 robots 規則寫清楚。對合規爬蟲有效，對惡意採集無效，但成本幾乎為零，值得先做。可以按目錄分級，正文頁放行，搜尋與篩選頁禁止。 二、UA 與 IP 雙向校驗。只看 UA 等於把鑰匙交給對方，任何人改個字串就能冒充。主流 AI 爬蟲廠商會公佈 IP 段，用 UA 加來源 IP 段一起判斷，誤判會少很多。 三、把動態頁面擋住。搜尋頁、篩選頁、帶引數的列表頁是最容易被反覆抓的地方，這類頁面既耗資料庫又不適合被收錄。用 CDN 或 WAF 對這類路徑做限速，或者直接要求驗證。 四、讓靜態內容走快取。文章頁、圖片、樣式與指令碼快取起來，爬蟲抓一萬次和抓一次對源站的壓力是一樣的。這一步對頻寬成本的改善最直接。 五、監控回源頻寬和 5xx。抓取壓力上來時，最先出問題的往往不是頻寬跑滿，而是應用扛不住併發、開始返 502。設定閾值告警，比事後看賬單有用。 最後提醒一句：限速時返回 429 比直接 403 更規範，合規爬蟲會據此退避；一刀切封掉所有非常規 UA，很容易誤傷合作伙伴的介面呼叫和監控探針。 加速IDC 的 CDN 加速覆蓋東南亞 12 個節點，支援按目錄與 URL 配置快取策略，配合高防清洗可以在邊緣擋掉無效抓取，減少回源頻寬消耗。