網站被Meta AI爬到崩潰！每秒狂刷請求耗盡資源，插畫家被迫移除連結自保

美國聖地牙哥兒童繪本作家兼插畫師切爾西・保盧斯（Chelsea Paulus）近日向外媒揭露，其個人獨立網站遭到 Meta 旗下 AI 爬蟲瘋狂抓取，短短幾天內累積湧入超過 55 萬次密集存取，瞬間耗盡主機虛擬伺服器的 CPU 運算資源，導致網站多次陷入癱瘓。

雖然他具備網頁設計背景，保盧斯在緊急設置防火牆、修改 robots.txt 及底層設定檔後仍難以抵禦，最後被迫主動刪除 Instagram 主頁上的網站連結以防止伺服器徹底當機。這起事件揭露了科技巨頭在訓練大語言模型與優化搜尋引擎時，AI 網路爬蟲在未受節制下的「數位霸凌」現象。

每秒狂刷請求耗盡運算，Meta兩款爬蟲接連肆虐

保盧斯從事繪本與插畫創作長達十年，去年正式轉為全職個人創作者。由於過去擁有科技業與網頁設計的工作背景，當個人網站流量出現非自然暴增時，她便在第一時間敏銳察覺到伺服器異常。

危機始於 10 月 24 日，保盧斯收到主機託管商 SiteGround 寄發的高負載預警信件，警告分配給其方案的 CPU 運算資源已被消耗達 80%。保盧斯名下的四個獨立網域均共用這套虛擬主機配額。

隨後她登入 WordFence 資安監控面板，驚覺整個儀表板每秒都在瘋狂更新存取紀錄。經調閱 IP 詳細資料確認，這些密集湧入的存取來源均隸屬於 Meta 設於德州達拉斯的資料中心節點。

主機商工程師隨後證實，這波攻擊的抓取程式識別名稱為「Meta External Agent」。依據 Meta 官方開發者頁面說明，該程式會在全網爬取圖文內容，主要用途正是為了訓練底層大型語言模型，並直接收錄公開內容以最佳化其 AI 產品表現。

為了止血，保盧斯立刻著手修改網站的 robots.txt 禁止清單，同時在管理後台架設軟體防火牆。然而爬蟲快取規則的生效通常需要等待長達 24 小時，面對每秒不斷湧入的抓取壓力，伺服器早已無法正常載入。

在主機商協助下，工程師提供了一段特殊程式碼，直接注入伺服器的隱藏組態設定檔中，才暫時將 Meta External Agent 的侵入壓制下來。

然而好景不長，到了本週中旬，另一款名為「Meta Web Indexer」的 Meta 爬蟲再度席捲而來。這款爬蟲專門負責替 Meta AI 搜尋索引抓取即時網頁資料，接力狂刷的結果再次將伺服器的 CPU 負載瞬間拉升至 100% 滿載。

面對外界質疑，Meta 發言人在回應中表示，網站管理者具備完全掌控爬蟲行為的權限，並建議參考官方《Meta 網頁爬蟲開發者文件》。官方強調，Meta 是基於多元商業目的使用網頁爬蟲，公開提供相對應的 robots.txt 設定指引，並且始終嚴格尊重站方設定的存取規則。

然而現實情況是，小型個人網站根本難以承受科技巨頭爬蟲短時間內的暴風式爬取。儘管主機商 SiteGround 表示已在伺服器端啟用防禦規則限制請求頻率，保盧斯的網站依舊處於極度不穩定狀態。

無奈之下，保盧斯只得主動將個人 Instagram 官方帳號自介欄中的個人網站網址全數移除，避免真人粉絲的點擊流量與惡意爬蟲交織在一起，直接導致伺服器崩潰死機。

保盧斯直言，個人創作者根本沒有財力去加購更高階的主機頻寬與運算配額，更何況 AI 爬蟲既非潛在客戶、也不會帶來任何轉換收益。現行法規並未禁止 AI 爬蟲讀取公開網頁，讓獨立創作者處於毫無保障的絕對弱勢。

目前她正嘗試導入 Cloudflare 提供的免費人機驗證工具來封鎖未授權爬蟲。保盧斯呼籲 Meta 等大型科技公司應在演算法底層建立存取頻率約束機制，避免肆無忌憚的爬蟲持續重創小型個人站點，否則微型企業最終將淪為這場 AI 數據擴張下的無辜犧牲者。