當軟體工程師開始把繁重任務交給 Claude Code 等終端 AI 編碼代理時,最令人心驚的往往不是模型寫不出解法,而是終端機裡急速狂飆的 Token 帳單與迅速見底的用量上限。
為了解決 AI 經常為了一個小函式動輒吞下整包上千行檔案的資源浪費,音樂串流巨頭 Spotify 的工程師迪米崔・馬茲馬諾夫(Dimitri Mazmanov)公開了一套極具啟發性的分流架構,透過輕量模型承接單純工作與硬性攔截機制,成功讓 Claude 端的 Token 消耗平均暴跌 90%。

用 Gemini 2.5 Flash 打造「代讀代寫」雙工模式
AI 編碼代理在處理大型專案時,最昂貴的瓶頸往往來自無意義的上下文膨脹。工程師可能只是詢問某個特定類別的呼叫方式,代理人為了確認依賴關係,一口氣將五、六個上千行的原始碼全數塞入上下文視窗(Context Window);或是在撰寫幾十組單元測試與設定檔時,反覆吞吐結構雷同的樣板代碼。
馬茲馬諾夫指出,這類操作本質上只是純粹的檔案輸入與輸出(I/O)與模式比對,根本不需要動用高推理能力、每百萬 Token 價格昂貴的旗艦模型來「硬扛」。

為此,馬茲馬諾夫運用 Spotify 內部開發者平台「Portal by Spotify」所具備的「AiKA Modes」功能,宣告式定義出兩套隨開即用、無須常駐伺服器的微型代理人,並指定使用平價輕量的 Gemini 2.5 Flash 作為打工模型。
第一種模式是「bulk-reader(巨量閱讀器)」,當專案需要掃描多個大檔案時,Claude 不會直接開啟檔案,而是把檔案路徑與問題丟給 bulk-reader,由平價模型先行讀完後,僅回傳條列式的關鍵濃縮資訊給 Claude;第二種則是「code-writer(代碼生成工)」,針對重複性高的單元測試、型別定義或樣板代碼,由 Claude 提供規格與現有參考範本,指示工作模型依樣畫葫蘆並直接寫入磁碟,產出的冗長代碼甚至完全不需要流經 Claude 的對話視窗。

這種「上下文隔離」策略,成功將動輒數萬 Token 的語法雜訊擋在門外。即使平價模型在無狀態的暫態環境中重複讀取檔案,消耗的也僅是低廉的二線模型成本,讓旗艦大腦始終維持在精煉而高價值的思維狀態。
提示詞管不住問題:開發看門人外掛在出錯時阻斷
然而,混合模型架構最常遇到的痛點是模型的「自作主張」。
馬茲馬諾夫一開始嘗試採用常規做法,在專案根目錄的設定檔「CLAUDE.md」中寫下提示規則,叮嚀 Claude「遇到簡單任務請委託給工作模型」。然而實測發現,純文字 Prompt 屬於弱約束,Claude 在複雜任務中經常拋諸腦後、依舊自顧自地狂讀大檔,且每個專案都必須重複複製這套規則,難以標準化。
為此,他轉向 Claude Code 核心的「PreToolUse」事件鉤子(Hook),打造出名為「shunt」的專用外掛。
「shunt」外掛扮演起嚴格的看門人角色,在 Claude 呼叫工具的毫秒瞬間進行動態攔截。當 Claude 試圖使用 Read 工具打開單一超過 350 行的原始碼,或企圖在終端機中透過 cat、head、tail、less 或 more 等指令窺探大檔時,shunt 會立刻切斷執行,並強迫 Claude 轉向調用 bulk-reader。
唯有當 Claude 精準指定特定程式碼行數區間(Line Range),或是使用管線指令(如 cat file | grep)精確過濾內容時,外掛才會視為合理操作並放行。
這套三層架構形成了閉環:Hook 負責強制防呆阻止誤讀,Claude Code Skill 提供標準化的調用協定,底層 Shell 腳本則透過 CLI 發送請求。即便模型出現幻覺或忘記指令,底層攔截器依然能築起防火牆,將節省 Token 的期望轉化為無法逾越的硬性制度。
實測狂省 90% 的代價:但小模型終究不能取代架構決策
在 Spotify 的 Java 大型單一儲存庫(Monorepo)中,馬茲馬諾夫針對四種不同開發情境進行對比實測,結果顯示透過 bulk-reader 過濾摘要後,Claude 端的 Token 消耗量平均驟降約 90%,省下的運算資源極為可觀。
然而,這場實驗也揭露了混合架構的技術邊界:在代碼審查測試中,輕量模型雖然能輕易指出命名規範與表面語法模式,卻完全漏掉了極度隱晦的「執行緒安全(Thread-safety)」並發問題;此外,跨模型委託需要透過 CLI 與 API 發起外部請求,通常會引入 10 到 30 秒的處理延遲,這也是為何必須設立 350 行門檻,避免小檔案得不償失。
「降本」並非要將旗艦模型邊緣化,而是讓各個層級的算力各司其職。高深推理、系統架構設計與安全邊界依然由 Claude 把關,粗活累活則交給小模型代勞。唯有在架構上建立這種剛性分工,開發團隊才能在 AI 代理人普及的浪潮中,既守住代碼品質,又不必承受失控的帳單代價。
- 延伸閱讀:Claude Code 加入「跨會話通訊」神功能,多開 AI 視窗寫程式終於能互相溝通了
- 延伸閱讀:不再被彈窗打斷!Claude Code 全自動模式登場,再也不用瘋狂點擊授權彈窗
- 延伸閱讀:AI 時代職稱大洗牌?Claude Code 曝未來職場 5 種必備角色,這項能力是生存關鍵
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!