真的比較省嗎？AI 寫程式實測翻車，平價模型 Haiku 竟然比 Sonnet 還燒錢 14 倍！

在評估將程式開發與除錯任務託付給 AI 代理人（Coding Agent）時，多數技術主管與開發者往往直覺認為：挑選 API 牌價較低的輕量模型，自然能幫團隊看緊荷包。

然而，專門監控與評估 AI 系統效能的研發團隊 Fiddler 近日發表的一項深度實測報告，卻狠狠戳破了這項迷思——在多輪程式修復任務中，每單位 Token 費率便宜一半的模型，最終成功修好一個程式 Bug 的實際帳單，竟然比旗艦模型貴上 8 到 14 倍！

牌價腰斬卻換來 14 倍帳單！「每次驗證成功成本」戳破單價迷思

為了驗證模型計費與實際專案支出之間的真實關係，Fiddler 團隊挑選了 Anthropic 旗下的兩款模型進行對決：定位為平價輕量的「Claude Haiku 4.5」與旗艦主力「Claude Sonnet 5」。在官方牌價中，Haiku 無論是輸入還是輸出的每百萬 Token 費率，都精準落在 Sonnet 的一半。

測試團隊設計了 5 項以 Python 編寫的程式碼除錯任務，並以自動化測試程式串接模型：AI 每次下達「檢視檔案內容」、「重寫程式碼」或「執行測試」等指令，系統執行後將結果回傳，由 AI 評估下一步，直到 AI 宣告修復完成或達到 8 次互動上限為止。

然而，AI 自稱「修復完成」往往只是幻覺，團隊因此在模型可見的測試之外，額外設置了完全隱蔽的「隱藏測試集（Withheld tests）」，唯有通過隱藏驗證才算真正成功。

將包含失敗重試在內的所有花費除以成功次數後，「每次成功修復成本（Cost per verified success）」揭曉了驚人差距：Sonnet 5 跑完 45 次試驗總共僅花費 0.45 美元（約新台幣 14.5 元），而單價砍半的 Haiku 4.5 卻燒掉了 4 美元（約新台幣 130 元）；在三組獨立重複實驗中，Haiku 成功修好一個 Bug 的單位成本，竟然是 Sonnet 的 8.4 倍到 14.1 倍！

自行腦補執行結果！讓輸出 Token 狂飆 42 倍

明明每 Token 費用只有對手的一半，為何最終帳單會迎來毀滅性膨脹？Fiddler 團隊進一步解剖模型的通訊紀錄後發現，元凶就在於 Haiku 嚴重缺乏紀律的「輸出膨脹（Verbosity）」。統計顯示，Sonnet 在單輪互動中輸出的 Token 數中位數僅有俐落的 16 個 Token，而 Haiku 卻高達 361 個 Token，相差達 22 倍之多；若檢視最極端的單次發言，Sonnet 最長回覆僅 541 個 Token，Haiku 卻一度狂噴出 22,721 個 Token，膨脹幅度高達 42 倍。

深入檢視這類極端長回覆的內容更令人啼笑皆非：Haiku 在發出指令後，根本等不及執行系統回傳真實結果，便自行「預測」並捏造了終端機的虛構反饋，接著一口氣憑空推演並編寫出後續多達 60 條指令與虛假報表，硬塞在同一則回覆中宣告修復完畢。但自動化 Agent 迴圈的設計本就是「每輪只執行回覆中的第一條指令」，這意味著 Haiku 絞盡腦汁噴出的其餘 59 條指令與數萬字輸出，全成了無效且昂貴的數位廢話。

在自動化 Agent 架構中，「話多」從不代表能力強，反而直接等同於預算失控。缺乏流程紀律的模型自言自語，成了開發者最難提防的財務黑洞。

單次冗長回覆引發的「多輪 Context 計費災難」

如果只是單次回覆的輸出 Token 費用暴增，或許還不至於造成高達十幾倍的總成本差距。真正的致命殺招，在於多輪對話架構下的「上下文歷史（Context Window）累積效應」。

在 Agent 的多輪除錯流程中，先前每一輪的互動內容都會被打包成歷史脈絡，作為下一輪提問的「輸入 Token（Input Tokens）」重新發送給模型。這意味著，Haiku 剛才腦補的那兩萬多個無效 Token，在後續每一輪對話中都會被系統反覆讀取並重複計費！

實測數據生動展現了這顆滾雪球的可怕破壞力：在一段 5 輪互動的試驗中，第 1 輪雙方的輸入長度都相當精簡（Haiku 為 653 tokens，Sonnet 為 400 tokens）；但隨著 Haiku 在中途噴出冗長回覆，第 2 輪的輸入量瞬間暴增 13.7 倍來到 6,638 tokens，到了第 5 輪互動，Haiku 單次需讀取的輸入量已逼近萬級大關（9,930 tokens），而始終保持克制的 Sonnet 僅需讀取 1,220 tokens。

Fiddler 團隊進一步將 Haiku 的表現拆分為「受控短回覆」與「失控長回覆」進行對比。數據證實，當 Haiku 乖乖遵守指示簡短互動時，單步成本為 0.00235 美元，確實略微低於 Sonnet 全體平均的 0.00244 美元；但只要一旦陷入失控長回覆，單步成本便會飆升 7.2 倍來到 0.01693 美元。換句話說，只要出現一次嚴重嘮叨，省下來的微薄差價就會在瞬間被成倍吞噬。

這項研究無疑給盲目迷信 API 單價的企業架構師敲響了警鐘。評估 AI 模型的性價比絕不能單看定價表，而必須以貼近真實業務的場景進行端到端實測。高階模型憑藉優異的指令遵循度與嚴謹邏輯，在複雜系統中往往才是真正替團隊省錢的最佳選擇。