AI 能寫程式卻難除錯？微軟研究揭示問題關鍵：不懂人類是怎麼 debug 的

人工智慧成為新世代開發者的重要夥伴已是不爭事實。Google 執行長 Sundar Pichai 就曾表示，如今已有高達 四分之一的新程式碼由 AI 生成，Meta 的 Mark Zuckerberg 也高度關注 AI 在開發領域的應用。然而，儘管 AI 在「寫程式」表現搶眼，但在「找 bug」這件事上，卻明顯力有未逮。

根據微軟研究院最新發表的研究，即便是目前業界最強大的生成式 AI 模型，在面對軟體除錯任務時，表現仍不盡理想。研究團隊測試了包含 Anthropic 的 Claude 3.7 Sonnet 與 OpenAI o3-mini 在內的多款主流 AI 模型，並以 SWE-bench Lite 這套軟體除錯基準集進行 300 項挑戰，結果發現：

• Claude 3.7 Sonnet 成功率僅為 48.4%

• OpenAI 模型更低，僅 30.2% 與 22.1%

為什麼 AI 除錯這麼難？關鍵在於「學不到人怎麼做」

研究團隊指出，AI 模型目前最大的瓶頸在於訓練資料本身。現有的語言模型訓練內容多聚焦於程式碼生成與片段補全，但卻缺乏來自真實開發者的除錯紀錄與決策流程。

簡單來說，AI 還無法像人類那樣理解「哪裡出錯、該怎麼判斷、該試哪些工具、怎麼一步步排查」，因為它根本沒看過我們怎麼除錯。

未來若要讓 AI 真正具備除錯能力，就必須蒐集更多「人類除錯歷程」的資料，並進行專門訓練與微調，讓模型學會如何與除錯工具互動、如何思考 bug 形成邏輯。

程式寫得快，但錯也不少？AI 的可靠性仍需觀察

即使現在許多開發者已經習慣使用 Copilot、ChatGPT、CodeWhisperer 等工具輔助寫程式，但許多研究也指出，AI 生成的程式碼中仍潛藏著各種潛在錯誤或安全風險。

例如近期話題工具「Devin」，雖號稱可自主完成軟體專案，但在 20 項基準測試中僅完成了 3 項，顯示其對實際開發場景的理解與應變能力仍遠遠不及人類工程師。

AI 是夥伴不是替代者，開發者仍是不可取代的核心

微軟的研究再次印證，寫程式不只是技術任務，更是一種結合創造力、邏輯推理與經驗判斷的綜合能力。正如比爾・蓋茲所說，「程式設計是一門藝術，而不是機械複製。」

Replit 執行長 Amjad Masad、IBM 執行長 Arvind Krishna 等多位產業領袖也曾表示，AI 是開發者的工具，而不是取代者。未來的工程師不只要懂寫程式，還得學會善用 AI 幫手，讓效率倍增。

AI 還在學走路，開發者要更學會如何駕馭

AI 在編寫程式方面的確展現出驚人潛力，但在除錯、邏輯判斷與系統性問題解決上，仍有不少路要走。開發者該做的不是擔心會被取代，而是學會如何駕馭這位「新手助手」，讓 AI 幫你省力，而不是添亂。

就像給新手司機裝了自動駕駛一樣——直路行得穩，但遇到彎路和突發狀況，還是得靠真正的人來掌握方向盤。