外媒《Rest of World》披露「人工智慧語言公平研究聯盟」最新評測報告,指出主流大型語言模型在處理非英語文本時有嚴重的分詞效率缺陷;在測試的 200 種語言中,不同語種處理相同內容的 Token(詞元)消耗量差距最高竟達 17 倍。
研究人員將這種技術落差造成的額外支出稱為「分詞器稅」(Tokenizer Tax)。這項技術缺陷不僅迫使非英語系國家的開發者與新創團隊支付高達數倍的 API 呼叫費用,更因迅速塞滿上下文視窗(Context Window),直接導致 AI 推理延遲攀升、長文本記憶能力大幅縮水。
單字切分效率懸殊,上下文記憶力慘遭腰斬
Token 作為大型語言模型解析與生成文本的基本單位,主要仰賴分詞器將句子拆解成詞元片段。評測數據顯示,即便在網路上最常用的前 20 種主流語言中,Token 消耗量差異也落在 1.5 到 5 倍之間;一旦擴展至 200 種語言範圍,部分模型的處理成本落差更直接飆升至 17 倍。
這意味著位於印度班加羅爾的本土新創團隊,每次向模型發送提示詞與解析回覆時,所需承擔的推論開銷可能遠高於美國奧斯汀的競爭同業。
印度人工智慧創投基金 Activate AI 聯合創辦人喬杜里(Pratyush Choudhury)指出,分詞器膨脹帶來的殺傷力不只是帳單金額。由於非英語文本被過度碎片化拆解,有限的上下文視窗會被大量無意義的切片快速填滿,嚴重削弱了模型追蹤對話歷史與載入長篇文件的能力。
喬杜里以 AI 輔助教學為例,系統必須精準記住學習者過去犯下的錯誤與引導紀錄;若底層語言在分詞時就吃光了記憶額度,終端應用的理解品質與教學成效必然直線下滑。
字母體系與數據失衡,下一代分詞器急需重構
造成分詞效率失衡的關鍵,除了語言本身的數位資源多寡外,所採用的文字書寫系統更是決定性因素。以阿斯圖里亞斯語為例,即便該語種使用者稀少且缺乏大規模語料庫,但因採用拉丁字母體系,能直接承接義大利語等羅曼語族的既有分詞紅利。
反觀採用獨立文字系統或數位資料匱乏的區域性語言,分詞器往往只能以單字甚至位元組層級硬切,導致切分碎片呈幾何級數暴增。
為扭轉語料傾斜困局,孟買語音基礎架構團隊 Navana.ai 與印度科學學院合作,在蓋茨基金會資助下推動 RESPIN 專案,已蒐集 38 種方言母語者的文本與口語錄音,試圖從資料底層修補缺口。
然而 Maya Research 執行長雷迪(Dhimant Reddy)直言,單純擴充訓練資料仍不足以解決根本病灶。隨著 Token 單價逐步走低,費用落差固然可能被稀釋,但要徹底根除吞噬算力與記憶視窗的「分詞器稅」,各大主流 AI 實驗室必須針對下一代分詞演算法架構進行重新設計。
- 延伸閱讀:微軟執行長開示!超級人工智慧如果不聽話就沒意義,警告企業別被模型商綁架
- 延伸閱讀:Zoom 發布 2026 年人工智慧趨勢預測:代理式 AI 將改變工作流程與資安防護
- 延伸閱讀:NVIDIA執行長黃仁勳:人工智慧正引領運算產業進入「良性循環」新時代
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!