首頁 分詞器 分詞器 的最新熱門文章 新聞 研究爆料AI模型對非英文不友善:Token消耗差17倍,連上下文記憶力都縮水 KKJ 發表於 2026年11月22日 09:30 Plurk 研究揭露 AI 分詞器稅導致非英語文本的 Token 消耗量暴增。這項分詞器稅不僅大幅推升 API 成本,更因佔用上下文視窗而削弱模型記憶力,使大量 Token 處理淪為非英語應用在競... 上一頁1下一頁
新聞 研究爆料AI模型對非英文不友善:Token消耗差17倍,連上下文記憶力都縮水 KKJ 發表於 2026年11月22日 09:30 Plurk 研究揭露 AI 分詞器稅導致非英語文本的 Token 消耗量暴增。這項分詞器稅不僅大幅推升 API 成本,更因佔用上下文視窗而削弱模型記憶力,使大量 Token 處理淪為非英語應用在競...