ADVERTISEMENT
在今年 WWDC 大會後,蘋果不僅揭示了全新「Liquid」視覺設計語言,也正式對外說明其「Apple Intelligence」人工智慧系統的運作細節。這次,蘋果透過一份長達數萬字的《Apple Intelligence 基礎語言模型技術報告》,揭露自家 AI 模型如何被訓練與微調,顯示這家一向重視隱私的科技巨頭,正悄悄以自己的步伐投入 AI 軍備競賽。
模型怎麼訓練?從網路爬蟲抓資料,到授權內容與合成語料
根據報告,蘋果的 AI 模型訓練來源主要來自三個管道:
-
Applebot 爬取的公開網頁資料(尊重 robots.txt,網站不想被抓就不會用)
-
與媒體/出版商簽訂授權協議的內容(未揭露合作對象)
-
AI 自產的合成語料,特別用於圖像任務、程式碼、指令等微調用途
此外,在語言資料中,非英文語料的比例已從 8% 拉高到 30%,代表蘋果正強化對多語言的支援,對提升中文寫作、語意理解能力至關重要。
ADVERTISEMENT
模型架構揭秘:用「專家混合模型」省資源、強性能
蘋果這次採用的模型架構名為 PT-MoE(Parallel-Track Mixture of Experts),是把一整個大型模型拆成「多位專家」的架構,每次只喚起與當前任務相關的專家,減少資源浪費、提高推理效率。這類混合專家架構近年也被 Google 與 Meta 等大廠廣泛採用。
同時,蘋果也自行打造全新架構 Parallel-Track Transformer,讓不同任務能在各自軌道獨立運算,只在關鍵時刻同步整合,這樣的設計有助於大幅降低延遲、加速回應速度。
裝置端效能:拆成兩段模型運作,記憶體佔用降38%
蘋果指出,其裝置端 AI 模型分成兩個區塊運作:
ADVERTISEMENT
-
Block 1:包含約 60% 的轉換層,負責語意解析
-
Block 2:移除鍵與值投影(key/value projection),使得記憶體需求降低約 38%
這樣的分離式設計,讓蘋果能在不突破裝置記憶體限制的情況下,加快模型運行速度。
自產影像語料超過百億組,連手寫字都納入
蘋果也大量使用影像與文字的對應資料來訓練多模態模型。報告中提到,該公司擁有 超過 100 億組影像-字幕對照資料,來源包含螢幕截圖、App 介面、筆記與手寫內容。蘋果甚至使用自家模型生成更豐富的描述,強化模型對圖文意涵的理解。
雖然模型部分運作需要雲端支援,但蘋果特別強調其雲端 AI 運算是透過自建 私有雲(Private Cloud Compute),搭載自家客製硬體,並不會將資料傳到第三方伺服器。這一點也是蘋果與 Google、OpenAI 的策略最大差異所在。
ADVERTISEMENT
相較於競爭對手追求數千億參數規模的「超大模型」,蘋果走的是高度優化的小模型 + 雲端混合架構,不僅可在裝置端直接推理,也可視任務轉為雲端支援,更符合其以 iPhone 為核心的生態策略。
- 延伸閱讀:Apple Intelligence 將支援繁體中文!新功能擴展至各裝置,即時翻譯、螢幕智慧識別、連結 ChatGPT 生圖
- 延伸閱讀:macOS Tahoe 26 登場:整合 iPhone 通話、Spotlight 大改版、Apple Intelligence 強化生產力
- 延伸閱讀:有 84% 的 iPhone 用戶表示願意為 Apple Intelligence 功能付費,你是其中之一嗎?
ADVERTISEMENT
ADVERTISEMENT