FB 建議貼文

選取貼文複製成功(包含文章連結)!

Google 推出 Gemma 3 270M 開放模型:輕巧高效,可讓手機運行本地 AI

Google 推出 Gemma 3 270M 開放模型:輕巧高效,可讓手機運行本地 AI

Google 宣布推出 Gemma 3 270M,這是一款極其精巧但功能強大的開放模型,旨在為 AI 應用帶來新的可能性。在大型科技公司競相開發龐大 AI 模型的背景下,Google 反其道而行,推出了這款專為本地設備優化、可進行微調的微型 AI 模型。

Gemma 3 270M 屬於 Gemma 3 系列,總參數為 2.7 億。其獨特的架構包含 1.7 億的嵌入參數(embedding parameters)和 1 億的 Transformer 區塊參數。由於龐大的詞彙量(高達 256,000 個 tokens),該模型可以處理各種特定與稀有的詞彙,為開發者在特定領域和語言上進行微調提供了堅實的基礎。

這款模型的核心能力在於強大的指令遵循(instruction-following)和文本結構化能力。雖然它並非為複雜的對話應用而設計,但其強大的指令遵循能力使其能直接執行各種通用指令。

Gemma 3 270M 這款小巧的模型具備強大的指令遵循能力,根據 IFEval 基準測試結果,其性能超越了同尺寸的其他模型。

Gemma 3 270M 的一大優勢是其極低的功耗。Google 在 Pixel 9 Pro 上的內部測試顯示,INT4 量化後的模型在進行 25 次對話後,僅消耗了 0.75% 的電量,使其成為 Google 最節能的 Gemma 模型。

為了在資源有限的設備上運行,Gemma 3 270M 提供了量化感知訓練(Quantization-Aware Trained, QAT)的檢查點,讓開發者在 INT4 精度下運行模型時,性能損耗降至最低。

Gemma 3 270M 已在 Hugging Face、Ollama、Kaggle 等多個平台發布,提供預訓練和指令微調版本。開發者可透過 Google 的 Vertex AI 或其他工具進行測試與部署,並快速進行微調實驗,在數小時內為特定用例找到最佳配置。

這款模型讓開發者得以打造更聰明、更快速、更高效的 AI 解決方案,並在隱私保護(因可完全在設備上運行)和成本效益上取得顯著優勢。

以下為 Gemma 3 270M 被用於透過 Transformers.js 驅動一個「睡前故事產生器」網頁應用程式。該模型的大小和性能使其適用於離線、基於網頁的創意任務。 

ycr
作者

PC home 雜誌、T 客邦產業編輯,也負責 T 客邦影新聞 YouTube 頻道短影音製作。關注 AI 相關應用,並有軟體教學報導。(大頭貼為 AI 生成)

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則