免聯網反應超快！樹莓派發表迷你AI模型Needle 2：僅14MB大、毫秒級控制硬體

樹莓派官方部落格近日公開介紹了一款專為設備端指令執行的專用模型「Needle 2」，以僅 14MB 的極小體積與純 CPU 運行架構，打破了邊緣運算必須仰賴雲端或專用加速晶片的既定框架，在樹莓派 5 上跑出僅需數十毫秒的極速指令反應。

僅佔用28MB 記憶體

傳統生成式模型之所以龐大，在於試圖囊括包山包海的百科對話，而 Needle 2 的核心突破正在於「克制」。它並非設計成漫無邊際聊天的通用機器人，而是將每一分權重都集中在解析硬體控制指令上。在配備 8GB 記憶體的樹莓派 5（Raspberry Pi 5）實測環境中，這款 14MB 的模型在純 CPU 運算下，執行時的記憶體佔用僅約 28MB；即便利連同完整的 Python 演示程式一同跑起來，系統整體的記憶體消耗也僅有 46.4MB，對系統負載幾乎毫無負擔。

而在最關鍵的反應速度上，當輸入「點亮 LED 燈」的自然語言指令時，系統從識別語意到實際觸發硬體輸出，全程僅花費 78 毫秒（ms）。這種即時感讓單板電腦在完全切斷外網連線的狀態下，依然能維持比擬硬體開關的直覺反應。

用 Python 標註直通底層硬體

除了低延遲，Needle 2 在硬體整合的介面調用機制上也展現了極高的工程實用性。它透過 Python 的標註系統（Type Annotations）直接與底層硬體環境深度綁定，開發者完全不需要自行編寫繁瑣的通訊協議或解析轉換層。只要在現有的 Python 函數程式碼上添加特定標記，Needle 2 便能自動抓取該函數的名稱、功能描述以及參數型別，在本地端自動建構出精確的呼叫規範。

舉例來說，當發出查詢處理器溫度的指令時，系統僅需 149 毫秒即可精準回傳當前的攝氏溫度數值，全過程皆在本地處理器內完成。更值得肯定的是它的邏輯邊界：若面對無法匹配預設函數的無關提問（例如詢問「法國首都是哪裡」），Needle 2 不會強行胡謅，而是在 92 毫秒內果斷回傳空值，從架構層面防堵了生成式模型常見的胡言亂語。

目前 Needle 2 的模型權重已經在 Hugging Face 平台公開發布，相關原始碼亦遵循 Apache 2.0 開源協議上架 GitHub。這項專案的亮相證明了一件事：在追求邊緣智慧化的過程中，追求模型參數量並非唯一解，回歸具體硬體場景的專用剪裁，反而能在最精簡的資源下，釋放出最俐落的即時控制價值。