NPU是什麼？TOPS如何衡量 NPU 速度？

有 CPU，也有 GPU，在過去的一年中，每個科技公司都在談論「NPU」(Neural-network Processing Unit)（神經處理單元）。如果你不知道前兩個是什麼，那麼第三個可能會讓你更加困惑，以及為什麼整個科技行業都在讚揚神經處理單元的好處。正如你猜到的那樣，這一切都歸因於圍繞 AI 進行的熱潮。然而，科技公司在解釋這些 NPU 的作用時，或為什麼消費者應該關心NPU這方面做得很糟糕。

每個人都想要分一杯 AI 的羹。Google 在本月的 I/O 開發者大會上提到「AI」一詞超過 120 次，展現了新 AI 應用和助手的無限可能，幾乎讓主持人陶醉不已。在最近的 Build 大會上，Microsoft 全力介紹了其新的基於 ARM 的 Copilot+ PC，該 PC 使用 Qualcomm Snapdragon X Elite 和 X Plus。無論哪種 CPU，兩者都將提供具有 45 TOPS（每秒萬億次運算）的 NPU。這意味著什麼？嗯，新的 PC 應該能夠支持設備上的 AI。然而，當你想到這一點時，這正是 Microsoft 和 Intel 去年年底用承諾的「AI PC」。

如果你今年購買了搭載 Intel Core Ultra 晶片的新筆記型電腦，並期待著設備上的 AI，你可能對接下來的內容有些不高興。Microsoft 說，只有 Copilot+ PC 才能使用基於 AI 的功能，例如 Recall「因為運行它們的晶片」。

然而，當知名爆料者 Albacore 聲稱他們可以在另一台基於 ARM64 的 PC 上運行 Recall 而不依賴 NPU 時，出現了一些爭議。新款筆記型電腦尚未上市，但我們需要拭目以待，看看新 AI 功能會對神經處理器造成多大壓力。

但是，如果你真的對 NPU 的發展感到好奇，以及為什麼從 Apple 到 Intel 再到小型 PC 新創公司都在談論它們，我們為你準備了一個簡單的說明。

• 延伸閱讀：高通公布Snapdragon X Elite NPU跑分成績：能效是M3的2.6倍、Ultra 7的5.4倍

解釋 NPU 和「TOPS」

首先，我們應該快速介紹一下普通個人電腦的運算能力。CPU 或「中央處理單元」本質上是電腦的「大腦」，處理使用者的大部分任務。GPU 或「圖形處理單元」更專門用於處理需要大量數據的任務，例如算繪 3D 物體或玩電玩遊戲。GPU 可以是 PC 內部的獨立單元，也可以整合在 CPU 本身中。

從這個意義上說，NPU 在其專門性方面更接近於 GPU，但你不會在中央或圖形處理單元之外找到單獨的神經處理器，至少目前如此。它是一種專門設計用於處理機器學習演算法特定的數學運算而設計的處理器。這些任務是「並行」處理的，這意味著它會將請求分解為更小的任務，然後同時處理它們。它經過專門設計，可以在不利用任何其他系統處理器的情況下處理神經網路的巨大需求。

衡量 NPU 速度的標準是 TOPS（Tera Operations Per Second），即「每秒一兆次操作」。目前，這是大型科技公司相互比較神經處理能力的唯一方式。這也是一種非常簡化的比較處理速度的方法。CPU 和 GPU 提供許多不同的比較點，從核心數量和類型到一般時脈速度或 teraflops，即使這樣也無法觸及涉及晶片架構的複雜性。Qualcomm 解釋說，TOPS 只是一個結合了神經處理器的速度和準確性的簡單數學方程式。

也許有一天，我們會像 CPU 或 GPU 一樣詳細地審視 NPU，但那可能只有在我們度過當前的 AI 熱潮之後才會出現。即便如此，所有這些處理器的劃分都不是一成不變的。還有一種稱為 GPNPU 的概念，它基本上是 GPU 和 NPU 能力的結合。很快，我們需要將小型 AI 能力個人電腦與能夠處理數百甚至數千 TOPS 的大型個人電腦區分開來。

• 延伸閱讀：微軟推出專為 Copilot+ PC NPU 設計的 33 億參數模型 Phi-Silica

NPU 多年來一直存在於手機和 PC 上

早在大多數人或公司關心之前，手機就已經在使用 NPU 了。Google 早在 Pixel 2 時就談到了 NPU 和 AI 功能。華為和華碩在 2017 年的 Mate 10 和 2018 年的 Zenphone 5 等手機上首次推出了 NPU。當時，這兩家公司試圖推廣這些設備的 AI 能力，儘管客戶和評論對其功能的懷疑態度比今天要大得多。

事實上，今天的 NPU 比六、八年前要強大得多，但如果你沒有注意的話，大多數這些設備的神經處理能力可能已經被你忽略了。

早在 2023 年之前，電腦晶片就已經配備了神經處理器。例如，蘋果的 M 系列 CPU（該公司專有的基於 ARC 的晶片）早在 2020 年就已經支援神經功能。M1 晶片擁有 11 TOPS，M2 和 M3 分別擁有 15.8 和 19 TOPS。直到配備 M4 晶片的新 iPad Pro 2024，蘋果才決定誇耀其最新神經引擎的 38 TOPS 速度。那麼，哪些 iPad Pro AI 應用程式真正利用了這項新功能呢？說實話，並不多。也許我們會在之後的 WWDC 2024 上看到更多，但我們拭目以待。

當前對 NPU 的癡迷部分是硬體，部分是炒作

NPU 背後的想法是，是它應該能夠減輕 CPU 或 GPU 運行設備上 AI 的負擔，允許使用者運行 AI 程式，無論是 AI 藝術生成器還是聊天機器人，而不會降低 PC 的速度。問題是，我們現在都在找那個能夠利用增強的 AI 功能的真正 AI 程式。

在過去的一年中，從各大晶片製造商了解到的事是，硬體製造商覺得，他們第一次在軟體需求上超越了軟體需求。很長一段時間以來，情況正好相反。軟體製造商會突破消費類硬體的極限，迫使晶片製造商迎頭趕上。

但自 2023 年以來，我們只看到了一些能夠在設備上運行的邊緣 AI 應用程式。Qualcomm 或 Intel 晶片 AI 功能的大多數展示通常都涉及運行 Zoom 背景模糊功能。最近，我們看到公司在 Audacity 等現有應用程式中或在 OBS Studio 上使用即時字幕，使用 AI 音樂生成器模型 Riffusion 對其 NPU 進行基準測試。當然，你可以找到一些在設備上運行聊天機器人的應用程式，但功能較弱、細微差別較少的 LLM 並不像能讓所有人跑去購買最新的智慧型手機或「AI PC」的殺手級應用程式。

相反，我們只能在 Pixel 手機上使用 Gemini Nano 等相對簡單的應用程式，例如文字和音訊摘要。Google最小的 AI 版本將出現在 Pixel 8 和 Pixel 8a 上。三星曾經專屬於 Galaxy S24 的 AI 功能已經下放到較舊的手機，並且應該很快就會應用於該公司的可穿戴設備。我們還沒有對舊設備上這些 AI 功能的速度進行基準測試，但它確實表明，早在 2021 年的舊設備就已經擁有足夠的神經處理能力。

• 延伸閱讀：Intel Core Ultra AI功能實測，NPU、GPU各顯所長
• 延伸閱讀：新型 RISC-V 微處理器可同時運行 CPU、GPU 和 NPU 工作負載
• 延伸閱讀：微軟「Recall」重新定義Windows 11 Copilot+PC硬體要求，門檻到底有多高？
• 延伸閱讀：NPU革命！AI PC超越傳統電腦，開啟人工智慧時代

資料來源：

• What's an NPU and Why Is Big Tech Suddenly Obsessed?