Arm遊戲畫面升頻與畫格生成技術詳細解說：透過小型模型平衡畫面效果與運算成本

筆者在先前文章介紹了Arm發表的ASR、NSS、NFRU、NSSD等多項升頻技術，接著我們將進一步解說技術詳細。

節合空間與時域資訊升頻

Arm的出精確超解析度（Accuracy Super Resolution，以下簡稱ASR）類似大家熟悉的AMD FSR、NVIDIA DLSS等技術，運作過成會降低遊戲的繪製解析度，並透過最佳化演算法將畫面升頻放大後再輸出至螢幕，能夠在維持畫質的前提下，降低整體繪圖運算量，達到提高FPS效能的效果。

延伸閱讀：
【COMPUTEX 2025】Arm主題演講探討Arm架構上的AI發展，目標搶下PC與平板40%市占率
Arm發表類神經網路升頻技術，NPU嵌入GPU藉AI提升繪圖效能並節省電力
Arm遊戲畫面升頻與畫格生成技術詳細解說：透過小型模型平衡畫面效果與運算成本（本文）

ASR在運作過程會參考相鄰像素（即空間資訊，Spatial）以及前1個畫格（即時域資訊，Temporal），透過最佳化演算法將畫面放大，並達到接近不啟用ASR之原生畫面的品質，能在效能與電池電量有限的行動裝置上發揮提升遊戲FPS、畫質，或是增加電池續航力的效果。

類神經超取樣（Neural Super Sampling，以下簡稱NSS）則在ASR的基礎上，加入以類神經網路技術為基礎的AI升頻功能，能夠縮短升頻的運算時間並降低遊戲的顯示延遲，還能節省整體電力消耗。

Arm終端產品事業部市場策略總監蔡武男說明NSS的升頻品質效果大約等同NVIDIA DLSS 2，能夠在提供相近視覺效果的前提下，降低50%的繪圖處理器（GPU）工作負載，基本上可以粗略推算能夠在相同硬體提高1倍FPS效能，或是降低一半電力消耗。

Arm也於SIGGRAPH 2025大會期間發表類神經幀率升頻（Neural Frame Rate Upscaling，以下簡稱NFRU）與類神經超取樣與雜訊消除（Neural Super Sampling and Denoising，以下簡稱NSSD）等全新技術。

NFRU的功能為畫格生成，系統會參考前後2個連續畫格以及遊戲引擎提供的物件移動向量（Motion Vectors）等資訊，產生成中間畫格，舉例來說能將原本FPS為30幀的遊戲畫面升頻為60幀，改善畫面流暢感。

NSSD則是在啟用光線追蹤繪圖技術時，利用極少量光線數量搭配AI演算法，參考相鄰像素與前1畫格的資料進行推論以補全畫面細節，補強畫面細節並降低因光線數量較低所造成的雜訊，能夠作為行動裝置無法滿足路徑追蹤（Path Tracing，俗稱全光線追蹤）運算需求的替代方案。

▲ Arm應用工程總監徐達勇與終端產品事業部市場策略總監蔡武男在說明會中講解技術細節，並於訪談回答許多問題。

▲ 目前已有許多遊戲引擎與作品導入ASR升頻技術，發揮提升遊戲FSP效能的效果。值得注意的是ASR除了會參考相鄰像素與動態向量等空間資訊，也會參考前1個畫格的時域資訊，提高升頻後的畫面品質。

▲ NSS升頻技術則是導入AI演算法，能夠進一步降低整體運算量、提高畫面品質，並將運算時間縮短至4 ms。

▲ 舉例來說，NSS能夠將以540p解析度繪製的遊戲畫面升頻至1080p，較原生繪製1080p節省50% GPU運算量，有助於在行動裝置上帶來桌上型電腦等級遊戲畫質。

▲ Arm也提供ASR、NSS的畫面對照範例。

▲ 範例將拱門裝飾與彩繪玻璃放大檢視。

▲ Ground Truth為原生解析度的參考。ASR的畫面具有明顯瑕疵，使用桌上型電腦顯示卡的Desktop對照組與NSS表現較為理想。

▲ NFRU與NSSD則為以AI為基礎畫格生成與光線追蹤降噪技術，能在效能有限的行動裝置帶來更逼真且流暢的遊戲體驗。

將NPU內嵌於GPU

由於NSS、NFRU、NSSD等技術都會使用類神經網路演算法，因此Arm在設計過程就考慮到整體功耗與效能的平衡，將能夠加速AI運算的神經處理器（NPU）整合至GPU內部，一來可以降低搬移資料的頻寬，以提高效能並節省電力銷耗，另一方面則能降低硬體運算單元碎片化的問題，簡化遊戲開發者導入這些技術的工作流程。

另一方面，由於行動裝置的效能與記憶體容量限制較為嚴格，因此NSS所使用的模型僅具有150K（15萬）的參數量，透過降低參數量的方式取得品質、占用資源、電力銷耗的平衡。Arm也將模型架構、權重資料、重新訓練模型所需的工具在內的所有類神經技術將完全開源，方便遊戲開發者依需求自行調整。

在軟體實際部分，Arm以Vulkan API（應用程式介面）為基礎開發機器學習延伸功能（ML Extensions），並將NSS的運作流程整合至Vulkan繪圖管線，透過Vulkan繪圖格式（Vulkan Graph Format，VGF）讓類神經網路能夠藉由Vulkan的SPIR-V擴充功能以可攜式二進位格式表示，以確保運作過程與各種軟、硬體搭配的相容性。

Arm也與多家產業夥伴展開合作並拓展生態系統，將上述技術整合至遊戲引擎本體或外掛程式，方便遊戲開發者存取資源，促使產業廣泛採用這些技術，避免軟體碎片化而限制Arm發揮多樣化的硬體優勢。

蔡武男也在訪談中提到，目前NSS等技術以Android作業系統為主，尚未擴展至Windows on Arm或其他作業系統，另一方面因為NSS需要搭配專屬硬體，因此僅能於預計於2026年推出的指定GPU執行，不相容於現已推出的GPU型號。

▲ Andorid AI生態系統遇到的一大難題是有超過30款處理器（CPU）、25款GPU、20款NPU等不同運算單元所造成的碎片化，提高軟體開發、相容性等工作的障礙。

▲ Arm為了兼顧相容性與電力效率，將NSS等技術所需要的NPU整合至下代GPU中。

▲ NSS透過Vulkan API的繪圖管線，確保軟體部分具有可靠的相容性。

▲ NSS採用多項開放標準進行實作，也給予遊戲開發者自行「魔改」的空間。

▲ Arm現在已推出KleidiAI函數庫，簡化於CPU執行AI運算的程式開發流程，未來會持續完善GPU與NPU等運算單元部分。

▲ Arm將提供類神經網路圖像相關技術的工具、參考文件、範例程式碼，並會向遊戲開發者提供可於個人電腦平台模擬NSS效果的開發用模擬器，此外開發者也可在Hugging Face下載NSS模型，並在Unreal Engine等遊戲引擎或透過外掛程式存取NSS功能。

Arm表示將持續實踐對生態系統的承諾，不僅是讓技術「能夠運作」，而是要讓它對生態系統充所有成員帶來價值，透過開放的軟體、模型與資料，實踐推動創新的承諾。