NVIDIA 推出TensorRT 8,帶來2倍AI運算效能提升

NVIDIA 推出TensorRT 8,帶來2倍AI運算效能提升

ADVERTISEMENT

TensorRT是NVIDIA推出的AI運算框架,能夠將多種AI應用程式部署在不同硬體環境中,在最新的第8版更是帶來更2倍效能增益。

透過軟體推升AI效能

NVIDIA推出最新TensorRT,大幅提升AI推論的運算速度,能將語言查詢(Language Queries)所花費的運算時間縮短一半,也創下於1.2毫秒內完成 BERT-Large自然語言處理的速度紀錄,讓使用者不需刪減模型大小而影響準確度,甚至還能反過來提高模型1~3倍,以進一步增加AI推論的準確度,有利於開發效能更好的搜尋引擎、廣告推薦系統與聊天機器人,並可便捷地將它們從雲端提供到邊緣。

TensorRT 8的關鍵技術包括能夠降低運算需求、提升神經網路效率的AI稀疏性(Sparsity),以及透過量化感知訓練(Quantization Aware Training)以INT8精度進行AI推論,在不犧牲準確度的前提下顯著降低運算與儲存的資源需求。

TensorRT是可以滿足電腦視覺、自動駕駛、工業自動化、資料中心等AI運算需求的框架。

它能整合多種不同程式開發工具與硬體平台。

TensorRT 8能帶來多達2倍的效能增益。

舉例來說可以搭配Merlin推薦系統創造更高的運算效率與商業價值。

Merlin推薦系統可以透過AI分析,應用於將最適合的串流影音影片、網路購買商品、社群媒體推文的推薦給各別使用者。

現在NVIDIA已正式推出TensorRT 8,使用者可以從GitHub取得最新版本程式與範例。

▶ 訂閱T客邦YT頻道,送萬元【OVO K1 智慧投影機】給你

使用 Facebook 留言

發表回應

謹慎發言,尊重彼此。按此展開留言規則