FB 建議貼文

選取貼文複製成功(包含文章連結)!

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

現在 AI 開源模型雖然越來越多,但也越來越吃硬體,但一般人很難搞清楚「我的電腦夠力嗎?」最近有一款免費網頁工具,能根據 VRAM 容量快速判斷電腦是否能執行指定的 AI 模型,就連 RTX 3060、Apple M 系列晶片通通支援。

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

用 VRAM 容量來估算能不能跑 AI 模型

這款名為《LLM Inference: VRAM & Performance Calculator》的網頁工具,主打「讓你知道自己的電腦能不能跑某個 LLM」。操作方式超簡單:

  • 選擇你想跑的 AI 模型(如 DeepSeek-R1、Llama 3 等)

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

  • 選擇你電腦用的 GPU 或 Apple Silicon 裝置

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

  • 系統會自動顯示模型所需 VRAM、你顯卡的可用 VRAM,以及是否能跑

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

舉例來說,預設情況下會選擇 DeepSeek-R1 3B 模型、搭配 RTX 3060(12GB),結果顯示 VRAM 使用率 66.8%,可以順利運作。

模型太大就 GG?可以改用多張卡並行運算

工具也支援多 GPU 並行的模擬測試。例如 LLaMA 3 70B 這種超大型模型,單張 H100(80GB) GPU 也無法跑,但當你選擇「3 張 H100 並行」時,系統就會顯示可支援。

這對有打算打造 AI 伺服器的使用者來說相當實用,也能作為規劃設備升級的參考依據。

你的顯卡跑得動哪些開源 AI?這款免費網頁工具幫你秒算!

畫面下方還有一個「推論速度模擬」功能,可以用動畫方式展示 AI 模型的文字生成速度。這雖然不是實際執行,但能幫助你理解效能差距,例如在不同 GPU 或模型下生成文字會快多少。

工具網址如下,完全免費使用、也無需註冊登入:https://apxml.com/tools/vram-calculator

 

janus
作者

PC home雜誌、T客邦產業編輯,曾為多家科技雜誌撰寫專題文章,主要負責作業系統、軟體、電商、資安、A以及大數據、IT領域的取材以及報導,以及軟體相關教學報導。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則