工程師在 Pentium 老電腦的 DOS 系統上，找到成功跑 AI 模型 Llama 2 的方法

一位熱愛挑戰的程式設計師 Yeo Kheng Meng，以其為 DOS 系統開發 ChatGPT 用戶端而聞名，近日再次挑戰極限，成功在老式 DOS 電腦上運行了 Llama 2 巨量資料模型。這項壯舉不僅展示了程式設計的無限可能，也讓人們重新審視了舊硬體的潛力。

▲ 沒有工程師辦不到的事！

Llama2.c 的助力

將 Llama 2 這樣先進的巨量資料模型移植到古老的 DOS 環境並非易事。首先，DOS 系統的記憶體管理機制與現代作業系統大相逕庭，程式設計師需要找到合適的 DOS 擴充工具，才能存取超過傳統 640KB 常規記憶體的更大 RAM 池。其次，Llama 2 的原始碼需要功能相對先進的 C 編譯器，而 DOS 系統上的編譯器版本通常較舊，因此 Meng 必須修改 OWC 編譯器，使其能夠順利編譯 Llama 2 的程式碼。

這個專案的成功，很大程度上歸功於 llama2.c 這個開源專案。llama2.c 的設計初衷就是為了快速將 Llama 2 模型移植到各種系統和硬體平台。儘管如此，Meng 仍然需要對 llama2.c 的程式碼進行一些調整，以適應傳統電腦環境的限制。他提到，llama2.c 的作者 Andrej Karpathy 功不可沒，因為有了這個開源專案，他才能在短短一個週末內完成這項艱鉅的任務。

效能測試與驚喜

為了驗證 Llama 2 在 DOS 系統上的效能，Meng 在多台運行 MS-DOS 6.22 的電腦上進行了基準測試，包括老式的 486 DX2 66MHz PC 和現代的 Ryzen 桌上型電腦。測試結果不出所料，新系統的推理速度更快。然而，令人驚訝的是，搭載 1.7GHz Pentium M 處理器的 ThinkPad T42 的效能，甚至超過了 16 年後發布的 ThinkPad X13G1。

程式設計的無限可能

Yeo Kheng Meng 的這項成果，再次證明了程式設計的無限可能。即使在硬體資源極其有限的環境下，只要有足夠的創意和毅力，也能夠實現看似不可能的任務。這也激勵了更多的程式設計師，去探索舊硬體的潛力，並為其賦予新的生命。

▲ 在 DOS 上成功跑 Llama2。

資料來源