AI 界重大突破！MIT 最新研究發現：大型語言模型可以直接「看懂」與「修改」神經網路權重

過去要訓練或調整 AI 模型，通常需要透過梯度下降等數學最佳化方法，反覆更新神經網路的權重。不過，MIT 電腦科學與人工智慧實驗室（CSAIL）研究團隊近日發表的文章〈Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights〉指出，最新一代大型語言模型已展現直接讀取、分析與修改神經網路權重的能力。研究團隊將這種方法稱為「權重空間編程」（Weight-Space Programming），希望藉此探索不依賴傳統梯度下降的模型最佳化方式。

1. 不用執行模型，也能從權重推測 AI 的功能

研究發現，大型語言模型不一定要實際執行另一個神經網路，就能從其原始權重推測模型的功能與部分行為。

例如，研究團隊提供 GPT-6 Astra 四個架構相同、分別訓練來玩不同遊戲的神經網路權重，Astra 成功辨識出四個模型各自對應的遊戲。另一項實驗中，研究人員只提供小型語言模型的中間層權重，移除輸入層與輸出層，Astra 仍能辨識模型是以英文、日文羅馬字或 Python 程式碼進行訓練，並找出負責重複既有文字模式的注意力頭。

這顯示模型權重不只是供神經網路運算的數值，也可能包含可供分析的結構與行為線索。

2. 不用重新訓練，就能直接修改 AI 的部分缺陷

當 AI 模型出現特定問題時，研究團隊嘗試讓大型語言模型直接分析原因，再修改部分權重，而非重新執行完整訓練流程。

在物理控制實驗中，一個經強化學習訓練的小車控制模型，因為無法成功爬坡而持續卡在斜坡上。Astra 分析模型權重與一段失敗紀錄後，直接修改約 3.5% 的權重，使模型在後續 1,024 次測試中全部成功。
在語言模型實驗中，研究人員發現 Qwen3.5-0.8B 容易陷入重複推理迴圈。Astra 使用 Python 環境分析權重，並進行 50 次前向傳播，找出與重複輸出相關的權重方向後，修改約 0.016% 的參數。修改後，模型在 MATH-500 測驗的準確率由 7.9% 提升至 48.1%，GSM8K 由 13.8% 提升至 67.1%，指令遵循測試 IFEval 則由 21% 提升至 62.3%。

不過，這些結果主要來自修正特定的模型缺陷，不能直接推論所有 AI 問題都能透過少量權重修改解決。

3. 從零開始編寫權重，部分表現超越傳統訓練模型

除了分析和修改既有模型，研究團隊也測試大型語言模型能否從零開始編寫神經網路權重。

在 MinAtar 的 Breakout、Seaquest 與 Asterix 三款小型遊戲中，研究人員提供遊戲規則、原始碼及網路架構，讓 Astra 直接以文字輸出整套權重，不提供訓練資料、損失函數或梯度，也不允許模型事先在遊戲環境中試玩。

結果顯示，Astra 一次生成的權重，在三款遊戲中的得分都超過以近端策略最佳化（PPO）訓練 1 億步的模型。其中，Breakout 的得分約為 517 分，遠高於 PPO 訓練 5 億步模型的約 25 分；但在 Seaquest 與 Asterix 中，Astra 的表現並未全面超越訓練 5 億步的模型。

這項實驗顯示，大型語言模型有機會將對任務規則的理解，直接轉換為神經網路權重，但目前成果仍以特定的小型遊戲與網路架構為主。