MIT 展示權重空間程式設計:GPT-6 Astra 直接改寫模型權重,數學正確率由 7.9% 提升至 48.1%

MIT 展示權重空間程式設計:GPT-6 Astra 直接改寫模型權重,數學正確率由 7.9% 提升至 48.1%

2026/11/04

MIT CSAIL 研究團隊公布實驗,利用 GPT-6 Astra 直接修改 Qwen3.5-0.8B 語言模型的神經網路權重,不需重新訓練,就讓 MATH-500 數學測試正確率從 7.9% 提高至 48.1%。修改範圍僅占模型約 0.016% 的權重,主要解決模型推理時重複產生相同內容的問題。

人工智慧研究出現一項令人矚目的新方向:讓 AI 直接改寫另一個 AI 的「大腦」。麻省理工學院電腦科學暨人工智慧實驗室(MIT CSAIL)研究團隊公布一項實驗,利用 GPT-6 Astra 直接讀取並修改 Qwen3.5-0.8B 語言模型的神經網路權重,在完全不重新訓練的情況下,讓這個小型模型在 MATH-500 數學測試中的正確率從 7.9% 大幅提升至 48.1%。

研究團隊將這種方法稱為「權重空間程式設計」。傳統上,要改善語言模型的能力,通常需要準備大量資料進行微調或重新訓練,耗費可觀的算力與時間。而這項實驗則讓大型模型扮演「工程師」的角色,分析小模型的內部權重,找出造成問題的部分並直接修改,就像程式設計師修正程式碼中的錯誤一樣。

更令人驚訝的是修改的幅度。這次調整的範圍僅占模型約 0.016% 的權重,卻帶來數倍的正確率提升。研究團隊指出,修改主要解決的是模型在推理時反覆產生相同內容、無法完成回答的問題。小型模型在解數學題時,常會陷入重複輸出的迴圈,導致答案無法完整產出;修正這個行為後,模型原本具備的解題能力得以發揮。

業界分析人士指出,這項研究的意義在於展示了一種全新的模型改進途徑。如果大型模型能夠理解並修改其他模型的內部結構,未來或許可以用極低的成本修正模型缺陷、客製化特定能力,甚至提升模型的可解釋性,讓研究者更清楚模型內部的運作機制。

不過,這項技術目前仍處於研究階段,實驗對象是參數量較小的模型,能否擴展到更大型的模型、應用到更多種類的任務,仍有待驗證。此外,直接修改權重也可能帶來非預期的副作用,需要更完善的評估方法。

這項研究為 AI 自我改進與模型維護開啟了新的想像空間。接下來,研究社群將關注此方法在不同模型與任務上的重現性,以及它能否成為模型開發流程中的實用工具。