OpenAI 釋出 MultiLangBench,評測 AI 用 20 種程式語言從零打造資料庫

OpenAI 釋出 MultiLangBench,評測 AI 用 20 種程式語言從零打造資料庫

2026/10/21

OpenAI 公開程式開發基準測試 MultiLangBench,檢驗 AI 能否用 20 種程式語言從頭建立與 SQLite 相容的資料庫引擎。測試涵蓋 COBOL、Fortran、Visual Basic 等訓練資料較少的語言,也包括 Python、Java 與 Rust,讓開發者比較模型跨語言的軟體開發能力。

OpenAI 公開一套名為 MultiLangBench 的程式開發基準測試,用來檢驗 AI 模型能否使用 20 種不同的程式語言,從零開始建立一個與 SQLite 相容的資料庫引擎。這套測試不只涵蓋 Python、Java、Rust 等主流語言,也納入 COBOL、Fortran、Visual Basic 等可供 AI 學習的程式碼與文件相對稀少的語言,讓開發者能比較模型在不同語言下開發完整軟體的能力。

過去常見的程式能力評測,多半聚焦在單一函式或短小題目,例如給定題目描述、要求模型寫出能通過測試的程式片段。這類測試雖然方便比較,但與真實軟體開發的複雜度落差很大。MultiLangBench 選擇以「打造資料庫引擎」作為任務,等於要求模型處理語法解析、查詢執行、資料儲存與檔案格式相容等多個環節,更接近完整專案的開發情境。

SQLite 是全球最廣泛部署的嵌入式資料庫之一,規格明確且具有成熟的行為標準,因此適合作為評測的對照基準。據悉,要求模型產出「與 SQLite 相容」的引擎,可透過既有的查詢與行為比對來驗證成果,使評分更具客觀性。業界分析人士指出,這種以可驗證的大型任務作為基準的做法,正逐漸成為評估 AI 程式代理能力的主流方向。

納入 COBOL、Fortran 等語言具有實務上的意義。這些語言至今仍在金融、政府、科學運算等領域的關鍵系統中運作,但熟悉這些語言的工程師逐年減少,系統維護與現代化成為許多機構的難題。由於這些語言在網路上的公開程式碼與教學資源相對稀少,AI 模型能否在資料不足的情況下仍寫出正確程式,正是檢驗模型泛化能力的關鍵。據悉,許多機構期待藉由 AI 協助理解、維護甚至改寫舊有系統,若模型在這些語言上的表現夠穩定,將有機會緩解相關人才短缺的壓力,也讓老舊系統的現代化工程更具可行性。

對開發者與企業而言,MultiLangBench 提供了一個比較不同模型跨語言能力的參考工具,有助於在選用 AI 程式助理時做出更有依據的判斷。對模型開發商而言,這套基準也可能成為新的競爭指標,促使各家加強在冷門語言與大型專案上的表現。不過,業界也提醒,任何基準測試都只能反映特定面向,實際開發仍涉及需求理解、團隊協作與長期維護等難以量化的能力。

隨著 AI 程式代理逐步承擔更完整的開發任務,評測方式也必須跟上。MultiLangBench 的釋出,顯示產業正從「寫得出程式片段」走向「做得出完整系統」的評估新階段。