Anthropic 新基準測 AI 研究判斷力，最佳模型僅 60% 且多數接近隨機

Anthropic 發布一項新的評測基準，用於衡量 AI 模型在研究情境下的判斷能力。測試結果顯示，表現最佳的模型正確率約為 60%，而多數受測模型的表現與隨機猜測相去不遠。這項結果為當前對 AI 科研能力的樂觀預期提供了一個冷靜的對照點。

這項基準的設計思路，與過去常見的知識型或解題型測驗有本質差異。傳統評測多半檢驗模型能否回答有標準答案的問題，或能否完成明確定義的任務；而研究判斷力測的是更接近真實科研工作的能力：面對不確定的實驗設計、相互衝突的證據、以及尚無定論的假說，模型能否做出合理的判斷與取捨。

之所以要測這項能力，與近期業界對 AI 加速科學發現的期待直接相關。多家業者主張大型模型將成為科研的加速器，能協助研究者篩選假說、設計實驗、解讀結果。但這些主張多半建立在模型能複述既有知識、或在已知答案的問題上表現優異的觀察上，缺乏針對判斷力本身的獨立驗證。

最佳模型僅達 60% 的結果值得仔細解讀。在多選情境下，這個數字雖高於隨機基準，但距離可信賴的自主判斷仍有明顯差距。更值得注意的是多數模型接近隨機的表現，這意味著它們在面對真正開放的研究問題時，並未展現出超越表面模式比對的能力。換句話說，模型看起來懂，不等於模型真的能判斷。

對實務應用而言，這項結果並非否定 AI 在科研中的價值，而是釐清其適用邊界。在文獻整理、資料處理、程式撰寫與初步假說生成上，模型的助益已有相當多的實證；但在需要權衡不確定證據的關鍵決策節點，人類研究者的判斷仍不可取代。這條界線的釐清，對於設計人機協作流程相當重要。

後續的觀察重點在於這項指標是否會成為業界共同採用的評測項目。當多家業者的模型都在同一套基準上受測，能力進展就有了可比較的縱向紀錄。若未來模型在這項指標上出現顯著躍升，那將是 AI 真正進入科研核心環節的重要訊號。