開發團隊公開 AI 語言評量的五種失效模式：錯誤往往安靜且自信

AI 自動評分承諾的是規模化的即時回饋，而一支實際開發 AI 評分法語練習系統的團隊，公開了他們在過程中遇到的五類失效模式。他們的核心提醒是：AI 評量的錯誤不會大聲宣告自己，它們安靜、自信，而且看起來完全合理。

第一類是評分標準漂移。同一份答案在不同時間、不同批次送進系統，可能得到不一致的分數。原因可能是模型版本更新、提示詞微調，甚至只是隨機性。對單一學生而言這是運氣問題，對整體評量而言則是信度崩壞——而這種漂移不會出現在任何錯誤日誌裡。

第二類是對非典型正確答案的誤判。語言表達本來就有多種正確方式，而模型傾向給出符合常見模式的高分。使用了不尋常但完全正確的句型、方言表達或創意用法的學生，會系統性地被低估。這對母語程度較高但語體不同的學習者特別不利。

第三類是表面流暢的加權過高。文法正確、詞彙豐富但內容空洞的答案，經常拿到比內容紮實卻表達樸素的答案更高的分數。這會反向訓練學生寫出討好模型的文章。

第四類是提示注入與投機作答。當學生發現在答案中加入某些句式或關鍵詞能拉高分數，評量測到的就不再是語言能力，而是對系統的熟悉度。這類漏洞通常在大量施測後才被發現。

第五類是靜默降級。當 API 逾時、輸入截斷或模型回傳格式異常，系統若沒有嚴格的錯誤處理，可能直接給出一個預設分數而不報錯。這是最危險的一類——資料看起來完整，實際上部分分數根本沒有經過評分。

團隊提出的因應做法都相當務實：建立固定的基準答案集，每次系統更動都重跑一次比對分數變化；保留一定比例的人工複評樣本作為抽查；對所有異常路徑強制報錯而非給預設值；並且持續蒐集學生申訴案例作為失效偵測的來源。

對正在導入 AI 評量的教育機構而言，這份清單的價值在於它把抽象的「AI 可能不可靠」轉成可檢查的具體項目。而更根本的提醒是：任何 AI 評分系統上線前，都該先問「它失敗的時候，我們怎麼知道」。