AI 能評估批判思考嗎？研究說：一部分可以，關鍵那部分不行

自動評分工具正在進入更多課堂，而其中最具野心的應用是評估批判思考。這個問題值得認真回答，因為批判思考正好是 AI 時代最被強調、也最難測量的能力。研究的結論相當明確：AI 在部分面向表現可接受，在其他面向則明顯不足，而且這條界線相當清楚。

先看它做得到的部分。結構性的特徵是 AI 的強項：這篇論述有沒有明確的主張、有沒有提出理由支持、有沒有考慮反面立場、段落之間的邏輯連接是否完整。這些都是可以透過語言表面特徵辨識的，AI 的判斷與人類評分者的一致性通常不低。對於大班課的初步篩選、給學生即時的結構性回饋，這已經有實用價值。

真正的問題出在下一層。批判思考的核心不是「有沒有提出理由」，而是「這個理由成不成立」。判斷一項證據是否真的支持結論、指出一個推論中隱藏的假設、辨識出看似合理但實際有問題的類比——這些需要對該領域的實質理解，而不只是對論述形式的辨識。AI 在這一層的表現明顯下降，而且錯誤的方向具有一致性：它傾向給結構完整但內容空洞的作品高分。

這個偏差方向特別值得警覺，因為它與學生的策略調整會形成迴路。如果評分能被結構優化，學生就會學著優化結構——用標準的論述模板、加上看似平衡的反面段落、寫出流暢的轉折句。而這正好是 AI 最容易生成的東西。結果可能是：一套用來測量批判思考的工具，實際上訓練出了模仿批判思考外形的能力。

還有一層是原創性。批判思考最有價值的表現，往往是提出一個評分規準上沒有的角度。而任何自動評分系統本質上都在比對模式，對於「沒見過但很好」的回答，它缺乏辨識能力。這在資優學生與跨領域思考的學生身上影響最大。

實務上的合理配置，因此是分工而非取代。AI 可以負責第一輪的形式檢查與即時回饋——讓學生在交出去之前先修好結構問題；而實質的判斷仍需要教師，特別是在高風險的評量上。若要用 AI 輔助正式評分，最低限度的做法是先用一批教師已評分的樣本做校準，實際量出偏差幅度再決定要不要採信。

業界分析人士指出，自動評量的風險很少來自準確率不足，而來自它悄悄改變了「什麼算是好答案」的定義——當評分方式改變，教學與學習會跟著改變，而這個過程通常沒有人明確決定過。

對台灣正在評估 AI 批改工具的學校來說，可以直接執行的檢查是：拿一份結構工整但論點薄弱的作業、和一份結構鬆散但確實有洞見的作業，讓工具評一次。兩份的分數關係，會告訴你這個工具適不適合用在你想測的能力上。