PISA 出錯了：加泰隆尼亞被提醒七次，仍讓抽樣錯誤流入國際評比

加泰隆尼亞在 PISA 測驗的執行上出現程序錯誤，並且在事前曾被提醒七次而未予更正。這則新聞的意義超出單一地區的分數爭議，它指向一個更根本的問題：國際評量的結果，究竟建立在多穩固的基礎上。

PISA 這類大規模評量的可信度，幾乎完全取決於抽樣。它不可能測驗所有學生，因此必須從母體中抽出一組具代表性的樣本，並嚴格控制哪些學生可以被排除、排除比例的上限、以及缺考的替補規則。這些規則看起來瑣碎，卻是整個結果能否被解讀的前提。當抽樣程序出錯——例如某類學生被系統性地排除在外——分數的變化就無法區分是教育成效改變，還是樣本組成改變。

「被提醒七次」這個細節，才是這件事真正的問題所在。技術失誤在任何大型調查中都可能發生，可修正的失誤更是常態。但重複的提醒沒有導向修正，指向的是流程與責任歸屬的問題：是誰接到通知、誰有權處理、有沒有人負責追蹤。這類治理層面的缺口，通常不會只影響一項業務。

這件事也提供了一個更廣的提醒，關於各國如何使用國際評量結果。PISA 分數在許多國家被當成教育政策的成績單——排名上升就是改革見效，下降就要檢討。但分數的年度變化受到多重因素影響：抽樣、參與率、題目更替、學生的答題動機、甚至施測當年的社會事件。把單次的排名波動直接解讀成教育品質的變化，本來就過度延伸；而當抽樣程序出現爭議，這種解讀就更站不住腳。

這不代表國際評量沒有價值。它最有用的地方，通常不是排名本身，而是內部的分布資料——不同社經背景學生之間的落差有多大、校際差異占多少比重、哪些能力面向明顯落後。這些資訊對政策的指引價值遠高於一個總分名次，卻經常在媒體報導中被排名蓋過去。

從治理的角度看，值得追問的還有透明度：錯誤是如何被發現的、提醒的內容是什麼、為什麼七次都沒有進入決策流程、後續的修正機制是什麼。這些問題的答案，比重新計算分數更能決定下一次會不會再發生。

業界分析人士指出，大型評量的公信力主要不是建立在測驗題目的品質上，而是建立在執行程序的可稽核性——一旦程序無法被外部檢驗，分數本身也就失去意義。

對台灣而言，我們同樣長期參與 PISA、TIMSS 等國際評量，而每次結果公布都會引發一輪政策討論。這則新聞值得帶回來的提醒是：在討論分數之前，先看看抽樣說明與排除率；而在把排名當成政策依據之前，先確認自己看的是排名，還是分布。