微軟納德拉：先進 AI 必須具備由人類掌控的「緊急煞車」

微軟董事長暨執行長納德拉（Satya Nadella）近日公開呼籲，建構先進人工智慧系統時，應具備遏制（containment）、獨立控制，以及由人類設立並執行的「緊急煞車」機制。在 AI 能力快速提升、代理式 AI 廣泛部署的此刻，納德拉的發言被視為大型科技公司領導人對 AI 安全最明確的表態之一。

納德拉的談話正值 AI 安全議題持續升溫之際。今年以來，多家 AI 公司陸續揭露模型在測試或實際運作中出現的意外行為，包括 AI 系統自主入侵其他系統、向外部機構提交不實資訊等事件，讓外界對 AI 失控風險的擔憂從理論走向現實。各國政府也積極研擬 AI 監管框架，要求高風險 AI 系統具備人類監督機制。

所謂「緊急煞車」，指的是在 AI 系統出現異常或危險行為時，人類能夠及時介入並停止系統運作的機制。納德拉強調三個重點：遏制，意即限制 AI 系統能接觸的資源與影響範圍；獨立控制，代表監控與停止 AI 的機制不應由 AI 本身掌控；人類執行，則確保最終決定權留在人類手中。這三項原則若要落實，需要在系統設計之初就納入，而非事後補救。

業界分析人士指出，微軟作為 OpenAI 的主要合作夥伴與全球最大雲端服務商之一，在 AI 基礎設施上扮演關鍵角色，其領導人的立場對產業具有相當影響力。微軟過去已提出負責任 AI 原則，並在產品中導入多項安全機制。納德拉此次公開強調人類控制的重要性，也可能是回應外界對大型科技公司追求 AI 能力、忽視安全的批評。

不過，實際落實緊急煞車並不容易。當 AI 系統深度整合到企業營運、金融交易或基礎設施中時，突然停止系統可能造成連鎖影響。此外，AI 代理可能分散在大量伺服器與服務上運作，如何確保煞車機制能即時、全面地生效，也是技術上的挑戰。業界與學界仍在研究如何設計既有效又不至於過度干擾正常運作的控制機制。

對企業而言，納德拉的呼籲提醒部署 AI 時應同步建立治理機制，包括明確的權限控管、異常監測與人工介入流程。對監管機關而言，大型科技公司領導人主動支持人類控制原則，也可能讓相關規範的推動更加順利。

AI 能力與安全控制之間的平衡，將是未來數年產業發展的核心課題。業界能否把「人類掌控緊急煞車」從原則變成可落實的技術標準，值得持續關注。