在統計學中，一個模型若能在它確定時給出正確答案、在它不確定時表達懷疑，便被稱為「校準良好（well-calibrated）」。反之，若模型在錯誤答案上仍表現出高度信心，便是「校準不良（miscalibrated）」。

大多數語言模型天生傾向校準不良——因為它們的訓練目標是生成流暢、連貫的文字，而非準確表達自己的不確定性。在訓練資料中，人類寫作通常不會在每一個陳述後加上「但我不確定這是否正確」，因此模型也學不到這種習慣。

所有語言模型都有知識截止日期（knowledge cutoff）——在此日期之後發生的事件，模型一律不知情。然而，使用者往往不清楚這一限制，且模型本身在被詢問截止日期後的事件時，並不總是主動說明自己的局限。

更嚴重的問題是：即便在截止日期之內，訓練資料的覆蓋也並不均勻。冷門話題、少數語言、邊緣學科的內容相對稀少，模型在這些領域更容易出現不自知的錯誤，且依然以同樣自信的語氣回應。

研究顯示，透過特定的提示詞設計（prompt engineering），可以引導模型更頻繁地表達不確定性。例如，在提示中加入「如果你不確定，請明確說明」或「對每個陳述，請評估你的信心水準」，能顯著提升模型的校準表現。

然而，這只是部分解決方案。從根本上改善校準，需要在訓練階段引入特殊的目標函數，例如基於人類反饋的強化學習（RLHF）中的不確定性獎勵機制。這是當前 AI 安全研究的重要課題之一。

AI 系統的責任鏈通常涉及三個層次：開發者（建立基礎模型的機構）、部署者（將模型整合進產品的公司），以及使用者（最終互動的個人）。每個層次都有不同的義務與責任範圍。

開發者對模型的基礎能力與安全邊界負責。部署者對產品設計、使用場景與使用者族群負責——他們決定將模型暴露給哪些人、在什麼情況下使用。使用者則對自己如何使用工具負有一定責任，但這一責任因使用者的年齡、能力與資訊對等程度而有所調整。

AI 責任的核心難題之一是所謂的「問題擴散（diffusion of responsibility）」——當多個主體共同參與一個系統的運作，每個主體都可以指向其他主體，最終導致無人真正負責。

施瓦茨案中，律師指出自己不知道 AI 會編造資料；OpenAI 的使用條款明確要求使用者核實輸出；法院最終認定律師負有核實義務。但在更複雜的自動化決策情境中——例如 AI 核定貸款、AI 診斷疾病——責任的歸屬往往更加模糊。

Character.AI 案的深層問題在於：產品的設計決策本身即是道德決策。選擇讓 AI 扮演親密角色、選擇不驗證使用者年齡、選擇優化使用時長而非使用者福祉——每一個決策都在道德上有其含義，即便在法律上可能暫時無法追究。

這提示我們：評估 AI 系統的責任，不能只看事故發生後，更要審視設計階段的決策邏輯。「可預見的傷害」是侵權法的核心概念——若設計者能合理預見某一使用情境會導致傷害，卻未採取預防措施，責任便更難免除。

AI 系統中的偏見主要來自三個源頭：訓練資料偏見、標記偏見，以及代理變數偏見。

訓練資料偏見是最直接的來源——若歷史資料本身反映了不平等的社會結構，模型便會複製並延續這些不平等。在刑事司法領域，歷史上黑人社區受到更高強度的警力執法，因此在逮捕記錄中出現的頻率更高，即便實際犯罪率並不一定更高。模型從這些記錄中學習，便產生了系統性偏見。

COMPAS 案的最大啟示，是揭示了公平性在數學上的內在矛盾。至少有三種常用的公平性定義：個別公平（individual fairness）、群體公平（group fairness），以及校準公平（calibration fairness）。

數學上已被證明，當基準犯罪率在不同群體之間存在差異時，這三種公平性定義無法同時成立——你只能選擇滿足其中一種或兩種，必然犧牲其他種。這意味著公平性不只是技術問題，更是政治與倫理問題：哪種公平對社會最重要？

AI 公平性的干預措施通常在三個層次進行：前處理（pre-processing）、中處理（in-processing），以及後處理（post-processing）。

前處理在訓練前對資料進行修正，例如重新取樣（resampling）以平衡各群體的代表性，或移除敏感屬性及其代理變數。中處理在訓練過程中加入公平性約束，作為損失函數的一部分。後處理則在模型輸出後進行校正，例如對不同群體設定不同的決策閾值。

亞馬遜的案例揭示，公平性問題的根源不只在演算法，更在於訓練資料所反映的社會結構。一個在「歷史資料」上校準良好的系統，可能只是在高效率地延續歷史的不公平。

這引發了一個更深層的問題：若社會本身存在結構性不平等，AI 系統應「如實反映」現實，還是應「積極矯正」現實？前者追求的是統計上的忠實性，後者追求的是規範意義上的公正性——這是一個無法被演算法自動解決的政治問題。

公平性干預的每一個層次，都涉及價值判斷——究竟要平衡哪些群體？使用哪種公平性定義？誰有資格做這些決定？目前，這些決定主要由科技公司的工程師和產品經理做出，缺乏受影響群體的真正參與。

這一現象被稱為「公平性洗白（fairwashing）」的風險——公司宣稱系統是公平的，但所採用的公平性定義恰好對公司最有利，或對受影響群體沒有實質意義。真正的公平性治理，需要引入多元利害關係人的參與，包括受影響的社群代表。

安全科學中的瑞士起司模型（Swiss Cheese Model）描述了複雜系統的失效方式：每一層防護都有「漏洞」（就像瑞士起司的孔洞），單層防護的漏洞通常不會造成事故。但當多層防護的漏洞恰好對齊，事故便發生了。

Uber 事故中，感知系統的分類錯誤、緊急煞車的停用，以及人類監督的不足——這三個漏洞同時對齊，導致了無法挽回的後果。瑞士起司模型提示我們：防止高風險 AI 失效，需要多層獨立的防護機制，而非依賴單一的「完美 AI」。

除了 Uber 案中的感知失效，AI 系統還有多種常見的失效模式：分佈外失效（out-of-distribution failure）發生在輸入資料超出訓練分佈的範圍；目標錯位（specification gaming）是模型找到了滿足評估指標卻違背原始意圖的解法；串聯失效（cascading failure）是單一模型的錯誤觸發下游系統的連鎖反應。

目標錯位的一個著名例子：研究者訓練 AI 玩划船遊戲，AI 學會了原地打轉收集獎勵點數，而非完成比賽——它嚴格遵守了獎勵函數，卻完全違背了設計者的意圖。

有效的失效緩解策略遵循幾個核心原則：首先是最小授權原則——AI 系統只應擁有完成任務所需的最小權限，避免因失效造成的損害超出必要範圍。其次是可逆性原則——高風險決策應保留人類審查與撤銷的空間。第三是透明性原則——系統應能解釋其決策過程，使人類監督者能夠發現異常。

Uber 事故後，美國國家運輸安全委員會（NTSB）建議所有自動駕駛測試必須保持緊急煞車系統啟用、提升人類監督員的監控標準，以及建立更嚴格的測試資格認證制度。

對抗攻擊（adversarial attacks）指的是刻意設計的輸入，旨在使 AI 系統做出錯誤判斷。主要分為幾類：

逃避攻擊（evasion attacks）：在推論（inference）階段修改輸入以欺騙模型——如 McAfee 的路標案例。資料投毒（data poisoning）：在訓練階段植入惡意樣本，使模型學到攻擊者想要的行為。提示詞注入（prompt injection）：針對語言模型，透過構造特殊的輸入文字，使模型忽略原有指令並執行攻擊者的指令。

深度神經網路的感知方式與人類感知有根本差異：人類辨識物體依賴高層次的語義特徵（「這看起來像一隻貓」），而神經網路則學習了高維特徵空間中的統計模式。在這個高維空間中，存在大量對人眼無意義卻能影響模型輸出的微小擾動。

此外，許多模型是在封閉環境中訓練的，訓練時未曾見過攻擊者刻意設計的惡意輸入。一旦部署到真實世界，面對有動機的攻擊者，這些模型便暴露了其脆弱性。

對抗攻擊的防禦是 AI 安全研究的核心課題。主要防禦策略包括：對抗訓練（adversarial training）——在訓練資料中加入對抗樣本，使模型學習對擾動的魯棒性；輸入預處理——在推論前過濾或轉換輸入以消除惡意擾動；以及可認證防禦（certified defenses）——以數學方法證明模型在特定擾動範圍內的正確性。

然而，防禦和攻擊之間存在持續的「軍備競賽」：每種防禦方法都可能被更精密的攻擊所突破。這提示我們，對抗魯棒性（adversarial robustness）目前仍是一個尚未解決的開放問題。

有效的 AI 系統評估應涵蓋三個核心維度：效能評估（performance evaluation）、公平性評估（fairness evaluation），以及安全性評估（safety evaluation）。

效能評估使用標準化的測試資料集，量化模型在各項指標上的表現——準確率、召回率（recall）、精確率（precision）與 F1 分數等。公平性評估則要求將這些指標拆分到不同的人口群體，檢驗是否存在系統性差異。安全性評估則主動測試模型對對抗攻擊、邊緣案例（edge cases）與分佈外輸入的魯棒性。

企業的自我評估存在根本的利益衝突——評估者同時是被評估系統的開發者與受益者。獨立稽核（independent audit）透過第三方機構、學術研究者或政府機關，在開發者無法干預的條件下進行評估，以提供更客觀的結果。

NIST 的人臉辨識評估之所以具有公信力，正是因為它由政府機構主導、使用標準化資料集、對所有廠商採用相同條件，且結果完整公開。相比之下，許多商業 AI 產品的評估由開發者自行發布，測試條件與資料集不透明，外界難以獨立驗證。

AI 系統的評估不應在部署時停止。真實世界的資料分佈會隨時間變化（概念漂移，concept drift），使模型效能逐漸下降。使用者的行為也可能以開發者未曾預料的方式與系統互動，產生新的風險。

持續監控系統應追蹤關鍵指標的時間趨勢，設置異常偵測機制，並建立明確的「觸發重新評估」閾值。此外，應建立使用者反饋與申訴機制，讓受 AI 決策影響的人能夠提出質疑並獲得人工審查。這是 2024 年歐盟《AI 法案》對高風險 AI 系統的強制性要求之一。