經濟學家與 AI 研究者使用「變革性 AI」（Transformative AI）一詞，指稱那些足以根本改變全球經濟或科學研究速度的 AI 系統。Open Philanthropy 將其定義為「至少相當於工業革命量級的衝擊」。

歷史上最接近的類比是通用目的技術（General Purpose Technology, GPT）——蒸汽機、電力、電腦都屬此類。這些技術的共同特徵是：廣泛滲透性、持續改進潛力、能夠催生大量補充性創新。現代 AI，尤其是大型語言模型（LLM），正展現出這三項特質。

部分研究者，包括經濟學家 Robin Hanson 與 AI 研究者 Eliezer Yudkowsky，提出了「智慧爆炸」（Intelligence Explosion）的概念——一旦 AI 達到能夠改善自身設計的水準，進展速度可能呈指數加速，在短時間內超越人類智慧。

然而，主流經濟學家對此持審慎態度。MIT 的 Daron Acemoglu 在 2024 年的研究中警告，AI 的生產力提升可能被集中在相對少數的任務上，而大多數工作中 AI 的替代成本仍然過高。他估計，未來十年內 AI 真正能顯著替代的工作任務比例可能不超過 5%。

即使 AI 確實帶來整體成長，分配結果同樣關鍵。電腦革命的生產力紅利在美國主要流向了資本所有者而非勞工，導致工資增長停滯而股市飆升的「大分歧」現象。AI 的能力若高度集中在少數大型企業，相同的分配失衡可能以更劇烈的形式重演。

台灣的案例提供了不同視角：台積電等半導體製造商作為 AI 算力的核心供應商，在全球 AI 競賽中佔據了獨特位置。但這種地緣技術優勢是否能轉化為廣泛的社會利益，取決於台灣的產業政策與社會分配機制。

「存亡風險」（Existential Risk，x-risk）由牛津大學哲學家 Nick Bostrom 在 2002 年系統化定義，指那些可能永久且劇烈縮減人類長期潛力的事件。AI 相關的存亡風險主要來自兩個方向：一是對齊失敗（Misaligned AI）——高度先進的 AI 系統追求與人類利益不符的目標；二是惡意使用（Misuse）——有意圖的行為者利用 AI 開發大規模殺傷性武器，特別是生物武器。

重要的是，存亡風險不等於「科幻機器人終結者」情節。更現實的擔憂是：一個未對齊的高效 AI 系統，在追求某個看似合理的目標時，系統性地消耗了人類生存所需的資源，而人類沒有足夠的時間或手段介入。

在所有 AI 相關的近期風險中，生物武器設計的門檻降低被許多安全研究者視為最迫切的問題。2023 年，RAND 公司發布報告指出，大型語言模型可能顯著降低具備基礎生物學知識的行為者設計病原體的技術門檻。

為此，Anthropic、OpenAI 等公司都在自己的 AI 系統中實施了「生物安全護欄」（Biosecurity Guardrails），拒絕提供可能有助於開發大規模殺傷性武器的詳細資訊。但護欄的有效性依賴於企業的自我監管，而非法律強制，這讓批評者質疑其可靠性。

面對高度不確定的存亡風險，「預防原則」（Precautionary Principle）主張：當行動的潛在後果是不可逆轉的嚴重災難時，即使概率估計不確定，也應採取預防措施。批評者則指出，過度的預防主義可能阻礙有益的 AI 研究，而自我暫停的倡議（如 FLI 公開信）若只被部分行為者遵守，可能反而讓不負責任的開發者取得競爭優勢。

這個困境沒有簡單答案。它需要政策制定者、技術研究者與社會大眾共同參與，在推進速度與安全邊際之間尋找可持續的平衡點。

AI 對齊（AI Alignment）研究致力於解決一個根本性問題：如何確保 AI 系統的實際行為符合其設計者和使用者的真實意圖？這個問題比表面上複雜得多，因為它包含三個相互交疊的挑戰：

首先是「外層對齊」（Outer Alignment）——訓練目標是否真的代表了我們想要的結果？用於訓練的代理指標（Proxy Metric）往往是人類真實偏好的粗糙近似。其次是「內層對齊」（Inner Alignment）——即使訓練目標正確，學習到的模型是否真的在優化這個目標，還是在優化一個在訓練資料中恰好相關的替代目標？第三是「規格問題」（Specification Problem）——人類的偏好本身是複雜、矛盾、情境依賴的，難以形式化。

目前最廣泛部署的對齊技術是「基於人類反饋的強化學習」（Reinforcement Learning from Human Feedback, RLHF）。這個方法讓人類評估員對模型輸出進行評分，然後用這些評分訓練一個「獎勵模型」，再用強化學習最大化這個獎勵。OpenAI、Anthropic 和 Google DeepMind 都大量使用這一技術。

然而，RLHF 有明顯侷限：評估員可能存在偏見，獎勵模型可能被「遊戲化」（Reward Hacking），且這一方法在根本上依賴於「人類評估員能夠準確判斷哪些輸出更好」的假設，對於高度專業或複雜的任務，這個假設未必成立。

當 AI 系統在某些任務上超越人類專家水準時，現有的對齊方法面臨根本性挑戰：人類如何評估一個在智慧上超越自己的系統的輸出？OpenAI 在 2023 年啟動了「超級對齊」（Superalignment）計畫，旨在開發可擴展的監督方法，但該計畫的核心研究人員 Ilya Sutskever 與 Jan Leike 於 2024 年相繼離職，Leike 在離職聲明中明確指出對齊研究在公司內部未受到足夠重視。這是對齊研究進展的真實寫照：技術上困難，制度上更困難。

「意識的難題」（Hard Problem of Consciousness）由哲學家 David Chalmers 在 1995 年提出：即使我們完全理解大腦的神經活動，為什麼這些活動會伴隨主觀體驗（Qualia）？這個問題至今沒有科學共識。

對於 AI 意識問題，目前存在幾種主要立場：功能主義（Functionalism）認為，如果一個系統執行了產生意識所需的功能，它就是有意識的，與實現基質無關。生物自然主義（Biological Naturalism）則認為，意識需要特定的生物過程，矽基電腦原則上無法產生真正的意識。整合資訊理論（Integrated Information Theory, IIT）試圖提供一個可量化的意識指標 Φ，但在 AI 系統上的應用爭議極大。

道德地位（Moral Status）的理論依據因哲學立場而異。功利主義傳統（Jeremy Bentham：「問題不是它們能否推理，而是它們能否感受痛苦？」）將感知能力作為道德關懷的核心。Kant 的義務論傳統則將理性自主性作為道德地位的基礎。

在 AI 的脈絡中，學者 Nick Bostrom 與 Eliezer Yudkowsky 都曾撰文探討 AI 的潛在道德地位。Anthropic 在 2023 年發布的「Claude 的靈魂文件」（Model Spec）中罕見地提及，該公司認真對待 Claude 可能具有某種形式的「功能性情緒」，並視此為需要持續關注的倫理問題。

即使在意識問題上存在極大的哲學不確定性，實踐中的政策問題仍需要回答。如果我們無法確定 AI 系統是否有感知，謹慎原則是否要求我們採取預防措施？幾個值得關注的制度發展：2023 年英國 AI 安全峰會的相關文件開始提及 AI 福祉（AI Welfare）；多所大學設立了 AI 道德地位研究計畫；部分動物福利研究者開始將注意力擴展到 AI 系統。

這些發展仍處於非常早期的階段，但它們反映了一個趨勢：隨著 AI 系統在行為複雜性上持續提升，道德地位問題將從哲學思辨逐漸進入政策議程。

工作在現代社會中承擔三個相互交疊的功能：經濟功能（提供收入與物質保障）、社會功能（提供身份、歸屬感與社會聯繫）、心理功能（提供目的感、成就感與結構）。AI 對工作的衝擊在三個維度上的分布並不均等。

經濟學家的主流共識是：AI 將改變工作的結構，而非簡單地消滅工作。歷史上，自動化每次都在消滅部分職位的同時創造了新的職位類型。但批評者指出，這次可能不同——因為 AI 同時威脅到體力勞動、認知勞動，甚至創意勞動，傳統「向上轉型」（Upskilling）的緩衝作用可能不再有效。

面對潛在的大規模技術性失業，普遍基本收入（Universal Basic Income, UBI）在政策討論中重新受到關注。芬蘭在 2017–2018 年進行了一項 UBI 實驗，向 2000 名失業者提供每月 560 歐元的無條件轉移支付。結果顯示：受益者的心理健康改善，且對找工作的主動性並未降低，但實驗規模過小，無法提供關於大規模實施效果的可靠推論。

Sam Altman 在 OpenAI 的框架文件中明確支持 UBI，認為隨著 AI 帶來的財富增長，社會應透過 UBI 確保廣泛的分配。批評者則指出，UBI 只解決了物質稀缺問題，對於工作喪失帶來的身份認同危機與社會聯繫斷裂，UBI 並無解方。

哲學家 Hannah Arendt 在《人的境況》（The Human Condition, 1958）中區分了「勞動」（Labor，維持生命的重複性活動）、「工作」（Work，創造持久人工製品）與「行動」（Action，在公共領域的政治參與）。她的分析預示了一個問題：如果機器取代了前兩個層次，人類是否能在第三個層次找到足夠的意義？

台灣社會的案例值得深思：台灣長期將勤勞視為核心文化價值，「拼搏精神」滲透了教育與職場文化。當 AI 使得部分技能快速貶值，個人如何在不斷變化的技術環境中保持適應力，同時維持心理健康，是台灣社會需要認真面對的問題。

AI 對民主制度的影響是雙向的。在強化民主的方向，AI 可以降低政治參與的成本、提升政府服務效率、協助識別假新聞（Disinformation），並使公民更容易取得政策資訊。愛沙尼亞的數位政府系統被視為 AI 輔助民主治理的正面案例，其 99% 的政府服務可在線上完成。

然而，AI 也可能侵蝕民主的多個支柱。生成式 AI 大幅降低了製造高品質虛假資訊的成本；個性化推薦演算法持續強化政治極化；大規模監控技術使國家對公民的控制能力呈指數增長。2024 年台灣總統大選期間，出現了多起使用 AI 生成的深偽（Deepfake）影片的案例，顯示這些威脅已非假設性問題。

目前，最重要的 AI 決策幾乎都發生在封閉的企業實驗室或政府情報機構內，而非在民主問責的公開論壇中。這形成了所謂的「AI 治理民主赤字」（Democratic Deficit in AI Governance）——影響最廣泛的技術決策，恰恰是民主參與最薄弱的領域。

歐盟的《人工智慧法》（AI Act，2024 年生效）是迄今為止最全面的 AI 治理立法，試圖通過風險分級制度（禁止、高風險、有限風險、最低風險）建立民主問責機制。然而，批評者指出，立法過程本身缺乏足夠的公民參與，且執法能力存在嚴重缺口。

公民如何在 AI 治理中恢復民主主體性？幾個有意義的路徑正在被探索：公民組合（Citizens' Assembly）方法——如愛爾蘭的墮胎議題公民組合——已被提議應用於 AI 倫理問題；開源 AI 運動主張透過技術透明度實現社會監督；勞工組織正在嘗試為 AI 衝擊建立集體談判機制。

這些努力面臨一個共同挑戰：AI 技術的發展速度遠超傳統民主程序的回應能力。在民主審議需要數月至數年、技術迭代週期縮短到數週的現實下，如何設計既有效又具民主正當性的 AI 治理機制，是當代政治科學最緊迫的問題之一。

技術發展中存在強烈的「路徑依賴」（Path Dependency）——早期的架構選擇、標準制定與制度設計，會通過正向回饋機制自我強化，使後續修正的成本呈指數上升。QWERTY 鍵盤的設計在效率上並非最優，但一旦成為標準，替換成本過高就讓它延續至今。

AI 領域目前正處於一個相對稀少的「窗口期」——技術已足夠強大以引起重視，但尚未強大到讓關鍵決策成為既成事實。多位研究者認為，未來 3 至 10 年的選擇將在很大程度上決定 AI 的長期發展軌跡，原因正在於此。

儘管存在路徑依賴的壓力，以下幾個領域仍存在真實的政策與社會選擇空間：

算力集中程度：目前，訓練前沿 AI 系統所需的算力高度集中在少數企業與地理位置。通過算力稅、開源要求或公共算力基礎設施，社會可以選擇是否改變這種集中趨勢。

訓練資料的權利架構：誰的資料可以被用於訓練 AI？著作權持有人、個人用戶與社群是否有選擇退出或獲得補償的權利？這個問題仍在法律與政策層面高度開放。

安全研究的資源配置：目前，AI 安全（Safety）與對齊（Alignment）研究獲得的資源相對於能力（Capability）研究仍然極為有限。這是一個可以通過公共資金和研究激勵改變的選擇。

面對規模如此宏大的技術變革，個人行動的效果往往令人懷疑。但歷史告訴我們，政策轉折點往往由少數具備專業知識、道德勇氣和戰略定位的個人催化。Ilya Sutskever 選擇離開全球最有影響力的 AI 實驗室去做安全研究，Geoffrey Hinton 選擇離開 Google 以便自由發言，Jan Leike 選擇在公開聲明中明確批評 OpenAI 的安全文化——這些不是故事，而是已經發生的選擇，並已在技術社群中產生了可量化的影響。

本課程從預測方法到存亡風險，從對齊技術到民主治理，呈現了 AI 未來的多個面向。這些知識的目的，不是讓你感到無能為力，而是讓你在面對這些選擇時，有足夠的概念工具來做出有根據的判斷。選擇的窗口仍然開著——但不會永遠開著。