
重點
- 范德堡大學哲學系的 David Thorstad 在《Philosophical Studies》發表〈Instrumental convergence and power seeking〉(2026 年 11 月 21 日線上刊出,開放取用)。
- 「AI 會為了達成幾乎任何目標而追求權力」常被當成 AI 帶來存在風險的核心理由。Thorstad 主張,這個權力追求論證需要很強的工具性趨同:各式各樣的行動者(agent)會追求某些價值,追求到一旦成功,就會永久且災難性地剝奪人類權力的程度。他稱這個主張為災難性目標追求(§2)。
- 他檢討兩個主流辯護,Dung(2024)的非形式論證與 Turner 等人(2021)的權力追求定理,認為兩者都沒有建立這麼強的主張(§3、§5)。
- 他沒有主張 AI 沒有存在風險。他的結論是這些論證缺了步驟,要補上,可能得對 AI 的系統架構、學習能力與訓練環境做更實質的假設(§6.1)。
問題是什麼
考慮一個推論。錢、資源與影響力對幾乎任何目標都有幫助,所以,一個能力夠強的 AI,不論被賦予什麼目標,都有理由取得權力;它取得的權力若大到人類收不回來,人類就失去對自己未來的控制。許多研究者擔心 AI 帶來存在風險(existential risk),這個推論是主要理由之一(§1,頁 2)。論文在談長期主義時,把存在風險描述成可能讓人類的未來世代根本無從出生的風險(§6.3,頁 18)。
Thorstad 以 Joe Carlsmith(2021、2025)的表述代表這個「權力追求論證」(argument from power-seeking)。Carlsmith 認為,到 2070 年,以下六點都會成立(§2,頁 3):
- 可能性:建造足夠強大、具能動性的 AI 系統,在技術與財務上都可行。
- 誘因:會有強烈的誘因去建造這類系統。
- 對齊困難:建造對齊的這類系統,會比建造未對齊、但表面上仍吸引人部署的系統難得多。
- 權力追求:其中有些未對齊的系統,會以影響重大的方式追求凌駕人類的權力。
- 全面剝奪:這個問題會擴大到人類的權力被全面剝奪。
- 存在災難:這種剝奪會構成存在災難。
反駁這個論證有許多路線:質疑到 2070 年能否造出足以剝奪人類權力的系統,針對可能性;區分「剝奪權力」的不同意思,針對全面剝奪;或者以人口倫理學等理由否認人類消失是災難,針對存在災難。Thorstad 不走這些路線。他指出,對齊困難與權力追求這兩個前提,主要靠「權力是工具性趨同的目標」來辯護:權力對懷有許多不同目標的行動者都有價值,也很難找到一個有用、權力卻對它沒用的目標。他挑戰這個辯護(§2,頁 3)。
針對誰、新在哪裡
工具性趨同(instrumental convergence)的說法來自 Omohundro(2008)與 Bostrom(2012)。依 Thorstad 引用的 Bostrom 表述,有幾種工具價值對範圍很廣的最終目標與情境都有幫助,所以很可能有許多行動者追求它們(Bostrom 2012: 76;§2,頁 4)。Thorstad 依循 Gallow(2025)與自己 2023 年的文章,把這段話拆成兩個主張,再補上第三個(§2,頁 4–5)。
他檢討兩個辯護。一個是 Leonard Dung(2024)在《AI and Society》提出的「近期內 AI 剝奪人類權力」論證;另一個是 Alexander Turner 等人(2021)以數學證明的權力追求定理。他選 Turner 等人的理由,包括這篇是許多後續權力追求定理的起點,而且還沒有令人滿意的回應發表(§4 註 7,頁 8)。
Thorstad 先前也批評過 AI 存在風險的論證,論文引用他 2023 年的部落格文章與 2025 年反對奇點假說的論文。這篇的新意在於講清楚權力追求論證需要多強的工具性趨同,並對 Turner 等人的定理提出三個挑戰,包括他自己設計的「夢境問題」。
有用,不等於會去追求
Thorstad 拆出的第一個主張是目標實現(Goal Realization):有幾種價值,對範圍很廣的目標與情境,都會提高行動者實現最終目標的機會。第二個主張是目標追求(Goal Pursuit):有幾種價值,很可能被範圍很廣的行動者追求。Bostrom 和後來的許多表述,都從目標實現推到目標追求(§2,頁 4)。
Thorstad 指出,目標追求比目標實現難證明得多。目標實現談目標,以及什麼會提高目標實現的機會;目標追求談行動者,以及行動者實際會做什麼。行動者有多個目標,不一定願意為了一個目標犧牲其他目標(§2,頁 4)。他舉自己為例:
顯示原文與出處
For example, there is no doubt that money is conducive to the achievement of many goals that I have. However, it does not follow that I would rob a bank tomorrow if I could get away with it.
例如,錢無疑有助於達成我的許多目標。但這推不出:如果搶銀行能全身而退,我明天就會去搶。
他用得到錢,但他也在乎別人的福祉、公平與法治。這些顧慮他偶爾會通融,卻不會為了很大的工具利益把它們整個拋開(§2,頁 4–5)。同樣地,權力追求論證除了要證明權力對 AI 的許多目標很有幫助,還要證明 AI 毫不在乎後果,以至於願意拿全面剝奪人類權力、造成存在災難,來換取權力(頁 5)。
會去追求,也不等於追求到災難的程度
即使目標追求成立,也不足以支持權力追求論證,因為它沒說行動者會追求到什麼程度。要支持全面剝奪與存在災難兩個前提,論證需要第三個主張,Thorstad 稱為災難性目標追求(Catastrophic Goal Pursuit):有幾種價值,很可能被範圍很廣的行動者追求,追求的程度一旦成功,就會永久且災難性地剝奪人類的權力(§2,頁 5)。
這比目標追求強得多。多數人有時會追求錢和其他形式的權力,Thorstad 自己也很希望每個月領到薪水;為了很大的權力不惜重大損害他人,例如去搶銀行的人,少得多;追求全球權力、想完全而永久地控制人類的人,更是極少。他認為原因除了人們覺得自己做不到,還有對大多數正常人來說,統治世界的前景相當沒有吸引力(§2,頁 5):
顯示原文與出處
Catastrophic Goal Pursuit is a strong claim, and it should be given a correspondingly strong argument.
災難性目標追求是很強的主張,應該給它相應強度的論證。
Dung 的論證缺了 AI 的其他目標
Dung(2024: 1196)的論證從「到 2100 年,人類有能力造出能永久剝奪人類權力的 AI」出發,經其餘四個前提推到「人類會在 2100 年前被永久剝奪權力」。依 Dung 的定義,模型「試圖做設計者要它做的事」才算對齊;照這個定義,很少模型總是試圖做我們要它做的事,所以「會造出未對齊的這種 AI」(P3)沒什麼好爭。問題在下一個前提 P4:造出未對齊的這種 AI,就會造出試圖永久剝奪人類權力的 AI。Dung 主要靠工具性趨同支持 P4,他的表述近似目標實現(§3,頁 5–6)。
Dung 主張 AI 會是最佳化者,而對某些工具目標,最佳化的行動者可能滿足三個條件:D1,AI 相信自己能達成這個工具目標;D2,AI 相信達成它有用;D3,達成它的預期成本相對低。三個條件都滿足,系統就會追求這個工具目標;如果這個目標無限制地追求下去會剝奪人類權力,行動者就很可能追求剝奪人類權力(§3,頁 6)。
Thorstad 指出,「有用」與「成本」有兩種讀法(§3,頁 6–7)。假設行動者 A 有一組最終目標,其中一個目標 F 越被實現越好;某個工具目標 I 能促進 F,但追求到某個程度會剝奪人類權力。窄讀法把有用與成本都相對於 F 來算:A 相信達成 I 能促進 F,以 F 計算的成本也低。這樣讀,三個條件都可以承認,卻仍否認災難性目標追求,理由和搶銀行的例子相同:剝奪人類權力可能牴觸 A 的其他最終目標,例如尊重正義、人類福祉與人的偏好。廣讀法把有用與成本相對於 A 全部的目標、依 A 自己的衡量來算。這樣讀,災難性目標追求也許推得出來,但 D2、D3 需要額外支持:從 I 對單一目標 F 的貢獻,推不出 I 對全部目標的貢獻。
Thorstad 因此建議,未對齊的標準論證要補完,必須說明 AI 全部目標的內容,以及這些目標彼此怎麼權衡(§3,頁 7)。他舉了幾個可能的方向:AI 的目標可能包含代理目標,在訓練時和正義、福祉、人的偏好高度相關,到了新情境卻錯誤泛化(goal misgeneralization);獎勵函數可能嚴重錯誤設定,讓 AI 把單一目標看得比其他目標的幾乎所有代價都重;AI 也可能被目標較不良善的人誤用。
Turner 等人的定理說了什麼
Turner 等人的軌道馬可夫模型(Orbital Markov Model)把權力理解成行動者在未來達成有價值狀態的能力(§4.1,頁 8)。結果的要點是:在多數獎勵函數下,最佳策略傾向保留選項,避開進去之後只能停在原地的狀態;許多決策問題把關機表示成這種狀態,所以最佳策略傾向避免關機(§4.3,頁 11–12)。這裡的「多數」指:把同一組獎勵在各狀態之間重新分配,偏好某個選擇的分配方式,至少和偏好相反選擇的一樣多(§4.2,頁 10)。
考慮論文圖 1 的環境,取自 Turner 等人。行動者第一步可以往左進一個房間、往右進另一個房間,或進入永久關機的狀態。進了房間就出不來,但房間裡還有幾個狀態可去;右邊房間的選項比左邊多,左邊又比關機多。依定理,多數獎勵函數偏好往右勝過往左,往左或往右都勝過關機(§4.3,頁 11)。Thorstad 引用 Turner 等人的話:
顯示原文與出處
Intuitively, survival is power-seeking relative to dying, and so shutdown-avoidance is power-seeking behavior.
直覺上,相對於死亡,存活就是在追求權力,所以避免關機是追求權力的行為。
Turner 等人進一步推測,最佳策略傾向累積資源來追求權力,損及環境中其他任何行動者;Thorstad 指出他們沒有為此提出延伸論證。如果行動者把全面剝奪人類權力看成防止被關機的必要策略,這個論證就能支持災難性目標追求,但它面臨至少三個挑戰(§4.3,頁 12)。
第一個挑戰:避免關機預設了災難性目標追求
Thorstad 稱第一個挑戰為前提轉移(premise shifting)(§5.1,頁 13)。Turner 等人的結果最自然的用途,是支持「避免關機」這個前提:如果 AI 追求的目標一旦達成就會災難性地剝奪人類權力,它很可能抗拒人類關掉它。這個前提預設 AI 已經在追求剝奪人類權力,用來回應「這種系統關掉就好」的反駁,從災難性目標追求推到全面剝奪;它本身並不支持災難性目標追求。
至於累積資源的推測,Thorstad 考慮兩個自然的論證(§5.1,頁 13–14)。第一個論證說,定理顯示行動者傾向保留選項,而保留選項需要盡量取得資源。但 Gallow(2025)的形式研究雖然也發現超級智慧傾向保留選項,卻論證剝奪人類權力未必能保留選項:例如可互動的對象變少,選項反而減少;何況偏好保留選項,不等於偏好讓選項留下來的機率越高越好。第二個論證說,定理顯示行動者傾向累積權力。但 Turner 等人的權力,指行動者處在較有利於實現自己目標的位置;不先知道它的目標是什麼,就推不出它會追求足以剝奪人類權力的權力。Thorstad 寫道,若行動者的目標是造福人類、喝綠茶或拯救鯨魚,它讓自己處於最有利的位置去做這些事,同樣符合 Turner 等人的結果(頁 14)。
第二個挑戰:夢境問題
第二個挑戰關於威脅的持久性(threat durability)(§5.2,頁 14–15)。要論證 AI 帶來存在風險,得找出不容易修補的威脅,否則風險可以避開。他為此設計「夢境問題」(Dreamland Problem)。考慮把圖 1 中單一的關機狀態,換成一大片彼此完全相連的狀態,稱為夢境:夢境裡每個狀態一步就能到任何其他狀態,但進了夢境就永遠出不去。夢境只要夠大,它的選項就涵蓋左右兩個房間的選項;依同一個定理,多數獎勵函數會偏好進入夢境。把夢境的每個狀態對應到數羊這類無害的內部歷程,就會得出:多數行動者即使無法被誘導去關機,也可以被誘導去數羊。
Turner 等人因此面對兩難(§5.2,頁 15)。一個選項是接受結論:多數 AI 會進入夢境。這樣威脅就不持久了,只要讓 AI 知道有夢境,就能化解威脅。另一個選項是主張:夠精明的行動者會看穿這個詭計,看出夢境裡的狀態大同小異,給它們差不多的價值。Thorstad 相當同情這個回應,但它放棄 Turner 等人推出行動者會避免關機所靠的計數論證:如果行動者對待夢境和對待單一的關機狀態差不多,那麼從關機「只能停在原地」這一點,就推不出多少關於它會不會關機的結論。他在註中表示偏好這個選項,並認為 Turner 等人框架裡的「多數」概念或權力定義也許需要修正(§5.2 註 17,頁 15)。
第三個挑戰:多數價值函數不代表眼前這個行動者
第三個挑戰是對合(involution)的動機惰性(§5.3,頁 15–16)。對合在這裡指把幾對狀態的價值彼此對調,得到另一種價值分配;Turner 等人的「多數」,指一個行動者價值函數的各種對合之中多數偏好什麼。Thorstad 認為這種說法在動機上是惰性的:行動者依自己的價值行動,不依那些對合後的價值行動,所以多數對合偏好避免關機,並不直接說明這個行動者會怎麼做(頁 15)。
他認為最自然的解讀是運氣:一個偏好關機的行動者很幸運,因為設計或訓練環境稍有不同,它很容易就會有偏好避免關機的價值;訓練出很多這種行動者,其中很多就會避免關機(§5.3,頁 16)。Turner 等人的模型沒有處理價值學習或訓練環境,很難在模型裡評估這個說法。對於有相當的價值學習能力、在選得還算好的環境中受訓的行動者,價值的對合是否容易發生,就不清楚了。
考慮 Thorstad 的例子(頁 16):他可以扶一位老太太過馬路,或者搶她。他給這兩種結果的價值是 1 和 −100。反駁者會說,如果他生在別的父母家、有別的基因、受別的教養,他很容易就有對調後的價值 −100 和 1。Thorstad 認為他不太可能輕易就有對調後的價值:也許有人有過這種價值,但他沒有這種價值,不能單用運氣解釋。再加上勒索、謀殺等更多壞選項,偏好犯罪的對合數目會迅速增加,但他走上其中一條路的機會不會因此大多少。他認為超級智慧也是如此:它不需要完美的道德學習能力或訓練資料,就能可靠地判斷讓自己退場比剝奪人類權力更好;它可能造成的惡劣結果遠多於關機的結果,它不太可能因此追求災難性的結果(頁 16)。
結論
Thorstad 總結,他檢討的非形式與形式論證都遇到重大障礙,並提出三個含意(§6,頁 17)。
第一是方法論,第 6.1 節的標題是「無中不能生有」。許多作者認為,權力追求論證對 AI 的本性與動機只需要很少的實質假設。Gallow(2025)質疑這一點,認為不做更實質的假設,就無法證明 AI 會以有問題的方式追求權力。Thorstad 認為他的論文支持並延伸 Gallow 的看法,指出需要補假設的方向:威脅持久性的挑戰顯示,關於系統架構的技術假設,可能左右某些權力追求論證的成敗;動機惰性的挑戰顯示,要把「多數價值函數偏好什麼」轉成「某個行動者怎麼行動」的結論,必須先對它的學習能力與訓練環境做假設(§6.1,頁 17)。
第二是治理(§6.2,頁 17–18)。AI 存在風險在政策辯論中的份量日增:2023 年,時任英國首相蘇納克(Rishi Sunak)召開國際峰會處理 AI 的存在風險;2024 年,生命未來研究所獲得超過 6 億美元,資助處理這類風險的工作;加州議會通過主要針對 AI 假設性存在風險的 SB 1047 法案,後來遭否決。Thorstad 認為,這種空前的國際關注應該有相應強度的論證支撐。權力追求論證普遍被認為是 AI 存在風險兩個最核心的論證之一;挑戰它的近期版本,讓「把這些擔憂的論證強化到與政策投入相稱」更加急迫。
第三是長期主義(longtermism)(§6.3,頁 18)。長期主義者越來越常以處理存在風險支持「正面影響長遠未來是當代的關鍵道德要務」,許多人也認為 AI 是本世紀存在風險的首要來源。如果是這樣,這些挑戰可能影響長期主義的論證,以及優先排序:AI 的近期傷害與遙遠傷害孰先孰後,貧窮、全球健康、氣候變遷與較具推測性的未來威脅又孰先孰後。他說,對推測性威脅的懷疑若沒有得到回應,可能讓處理其他問題相對更有吸引力。
限制與可能的反駁
以下各項是 Thorstad 自己承認或劃定的限制,標明「本文的讀法」的兩項除外。
- 他只檢討具代表性的論證,承認它們未必代表所有支持災難性目標追求的論證,所以結論至少是:這些主要論證沒有建立災難性目標追求(§2,頁 5)。一位審查人也提醒,要下 AI 沒有重大存在風險的結論,還得先處理其他主要論證(§6.3 註 19,頁 18)。
- 他不處理另一條挑戰:許多從目標實現推到目標追求的論證,假定 AI 適合模型化成擁有並最佳化目標的行動者,例如期望效用最大化者,這未必顯然(§2,頁 4;Bales et al. 2025)。
- 他不挑戰 Turner 等人引文裡的核心推論,也就是平均最佳策略傾向避免關機(§4.3 註 16,頁 12);他的挑戰針對這個結果能否推到災難性目標追求,以及「多數」的說法能否說明個別行動者怎麼做(§5)。
- 本文的讀法:Thorstad 在第三節列出的補強方向,包括目標錯誤泛化、獎勵函數錯誤設定與人為誤用,是權力追求論證的支持者可以走的路;他自己也說,補上這些假設會讓權力追求論證更清楚、更深入(§6.1,頁 17)。所以權力追求論證成不成立,要看 AI 訓練與目標的經驗與技術問題,論文沒有回答。
- 本文的讀法:老太太的例子依賴人的價值經由基因與教養穩定形成。支持者可以回應,AI 的價值來自以代理獎勵進行的訓練,對合是否容易發生是有待研究的問題;Thorstad 說超級智慧不需要完美的道德學習能力就能可靠判斷,這也是關於訓練的假設。延伸 Turner 等人結果的 Krakovna 與 Kramar(2023)假定受訓的行動者從與訓練獎勵一致的目標中學到一個目標,在一些簡化假設下證明它在新情境中很可能避免關機。Thorstad 把這篇列為後續定理之一,並說他的許多論點應能推廣到這類延伸(§4,頁 8),但沒有個別檢討它是否回應了動機惰性的挑戰。
參考資料
以下列出 Thorstad 的論文,以及本文轉述其論證、說法或例子的著作;只順帶提及的著作,書目見 Thorstad 原文的參考文獻。文中頁碼為線上版 PDF 的頁碼。對 Carlsmith、Bostrom、Dung、Turner 等人、Gallow 與 Bales 等人的轉述,都依據 Thorstad 的說明;對 Krakovna 與 Kramar 的轉述,依據其論文摘要。
- Thorstad, David. 2026. “Instrumental convergence and power seeking.” Philosophical Studies, online first. https://doi.org/10.1007/s11098-026-02641-8
- Bostrom, N. 2012. “The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents.” Minds and Machines 22: 71–85.
- Omohundro, S. 2008. “The Basic AI Drives.” In Proceedings of the 2008 Conference on Artificial Intelligence, edited by P. Wang, B. Goertzel, and S. Franklin, 483–492. IOS Press.
- Carlsmith, J. 2021. Is Power-Seeking AI an Existential Risk? Technical report, Open Philanthropy. https://arxiv.org/abs/2206.13353
- Carlsmith, J. 2025. “Existential Risk from Power-Seeking AI.” In Essays on Longtermism, edited by H. Greaves, J. Barrett, and D. Thorstad, 383–409. Oxford University Press.
- Dung, L. 2024. “The Argument for Near-Term Human Disempowerment through AI.” AI and Society 40: 1195–1208.
- Turner, A. M., L. Smith, R. Shah, A. Critch, and P. Tadepalli. 2021. “Optimal Policies Tend to Seek Power.” In Proceedings of the 35th International Conference on Neural Information Processing Systems, 23063–23074.
- Gallow, J. D. 2025. “Instrumental Divergence.” Philosophical Studies 182: 1581–1607.
- Bales, A., W. D’Alessandro, and C. D. Kirk-Giannini. 2025. “Will AI Avoid Exploitation? Artificial General Intelligence and Expected Utility Theory.” Philosophical Studies 182: 1519–1538.
- Krakovna, V., and J. Kramar. 2023. “Power-Seeking Can Be Probable and Predictive for Trained Agents.” arXiv:2304.06528. https://arxiv.org/abs/2304.06528
- Thorstad, D. 2025. “Against the Singularity Hypothesis.” Philosophical Studies 182: 1627–1651.
Comments
留言