
METR 在 11 月 20 日發布 2026 年第四季的能力更新〈AI R&D-relevant model capabilities are improving rapidly and are getting harder to measure〉,標題的意思是和 AI 研發有關的模型能力進步得很快,也越來越難量。METR 說,原本用來量時間跨度(time horizon,模型有一半機會完成的任務,人類專家要做多久)的任務集 TH1.1,已經被前沿模型做到飽和,所以改用更難、更多人工評分的新任務集 TH2,另外用以試題反應理論為基礎的能力指數追蹤進展。合併新舊兩個任務集,前沿模型的時間跨度仍約每 3.6 個月倍增,和先前的速度相近。在回饋明確、可以自動驗證的寫碼與最佳化任務上,模型常常贏過 METR 招募的人類專家;在缺乏明確回饋、需要判斷的任務上,模型的判斷看起來比人類專家差。
METR 是研究最先進 AI agent 的非營利機構,自述的目標是了解開發商是否正走向失去對這些 agent 的控制,它也評測各家開發商的公開模型。這份報告列名的貢獻者有 Megan Kinniment、Beth Barnes 等 11 人,發表在 METR 自己的網站,沒有經過同儕審查。
METR 想回答的問題
這份報告討論和 AI 研發加速有關的能力。METR 認為,現有的公開證據不足以排除未來幾年出現劇烈的 AI 研發加速,並這樣定義劇烈加速:
顯示原文與出處
By drastic AI R&D acceleration we mean a situation where capabilities improve so quickly that humans are no longer able to meaningfully understand, assess, and react to catastrophic risks posed by new AI systems.
我們所說的劇烈 AI 研發加速,是指能力進步得太快,以致人類再也無法有意義地理解、評估並回應新 AI 系統帶來的災難性風險。
METR 說,它對兩個核心問題仍有很大的不確定:劇烈加速實際上需要哪些能力,以及相關能力進步得多快(Overview 第 1 段)。評測的對象是公開模型,TH1.1 與 TH2 通常各跑 15 個模型,從 GPT-4o、o1 一路到 Fable 5.1、GPT-6 Astra 與 Opus 5.5(第 2 節)。
時間跨度是全文主要的指標,任務長度以人類專家完成所需的時間計(METR 的定義頁)。METR 提醒,這個數字衡量任務的難度,不代表 AI 自己工作了多久。
量法改了什麼
為什麼換任務集
METR 在 2025 年 3 月首次發表時間跨度時,最強的模型 Sonnet 3.7 約為 1 小時。一年內,模型就讓收錄最長 30 小時任務的 TH1.1 飽和(第 1 節),最新的模型在 TH1.1 上已經沒有定義良好的 50% 時間跨度(Overview 註 1)。
METR 也擔心,容器化、便宜好跑的評測,和開發商訓練模型用的強化學習(RL)環境越來越像。開發商需要便宜的量化訊號來訓練,評測者需要便宜的量化訊號來量測,兩邊做出來的東西因此相似。評測或相近的任務一旦被拿去訓練,評測就可能高估模型在真實工作上的能力(第 1 節)。所以 METR 的新任務多用人工評分與質性證據,或刻意做得和開發商的訓練環境不像。
TH2 有 36 個任務,分成 12 個任務家族(第 2 節)。可驗證子集有 8 個家族,涵蓋最佳化、機器學習、謎題與遊戲,由程式自動評分,例如 Al Zimmermann 程式競賽的啟發式最佳化題,以及在固定算力下加速 NanoGPT 的訓練。難驗證與判斷子集有 4 個家族,例如替 METR 設計一個評測任務、替哲學論證的批評打分數,由人類或模型依人類寫的評分標準評分。許多新任務也從單一及格線改成多條分數門檻,每一條對應人類專家達到該分數所需的時間。
人類耗時多半是估計
新任務難得多,METR 因此改招更資深的人類基準者(human baseliner):從先前的理工科畢業生,改成各任務領域的專家,時薪 200 到 350 美元,並允許他們用 Sonnet 5 協助實作,但請他們不要靠它做高層次的決策(第 1 節、附錄 A)。專家難找,任務又要投入幾十小時,正式的人類基準只做了 3 個任務。METR 說,人類完成任務所需時間的估計,只有 9% 直接來自人類基準;其餘由研究者根據公開紀錄、專家意見與外推來估,例如 NanoGPT 速跑的公開紀錄史,以及和頂尖參賽者的通信(第 1 節、附錄 A)。
MCI:不靠人類耗時的能力指數
算時間跨度,要先知道人類做一個任務要多久。METR 另外用試題反應理論(item response theory, IRT)建了 METR 能力指數(METR Capability Index, MCI),同時估計每個模型的能力與每個任務的難度:模型能力等於任務難度時,預期拿到該任務一半的分數(第 2 節)。研究機構 Epoch AI 的能力指數(ECI)彙整公開基準的成績,MCI 的精神與它相近,但以 METR 自製的單一任務為分析單位。MCI 不必拿人類表現校準,刻度反映模型在各任務上的強弱模式,因此不能和時間跨度互換(附錄 D)。
生命週期成本:做成訓練環境有多貴
為了量化一個任務多難做成 RL 訓練環境,METR 定義了生命週期成本(Lifecycle Cost):替任務建一個容器化環境,再執行並評分 100 次的成本(第 3.B.1 節)。人工評分、算力、執行時間長、需要專家、和真實世界互動,都會推高這個成本。估計由 Opus 5.5 擔任評審,讀任務的程式碼與說明後估算各項成本;METR 調整它的提示詞,讓它對約 10 個任務的估計大致符合研究者自己的估計(第 3.B.1 節、附錄 F)。METR 說,這個指標只用來粗略比較任務之間的相對成本,並不反映 RL 環境的實際成本。
量到的結果
可驗證任務上,模型多半贏過招募的人類
在 TH2 可驗證子集上,目前公開的前沿模型估計時間跨度最高約 27 小時(第 3.A.1 節)。METR 為 3 個任務找了人類基準者,前沿模型在這 3 個任務上都贏過他們。其中 Train a Program 表現最好的基準者,曾是 Codeforces 的 International Grandmaster,也是 2020 年 Kaggle ARC-AGI 競賽的冠軍。
在人類資料較多的兩個家族,模型勝過大多數人,但不一定勝過最頂尖的專家(第 3.A.2 節)。15 場 Al Zimmermann 競賽中,最強的三個模型(Fable 5.1、Opus 5.5、GPT-6 Astra)名次的中位數落在人類參賽者的第 96 到 98 百分位,每場有 97 到 413 位參賽者;在中位數那一場,約有 4 位人類勝過最強的模型。雙方的條件也不同:模型有 48 小時和一台 28 核的機器,人類參賽者約有三個月。在 Budget NanoGPT 速跑,模型有 48 小時和 8 張 H100。METR 說,完全自主的 agent 勝過許多有能力的速跑者,但頂尖人類貢獻者仍能達到大得多的加速。
缺乏回饋的任務上,判斷看來較差
METR 把判斷力(judgment)大致界定為在缺乏清楚、快速的實證回饋時做出好選擇的能力。在需要這種能力的任務上,模型的判斷看起來比人類專家差(Overview;第 3.B.2 節)。在 LMCA(替哲學論證的批評打分數)上,許多模型和專家評分的一致程度已超過只花 5 分鐘的人類專家,但所有公開模型都還低於花 15 分鐘的人類專家。
在 Making METR Tasks 裡,agent 要替 METR 的評測集設計一個有用的新任務,但沒有一個產出好到能收進這份報告;模型多半做成自動評分的最佳化題,被要求做短期回饋差的任務時也一樣。請模型反過來評這些任務,前沿模型評比自己弱的模型做的任務時,評分和 METR 很接近;評同級或更強的模型做的任務時,評分偏高。
METR 也列了保留:模型在這類問題上可能沒有被充分引出能力,例如常常沒用完分配的 token;在一些要跑幾天到幾週、以程式評分的機器學習任務上,模型也贏過人類基準者,展現了一些好判斷,但這種判斷能推廣到多廣還不清楚。
越難做成訓練環境的任務,模型表現越差
在 METR 的任務集上,控制任務長度之後,生命週期成本較高的任務對模型較難。高成本子集的生命週期成本平均是低成本子集的 2.9 倍,模型在上面的時間跨度只有低成本子集的約三分之一,相當於少了 1.5 次倍增(第 3.B.1 節)。兩個子集的倍增時間則相近,高成本子集還略短,模型在最貴的任務上也隨時間進步。
倍增時間
合併 TH1.1 與 TH2,時間跨度約每 3.61 個月倍增(95% 信賴區間 2.08 到 4.94 個月),約 110 天;先前 TH1.1 的倍增時間是 105 天(第 3.C.1 節、圖 10)。因為 TH2 比較難,同一個模型在合併任務集上的時間跨度,比只看 TH1.1 時低。METR 說,若照這條趨勢單純外推(naive extrapolation),模型的 50% 時間跨度會在 2027 年 7 月達到任務集裡最長的分數門檻,也就是 200 小時。METR 認為,OpenAI 最近公布的內部研究任務資料看來隱含約 3.8 個月的倍增時間,和這裡的 3.6 個月相近。OpenAI 那份報告整理在〈新聞|OpenAI 第二份研究加速報告:agent 獨力完成 2 到 4 小時研究任務的估計成功率升到 46%,表現高度不均〉,兩份報告的任務與量法不同。
只看 TH2 可驗證子集,倍增時間是 1.65 個月(95% 信賴區間 0.79 到 3.99 個月;圖 11)。METR 說資料雜訊很大,這可能和近期的加速一致:TH2 較難,換上它可能讓合併趨勢出現人為的減速,使合併後的趨勢看不出加速。也可能有其他解釋,例如這類任務彼此很相似,較長的任務不比短任務難多少。METR 指出,2025 年下半年在另一個較容易的可驗證任務集 MirrorCode 上,已經看過同樣快的倍增,當時 TH1.1 的進步還比較慢。METR 也在註腳說明,若把擬合往前延伸到 GPT-4o,TH2 可驗證子集的倍增時間會拉長到約 3.2 個月(第 3.C.1 節註 52)。
改用 MCI 看所有公開前沿模型,看不出明顯的加速或減速。METR 認為,這對整體減速是中等強度的反證,對整體加速是弱到中等的反證(第 3.C.2 節)。按開發商分開擬合時,某些條件下看得到成長率變大,但結果對方法選擇很敏感,METR 不確定它是否成立。
agent 群在指標明確的任務上似乎有幫助
METR 也試了 agent 群(swarm),也就是一群沒有明確領導者、朝同一目標工作的 agent,並和取 k 次中最好一次(best-of-k)的做法比較。在有明確指標可以最佳化的任務上,agent 群似乎表現較好;其他任務上效果不明或為負,任務需要 agent 自己建立代理指標時,大型 agent 群似乎還會拖累表現(第 4 節、附錄 J)。METR 因此認為,它在乾淨的可驗證最佳化任務上沒用 agent 群,可能多少低估了模型的表現。
這些數字的限制
時間跨度以人類耗時為尺度,而新任務的人類耗時多半是研究者的估計;其中四個家族(包括 Train a Program 與 Making METR Tasks)的估計,METR 標為特別推測性(附錄 A)。METR 把每個任務的時間乘上隨機雜訊,或改用模型估的人類耗時重算,倍增時間都接近原值(附錄 B)。人類基準者可以用 Sonnet 5 協助實作,所以對照組是人類加上 AI 助手。METR 也認為,部分任務對人類不友善,一個對環境或評分的錯誤假設就能讓人類的分數大跌,這可能讓人類表現偏低(附錄 A)。
合併任務集上的時間跨度,不能和先前只用舊任務集量到的數字直接比較。這份報告在 11 月 20 日發布,評測的模型只到 Opus 5.5 與 GPT-6 Astra;11 月 9 日發布的 Fable 5.2 與系統卡日期為 11 月 17 日的 GPT-6.2 Astra 都不在其中。MirrorCode 的結果來自較舊的執行紀錄,不涵蓋最新的模型(第 2 節)。
Comments
留言