
Databricks 11 月 16 日公開 Databricks AI 指數(Databricks AI Index),並說會每週更新。指數結合兩種資料:企業透過 Databricks 的 Unity Gateway 使用模型的用量與花費,以及 Databricks 用自家程式碼庫做的 coding agent 評測。評測裡最醒目的對比是 GPT-6 Luna 和 Claude Opus 5.5:兩者的任務成功率都是 89.1%,每題平均成本卻是 0.05 美元對 1.62 美元。Databricks 的解讀是,token 單價不足以判斷 coding agent 的實際成本。用量資料則顯示,企業換模型的速度很快,用過多家供應商的企業變多,開放權重模型的 token 占比也上升。這些數字全部來自 Databricks 自家平台,花費則依各家公開牌價估算。
兩種資料:閘道用量與內部 coding agent 評測
指數由 Databricks 的 AI 產品與工程團隊發表。Unity Gateway 是 Databricks 讓企業存取並管理 AI 模型的閘道,流量也包括轉送到 Anthropic、OpenAI 等外部供應商的部分。Databricks 的部落格說,用量資料是一萬多家 Unity Gateway 客戶彙整並匿名化後的資料,涵蓋數位原生公司、《財星》500 大與全球 2000 大企業;同一篇的〈關於資料〉一節和指數頁則只寫「數千家企業」。〈關於資料〉也說,整份資料的期間是 2026 年 7 月 20 日到 11 月 7 日。指數用 token 占比和花費占比追蹤各模型的採用情形,也記錄個別使用者每週的 AI 花費。
coding agent 評測延續 Databricks 7 月 8 日發表的內部評測。題目取自 Databricks 工程師透過 Unity Gateway 留下的真實工作紀錄,包括建立與審查 pull request、調查問題回報(issue)和較複雜的開發任務。部落格說,評測用隱藏的測試判分,不用語言模型評分(LLM judge)。7 月那篇文章說明了做法:從已合併的 pull request 出發,把描述改寫成只說明目標與限制的提示,拿掉解法,並把測試檔另外收起來;agent 宣稱完成後,再放回這些測試來判定是否通過。關於不用語言模型評分,那篇文章的理由是,Databricks 發現這種評分「獎勵聽起來對,勝過真的對」(rewards sounding right over being right)。
部落格說,用私有程式碼庫的題目和不公開的測試,可以降低評測污染(benchmark contamination),也就是題目和解答流進模型訓練資料的風險。評測比較的單位是模型和執行框架(harness)的組合,執行框架用 Claude Code 和 Codex,模型來自九家實驗室,指標是任務成功率和每完成一題的平均成本(以下稱每題成本)。在成本與品質前緣(cost-quality frontier)上的組合,找不到另一個組合成本更低、成功率又更高。指數頁列出 20 個組合,每個模型只顯示兩種執行框架中離前緣最近的那一個。
用量:模型與供應商的占比變化很快
部落格說,自 2026 年 5 月以來,大約每週就有一個新的旗艦模型(專有或開放權重)推出,算上區域型實驗室則是每 3.7 天一個,但沒有列出計入哪些模型。
占比變化最大的一次發生在 Claude Opus 5.5 推出後。部落格說,Opus 5.5 在六週內從專有模型 token 的 7.2% 升到 37.9%,Anthropic 的整體占比也從 57.6% 升到 68.8%;這段期間 OpenAI 的占比也明顯成長,主要來自 6 系列的 Sol 和 Astra。依指數頁加總,OpenAI 各模型在 7 月 20 日那週占 16.4%,11 月 2 日那週占 37.0%;同一週 Opus 5.5 是 35.8%,Anthropic 各模型加總是 61.5%。
只用一家供應商的企業變少了。部落格說,7 月約有 64% 使用 Unity Gateway 的企業只用一家模型供應商,到 11 月 2 日降到 28%。指數頁的註腳說,這張圖計入每家公司自 7 月 20 日以來用過的所有供應商,是累計數字;一家公司只要用過第二家供應商,之後就算在多供應商裡,所以 28% 不等於 11 月當下只用一家供應商的企業比例。
開放權重模型的 token 占比從 7 月的 7.3% 升到 11 月的 30.9%,部落格說這是不到四個月內增為四倍多。指數頁的週資料顯示,這個占比 9 月中以後大致持平在三成上下。這張圖的註腳說,它計算 Unity Gateway 上送往 Databricks 代管模型的輸入與輸出 token;專有模型占比那張圖則包含轉送到外部供應商的流量。兩張圖的範圍不同,所以 30.9% 不能直接當成開放權重模型在全部企業流量裡的占比。指數頁把 GLM、Kimi、DeepSeek、Qwen、Llama、GPT-OSS 和 Gemma 列為開放權重,Claude、GPT、Gemini 和 Grok 列為專有模型。
評測:成功率、每題成本與成本品質前緣
Luna 和 Opus 5.5 的成功率都是 89.1%,每題成本分別是 0.05 和 1.62 美元,部落格算出約 32 倍的差距。同樣是 89.1% 的還有 GLM 5.3 Flash(0.18 美元)和 GPT-6.1 Terra(0.12 美元)。
部落格的解釋是,每題成本取決於 token 單價,也取決於模型為了得到答案要做多少工作,多出來的回合、冗長的輸出和失敗的嘗試都會增加成本。它舉的例子是 Gemini 3.8 Flash:token 單價低,但平均每題要跑 140 個回合,每題成本 11.97 美元。指數頁上,這個組合的成功率是 82.9%,每題成本是列出的 20 個組合裡最高的。7 月那篇文章也有同樣的觀察:Opus 4.8 的 token 單價約是 Sonnet 5 的 1.7 倍,Sonnet 5 的每題成本卻是 2.09 美元,高於 Opus 4.8 的 1.94 美元,主要因為 Sonnet 5 用掉的 token 是 Opus 4.8 的 1.9 倍。
部落格說,成功率越高,價格往往越高。Claude Fable 5.1 以 96.0% 排第一,每題 7.47 美元;Meta 的 Muse Wonder 是 94.9%,每題 1.53 美元。多出的 1.1 個百分點,成本將近五倍。部落格又說「企業似乎也同意」(Enterprises appear to agree),證據是 Fable 5.1 在專有模型 token 的占比,推出後六週內從 5.5% 降到 0.6%。不過依指數頁的週資料,Fable 5.1 的 5.5% 和 Opus 5.5 第一次出現是同一週,單看占比的變化,分不出企業是因為價格離開 Fable 5.1,還是改用新推出的 Opus 5.5。
部落格說開放權重模型越來越能和專有模型競爭,證據是成功率前十名裡有三個開放權重模型:DeepSeek V4.1(指數頁寫作 DeepSeek V4.1 Flash 1017)和 GLM 5.3 同為 93.1%,並列第三;另一個是 91.4% 的 Kimi K3.1 Pro。
前緣上有五個模型,依指數頁是 Claude Fable 5.1、DeepSeek V4.1 Flash、GPT-6 Luna、GPT-6.1 Sol 和 Muse Wonder。部落格說它們來自 OpenAI、DeepSeek、Meta 和 Anthropic 四家實驗室,並據此主張,沒有單一模型或執行框架主導前緣,企業應該用自己的工作負載評估模型和執行框架的組合。
Databricks 也舉了自己的決定。評估是否從 Opus 4.8 升級到 Opus 5 時,他們分析成本與品質前緣,並重播自家工作負載的紀錄,結論是升級不值得多出來的成本,所以留在 Opus 4.8。到了 Opus 5.5,他們發現品質較好,每個工作階段的成本也比前一代低 29%,這是他們把它設為內部 Claude Code 預設模型的依據之一。
使用者每週花費的分布
部落格說,中位數使用者在 AI 上花 2.49 美元,第 99 百分位的使用者花 699.74 美元,約是中位數的 281 倍。原文這句沒有寫期間,指數頁的圖則標明是每週花費,兩個數字都是 11 月 2 日那週的值,只計人類使用者,並用公開牌價估算。
部落格說,中位數的每週花費在六週內從 1.10 美元增為兩倍多,第 90 和第 99 百分位則大致持平,並據此推論,一般使用者的 AI 用量在成長,但少數人仍占 AI 帳單的大部分。依指數頁,第 90 百分位從 95.66 美元變成 95.96 美元,第 99 百分位從 781.48 美元降到 699.74 美元。百分位數看不出這群人占總花費多少,所以推論的後半段無法從公開數字核對。
限制
用量資料只涵蓋 Unity Gateway 的客戶,反映 Databricks 客戶群的選擇,推到整個企業市場需要其他資料佐證。花費用公開牌價估算,指數頁明寫這不是 Databricks 實際收取的金額,企業談妥的折扣或合約價都不會反映在裡面。
評測題目全部來自 Databricks 一家公司的程式碼庫。部落格自己提醒,結果反映所評估的工作負載與模型,換到其他組織可能不同;7 月的文章也說這份評測不求全面。部落格和指數頁都沒有公布題數或誤差範圍,所以 Fable 5.1 和 Muse Wonder 之間 1.1 個百分點這類差距是否超出測量誤差,目前無從判斷。
這份指數也是 Databricks 的產品材料。部落格最後一節介紹 Unity Gateway 的用量儀表板、紀錄重播、預算控管和 Smart Routing,主張企業可以用這些功能依品質與成本分派任務。