重點
- 微軟 AI 在 10 月 15 日發表技術文〈Frontier Pre-training at Microsoft AI〉，公開 MAI-Base-2 的架構與訓練細節：總參數 2.8 兆、每個 token 啟用 800 億，每一層都是 MoE，原生支援影像輸入。
- 訓練用 16,000 張 GB200、38 天、50T token，平均 MFU 21%、goodput 89%。模型還在後訓練，目前沒有 API，也沒有釋出日期。
- 微軟自述：在自家準備的 held-out 評測上，MAI-Base-2 的 bits-per-byte 低於所有測過的開放權重模型；換算成訓練算力，配方效率是 DeepSeek-V4-Pro-Base 的 4.2 到 12.3 倍。
- 技術文著墨最多的是三件事：把資料重複次數算進去的 scaling ladder、記憶體用量固定的 dropless MoE，以及 Muon 加上 activation 梯度裁剪。
- Mustafa Suleyman 在內部會議上說 MAI-Base-2 勝過 GPT-5.6 Sol 背後的底座模型。這項比較沒有公開，技術文裡也沒有。
規格
技術文列出 MAI-Base-1 與 MAI-Base-2 的對照：
| 項目 | MAI-Base-1 | MAI-Base-2 |
|---|---|---|
| 啟用／總參數 | 35B／1T | 80B／2.8T |
| 層數 | 78 | 102 |
| hidden 維度 | 6656 | 8704 |
| MoE 配置 | dense FFN 與 MoE 交替 | 每層都是 MoE |
| 專家路由 | 0 個共享 + 從 512 個中選 8 個 | 1 個共享 + 從 512 個中選 7 個 |
| attention head（KV／Q） | global 8／80（每 6 層一次）、local 8／80 | global 2／96（每 6 層一次）、local 16／96 |
| embedding | 綁定 | 不綁定 |
| 訓練 token | 30T | 50T |
| optimizer | AdamW | Muon（非 embedding 的 2D 參數）＋ AdamW |
| FP8 | tensor-wise、delayed scaling（E4M3／E5M2） | MXFP8 E4M3 |
| 梯度裁剪 | 全域權重梯度 | 全域權重梯度 ＋ activation 梯度 |
| 影像 | 純文字 | 原生 VLM |
訓練在 2026 年 8 到 9 月進行。MFU 以 GB200 的 BF16 理論峰值 2.5 PFLOPS 為分母，不計重算與 optimizer 的 FLOPs。
跟誰比、怎麼比
基礎模型沒有經過後訓練，不適合用一般的問答基準比較，所以技術文改比 held-out 文字上的 bits-per-byte（BPB，越低越好），這個指標不受各家 tokenizer 影響。四組評測資料：
- 程式碼：微軟 AI 自己的程式碼庫。
- STEM、數學、問答：委託外部廠商製作，降低訓練資料污染的風險。
所有評測集另外對訓練資料做過去污染。比較對象是 2026 年 10 月以前可取得、總參數至少一兆的模型。其中 DeepSeek-V4-Pro-Base 是唯一公開的基礎模型 checkpoint；Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL 只有後訓練版本，技術文也註明後訓練可能影響這些分數。
圖 1 的數值（BPB）：
| 模型 | 程式碼 | 問答 | STEM | 數學 |
|---|---|---|---|---|
| MAI-Base-1（35B／1T） | 0.2401 | 0.4440 | 0.4026 | 0.3939 |
| MiMo-V2.6-Pro-RL（42B／1.02T）＊ | 0.2446 | 0.4513 | 0.3975 | 0.3803 |
| Qwen3.8-2.4T-A95B（95B／2.4T）＊ | 0.2400 | 0.4427 | 0.3978 | 0.3752 |
| DeepSeek-V4-Pro-Base（49B／1.6T） | 0.2370 | 0.4351 | 0.3968 | 0.3862 |
| Kimi K3（104B／2.8T）＊ | 0.2264 | 0.4269 | 0.3761 | 0.3589 |
| MAI-Base-2（80B／2.8T） | 0.2203 | 0.4162 | 0.3653 | 0.3561 |
＊為後訓練模型。
四組都是 MAI-Base-2 最低，但評測集全部由微軟持有或委製，外界無法重跑。差距最小的是數學，MAI-Base-2 與 Kimi K3 相差 0.0028。
算力效率的 4.2 到 12.3 倍怎麼來
直接比較模型分數，會把配方好壞跟模型大小、訓練算力混在一起。技術文的做法是：
- 對四組評測各自擬合一條「BPB 對訓練 FLOPs」的 scaling law，擬合點包含 MAI-Base-2 本身，讓對照點落在擬合範圍內。
- 推算微軟的配方要花多少算力，才能達到 DeepSeek-V4-Pro-Base 的 BPB。
- 拿這個數字跟 DeepSeek-V4-Pro-Base 實際的訓練算力相比。
結果依評測不同落在 4.2 到 12.3 倍。用同樣方法跟今年 6 月的 MAI-Base-1 比，是 6.3 到 12.7 倍。微軟把效率歸功於資料品質與建模上的選擇。技術文另外說明，DeepSeek-V4-Pro-Base 的訓練 FLOPs 明顯少於 MAI-Base-2，微軟把省下的算力拿去訓練更大的模型。
Scaling ladder 與 source scaling
微軟用 scaling ladder 評估每項改動：一系列只差在大小、配方固定的模型。每一階以層數 L 命名，其餘架構都由 L 決定，例如 hidden 維度是 (256/3)×L，query head 數是 L 取最接近的 16 的倍數。各階之間維持每個啟用參數分到的訓練 token 數（TPP）不變。
問題出在資料重複。完整訓練跑 50T token 時，部分資料集會重複很多遍，小規模實驗如果用全部資料，重複次數就對不上。微軟的 source scaling 在 ladder 低階刻意縮小不重複樣本的範圍，讓每個資料集在任何訓練長度下都重複相同次數。技術文的例子是：某資料集在 50T 的完整訓練中重複 8 次，5T 的實驗就只取其中 1/10，同樣繞 8 圈。
在固定 TPP 下，這等於讓不重複資料量與參數量的比例固定。技術文說，少了這一步，小規模實驗會偏好正則化不足、放大後會過擬合的架構和超參數；source scaling 是 2.8T 模型能順利放大的關鍵。用 L18 到 L42 擬合的 ladder 外推，預測值與 MAI-Base-2 最終結果吻合（圖 2）。
超參數也改用 scaling law 決定：
- 學習率與 weight decay 的效果互相牽連，兩者乘積最敏感，好的設定落在一條狹窄的對角帶上，所以兩者一起掃。
- 每組模型大小與 TPP 各自擬合二次曲面求最佳點，再用模型選擇找出最佳值跟哪些變數有關。
- 結果：學習率×weight decay 的最佳值主要由訓練步數決定，指數接近 −1（圖 4 的擬合是 17.04／步數）；最佳學習率除了步數，還跟 TPP 有關，步數的指數接近 −0.5。
- dropout 也用同樣方法擬合出 scaling law。這些規則先在小規模估計，再於中等規模驗證勝過原本的經驗法則，最後決定了 MAI-Base-2 的超參數。
讓每一層都放 MoE
微軟過去的實驗顯示，以 FLOPs 計算，每層都放 MoE 一直比 dense 與 MoE 交替更有效率。MAI-Base-1 仍採交替，原因是當時的 MoE 實作慢，換算成實際訓練時間不划算。這次找出兩個拖慢的原因：
- 動態路由造成記憶體碎片，還得替罕見的極端負載不均預留記憶體，壓縮了可用來減少 activation 重算的空間。
- 專家切得越多越細，每個專家的固定開銷越大。
處理後，MoE 層的 MFU 從 24% 升到 35%，MAI-Base-2 才改成每層都是 MoE。
多輪 dropless MoE：直接丟掉超出容量的 token 會讓效果變差，按最壞情況預留記憶體又浪費。微軟把每張卡上的專家分成若干組，每組以固定的單一專家容量跑「派送 → 計算 → 收回」。某個專家收到的 token 超過容量時，多出來的部分在額外幾輪處理，同組其他專家沒用完的容量也可以借用。反向傳播照同樣的多輪排程，逐組重算。這樣不管路由多不平均，記憶體用量都固定，不會碎片化，也不會 OOM。容量設定成平常只需要一輪。
降低單一專家的開銷，技術文列了四項：
- 計算與通訊都以專家組為單位合併，減少 kernel 啟動開銷與尾端效應。
- token 中繼資料留在 GPU 上，由 GPU 直接發起 all-to-all，減少主機與裝置同步。
- 以 symmetric memory 經 NVLink 直接交換 token，省去中轉複製。
- 各層的 load-balancing loss 合併成一次 reduction，取代每層各做一次 all-reduce。
Muon 與 activation 梯度裁剪
微軟發現放大到 MAI-Base-2 時，Muon 比 AdamW 訓練更穩定，效率也高很多。Muon 要用 Newton–Schulz 迭代把整個動量矩陣正交化，這跟 ZeRO 把動量切散在各張卡上的做法衝突。做法是在 optimizer 步驟時重新分配：各卡更新自己那一片 FP32 動量並轉成 BF16，經一次 all-to-all 讓每張卡拿到幾個完整矩陣，在本地正交化，再經第二次 all-to-all 送回原本的分片。
最佳化之後，Muon 佔每次訓練迭代平均時間的 2.1%（165 毫秒）。微軟估計理論下限是 55 毫秒，卡在通訊上，差距來自落後的節點、kernel 派送開銷、負載不均與重新分片時的記憶體配置。
Activation 梯度裁剪針對的是一般梯度裁剪的缺點：全域裁剪看的是整個 batch 的權重梯度範數，少數異常樣本就能讓整個 batch 的梯度一起被縮小。微軟改在網路中選定的位置裁剪 activation 的梯度。配合 Muon，MAI-Base-2 的梯度範數比 MAI-Base-1 集中得多。
技術文說，多數改動在不同規模下帶來的效率提升大致固定，activation 梯度裁剪的效益卻隨規模變大：在 ladder 的 L42 階，held-out 評測上的 FLOPs 效率提升約 28%。它也被拿來檢查資料：一筆被裁剪的程式碼訓練樣本裡，授權條款在句子中間被截斷、直接接上 PR 標題，循線追查找到前處理流程的 bug。
資料
- 微軟說預訓練只用自然資料，沒有從其他模型蒸餾，每個訓練 token 都由自家流程處理；網頁資料由自家爬蟲抓取，遵守 robots.txt。
- 不重複 token 數比 MAI-Base-1 多約 36%，知識截止在 2026 年 3 月；改進了品質分類、主題分箱、網頁解析、去重與評測去污染，並用 embedding 做多樣性抽樣，優先納入新的內容。
- MAI-Base-2 是不帶獨立影像編碼器的原生 VLM。影像語料有 4.5T 不重複 token，涵蓋圖說、圖表理解、視覺定位、空間推理、醫學理解、電腦操作、樂譜閱讀等；計入重複後佔 50T 訓練量的 18%。
50T token 的配比：
| 類別 | 佔比 |
|---|---|
| 程式碼 | 45% |
| 純影像 | 14% |
| 網頁 | 12% |
| 9% | |
| STEM | 9% |
| 書籍 | 5% |
| 數學 | 4% |
| 其他 | 2% |
還不清楚的部分
- 後訓練結果：MAI-Base-2 還在後訓練，技術文沒有任何指令遵循、推理或代理人基準的分數。微軟說之後會透過 Foundry 授權模型權重給受信任的合作夥伴。
- 跟閉源模型的比較：Business Insider 報導，Suleyman 10 月 15 日在員工大會上說：「我們現在有一個比目前驅動 GPT 5.6 Sol 的模型更強的預訓練基礎模型，而且只用了 OpenAI 訓練他們模型四分之一的算力。」他說這是根據微軟掌握的 OpenAI 模型技術資訊，私下比較的結果。這項比較沒有公開數據，屬於微軟自述；技術文的公開比較只涵蓋開放權重模型。
- Frontier Tuning：微軟在今年 6 月的 Build 發表 Frontier Tuning，在企業的合規邊界內用客戶自己的資料、流程與評估訊號做強化學習調整模型，當時以私人預覽提供。MAI-Base-2 的技術文沒有提到它，兩者怎麼銜接還沒有官方說明。
參考資料
- Microsoft AI, Frontier Pre-training at Microsoft AI（2026-10-15）
- 同文 PDF 版
- Ashley Stewart, Microsoft AI chief says the company beat OpenAI at its own game, using a quarter of the computing power, Business Insider（2026-10-15）
- Ranveer Chandra, Frontier Tuning: Teaching AI to work the way you do, Microsoft 365 Developer Blog（2026-06-02）