Tag
標籤: pretraining
所有標記為此標籤的文章 "pretraining".
- Published: at 09:00 AMAI
微軟 AI 10/15 的技術文公開 MAI-Base-2 架構與訓練細節：2.8T 總參數、80B 啟用、每層 MoE、16,000 張 GB200 訓練 38 天、50T token；自述 held-out BPB 低於所有測過的開放權重模型，配方效率為 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。
Tag
所有標記為此標籤的文章 "pretraining".
微軟 AI 10/15 的技術文公開 MAI-Base-2 架構與訓練細節：2.8T 總參數、80B 啟用、每層 MoE、16,000 張 GB200 訓練 38 天、50T token；自述 held-out BPB 低於所有測過的開放權重模型，配方效率為 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。