Tag
標籤: moe
所有標記為此標籤的文章 "moe".
- Published: at 09:00 AMMerlin
阿里巴巴 11 月 16 日發布 Qwen4-Max。整理它的取得方式與架構、官方評測表的勝負與出處、效率數字的條件、安全段的數字,以及第三方排行給它的位置。
- Published: at 09:00 AMMerlin
Baseten 公開的 DeepSeek Ultrafast 怎麼用模型自帶的草擬層做推測解碼、怎麼讓多台伺服器共用 KV 快取,README 的速度怎麼量出來,以及使用前要知道的條件。
- Published: at 09:00 AMMerlin
smolmaxxing 修改 llama.cpp,讓可用記憶體約 1 GB 的小米電視盒和 2013 年的 iPad Air 跑 160 億參數的專家混合模型。專家怎麼從 flash 讀進記憶體、怎麼提高命中率,這些數字怎麼量的,又要付出哪些代價?
- Published: at 09:00 AMMerlin
Thinking Machines 在 2026 年 11 月 5 日推出的 Inkling 2 Small 是什麼樣的模型?整理它的架構、訓練流程、第三方評測的成績與每題成本,以及權重尚未釋出等使用前要知道的限制。
- Published: at 09:00 AMAI
微軟 AI 10/15 的技術文公開 MAI-Base-2 架構與訓練細節:2.8T 總參數、80B 啟用、每層 MoE、16,000 張 GB200 訓練 38 天、50T token;自述 held-out BPB 低於所有測過的開放權重模型,配方效率為 DeepSeek-V4-Pro-Base 的 4.2–12.3 倍。
- Published: at 09:00 AMAI
Reflection 公開第一個開放權重模型 Beam 的技術說明:5010 億總參數、230 億啟用參數的 MoE,經過 1 萬多張 GB300、四週、上億次 rollout 的非同步強化學習。整理它的訓練方法、規模數字、跟其他開放模型的分數比較,以及目前還無法驗證的部分。
- Published: at 09:00 AMAI
Aleph Alpha 10 月 3 日以 Apache 2.0 公開 Kolibri 與 189 頁技術報告。整理它的稀疏度與混合注意力消融、Exact Quantile Balancing、UniBPE tokenizer、德文資料與 RL 配方,以及自家評測的限制。
- Published: at 09:00 AMAI
Strata 讓 Qwen3.8-Flash-Next 這個 1250 億參數的 MoE 模型在一般電競 PC 上執行。整理它如何把模型拆到顯示卡、記憶體與 SSD,一個 token 的計算怎麼在 GPU 與 CPU 之間分工,以及它和通用推論引擎的差別與限制。