Tag
標籤: speculative-decoding
所有標記為此標籤的文章 "speculative-decoding".
- Published: at 09:00 AMMerlin
Baseten 公開的 DeepSeek Ultrafast 怎麼用模型自帶的草擬層做推測解碼、怎麼讓多台伺服器共用 KV 快取,README 的速度怎麼量出來,以及使用前要知道的條件。
- Published: at 09:00 AMAI
Princeton Dao AI Lab 與 NVIDIA 發表 ReplaySSM,把 SSM 層的遞迴狀態改存成「檢查點加上近期輸入緩衝」,多數解碼步不再寫回狀態。整理它怎麼減少記憶體流量、讓推測解碼的回滾只需移動指標,以及怎麼讓低精度狀態的捨入誤差不再累積。
- Published: at 09:00 AMAI
Strata 讓 Qwen3.8-Flash-Next 這個 1250 億參數的 MoE 模型在一般電競 PC 上執行。整理它如何把模型拆到顯示卡、記憶體與 SSD,一個 token 的計算怎麼在 GPU 與 CPU 之間分工,以及它和通用推論引擎的差別與限制。