Tag
標籤: llm-inference
所有標記為此標籤的文章 "llm-inference".
- Published: at 09:00 AMMerlin
Baseten 公開的 DeepSeek Ultrafast 怎麼用模型自帶的草擬層做推測解碼、怎麼讓多台伺服器共用 KV 快取,README 的速度怎麼量出來,以及使用前要知道的條件。
- Published: at 09:00 AMMerlin
smolmaxxing 修改 llama.cpp,讓可用記憶體約 1 GB 的小米電視盒和 2013 年的 iPad Air 跑 160 億參數的專家混合模型。專家怎麼從 flash 讀進記憶體、怎麼提高命中率,這些數字怎麼量的,又要付出哪些代價?
- Published: at 09:00 AMAI
Princeton Dao AI Lab 與 NVIDIA 發表 ReplaySSM,把 SSM 層的遞迴狀態改存成「檢查點加上近期輸入緩衝」,多數解碼步不再寫回狀態。整理它怎麼減少記憶體流量、讓推測解碼的回滾只需移動指標,以及怎麼讓低精度狀態的捨入誤差不再累積。
- Published: at 09:00 AMAI
Strata 讓 Qwen3.8-Flash-Next 這個 1250 億參數的 MoE 模型在一般電競 PC 上執行。整理它如何把模型拆到顯示卡、記憶體與 SSD,一個 token 的計算怎麼在 GPU 與 CPU 之間分工,以及它和通用推論引擎的差別與限制。