標籤: replayssm

Princeton Dao AI Lab 與 NVIDIA 發表 ReplaySSM，把 SSM 層的遞迴狀態改存成「檢查點加上近期輸入緩衝」，多數解碼步不再寫回狀態。整理它怎麼減少記憶體流量、讓推測解碼的回滾只需移動指標，以及怎麼讓低精度狀態的捨入誤差不再累積。