標籤: reinforcement-learning

一篇新的 arXiv 論文把 coding agent 當成「模型加 harness」一起訓練：老師模型在 GRPO 訓練中途依當前策略的軌跡改工具與 hook，另外給不含答案的「機制層級」修復提示。整理方法、SWE-bench 三個版本的數字、幾個關鍵對照與限制。

MATS、Stanford、FAR AI 與 Anthropic 的研究者提出 GRAFT，把被監測器標記為作弊的訓練樣本只拿來更新一組額外參數，部署時再把這組參數拆掉。整理方法細節、Qwen3-8B、SmolLM2-135M 與 Qwen3-32B 三組實驗的數字、可能的運作機制，以及監測器、規模與 anchor 環境等限制。

Stanford 與 CMU 的研究者訓練一個 Qwen3.5-4B 建構代理，在問題出現前把原始文件整理成帶來源連結的階層檔案系統，以凍結答題代理的正確率當獎勵。整理 MDP 與獎勵設計、BrowseComp-Plus 與 BRIGHT 的結果、成本攤提，以及評測規模與結構消融透露的限制。

Anthropic 用 RL 在 Petri 環境訓練 Claude Haiku 4.5 當 alignment auditor；pairwise 獎勵加校正後，複合分數追上 Opus 4.6，並轉移到 AuditBench 對抗微調目標。

人大高瓴與 NUS 的 Agent-Reflex 先從 24,510 筆真實工具錯誤歸納出 8 類故障、注入 557 個 MCP 環境，再從成功與失敗軌跡的對照挖出 1,170 條環境層級的反省技能，經 ReSFT 與 ORPO 兩階段內化進 Qwen3-8B。整理方法、在五個工具基準與 AgentNoiseBench 上的成績、消融結果，以及跟既有反省與環境擴充方法的差別和限制。

華盛頓大學、CMU、NVIDIA 與 Stanford 的研究者發現，一份 7.8 萬題的開源數學 RLVR 語料對 gpt-oss-120b 有約 88% 提供不了學習訊號。整理他們怎麼用難題的驗證解法拆出子題樹、再由下而上合成新題，以及數學與金融上的結果和限制。

華盛頓大學、Meta Superintelligence Labs、MIT 與 Trillium Labs 提出 Context Language Models，把模型的即時 context 鏡像成可用 Bash 編輯的檔案，取代固定的摘要壓縮。整理方法、計算成本的算法、Suffix Cache Reuse、零樣本與強化學習結果，以及安全與部署上的限制。

Reflection 公開第一個開放權重模型 Beam 的技術說明：5010 億總參數、230 億啟用參數的 MoE，經過 1 萬多張 GB300、四週、上億次 rollout 的非同步強化學習。整理它的訓練方法、規模數字、跟其他開放模型的分數比較，以及目前還無法驗證的部分。

Aleph Alpha 10 月 3 日以 Apache 2.0 公開 Kolibri 與 189 頁技術報告。整理它的稀疏度與混合注意力消融、Exact Quantile Balancing、UniBPE tokenizer、德文資料與 RL 配方，以及自家評測的限制。

DeepSeek 在 arXiv 公開 agent 強化學習沙盒平台 DSec 的架構與生產數據。整理工作負載特性、三項主要機制、報告記錄的 agent 不當行為，以及對策與限制。