新聞｜MagicBeanStalk：把 RLVR 解不出的難題拆開再長回來，合成難度剛好的訓練題

重點

華盛頓大學、CMU、NVIDIA 與 Stanford 的研究者（作者含 Ximing Lu、Aviral Kumar、Yejin Choi、David Acuna）在 arXiv 發表 MagicBeanStalk（MBS），處理可驗證獎勵強化學習（RLVR）的訓練資料問題。
一份約 7.8 萬題的開源數學語料，對 gpt-oss-120b（32K token 預算、每題 8 次 rollout）約有 88% 不是每次都對、就是每次都錯，組內優勢值全是 0，訓練時提供不了訊號。
MBS 用教師模型的驗證解法把難題由上而下拆成子題樹，再由下而上合成更難的葉節點、組回全新的題目，只留下對目標模型「有對有錯」的題。
gpt-oss-120b 在 8 項數學基準的平均從 61.2 升到 69.8（+8.6）。用整份原始語料訓練只 +1.1，最好的篩選子集 +5.8。同一批資料拿去訓練 DeepSeek v4 Flash，+5.4。
金融領域從 340 題專家題目合成出超過 1.4 萬題，Qwen3-4B-Instruct 在 SecQue 與 FinanceBench 的 pass@1 各進步 6.9 與 2.4 分。

題目多，訊號不一定多

GRPO 這類方法對同一題取樣 $N$ 個回答，用二元驗證器打分 $r_i \in \{0, 1\}$ ，再拿每個回答跟組內平均比較：

\bar{r}_{\pi,L}(p) = \frac{1}{N}\sum_{j=1}^{N} r_j, \qquad \hat{A}_i(p) = r_i(p) - \bar{r}_{\pi,L}(p)

$\pi$ 是目標模型， $L$ 是每次回答的 token 上限。一組回答全對或全錯時，每個 $\hat{A}_i$ 都是 0，這題對訓練沒有貢獻。論文把這稱為零優勢陷阱（zero-advantage trap），把 $0 < \bar{r} < 1$ 的題稱為 Goldilocks 區間。

研究者合併 DAPO-Math-17K、Skywork-OR1-RL-Data、Turing Open-RL 與部分 StackMathQA，得到約 7.8 萬題。對 gpt-oss-120b 在 32K 預算下各取樣 8 次：

只有 12.2% 落在 Goldilocks 區間
6.3% 一次都沒解出
其餘每次都解對

對照實驗也支持這個判斷。從一份 6,922 題、難度分布與原語料相同的代理集裡，只取 862 題 Goldilocks 題，或再加上「預算內可解」條件的 696 題來訓練，結果都比整份代理集好，題數少一個數量級。

篩選的問題在於它只能挑，會把模型還解不了的難題丟掉，而這些題剛好代表模型還缺的能力。

難度取決於模型與預算

同一題有沒有訊號，要看拿哪個模型、給多少 token：

題目與 32K 上限不變，只把模型從 GPT-5-nano 換成 gpt-oss-120b，有 32.3% 的題改變類別。
模型固定為 gpt-oss-120b，回答上限從 16K 加到 64K，「難題」比例從 33.1% 降到 10.6%，8 項基準平均從 61.2% 升到 78.9%。

所以回答被截斷，只代表預算內沒寫完，不代表模型不會。論文另加一個條件：至少要有一個答對的回答是正常結束、沒有碰到上限，稱為「預算內可解」（in-budget solvability）。一題只有同時落在 Goldilocks 區間、又預算內可解，才算乾淨的訓練訊號。

難題可以當規格用

難題沒有訊號，但它的驗證解法說明了需要哪些推理操作、怎麼組合，論文稱為推理藍圖（reasoning blueprint）。研究者用 98 題難題測這件事：

從 5 個前沿模型取得驗證過的解法。最強的單一教師每題試一次只解出 59 題，所以改用多個教師。
每題生一個用到部分藍圖操作的簡單子題，連同解法當成單一 in-context 範例給目標模型，並確認子題沒有洩露原題答案。
結果 78/98 題（79.6%）至少解對一次，原題平均正確率從 0% 升到 46.9%。
在有兩份以上不同教師藍圖的 43 題裡，90.7% 的藍圖相同或相容，顯示藍圖主要反映題目結構，跟哪個教師的風格關係不大。

直接叫教師改題為什麼不夠

最直覺的做法，是把難題、解題過程與答案交給強教師，請它出變形題，再篩出 Goldilocks 題。論文稱為 seed synthesis。在同一批種子題的對照實驗裡，4 項核心基準（AIME 24/25、HMMT-F/N）的平均是：

訓練資料	平均
只用種子題	65.3
seed synthesis	63.9
MBS	69.2

seed synthesis 甚至比不上只用種子題。研究者找到兩個原因。第一，它保留了解題技巧，但常常只是改數字、換情境的淺層變形。第二，事後篩選能調難度，却無法把淺層變形變成新題，也沒有辦法替一個題都沒產生的種子補出候選。

給 seed synthesis 跟 MBS 差不多的生成預算（約 1,600 萬對 1,430 萬 token），在同樣 64 題種子上比較。「保留藍圖、夠新、落在 Goldilocks」三項同時成立的種子數：

seed synthesis：3/64
seed synthesis 加大量取樣（387 個候選）：13/64
MBS：28/64

多取樣可以提高 Goldilocks 的比例，新題比例的差距仍然在。

MBS 怎麼做

第一步：取得驗證解法。 教師池包括 Gemini 3 Flash、Claude Opus 4.6、DeepSeek V4 Pro、GPT 5.2 與 Kimi K2.6。依序讓各教師解題，取第一個答案正確的解法；全部失敗就丟掉。

第二步：由上而下拆題。 教師根據解法列出需要的技能，產生最多 3 個較簡單、可獨立作答的子題，每個子題也要通過驗證。接著做有效性測試：把子題與解法當範例給一組強弱不同的學生模型，再讓它們解父題。至少一個學生的正確率上升，這次拆解才算有效；不然就把失敗紀錄當反例請教師重拆，最多 3 次。拆解最深 3 層。消融實驗裡，教師認為合格的 22 個拆解只有 6 個通過有效性測試。

第三步：由下而上合成。 在葉節點明確要求教師出「更難」的變形，最弱學生正確率超過 0.8 的丟掉。接著照原本父題與子題的結構，把合成出來的子題組成新的父題，最弱學生正確率超過 0.625 的丟掉，每個父題最多試 10 種組合。一路往上，得到一棵跟原題平行的合成樹。論文觀察到，沒有要求「更難」時，教師傾向只改寫字面。

最後篩選。 只留下對目標模型 8 次 rollout 對 1 到 7 次、且至少一個正確回答在預算內正常結束的題。學生模型只用來判斷拆解有沒有幫助，最後的篩選只看目標模型。

金融題必須能從文件回答。MBS 依種子文件摘要的嵌入相似度找出未用過的文件，每題 35 或 75 份，把整棵合成樹改建在新文件的片段上。

結果

從難題產出可用資料。 取約 1,250 題 gpt-oss-120b 在 16K 下 8 次全錯的種子：

方法	產生題數	Goldilocks 比例	合格比例	至少產出一題合格題的種子
seed synthesis	2,494	36.8%	31.7%	43.8%
MBS	3,370	55.4%	42.8%	74.7%

數學 RLVR。 gpt-oss-120b 用 GRPO、LoRA（rank 32）、16 張 H100、16K 回答上限訓練。8 項基準為 AIME 24/25、AMC、HMMT-F/N、Minerva、Olympiad、Omega-500，平均如下：

訓練資料	8 項平均	變化
基礎模型	61.2	—
整份原始語料	62.3	+1.1
Golden Goose（使用已發布資料集）	63.1	+1.9
原始語料的預算內 Goldilocks 子集	67.0	+5.8
seed synthesis	66.8	+5.6
MBS	69.8	+8.6

同一份 MBS 資料不重新生成、不重新篩選，拿去對 DeepSeek v4 Flash 做全參數 GRPO（80 張 H100），平均從 72.4 升到 77.9。

超過訓練預算時。 模型都在 16K 訓練，推論時放寬上限：

訓練資料	24K（相對基礎）	32K（相對基礎）
預算內 Goldilocks 子集	−2.9	−3.9
seed synthesis	0.0	−0.3
MBS	+1.0	+1.5

在更難的 MathArena Apex-Shortlist（47 題）上，MBS 在 16K、24K、32K 各比基礎模型高 11.0、13.3、10.9 分，32K 時是 27.1 對 16.2。

回頭看原來的難題。 同樣那約 1,250 題，重新取樣的基礎模型能解出 9.5%，seed synthesis 訓練後 23.2%，MBS 訓練後 25.0%；8 次全對的題各有 0、6、14 題。

金融。 340 題種子來自 17 份企業信用協議，MBS 產出約 2.5 萬個候選、1.42 萬題 Goldilocks 題。Qwen3-4B-Instruct 經 RLVR 後：

基準	訓練前 pass@1	訓練後 pass@1
SecQue	32.4	39.3
FinanceBench	65.9	68.3

跟既有做法的關係

動態取樣（如 DAPO）在訓練時丟掉零優勢的組；BroRL 增加每題的 rollout 數；另一些工作用參考答案前綴、提示或 off-policy 軌跡引導探索。這些改的是訓練演算法，MBS 改的是資料，兩者可以一起用。
從種子合成題目早就有人做，用在 SFT、視覺語言模型與 RLVR。這篇多出來的是先量清楚「怎樣的題對哪個模型、哪個預算有用」，再用拆解加重組的遞迴結構去生題。
Golden Goose 是部分作者先前提出、從網路文字合成 RLVR 任務的做法，在表中只有 +1.9。

限制

受限於算力，多數訓練只用 16K 預算。
Golden Goose 的對照是直接用已發布的資料集，沒有針對 gpt-oss-120b 重新生成或篩選，不算同條件重跑。
DeepSeek v4 Flash 每題只評 1 次，gpt-oss-120b 是 16 次。
資料品質靠 LLM 判斷：三個前沿模型一致否決 8.0% 的數學題答案，藍圖保留與新穎度也由 GPT-5.6 評分。作者承認評審模型本身也會錯，尤其在難題上。
部分教師是閉源 API 模型，API 更新後重做合成未必得到同樣的題。資料集要等論文被接受才釋出。
論文重點在資料的效果，沒有把合成成本壓到最低。
金融實驗只是基準表現，作者說拿合成資料訓練用於金融決策的模型之前還需要更多測試。

參考資料

arXiv：MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis（2610.12659）