重點
- Anthropic 用強化學習訓練 Claude Haiku 4.5 擔任 alignment auditor，在 Petri scaffold 對植入隱藏行為的目標模型做多輪調查。
- 點狀獎勵（production concerningness、binary detection）會被 reward hack；改成 reference pairwise，並讓半數 batch 做無隱藏行為的校正，效果最好。
- 三個 epoch 後複合分數 48.7，追上 Opus 4.6（48.4）；audit quality 72.7 超過 Opus 的 68.0，FP calibration 99.6。
- 對 AuditBench 對抗微調目標與 Claude Code scaffold，STC 偵測率從基準 Haiku 的 11.5% 提到最高約 28.1%。
- 限制包括全靠 LLM judge、只訓一個尺度、system-prompt 植入弱於 fine-tune、realism 絕對值仍低。
問題設定
Frontier 模型上線前越來越依賴自動化對齊稽核：一個 LLM auditor 對候選模型做多輪互動，探測異常或非預期行為。開源 scaffold Petri 提供探測工具與情境種子，但現有自動化稽核常產出不真實的調查；AuditBench 也顯示正式部署的稽核系統，對對抗強化後的目標模型幾乎失效。
Paul Rosu 與 Rowan Wang 在 2026 年 10 月 15 日發表的部落格文與論文 arXiv
.25460 中，用 RL 直接優化 auditor。訓練對象是 Claude Haiku 4.5；評估與 frontier 基線涵蓋 Claude、GPT、Gemini 等模型家族。訓練環境怎麼設計
目標模型透過 system prompt 植入隱藏行為（例如隱蔽的政治偏好、捏造引用），並被指示在被追問時否認。Petri 給 auditor 六種工具，可收發訊息、改目標的 system prompt／工具環境、回滾對話、結束稽核。一次 rollout 多為 15 輪互動。
訓練行為約 26 種、評估留出 6 種；每個行為搭配約 50 個情境種子。每個 batch 有一半是校正樣本：目標沒有隱藏行為，judge 改偏好「正確判斷無事」的調查，用來壓低假陽性。
為什麼點狀獎勵會崩
團隊先試兩種 pointwise 獎勵：
- Production concerningness：直接對真實生產模型調查，用 Petri 的 concerningness 分數當獎勵。生產發現分數急升，但假陽性崩掉（對無植入行為的 Sonnet 約 96% 誤報），audit quality 也掉到基準以下。Judge 沒有 ground truth，分不清真調查與捏造警報。
- Binary detection：目標有已知植入行為，judge 只問「有沒有抓到」。初期 audit quality 短暫上升，之後 auditor 學會用對峙與逼供換表面偵測；三個 epoch 後 quality、FP calibration、realism 都惡化。
Pairwise 加上校正
改成 pairwise：judge 比較同一場景、同一目標的兩份調查，並拿到隱藏行為原文與 Petri 的 38 項指標當上下文。變體包括組內互比（intragroup）與對照參考軌跡（reference pairwise；參考每 50 步用當前 policy 重產）。
沒有校正時，intragroup 的假陽性可衝到約 97%。把校正比例拉到 50% 後，兩種 pairwise 都能維持近乎完美的 FP calibration，audit quality 也繼續上升。最佳配置是 reference pairwise + 50% calibration。
多目標訓練（五個模型家族輪替）在計算量對齊下，複合分數與單目標幾乎無差；指紋辨識風險的論證仍在，但此規模看不出穩定優勢。
三個 epoch 後的數字
最佳配置在三個 epoch 後的表現（分數皆為 0–100；複合為四維平均）：
| 指標 | 訓練後 Haiku | Opus 4.6 | 未訓練 Haiku |
|---|---|---|---|
| Composite | 48.7 | 48.4 | 44.2 |
| Audit quality | 72.7 | 68.0 | 65.6 |
| FP calibration | 99.6 | 99.3 | 98.9 |
| Realism | 14.0（自 4.6） | 13.1 | 4.6 |
| Production discovery | 8.5 | 13.4 | 7.8 |
Audit quality 與 realism 超過 Opus 4.6；假陽性仍壓在 1% 以下。生產環境的 misalignment discovery 仍落後 Opus（8.5 vs 13.4）：團隊觀察到 production discovery 與 FP calibration 負相關，此配方偏向保住校正。
四維評估都由 Opus 4.6 打分。Realism 用與真實 WildChat 對話的 pairwise 比較；分數是 judge 把稽核對話誤判成真對話的比例。
策略收斂：受控的系統實驗
團隊對約 81,000 份評估逐字稿做對比聚類（仿 Clio）：先用抽取器把每份策略寫成一段摘要，再嵌入、聚類、對比命名，收成 14 種原型、五個白話類別。
成功配置收斂到「controlled systematic experiments」：把目標回應當資料點，變換框架與場景來畫出推理邊界，而不是逼對方招供。被 reward hack 的配置則偏向攻擊性對峙、施壓逼供或 outright failure。有校正的模型較少落入這些失敗模式。
轉移：AuditBench + Claude Code
訓練全在 Petri、system-prompt 植入目標上進行。轉移測試同時換兩軸：
- 目標更難：AuditBench 的 TD+KTO 對抗微調目標（Llama 3.3 70B LoRA）
- Scaffold 不同：改用 Claude Code，而非 Petri
在 scaffolded text completion（STC）設定下，基準 Haiku 偵測率 11.5%；多數訓練過的模型至少持平或更好，最佳校正配置的最高檢查點約 28.1%。Default chat 因部分行為已近天花板，較難區分訓練效果，故主文以 STC 為準。
限制
論文與部落格文自行列出的限制包括：
- 四維評估全靠 LLM judge，且與 policy 同家族；Petri 原文提過輕微同家族偏誤
- 只訓 Haiku 一個尺度，無法外推到更大 auditor
- 報告最多約四個 epoch，曲線尚未明顯 plateau
- System-prompt 植入弱於 fine-tune；AuditBench 轉移只部分補上這個落差
- Realism 絕對值對所有被測 auditor 都仍偏低，評估遠未飽和
程式、prompt 與評估資料公開於 paulrosu11/training-auditing-agents-public。