一般的 RAG 先用 BM25 或向量相似度撈出一批段落，再交給語言模型生成回答。檢索器漏掉的段落，生成模型再強也救不回來。DecisionRAG 的做法是拿掉這個第一階段檢索器（first-stage retriever），讓決策模型（decision model）像人逛圖書館一樣，從主題走到文件、再走到段落，每一層只往看起來有希望的分支走下去。
這篇論文是〈Retriever-Free Retrieval: Navigating Documents with Decision Models〉，作者是 Cornell 資工系與 ASAPP 的研究者，包括 Chao Wan、Paul Jünger 與 Kilian Q. Weinberger 等人。論文在 2026 年 10 月 26 日上傳到 arXiv，目前是預印本，還沒經過同儕審查。下文的數字都是作者自己測的，目前沒有第三方重現。
它在「第一名有沒有找對」上明顯勝過向量檢索（dense retrieval）加 8B 重排器（reranker），每次查詢 1 到 2 秒。換成 GPT-5 重排當對手，準確率的差距就小很多，DecisionRAG 剩下的優勢主要在速度和成本。
這裡的 Jev 是 TypeSafe 的決策模型
論文預設使用的決策模型是 TypeSafe AI 的 Jev 1.13。TypeSafe 在 2026 年 9 月 15 日推出 Jev，稱它為 System One 模型：它不逐字生成文字，對一份共同的情境與一組問題，直接輸出每個問題各選項的機率。Jev 是商用閉源模型，權重和架構都沒有公開，要透過 API 呼叫。社群拿它做了哪些事，可以參考〈Jev 應用研究：從 Agent Context 到即時控制的社群案例〉。
OpenBMB 最近也發表了一個叫 MiniCPM-OCR Jev 的模型，它是從 Qwen3.5-2B 訓練出來的開放權重模型，專門判斷 OCR 結果有沒有讀錯，跟這裡的 Jev 只是同名，沒有關係。那個模型的整理見〈MiniCPM-OCR：1.3B 的文件解析模型，加上一個判斷 OCR 有沒有讀錯的評分模型〉。
決策模型怎麼判斷相關性？
DecisionRAG 用到決策模型的兩種判斷方式。
第一種是平行的是非題。把查詢和所有候選的描述放進同一份情境（context），對每個候選各問一題「這個值得往下找嗎」，模型在一次前向計算（forward pass）裡回答全部的題目，每題給出「是」的機率。這些機率各自只在「是」與「否」之間正規化，加起來不必等於 1，所以候選數只受情境長度限制，放不下時就拆成幾個平行請求。
第二種是選擇題：把幾個候選當成同一題的選項，模型給出一個加總為 1 的機率分布，候選之間直接互相競爭。Jev 一題最多 255 個選項，所以這種判斷只留到最後，用來重排是非題篩出的前幾名。
作者強調，讓候選放在同一份情境裡一起判斷很重要：一個單獨看起來相關的候選，旁邊出現更好的候選時，模型會給它較低的機率，分數因此可以互相比較。消融實驗裡，一起判斷比逐一判斷在 MultiDoc2Dial 的 R@1 高 7.7 分，在 Natural Questions 的 Hit@1 高 6.5 分。
怎麼沿著階層往下找？
- 整理出階層，例如「主題 → 文件 → 段落」。語料本身有結構時直接用；沒有時離線分群。Natural Questions 的 108,626 個 Wikipedia 頁面，作者用 e5-base-v2 嵌入每頁的標題和第一句，分成 1,000 群，再用 Qwen3-8B 替每一群寫一句摘要。
- 每一層用是非題篩選，只保留前 k 個分支，其餘直接剪掉（pruning），它們底下的節點不再評估。在 Natural Questions 上，第一層從 1,000 群留下 150 群，這 150 群約有 17,500 個頁面標題，拆成平行請求判斷，接著留下 30 個頁面，再判斷它們的段落。
- 最後用選擇題重排：對篩出的前幾名段落（Natural Questions 是前 5 段，其他測試是前 20 段）做一次選擇題，決定最終排序。
剪枝不能回頭：某一層剪掉的分支，這次查詢就不會再看。所以每層保留的數量偏向寬鬆，寧可多看一些。
同一層的判斷全部平行，延遲取決於階層有幾層，跟語料有幾段無關。作者的估算是：一次請求約 0.2 秒，若每個節點最多有 b 個子節點，N 個段落大約需要 ⌈log_b N⌉ 層。b = 100 時，十億個段落也只要五層，大約一秒。成本則隨判斷次數成長，每層最多判斷 k × b 個候選。
比起重排，它好在哪裡？
主要結果在四個測試上，以下列兩個最常被引用的，加上 GPT-5 重排的對照：
| 指標 | DecisionRAG（Jev） | 向量檢索前 100 段 + Qwen3-Reranker-8B | 向量檢索前 20 段 + GPT-5 重排 |
|---|---|---|---|
| MultiDoc2Dial R@1 | 47.4 | 33.6 | 47.5 |
| Natural Questions Hit@1 | 65.4 | 48.0 | 60.8 |
| Natural Questions R@10 | 86.7 | 89.0 | 88.9 |
向量檢索用的是 Qwen3-Embedding-8B。Natural Questions 的語料是 268 萬個 Wikipedia 段落，DecisionRAG 全部從階層頂端走下來，沒有先用任何檢索器縮小範圍。
和 8B 重排器比，DecisionRAG 在 MultiDoc2Dial 的 R@1 高 13.8 分、在 Natural Questions 的 Hit@1 高 17.4 分，這是摘要裡的主打數字。表格也顯示兩件摘要沒寫的事：
- 對 GPT-5 重排，MultiDoc2Dial 幾乎打平（47.4 對 47.5），Natural Questions 的 Hit@1 則高 4.6 分。在 ConditionalQA 上，GPT-5 的 Hit@1 是 73.4，高於 DecisionRAG 的 69.7。
- 放寬到前 10 名，優勢就不見了：Natural Questions 的 R@10，DecisionRAG 是 86.7，低於 Qwen3-Reranker 的 89.0 和 GPT-5 的 88.9。它強在把對的段落排到第一名；只要答案進入前十名就好的應用，它不見得比較好。
速度與成本方面，DecisionRAG 每次查詢的中位延遲是 0.68 到 1.76 秒，API 花費 0.22 到 2.33 美分。向量檢索加 Qwen3-Reranker-8B 在一張 RTX A6000 上要 3.3 到 14.3 秒，GPT-5 重排要 11.8 到 15.0 秒。Natural Questions 的語料大得多，延遲卻和 MTRAG 差不多（1.73 秒對 1.76 秒），符合「延遲看層數」的估算。
論文還有幾個結果和這個判斷有關：
- 和生成式導覽比：同樣的階層和保留數量，改讓 GPT-5 逐字寫出要保留哪些分支，準確率沒有一致的提升，延遲卻是 DecisionRAG 的 34 到 145 倍，花費是 21 到 25 倍。
- 對回答品質的影響：把各方法找到的前 5 段交給同一個生成模型（Qwen3.5-27B），在 MTRAG 上，DecisionRAG 的正確回覆率是 44.1%，向量檢索加 Qwen3-Reranker 是 39.4%，GPT-5 重排是 34.0%。MTRAG 原本的標註來自 ELSER 檢索的結果，作者另用 GPT-5 評判、補上一部分相關段落，這個比較因此有一部分依賴 GPT-5 的判斷。
- 加回向量檢索：把向量檢索的前 20 段併入最後一層的候選，各項指標都再提高：MultiDoc2Dial 的 R@1 從 47.4 升到 48.5，Natural Questions 的 R@10 從 86.7 升到 88.9。兩種方法找到的段落可以互補。
- 換成開放模型：拿 MultiDoc2Dial 的訓練資料把 Qwen3-8B 改成決策模型，R@1 升到 60.7，比已發表最好的專門訓練檢索器高 5.7 分。這套框架不綁定 Jev，只是論文的主要結果都靠它。
用之前要知道的限制
- 依賴好的階層。作者在限制一節自己承認：文件組織得亂、節點描述不清楚，檢索品質就會下降。剪枝不能回頭，祖先節點被剪掉，底下的相關段落就找不回來。
- 多看幾個分支要付錢。在 MultiDoc2Dial 上，每層保留的頁面從 3 頁加到 10 頁，R@10 從 81.0% 升到 83.6%，R@1 只從 46.9% 升到 47.4%，API 花費卻增加 83%，延遲增加 28%。
- 依賴閉源 API。主要結果用的是 Jev 1.13，要重現就得付費呼叫。TypeSafe 的模型文件說 Jev 以英文為主要訓練語言，中日韓文的工作負載建議自行評估；論文的四個測試都是英文資料，中文語料的效果還沒有數字。
參考資料
- Chao Wan、Paul Jünger 等，〈Retriever-Free Retrieval: Navigating Documents with Decision Models〉，arXiv.35868（HTML 全文），2026 年 10 月 26 日，CC BY 4.0。
- TypeSafe AI，Introducing System One Models & Jev、Models 文件。