
Reins 的論文指出,GPT-6.1 Sol、GPT-6 Astra、Claude Opus 5.5 這些前沿模型已經能規劃步驟、呼叫工具,但要它們操控真實機器人,完成步驟多、需要接觸物體的長時間操作,還是很難。論文的說法是,手臂在動的時候、模型在思考的時候,模型都看不見(blind while the arm moves and while they think)。
以論文的杯子猜球(shell game)為例。操作員把三個杯子洗 20 到 30 秒,機器人第一個拿起的杯子必須蓋著紅色物體。GPT-6.1 Sol 只拿到原始影像和幾個基本動作(垂直往下移、等待、看)時,五個回合(episode)全輸:其中四個回合在 60 次呼叫裡閉合夾爪 6 到 9 次,一個杯子也沒拿起來,另一個回合拿錯杯子。同一個模型改用 Reins 操作,五個回合全贏。
這篇論文是〈Reins: Frontier Multimodal Models Driving Real Robot Arms on Long-Horizon Tasks, Zero-Shot〉,2026 年 11 月 12 日上傳到 arXiv,採 CC BY-NC-SA 4.0 授權。作者六人:Pengfei Ye、Zhiyang Dou、Yuxiang Ma、Edward H. Adelson 在 MIT 的電腦科學與人工智慧實驗室(CSAIL),Haonan Chen、Heng Yang 在哈佛大學。正文只有四節。PDF 頁尾印著第十屆機器人學習會議(CoRL 2026),專案頁的 BibTeX 則標為延伸摘要(extended abstract)。論文說程式碼會在發表時釋出;截至 11 月 16 日,專案頁的程式碼連結仍標著「coming soon」,本文也沒有找到第三方重現。下文的實驗數字都是 Ye 等人自己測的。
Reins 是執行框架(harness)。現成的模型不經過機器人訓練,直接透過它提供的 3D 感知工具和原子動作操控一台雙臂機器人,原子動作做完會回報有沒有碰到東西、有沒有夾住。框架裡沒有技能庫,也沒有針對任務寫的程式,任務知識只從自然語言提示進來。Ye 等人指出,Reins 和先前做法的差別在兩個設計。第一是帶檢查的動作串(guarded chain):模型一次呼叫可以串起好幾個原子動作,每個動作附上一項必須通過的檢查,遇到第一個沒通過的檢查就停。第二是旁白者(narrator):同一個模型的另一個實例持續看鏡頭,把場景的變化附在每次動作的結果裡,交給操控手臂的模型。
Ye 等人報告,GPT-6.1 Sol 在五項任務的 25 個真實回合裡成功 22 個(88%)。這個數字要連同實驗設定一起看:每組只跑 5 個回合,全在同一個機器人平台上,成功與否由操作員判定;另外兩個模型只測了五項任務中的兩項。Sol 和另外兩個模型的旁白者延遲也不一樣:Sol 用 Ultrafast 服務等級,它的旁白者每次回應 1 到 6 秒;Astra 和 Opus 的旁白者用標準等級,要 3 到 40 秒。
以下我先說明模型怎麼看、怎麼動手,再說明動作串、旁白者、對話歷史的管理和場景分身(simulation-ready twin),最後整理結果和限制。
模型怎麼看到東西、怎麼動手?
機器人是兩隻六自由度的 AirBot Play 手臂,裝原廠的平行夾爪,共用一張桌子;頭部和兩隻手腕各有一台 RGB-D(彩色加深度)相機。操控手臂的模型叫執行者(actor)。每次決策,執行者依任務提示和目前的對話歷史,輸出一個工具呼叫或一串呼叫;結果包括量測值、新的影像、兩隻手臂的狀態,以及旁白者在上次結果之後的紀錄,全部加進對話歷史。
一個回合的總時間是每次決策的模型延遲加上執行時間。在 Ye 等人的實驗裡,延遲占總時間的 41% 到 78%。Ye 等人據此認為,每次決策應該涵蓋好幾個經過檢查的步驟(實際平均是 1.6 到 3.4 步),而且執行者思考的時候,場景可能已經變了。
執行者可以呼叫 18 個工具(論文附錄 B 表 2):
| 類別 | 工具 | 作用 |
|---|---|---|
| 感知 | look、find、measure | 取得頭部與手腕的新影像;用 SAM 3 影像分割模型在 RGB-D 影像上找出指定名稱的每個物體,登記成帶 3D 位置的編號;把像素轉成機器人基座座標系裡的 3D 點 |
| 移動 | move_above、move_relative、descend、lift、tilt、move_until_contact、follow_path、home、wait | 移到物體上方、相對移動(每軸最多 0.15 m)、垂直下降與上升、轉動工具、直線移動到接觸為止、連續走過一串點、回到原位、等待最多 120 秒 |
| 夾爪 | open_gripper、close_gripper | 張開到指定寬度;逐步閉合,指尖停住就停,並回報有沒有夾住東西 |
| 任務 | plan、mark_step、done | 記錄任務步驟、為某一步登記觀察到的證據、結束回合(還有未完成的步驟時會被拒絕) |
| 動作串 | do | 串起最多 8 個上面的工具,見下一節 |
find 和 measure 把物體名稱或影像上的一點轉成 3D 座標,用手臂自己的手腕相機時,精度約 1.6 mm。接觸只靠兩種訊號判斷:move_until_contact 每秒讀約 25 次關節電流,電流顯示碰到東西就停;close_gripper 從夾爪停住的位置判斷有沒有夾住。每次結果都附上兩隻手臂的狀態(工具位置與角度、夾爪開口、各自拿著什麼)和新的影像。
帶檢查的動作串怎麼運作?
do 執行一串動作,最多 8 個呼叫,連同重複總共最多執行 16 次。每一步 有四個成分:要用的工具 、每次結果都必須通過的檢查 、停止條件 ,以及最多重複幾次 。第 步最多執行 次, 成立就停;每次的結果 都要通過 。整串動作做完最後一步就停;中途遇到第一次沒通過檢查的執行,或某一步重複次數用完、停止條件仍不成立,也會停下(論文式 1):
以論文圖 1 的抽屜回合為例。第 43 秒,Sol 呼叫 do[move_above(lip), close_gripper],結果回報夾爪幾乎沒動,開口從 24.9 mm 變成 24.8 mm,判定沒有夾住。第 51 秒,Sol 改呼叫 do[move_relative, close_gripper],這次回報夾住了,指尖相距 9.1 mm。第 68 秒,它呼叫 do[follow_path],重複三次,檢查夾爪開口保持在 6 到 12 mm 之間,停止條件是 y 座標小於 0.097 m。三次各拉 3.2 cm,開口維持在 9 mm,但 y 座標的停止條件到最後仍不成立,所以這串動作停下來回報結果,交回給執行者決定下一步。
把檢查寫在動作上的做法很早就有。Ye 等人舉的前例是 Will 與 Grossman(1975)、Lozano-Pérez 等人(1984)的防護移動(guarded move),以及任務與運動規劃(task and motion planning)裡的動作條件(action conditions);Reins 的差別在檢查由模型在執行時寫出來。他們拿 Show-Harness 對照:它在真實硬體上以每步 2 到 4 cm 移動手臂,任務多半是取放,動作區塊以開迴路(open-loop)執行,也就是中途不檢查結果。
旁白者怎麼回報執行者思考時的變化?
動作串讓一次決策涵蓋好幾步,但執行者思考的那段時間仍然看不到場景。旁白者是同一個模型的另一個實例,在一段持續的對話裡以每秒 1 張的速度看頭部相機。第 次呼叫收到時間窗 裡的畫面(最多 20 張,手臂移動時另加手腕相機的畫面),經過延遲 後回傳一筆紀錄,執行者在下一次工具結果的 what_happened 欄位收到這筆紀錄。
下一個時間窗在這次呼叫回傳時關閉,也就是 。所以(論文式 2):
也就是說,每個時間窗的長度等於上一次呼叫的延遲,旁白者已經回報到的最新畫面,是一到兩個延遲之前拍的。旁白者越快,時間窗越短,同一段場景變化就分成越多段回報。杯子猜球的洗牌持續 20 到 30 秒,Sol 的旁白者(Ultrafast 等級)每次回應 1 到 6 秒,一次洗牌分 8 到 11 個時間窗看完;Astra 和 Opus 的旁白者(標準等級)要 3 到 40 秒,只分 2 到 4 個。論文圖 2b 有具體的例子:Astra 處理第 1 到 16 秒畫面的那次呼叫花了 22 秒,下一次呼叫因此累積了 22 張畫面,只送出 20 張。
旁白者每次只回覆這個時間窗新增的內容:一筆紀錄、一筆更正,或「NO CHANGE」(沒有變化)。框架替回覆標上時間窗的起訖,連續沒有變化的時間窗併成一行(附錄 A)。外觀相同的物體,旁白者用第一次看到的位置稱呼,例如「the original middle mug」,所以杯子被洗過之後,旁白者仍能分辨哪個是哪個。圖 2b 對照了 Astra 和 Opus 的旁白者在杯子猜球裡的紀錄。Astra 的旁白者寫下,原本中間那個杯子(蓋著紅色蓋子)從墊子的右後方移到左後方,再往前,再橫越到右側,執行者選中蓋著紅色物體的杯子。Opus 的旁白者則寫道,杯子在重疊的位置之間交換了太多次,它跟不上哪個是哪個,執行者選到空杯。
長回合的對話歷史怎麼管?
附錄 A 說明框架怎麼控制對話長度。回合裡的文字,包括每一步推理、工具結果和量測值,一直保留到回合結束;影像只保留到下一次壓縮(compaction)。提示從上次壓縮以來增加 30k 個 token 時,框架一次把影像換成一行的替代文字,只留最新一輪帶影像的對話。模型從舊影像得到的資訊仍然留著:find 登記的物體編號、量過的像素和結果。
壓縮做得少、一次做完,是配合提示快取的規則:Ye 等人使用的服務管道只在新提示延伸了某個已完整送過的提示時,才重用快取,所以每改一次早先的歷史,就要全價重讀一次。他們試過兩種較差的做法。文字超過固定預算就壓縮,每次呼叫都會改動歷史:在一個 65 次呼叫的回合裡,第一次壓縮之後,每次呼叫都全價重讀 45k 到 54k 個 token,占那個回合未命中快取 token 的 90%。滑動視窗只保留最新兩輪帶影像的對話、每次呼叫前都改動歷史,結果快取的前綴縮到只剩 6.3k token 的系統提示,Ultrafast 等級下執行者每次呼叫的成本從 0.24 美元升到 0.85 美元,呼叫也沒有變快。
旁白者的對話每 60 張畫面(約一分鐘)重開一次,帶入回合的第一張畫面和到目前為止的紀錄。Ye 等人用畫面數決定何時重開,不用 token 數,因為各模型編碼一張畫面的成本不同:Claude Opus 5.5 一張畫面約用 600 到 700 個 token,GPT-6 約 240 個。用 15k token 的預算時,Opus 的旁白者平均每 1.9 次呼叫就重開一次,一個抽屜回合重開了 43 次,輸入只有 32% 來自快取。
附錄 A 表 1 統計了 45 個計入的回合(counted episodes),論文沒有說明是哪些。依實驗設計推算,Sol 五項任務各 5 個回合、Astra 和 Opus 各兩項任務各 5 個回合,合計正好 45,也就是不含 Sol 拿掉旁白者和拿掉框架的兩組各 5 個回合(本文的推算)。三個模型的數字如下:
| 模型 | 執行者輸入 token 來自快取的比例 | 旁白者輸入 token 來自快取的比例 | 每回合壓縮次數,中位數(最大值) | 每回合最長提示,中位數(最大值) |
|---|---|---|---|---|
| GPT-6.1 Sol | 90% | 73% | 1(5) | 61k(171k) |
| GPT-6 Astra | 91% | 68% | 1(2) | 45k(65k) |
| Claude Opus 5.5 | 88% | 56% | 2(3) | 71k(114k) |
表 1 的說明指出,旁白者的比例比較低,因為每次重開都要全價重讀第一張畫面和累積的紀錄。
場景分身做什麼用?
Reins 另有一個工具 model_scene,從頭部相機的一張校準過的 RGB 畫面,在 MuJoCo 物理引擎裡重建桌上的場景(附錄 C)。這個工具沒有用在論文第 3 節的真實回合裡。模型先替畫面裡的物體命名、分類、框出位置。每個物體再依類別用參數化模型建成:杯子是旋轉出來的中空輪廓加上把手,抽屜櫃的抽屜裝在滑動關節上,毛巾和襯衫是可變形的布。工具再透過校準過的相機,把這些參數化模型對齊 SAM 分割出的輪廓,求出位置與尺寸;外觀由反向渲染求得,質量和慣性由封閉網格算出。每個可移動的物體都要通過一組檢驗(附錄 C 表 3),才算能用於模擬。
五項任務的場景裡,14 個可移動物體有 11 個通過檢驗,每個分身裡由動作捕捉手(mocap hand)照腳本執行的任務都能做完;這些腳本不由模型驅動。只有剛體的場景,用 12 個 CPU 核心建一次要 9 到 12 分鐘。Ye 等人打算把成功的回合整理成可重用的動作串和檢查,先在場景分身裡演練,讓同一個模型用更短的提示更快完成任務;這部分還是未來的工作。
五項任務測到什麼結果?
五項任務是:
- 杯子猜球:操作員把三個杯子洗 20 到 30 秒,第一個拿起的杯子必須蓋著紅色物體。
- 抽屜:抓住 3 到 4 mm 寬的抽屜邊緣把抽屜拉開,放進一塊積木,再關上。
- 毛巾:把毛巾摺兩次。
- 襯衫:兩隻手臂把袖子摺進去,再把襯衫摺兩次。
- 掃地:一隻手臂拿畚箕,另一隻把物體掃進去。
抽屜和掃地的任務提示另外寫了抓法和姿勢。每個回合從零位姿態開始,成功與否由操作員判定;每組跑 5 個回合,三個模型都用高推理強度。下表整理論文圖 2a,時間是中位數,成本是每回合的平均 API 費用:
| 任務 | 模型與設定 | 成功 | 時間(分鐘) | 成本(美元) |
|---|---|---|---|---|
| 杯子猜球 | Sol | 5/5 | 1.1 | 1.40 |
| 杯子猜球 | Astra | 4/5 | 3.6 | 1.99 |
| 杯子猜球 | Opus | 2/5 | 4.7 | 3.14 |
| 杯子猜球 | Sol,沒有旁白者 | 2/5 | 1.4 | 0.76 |
| 杯子猜球 | Sol,沒有框架 | 0/5 | 8.6 | 2.66 |
| 抽屜 | Sol | 5/5 | 4.4 | 4.87 |
| 抽屜 | Astra | 5/5 | 6.7 | 4.89 |
| 抽屜 | Opus | 5/5 | 9.5 | 5.28 |
| 毛巾 | Sol | 4/5 | 6.0 | 4.83 |
| 襯衫 | Sol | 3/5 | 15.5 | 15.51 |
| 掃地 | Sol | 5/5 | 5.0 | 8.23 |
Sol 在五項任務的成功數加起來是 22/25,也就是摘要的 88%。摘要說沒有框架時,Sol 每場杯子猜球都失敗,而且花了 8 倍的時間;表中沒有框架的中位時間是 8.6 分鐘,有框架是 1.1 分鐘,8.6 ÷ 1.1 ≈ 7.8,與摘要的「8 倍」相符。專案頁另外展示三項任務(拉燈、疊積木金字塔、擦白板),這三項是示範,不在評估範圍內。
三個模型開抽屜都是 5/5,差距出現在杯子猜球,也就是執行者等待時場景一直在變的任務。拿掉旁白者,Sol 只贏 2 場。Ye 等人用式 2 解釋三個模型的差別:旁白者越快,看到的時間窗越多。Astra 和 Opus 的旁白者都只分 2 到 4 個時間窗看洗牌。Ye 等人判定,Astra 的旁白者在 5 個回合裡有 4 個追蹤到紅色物體,Opus 的一個也沒有;Opus 贏的 2 場,他們判定是猜中的。
這些數字有哪些限制?
Ye 等人自己列了四項限制:任務知識只從自然語言提示進來;接觸只從關節電流和夾爪開口感知;只測了一個平台,每組 5 個回合;旁白者慢的時候,快速的變化會晚報(式 2)。
下面幾點是本文的判斷:
- 88% 是 Sol 一個模型的成績。摘要說三個模型表現相近(perform alike),差在追蹤執行者思考時變動的場景;但三個模型都有數字的任務只有兩項:抽屜三者都 5/5,杯子猜球是 5/5、4/5、2/5,其餘三項任務只測了 Sol。所以「表現相近」只建立在抽屜這一項、每個模型 5 個回合上。
- 每組 5 個回合,一個回合就是 20 個百分點。杯子猜球裡 Sol 的 5/5 對 Opus 的 2/5,以 Fisher 精確檢定(雙尾)計算,p ≈ 0.17(本文計算);Sol 有旁白者的 5/5 對沒有旁白者的 2/5 也是這組數字,p 值相同。兩組差距都沒有達到常用的 0.05 顯著水準。
- Sol 用 Ultrafast 等級,Astra 和 Opus 的旁白者用標準等級。依論文自己的式 2,延遲本身就會改變旁白者看到幾個時間窗,所以 Opus 在杯子猜球落後 Sol 的差距,可能有一部分來自延遲。Astra 和 Opus 同在標準等級,論文報告兩者都只分 2 到 4 個時間窗看洗牌,追蹤成功的回合是 4/5 對 0/5(Fisher 精確檢定雙尾 p ≈ 0.048,本文計算);這段差距看來不能只用時間窗的數目解釋,但每組只有 5 個回合,論文也沒有報告兩者的延遲分布。
- 抽屜和掃地的提示另外寫了抓法和姿勢,所以這兩項任務的成功也包含提示裡的人類知識,對應 Ye 等人列的第一項限制。
參考資料
- Pengfei Ye、Zhiyang Dou、Yuxiang Ma、Haonan Chen、Heng Yang、Edward H. Adelson,〈Reins: Frontier Multimodal Models Driving Real Robot Arms on Long-Horizon Tasks, Zero-Shot〉,arXiv:2611.16632(HTML 全文 v1),2026 年 11 月 12 日。圖 2a 在 HTML 版只有縮圖,數字以 PDF 版為準。
- 專案頁:reins-robot.github.io。