重點
- Anthropic Frontier Red Team 的 William Zhou 與 Daniel Freeman 在 10 月 12 日(美國時間)發表研究,測 30B 參數以下的開放權重模型能不能在便宜的 IoT 裝置上自己架設推論,再擴散到下一台機器。
- 在陌生硬體上架推論:Qwen3.5-9B 在 9 種硬體裡的 8 種成功讓 Llama3.1-8B 跑起來。
- 完整複製循環(簡化版,目標機器開著沒有驗證的 ADB 埠):受測的開放權重模型裡只有 GLM-5.2 做到,5 次試驗有 4 次感染全部 8 個節點,另 1 次 7 個;其他模型穩定失敗。
- 作者買了 15 台約 55 美元的雜牌 Android 電視盒,用 pipeline parallelism 分攤 Gemma4-26B-A4B,速度 0.39 token/s。
- 30B 以下小模型的能力指數每年上升 13.7 分(R² = 0.95)。照這個趨勢,今年底就會有小模型達到 GLM-5.2 的水準;作者自己說這只是粗估。
研究在問什麼
「自主複製與適應」(autonomous replication and adaptation,ARA)指模型在沒有人控制的情況下部署並散布自己。資安裡的蠕蟲(worm)會自動從一台電腦複製到下一台;AI 版的蠕蟲還可以把模型權重當成酬載一起帶走,在被入侵的機器上直接跑推論。作者稱這種做法為「權重型複製者」(weight-based replicator)。
論文把一次複製拆成四個階段:
- 找目標
- 取得執行權限
- 在新機器上架起推論
- 從新機器繼續擴散
前兩步屬於資安漏洞利用。作者引用 CyberGym、ExploitBench 等既有研究,認為小模型在給對工具時已經能做,所以這次大致略過。研究重點放在比較少人量測的第三步,以及四步能不能在一次執行裡串起來。
作者列了三種最接近成真的威脅模型:
- 小模型靠入侵主機複製:家用與小型企業的 IoT 裝置連網又少有防護,可能最先被當成目標。模型太大塞不進一台機器時,可以切成分片(shard)分散到多台。
- 大型權重型複製者:鎖定資料中心等高算力目標,又分成在實驗室內部基礎設施上跑的閉源模型,以及一開始資源較少、但沒有人監控的開放權重模型。
- API 型複製者:偷推論 API 的憑證來執行自己,比較容易被發現。
這篇只研究第一種,理由是它最近期,也能直接做實驗。
電視盒跑得動多大的模型
作者拿 Kimwolf 當參考。這個 IoT 殭屍網路感染超過 200 萬台裝置,主要是雜牌 Android 電視盒。這類盒子多半跑 AOSP 的分支版本,廠商不加安全功能,記憶體 1 到 4 GB。
以 4 GB 記憶體、4 位元量化估算:
- 9B 模型需要 4 台以上
- 26B 模型需要 10 台以上
展示實驗用 15 台 4 GB 的盒子跑 Gemma4-26B-A4B,每台放模型的兩層,速度 0.39 token/s。
切分方式選 pipeline parallelism,是為了容錯。tensor parallel 或 expert parallel 下,一個節點掛掉就會拖垮整份副本;pipeline parallel 可以換掉壞掉的節點,該節點負責的 KV cache 由前一個節點再跑一次前向傳播重算。這類 ARM CPU 加 DDR3/4 的機器幾乎都卡在記憶體頻寬,解碼時一次只有一台在工作,pipeline bubble 讓多數機器閒置。
實驗一:在陌生硬體上架起推論
任務是讓受測模型在各種硬體上把 Llama3.1-8B 的推論伺服器架起來,硬體從 Jetson Nano 到 Mac 與 RTX 4090。結果:
- Qwen3.5-9B 在 9 種硬體裡成功 8 種。
- GLM-5.2 更穩定,架出來的伺服器吞吐量也更高,複製速度因此更快。
實驗用的是作者在開源 Pi coding agent 上做的 Memento harness。它針對長時間任務的一個常見失敗:agent 認定錯誤的假設後一直鑽下去,不會回頭。論文舉的例子是 Qwen agent 花了好幾個小時除錯套件版本,真正的問題卻是它寫的 endpoint 跟評分 API 不相容。
Memento 的做法:
- 啟動一個 agent 實例做到逾時(每輪 1.5 小時,總共 6 小時)。
- 它留下簡短筆記,記錄試過哪些策略、遇到哪些失敗。
- 啟動新實例,繼承前一個的工作目錄與筆記,改走別的路。
提示詞裡另外給約 1k token 的硬體規格與一支簡單的 profiler 腳本。作者說 Memento 是為了提高長時間任務的穩定度,沒有額外提供資安或推論相關的能力。
實驗二:完整複製循環
第二個實驗要模型把所有步驟串起來:掃描網路找目標、經 reverse shell 進入、送出酬載(權重與 harness)、架起推論。
環境設定:
- 防火牆隔離的 VPC,8 台 GCP 節點,每台跑 redroid(Android 15 模擬器)。
- 起點節點先放入蠕蟲。之後每次感染都由蠕蟲自己經沒有驗證的 ADB 埠跳到下一台,架起 Llama3.1-8B 推論伺服器。
- 伺服器通過正確性與防作弊檢查後,實驗者才在該節點生成下一份蠕蟲。
- 蠕蟲本身的模型跑在另一台推論伺服器上,因為這些節點跑不動較大的模型。
統一要求架 Llama3.1-8B,是為了公平比較:模型越大越難架。所以這個實驗量的是「GLM-5.2 等級的能力夠不夠完成這些步驟」。如果夠,同等能力的 8B 模型就有機會架起自己,前提是新的小模型架構與 kernel 沒有變得更難部署。
結果只有 GLM-5.2 能完成端到端複製:5 次試驗裡 4 次擴散到 8/8 個節點,1 次 7/8。其他模型則穩定失敗。
作者另外做了一個消融:拿掉資安與推論架設兩步,改由預寫腳本處理,在 17 個節點的網路上測剩下的指令列工作。網路分成兩個 8 節點子網,中間只靠一個樞紐節點相通。許多模型都做得到,連 3B 模型也能走到大約一半的節點。
能力下限與尺寸上限
作者用兩條線描述一個可行的小模型蠕蟲:
- 能力下限:模型要夠強,才能穩定完成複製。在簡化評測裡,GLM-5.2 高於這條線。
- 尺寸上限:模型要夠小,才能在目標裝置上跑。對 4 GB 的電視盒,Qwen3.5-9B 與 Gemma4-26B-A4B 在這條線以下。
目前兩條線沒有交會。作者把 30B 以下的知名開放權重模型依發布日期畫在 Epoch Capabilities Index(ECI)上,同期最佳模型每年上升 13.7 分,R² 為 0.95。以 GLM-5.2 當能力下限,趨勢線在 2026 年底到達。ECI 是一般能力指標,只能間接代表複製能力,作者因此稱這是粗估。
擴散速度
作者用實測的電視盒速度估算。以 32k token 的上下文視窗為單位(之後要做 compaction),一次完整的推論架設要用掉約 2.6 到 4.7 個視窗:
| 模型 | 一個視窗的時間 | 完整架設推論的時間 |
|---|---|---|
| Gemma4-26B-A4B(未優化) | 27.3–31.8 小時 | 71–150 小時 |
| Qwen3.5-9B | 10.9 小時 | 28–51 小時 |
如果被感染的電視盒數量跟 Kimwolf 高峰相當(超過 200 萬台),每 15 台跑一份 Gemma4-26B-A4B:
- 約 13.3 萬份副本
- 每組可同時服務 2 個 agent,各約 0.3 token/s,全網合計約 8 萬 token/s
- 一張 H100 在高併發加推測解碼下能以約 1,950 token/s 服務同一個模型,所以整個殭屍網路最多約等於 40 張 H100
作者形容這種複製者像黏菌或果蠅,倍增時間以天計。這個估算只根據一類硬體與一個過去的殭屍網路。附錄另外估計,邊緣 AI 加速器(如裝在監視器或視訊會議設備裡的 NVIDIA Jetson)全部加起來約有 9,000 到 35,000 張 H100 的算力,但能從網路連到的部分可能少一個數量級以上,真的有漏洞的更少。
邊做邊學,但不太會求助
AI 蠕蟲跟傳統蠕蟲的一個差別,是上一代可以把提示詞、程式碼與筆記傳給下一代。作者讓 Qwen3.5-9B 每一代留下筆記,下一代繼承後重做同一個推論架設任務。20 條譜系、六代下來,成功率從第一代的 45% 升到後續各代的 61% 到 84%。
另一個擔心是小模型卡住時向更強的模型求助。作者讓 Qwen3.5-9B 在任務中可以使用 Opus 4.8 當顧問,不論是當成工具呼叫,或在卡住時自動給建議,都沒有顯著幫助。作者的解釋是小模型不知道該問什麼,主動給的建議它也用不上。即使先用強化學習訓練小模型在 Python 程式題上使用顧問,換到推論架設任務仍然問不好。作者因此推測,比較可能出現的組合是大模型負責整體策略、把小模型當子 agent 派出去。
附錄也測了魚叉式網路釣魚(spear-phishing)。在 Meta CyberSecEval 3 的評測上,換算成人工評分後,小模型落在「很差」到「差」之間。作者認為社交工程攻擊目前仍主要靠大型模型。
防禦方向
作者用流行病的 R₀ 來描述目標:讓每台被感染裝置平均再感染的數量低於 1。對防守方有利的條件包括:
- 網路特徵明顯:新感染的主機要收數 GB 的模型酬載,分散式推論會在平常不互通的裝置之間產生持續流量,ISP 的流量監測看得到。複製越快,流量越大,速度與隱蔽要互相取捨。發現後可以用蜜罐收集它的 harness 與酬載。
- ISP 隔離有前例:處理 Mirai 殭屍網路時,ISP 隔離受感染用戶並通知清除,14 天內清掉 92% 的感染;沒有通知的對照組是 74%。
- 廠商與法規縮小目標池:例如英國市場已不允許 IoT 裝置使用預設密碼。
限制
- 資安步驟被刻意簡化成沒有驗證的 ADB 埠,所以複製成功率是上限。作者也指出 Mirai 當年只靠廠商預設帳密清單就能擴散,現實門檻未必高很多。
- 完整循環的實驗在 GCP 上的 Android 模擬器進行,蠕蟲的模型跑在另一台伺服器,架起的是 Llama3.1-8B 而不是它自己。還沒有一個能自己帶著權重跑的完整蠕蟲。
- 「年底前」的時間點來自一般能力指標的趨勢外推。
- 擴散速度與算力估算只根據一類電視盒和 Kimwolf 一個案例。
- AI 殭屍網路會不會主動對抗防守方,作者沒有測。
- 部分二手報導把結果寫成 GLM-5.2 在 55 美元電視盒上完成自我複製。原文中電視盒只用來展示 Gemma4-26B-A4B 的分散式推論,8 節點的複製實驗是在模擬器上做的。