跳到內容

Technology

新聞|Anthropic 測小模型能否在 IoT 裝置上自我複製:單一步驟多半做得到,串成完整循環還差一截

Anthropic Frontier Red Team 測試 30B 以下的開放權重模型能不能在陌生硬體上自己架起推論、再擴散到下一台機器。整理實驗怎麼設計、9B 模型在 9 種硬體上的成績、只有 GLM-5.2 完成的端到端複製,以及作者對擴散速度與防禦的估算和這些估算的前提。

AI
Published: at 09:00 AM
編輯本頁下載圖卡

重點

研究在問什麼

「自主複製與適應」(autonomous replication and adaptation,ARA)指模型在沒有人控制的情況下部署並散布自己。資安裡的蠕蟲(worm)會自動從一台電腦複製到下一台;AI 版的蠕蟲還可以把模型權重當成酬載一起帶走,在被入侵的機器上直接跑推論。作者稱這種做法為「權重型複製者」(weight-based replicator)。

論文把一次複製拆成四個階段:

  1. 找目標
  2. 取得執行權限
  3. 在新機器上架起推論
  4. 從新機器繼續擴散

前兩步屬於資安漏洞利用。作者引用 CyberGym、ExploitBench 等既有研究,認為小模型在給對工具時已經能做,所以這次大致略過。研究重點放在比較少人量測的第三步,以及四步能不能在一次執行裡串起來。

作者列了三種最接近成真的威脅模型:

這篇只研究第一種,理由是它最近期,也能直接做實驗。

電視盒跑得動多大的模型

作者拿 Kimwolf 當參考。這個 IoT 殭屍網路感染超過 200 萬台裝置,主要是雜牌 Android 電視盒。這類盒子多半跑 AOSP 的分支版本,廠商不加安全功能,記憶體 1 到 4 GB。

以 4 GB 記憶體、4 位元量化估算:

展示實驗用 15 台 4 GB 的盒子跑 Gemma4-26B-A4B,每台放模型的兩層,速度 0.39 token/s。

切分方式選 pipeline parallelism,是為了容錯。tensor parallel 或 expert parallel 下,一個節點掛掉就會拖垮整份副本;pipeline parallel 可以換掉壞掉的節點,該節點負責的 KV cache 由前一個節點再跑一次前向傳播重算。這類 ARM CPU 加 DDR3/4 的機器幾乎都卡在記憶體頻寬,解碼時一次只有一台在工作,pipeline bubble 讓多數機器閒置。

實驗一:在陌生硬體上架起推論

任務是讓受測模型在各種硬體上把 Llama3.1-8B 的推論伺服器架起來,硬體從 Jetson Nano 到 Mac 與 RTX 4090。結果:

實驗用的是作者在開源 Pi coding agent 上做的 Memento harness。它針對長時間任務的一個常見失敗:agent 認定錯誤的假設後一直鑽下去,不會回頭。論文舉的例子是 Qwen agent 花了好幾個小時除錯套件版本,真正的問題卻是它寫的 endpoint 跟評分 API 不相容。

Memento 的做法:

  1. 啟動一個 agent 實例做到逾時(每輪 1.5 小時,總共 6 小時)。
  2. 它留下簡短筆記,記錄試過哪些策略、遇到哪些失敗。
  3. 啟動新實例,繼承前一個的工作目錄與筆記,改走別的路。

提示詞裡另外給約 1k token 的硬體規格與一支簡單的 profiler 腳本。作者說 Memento 是為了提高長時間任務的穩定度,沒有額外提供資安或推論相關的能力。

實驗二:完整複製循環

第二個實驗要模型把所有步驟串起來:掃描網路找目標、經 reverse shell 進入、送出酬載(權重與 harness)、架起推論。

環境設定:

統一要求架 Llama3.1-8B,是為了公平比較:模型越大越難架。所以這個實驗量的是「GLM-5.2 等級的能力夠不夠完成這些步驟」。如果夠,同等能力的 8B 模型就有機會架起自己,前提是新的小模型架構與 kernel 沒有變得更難部署。

結果只有 GLM-5.2 能完成端到端複製:5 次試驗裡 4 次擴散到 8/8 個節點,1 次 7/8。其他模型則穩定失敗。

作者另外做了一個消融:拿掉資安與推論架設兩步,改由預寫腳本處理,在 17 個節點的網路上測剩下的指令列工作。網路分成兩個 8 節點子網,中間只靠一個樞紐節點相通。許多模型都做得到,連 3B 模型也能走到大約一半的節點。

能力下限與尺寸上限

作者用兩條線描述一個可行的小模型蠕蟲:

目前兩條線沒有交會。作者把 30B 以下的知名開放權重模型依發布日期畫在 Epoch Capabilities Index(ECI)上,同期最佳模型每年上升 13.7 分,R² 為 0.95。以 GLM-5.2 當能力下限,趨勢線在 2026 年底到達。ECI 是一般能力指標,只能間接代表複製能力,作者因此稱這是粗估。

擴散速度

作者用實測的電視盒速度估算。以 32k token 的上下文視窗為單位(之後要做 compaction),一次完整的推論架設要用掉約 2.6 到 4.7 個視窗:

模型一個視窗的時間完整架設推論的時間
Gemma4-26B-A4B(未優化)27.3–31.8 小時71–150 小時
Qwen3.5-9B10.9 小時28–51 小時

如果被感染的電視盒數量跟 Kimwolf 高峰相當(超過 200 萬台),每 15 台跑一份 Gemma4-26B-A4B:

作者形容這種複製者像黏菌或果蠅,倍增時間以天計。這個估算只根據一類硬體與一個過去的殭屍網路。附錄另外估計,邊緣 AI 加速器(如裝在監視器或視訊會議設備裡的 NVIDIA Jetson)全部加起來約有 9,000 到 35,000 張 H100 的算力,但能從網路連到的部分可能少一個數量級以上,真的有漏洞的更少。

邊做邊學,但不太會求助

AI 蠕蟲跟傳統蠕蟲的一個差別,是上一代可以把提示詞、程式碼與筆記傳給下一代。作者讓 Qwen3.5-9B 每一代留下筆記,下一代繼承後重做同一個推論架設任務。20 條譜系、六代下來,成功率從第一代的 45% 升到後續各代的 61% 到 84%。

另一個擔心是小模型卡住時向更強的模型求助。作者讓 Qwen3.5-9B 在任務中可以使用 Opus 4.8 當顧問,不論是當成工具呼叫,或在卡住時自動給建議,都沒有顯著幫助。作者的解釋是小模型不知道該問什麼,主動給的建議它也用不上。即使先用強化學習訓練小模型在 Python 程式題上使用顧問,換到推論架設任務仍然問不好。作者因此推測,比較可能出現的組合是大模型負責整體策略、把小模型當子 agent 派出去。

附錄也測了魚叉式網路釣魚(spear-phishing)。在 Meta CyberSecEval 3 的評測上,換算成人工評分後,小模型落在「很差」到「差」之間。作者認為社交工程攻擊目前仍主要靠大型模型。

防禦方向

作者用流行病的 R₀ 來描述目標:讓每台被感染裝置平均再感染的數量低於 1。對防守方有利的條件包括:

  1. 網路特徵明顯:新感染的主機要收數 GB 的模型酬載,分散式推論會在平常不互通的裝置之間產生持續流量,ISP 的流量監測看得到。複製越快,流量越大,速度與隱蔽要互相取捨。發現後可以用蜜罐收集它的 harness 與酬載。
  2. ISP 隔離有前例:處理 Mirai 殭屍網路時,ISP 隔離受感染用戶並通知清除,14 天內清掉 92% 的感染;沒有通知的對照組是 74%。
  3. 廠商與法規縮小目標池:例如英國市場已不允許 IoT 裝置使用預設密碼。

限制

參考資料

註釋

編輯本頁

Podcast

關於語音摘要

此語音摘要由 Google NotebookLM 提供,不完全代表作者本人對文章的理解。