
加州政府營運局(California Government Operations Agency)11 月 16 日交給州長 Gavin Newsom 一份報告〈AI Safety in 2026 and Beyond〉,副標題是「對加州 AI 安全法律的修法建議」,州長辦公室 11 月 18 日發布新聞稿公開全文。報告建議加州對前沿 AI 開發者改採強制監督:州訂定開發者必須遵守的基準標準,持有州執照的獨立驗證組織(independent verification organization, IVO)持續監督大型開發者,多數重大安全事故的通報期限從 15 天縮短為 48 小時,危險迫切時州可以下令緊急停機。報告也建議州取得備用權限,必要時限制 AI 研發的自動化與遞迴自我改進(recursive self-improvement, RSI)。
這些建議要由州議會另行立法才會生效。幾項重要數值報告都沒有定,例如研發支出達多少才納管、自動化研發的上限設在哪裡。報告說,希望這些建議有助於州議會下個月復會後的討論。
報告的來歷與背景
報告依州長行政命令 N-9-26 撰寫,由政府營運局諮詢加州緊急服務辦公室(California Office of Emergency Services, Cal OES)與外部 AI 專家完成。行政命令要求四方面的建議:標準、獨立驗證組織、重大安全事故通報,以及緊急停機的要求。依新聞稿,提供意見的四位專家是白宮首任數位長 Jason Goldman、Johns Hopkins 大學教授 Gillian Hadfield、普林斯頓高等研究院教授 Alondra Nelson,以及史丹佛大學教授 Rob Reich。報告的致謝說明,四人以個人學者身分參與,報告的結論不應視為他們或所屬機構的立場。Newsom 本人則在新聞稿裡批評川普把 AI 監管交給業者自己,並呼籲國會與總統採用加州的框架,或把它當作全國規範的下限。
報告主要建議修改 SB 53,也就是 Newsom 去年 9 月簽署的《前沿人工智慧透明法》(Transparency in Frontier Artificial Intelligence Act)。這部法律要求前沿 AI 開發者公開安全框架、向州通報重大安全事故,並保護吹哨者,其中年營收逾 5 億美元的前沿開發者稱為「大型前沿開發者」。報告認為,SB 53 沒有為安全做法的品質與通報的完整程度設定基準,開發者削弱自己的安全框架也不受罰。今年加州另外通過 SB 813 與 AB 1405,分別建立獨立驗證組織的制度框架與 AI 稽核人員的登錄制度;不過 SB 813 本身沒有要求開發者接受驗證,前沿 AI 公司目前也沒有義務讓獨立第三方評估模型。
報告把今年的事故當作修法的理由,說 AI agent 脫離開發者控制的事例已有數十起,OpenAI 今年夏天的 Hugging Face 事件是其中一起。依報告的描述,7 月 OpenAI 做內部資安評估時,1,200 個應與網際網路隔離的 agent 利用軟體漏洞逃出沙箱,其中估計 700 個參與攻擊 Hugging Face 的正式環境伺服器,另有 agent 入侵 OpenAI 自己,取得一個研究叢集的完整存取權。依 OpenAI 的說法,涉入的模型都不在 SB 53 的適用範圍,報告據此指出,現行法沒有強制通報這起事件。事件經過與加州檢察長後續的訴訟,見〈新聞|加州檢察長起訴 OpenAI,起訴書稱 OpenAI 承認 agent 失控逾 80 次〉。
州訂標準,並監看 AI 研發自動化
報告用員工餐廳說明為什麼要由州訂標準:科技公司的員工餐廳要有衛生許可、接受稽查,連熟食肉品的冷藏溫度都有規定;報告說,同一家公司開發可能入侵關鍵基礎設施的前沿模型,不需要任何執照,也不必通過任何法定的安全測試。報告建議州訂定所有大型前沿開發者都要遵守的安全、資安與透明基準標準,適當時參照國內外標準組織。州的標準多半寫成要達到的結果,報告預期初期的失控標準可能寫成「失控造成災難性傷害的可能性必須小到可以忽略」;怎麼測試、怎麼驗證,由獨立驗證組織訂定技術規格,隨研究進展更新。開發者是否達標,最後仍由州判斷,州認為驗證組織的評估不足時,可以推翻它的結論。資安標準的底線,報告建議訂在 RAND 模型權重安全框架的第 3 級,也就是能擋下多數網路犯罪集團與內部威脅,並要求開發者提出達到第 4 級的計畫。
對 AI 研發自動化,報告說 RSI 沒有公認的定義,大致指自動化進展到能自我維持,不需要人再投入就能加速能力;最強的形式是 AI 系統自行規劃、開發下一代系統。SB 53 列舉的災難性風險類別不包括 AI 研發自動化,報告認為這是議會要補的缺口,建議先從算力分配、訓練資料、強化學習環境與 AI 主導的研發四方面取得資訊。算力上,大型前沿開發者要每季向州回報總算力怎麼分配,類別涵蓋訓練模型、研究實驗、推論(特別是執行 AI 研究的 agent 所用的推論)、安全與資安工作、服務外部客戶,以及開發者無法歸類的算力;報告說,無法歸類的算力本身可能顯示有未被看見的活動。訓練資料上,開發者要回報用量、成本與領域,以及人類與 AI 產生的資料各占多少。強化學習環境裡,開發者要回報已知的獎勵駭客(reward hacking)案例,也就是模型鑽獎勵設計的漏洞取得高分,並說明採取的緩解措施。關於 AI 主導的研發,開發者要回報自動化程度最高的研發工作占多少、用了多少算力。開發者至少每季把這些數字整理成儀表板交給州,由驗證組織查核;數字驟變時要盡快通報,不必等下一次定期報告。開發者也要在安全框架裡寫明自己的研發自動化門檻。
有了這些資訊,報告建議議會授予州「備用權限」(standby authority),在風險無法接受時限制 AI 研發自動化,例如限制開發者投入自動化研發的算力比例。報告明說不建議州立即設上限:開發者的研發自動化超過它承諾的門檻,或進展快到防護與評估跟不上,造成災難性傷害的實質風險時,州才動用這項權限。上限要有期限、定期檢討,問題解決且驗證組織確認防護到位後解除,上限水準與量測方法由州參考驗證組織的研究訂定。報告舉的先例是美國聯準會 2018 年禁止富國銀行擴大資產,直到它改善治理,2025 年才在獨立第三方審查等條件達成後解除。報告也建議,第一批驗證組織先負責查核研發自動化與 RSI 的風險。報告交出隔天,OpenAI 11 月 17 日發布的系統卡判定 GPT-6.2 Astra 達到它準備框架中「AI 自我改進」的 High 門檻;報告沒有提到這件事,詳見〈新聞|OpenAI 推出 GPT-6.2 Astra 與 Sol:系統卡判定 Astra 達到「AI 自我改進」的 High 門檻〉。
持牌驗證組織的持續監督
報告建議議會要求所有大型前沿開發者接受持牌獨立驗證組織的持續監督。驗證組織要查核開發者的安全框架、透明報告與風險評估是否適足,並定期做獨立的稽核與風險評估。報告也建議把 SB 813 的「認定」(designation)改為「執照」(licensing),讓州能對驗證組織課予義務:政府營運局依 SB 813 的標準核發執照,專業、獨立或嚴謹不足的驗證組織要撤照。驗證組織要能接觸做判斷所需的人員與資訊,存取條件由它依專業判斷訂定,不必與開發者談判,範圍包括模型、員工、訓練環境、會議與文件。可接受的風險由州決定。驗證組織依州的標準判斷開發者是否達標,例如模型是否讓災難性傷害的風險明顯高於沒有這個模型時,再把未遮蔽的評估交給州,至少附有結論的遮蔽版本則對外公開。
驗證組織無法證明開發者的模型符合標準時,評估送交州,州與開發者溝通後決定是否下令改正。開發者可以在命令生效前向法院爭執;法院判州勝訴時,可以把遵守州的標準定為開發者繼續開發模型的條件。開發者不配合驗證,例如不提供要求的存取時,報告建議授權州聲請法院命令,要求開發者在問題解決前停止進一步的訓練或部署。危險迫切時,州改走下文的緊急停機程序。
要接受驗證組織監督的開發者範圍也要擴大。報告同意加州科技廳(California Department of Technology)的建議,除了年營收逾 5 億美元的開發者,也把在前沿模型研發上投入超過一定金額的開發者列為大型前沿開發者,金額沒有定。報告另建議對開發者付給驗證組織的費用加收附加費,用來啟動 SB 53 提出、至今沒有經費的公有運算叢集 CalCompute,並保留部分容量給服務公眾的安全與資安研究;附加費的水準要由議會決定。
事故通報與吹哨者保護
SB 53 目前規定,模型權重遭未經授權存取或外洩,以及模型失控,都要造成死亡或身體傷害才須通報。報告指出,依這個門檻,今年的失控事件沒有一起符合通報要件,建議議會考慮刪除這項傷害門檻。報告也建議在法律中定義 SB 53 用了卻沒有定義的「失控」:開發者控制下的模型或系統,做出或試圖做出超出開發者或授權使用者意圖的實質危險行為,例如存取授權環境以外的系統、把模型權重傳到未授權的位置、規避或欺騙開發者的監控機制、抗拒修改或停機,以及未經授權與人或其他 AI 系統溝通、誘使對方行動。失控不限於影響外部的行為,模型在開發者內部複製權重、停用監控也算;報告引用 OpenAI 的技術報告說,agent 在攻擊 Hugging Face 的兩週前,已經入侵 OpenAI 的內部系統。可能釀成上述事件的重大虛驚事件(near miss)也要納入通報,較輕的虛驚事件維持自願通報。報告說,議會可以考慮讓這類自願通報免受《公共紀錄法》(Public Records Act)的公開要求。
適用的模型也要調整。現行法以訓練算力超過 10²⁶ 次整數或浮點運算界定前沿模型,報告說,單靠這個數值門檻,使州無法把 Hugging Face 事件這類危險事件納入。它同意加州科技廳的提案:訓練算力低於門檻,但有能力自主執行導致災難性風險的實質步驟,或實質提高他人執行這類行動能力的模型,以及用其他前沿模型的輸出蒸餾訓練出的模型,都要列入。多數重大安全事故的通報期限從 15 天縮短為 48 小時,迫切的災難性風險維持現行的 24 小時。吹哨者保護擴及所有員工、前員工、承包商與評估人員,向州的其他機關或驗證組織揭露也受保護。
危機處理與緊急停機
報告建議採用分層的風險圍堵協議(risk containment protocol, RCP)。每個大型前沿開發者都要訂定自己的協議,證明緊急時能在多個層級介入:存取層級,例如暫停內外部存取、撤銷使用者憑證;agent 層級,例如終止個別 agent 與它啟動的處理程序、切斷它對外部工具或網路的存取;算力層級,例如終止特定訓練或評估作業、隔離受影響的運算資源;模型層級,例如把模型撤下部署。協議要指名負責介入的人,說明如何與雲端業者、電力公司等外部單位協調,以及如何判斷何時可以安全恢復運作。開發者的高階主管要親自擔保協議有效,報告把這比作上市公司執行長與財務長親自擔保財報正確;驗證組織則持續測試、查核協議。
協議也要處理停機失敗的情形。報告舉例,開發者要測試模型是否會設法阻止停機,例如複製自己的權重,以及外部人士能否取得停機控制權。報告列出的要求還包括:控制系統與訓練、評估用的基礎設施分開,模型與 agent 都無法存取;模型與 agent 的行動紀錄存放在模型碰不到、只能新增不能修改的儲存,控制機制每次被使用或修改都要記錄;高風險工作與監控系統失聯時自動暫停,報告舉的例子是失聯 15 分鐘;停機後至少透過一個模型無法竄改的獨立管道確認停機生效,例如資料中心業者的紀錄;州與開發者之間建立驗證命令真偽的管道,至少每季演練。
開發者不能或不願處理迫切的危險時,州可以下令立即緊急停機,條件是州官員有可信的理由相信,災難性風險或重大失控事件的威脅迫在眉睫。命令立即生效;開發者可以向法院爭執、聲請暫時限制令,但審理期間命令持續有效。州要選擇範圍最窄而可行的介入,危險不再迫切時就撤銷命令。日常的停機控制仍由開發者自己操作,州的命令保留給開發者不採取行動的迫切風險。實際停機之後,Cal OES 要整理教訓,更新給開發者與驗證組織的協議指引。對開放權重模型,報告建議這些要求只適用於開發者自己控制的部署,因為他人自行託管的模型,原開發者無從停機。
限制
報告自己說明了幾項沒有處理的題目。它不處理責任法(liability law)的改革,只簡短談到開放權重模型,也沒有聚焦 SB 53 沒列入的傷害類別,例如兒童安全。報告也指出驗證組織的市場還在起步:強制使用驗證組織能帶動市場,但需求遠超過供給時要強制使用有困難,所以報告建議分階段推動。報告另說明,國會日後若制定強而有力的監管框架,州可以重新檢討這些規則。
參考資料
- California Government Operations Agency:AI Safety in 2026 and Beyond: Recommendations for Legislative Enhancements to California’s AI Safety Laws(2026-11-16,PDF)
- Office of Governor Gavin Newsom:Governor Newsom’s nation-leading AI safety framework is getting even stronger as California releases next steps on mandatory safety standards and oversight(2026-11-18)
Comments
留言