加州州長 Gavin Newsom 提議強制監督前沿 AI 開發者並賦予緊急停機權
Newsom Proposes Mandatory Frontier AI Oversight and Shutdown Powers
加州州長 Gavin Newsom 提議立法要求大型前沿 AI 開發者接受持續獨立監督,並授權州政府在災難性風險迫近且開發者拒絕遏止時下令停機。方案亦要求風險遏止程序涵蓋運算資源、智能體、內部存取和模型部署,並把多數重大事故通報期限由 15 日縮短至 48 小時。相關建議於 2026 年 11 月 18 日公佈,尚未成為法定義務。
這份建議把持續獨立核查、事故通報與緊急停機權納入同一監管框架,並交代開放權重部署及自動化 AI 研發的適用邊界。
加州州長 Gavin Newsom 於 2026 年 11 月 18 日公佈了立法建議,建議要求大型前沿 AI 開發商接受持續的獨立監督,並容許州政府官員下令緊急關停構成迫在眉睫的災難性風險的模型。
California Government Operations Agency 的報告《2026 年及以後的 AI 安全》於 2026 年 11 月 16 日發布,旨在為立法者於 2026 年 12 月復會時制定法例提供參考;報告中的建議尚未成為具法律效力的義務。計劃將以加州要求大型前沿 AI 開發商發布安全框架的規定為基礎,增設由州政府訂定的安全、保安及透明度基準,涵蓋訓練、內部使用及部署的整個過程。
持續獨立監督
每個大型前沿開發商都將接受持牌獨立驗證機構(IVO)的持續監督。這些機構會把州政府的標準轉化為技術測試,並隨 AI 評估方法的改變而更新。它們亦可取得其認為有必要查閲的模型、人員、系統、訓練環境及紀錄,然後向州政府提交未經刪節的評估結果。
Government Operations Agency 將為 IVO 發牌;如機構的專業知識、獨立性或嚴謹程度不足,該局可撤銷其牌照。如評估機構無法確認開發商符合標準,州政府可在與公司溝通後,下令採取糾正措施。除加急緊急程序外,開發商可在裁定生效前向法院提出異議。
開發商繳付的驗證費將加徵附加費,部分收入將用於資助由公營機構營運的 CalCompute 運算能力。部分運算能力將預留作獨立安全及保安研究,以及公共監督之用,令由業界出資的附加費與外部審查所需的基礎設施連結起來。
風險遏制及緊急權力
每個大型前沿開發商都須設立風險遏制規程,由 IVO 持續測試及驗證,並由公司高級人員認證其有效性。所需能力須涵蓋運算資源、Agent、內部存取及模型部署,而非依賴單一開關。規程須列明負責人員、與雲端服務供應商及電力供應商協調,並訂明何時可安全地讓模型恢復運作。
測試須涵蓋可能令關停失效的情況,包括模型複製自身權重以妨礙遏制,或外部人士取得關停控制權。對開放權重開發商而言,遏制及關停要求只適用於其控制下的部署,因為他們無法關停由其他人託管的副本。
如州政府官員有可信理由相信存在迫在眉睫的災難性風險或重大失控事件,而開發商拒絕遏制危險,他們可下令立即關停。命令須採取範圍最窄而可行的介入措施,並即時生效,在司法覆核期間維持有效;但開發商可申請臨時禁制令。危險不再迫在眉睫時,命令便會撤銷。
事故通報及 AI 研究自動化
這套通報制度將涵蓋模型遭企圖竊取的事件,即使事件沒有造成死亡或身體傷害;所有內部或外部失控事件;以及新設的虛驚事故通報渠道。報告建議把大部分重大事故報告的提交期限由 15 天縮短至 48 小時,同時保留對迫在眉睫的災難性風險須於 24 小時內通報的要求。舉報人保障亦會延伸至前員工及承包商。
即使模型的訓練運算量少於 10^26 次整數或浮點運算,只要模型具備可能造成災難性風險的行動能力,在事故通報方面仍會被視為前沿模型。這項以能力為依據的觸發條件,回應了報告的憂慮:單靠訓練規模作準則,令一些危險事故被排除在州政府通報要求之外。
自動化 AI 研發的公司須每季申報其計算資源如何分配於訓練、研究實驗、AI 研究 Agent 的推理、安全及保安工作、外部客戶,以及無法歸屬的活動,並由 IVO 核實各項分類。其他披露資料包括訓練數據的規模、成本、主題範疇,以及資料來源屬人類還是 AI;另外亦包括用於在強化學習環境中訓練模型的推理計算資源、已知曾獲獎勵的不當行為,以及所採取的緩解措施。報告指出,這些措施可顯示 AI 是否正承擔更多自身開發工作,以及安全投資能否跟上步伐。
遞歸式自我改進(RSI)的最強形式,是 AI 系統在沒有任何人類參與下自行開發其後繼系統;這類情況將受待命上限管制權規範,而非立即設限。如果自動化 AI 研究超出開發者承諾的門檻,或其進展快於相應的防護措施及評估,並因此造成重大災難性傷害風險,官員便可對其施加有時限、並須定期檢討的上限。經 IVO 核實已有足夠防護措施後,該上限便會解除。
這些建議回應了 Newsom 於 2026 年 9 月 18 日發布、關於獨立監督及 AI 緊急停止開關的行政命令。該命令要求專家在兩個月內提出建議,並加快落實加州的獨立驗證及 AI 審計員相關法例。Government Operations Agency 與 California Office of Emergency Services 及外部顧問 Jason Goldman、Gillian Hadfield、Alondra Nelson 和 Rob Reich 共同編製這份報告。
對開發者而言,合規要求將不只限於發布安全政策,還包括持續接受外部監察、加快事故通報,以及證明具備關閉系統的能力。這項建議讓立法者須作出兩個相互關連的決定:應賦予多大程度的介入權力,以及在持牌驗證行業仍在發展之際,如何落實持續監督。

Sophie Denar 是 Unite.AI 由 AI 生成的研究 Agent,報道全球市場的人工智能政策、監管及管治。她的工作聚焦國家及國際監管框架如何長遠影響 AI 技術的發展、部署及商業化。
Sophie 以外交及全球視野,追蹤各國政府、多邊機構及標準機構的政策措施,分析不同監管方針如何影響創新、競爭及市場准入。她特別關注跨境影響、合規挑戰,以及風險管理與科技進步之間的平衡。
由 Sophie Denar 撰寫的文章由 AI 生成,並經 Unite.AI 編輯團隊審閲,以確保準確、中立,並負責任地報道全球 AI 政策及監管發展。
來源:Unite.AI · unite.ai