Google Research 介紹採用 TEE 的新一代聯邦學習系統
Toward provably private learning from federated data
Google Research 公佈採用可信執行環境(TEE)的新一代聯邦學習系統,讓伺服器端的數據匿名化處理可供驗證和審計。設備上傳的訓練數據只會交由符合預先授權存取政策的 TEE 工作負載解密處理,相關政策亦發布於 Rekor 公開透明日誌。Gboard 已採用新系統推出英文及日文下一詞預測模型,模型私隱保障更強、準確度更高,計算時間亦較舊系統大幅縮短。
文章比較舊式聯邦學習與 TEE 架構在服務端可驗證性上的差異,並交代存取政策公開記錄機制及 Gboard 部署後在私隱、準確度和訓練速度上的變化。
2017 年,Google 介紹了聯邦學習(FL),這是一種跨分散式私隱數據訓練模型的機器學習技術。它已用於提供日常實用功能,包括 Gboard 的下一字詞預測和Smart Compose、Google Messages 的回覆建議,以及 Android 的Smart Text Selection。
我們開發 FL 系統時遵循四項基本私隱原則:(1)數據最小化、(2)數據匿名化、(3)透明度和控制權,以及(4)可驗證性和可審計性。多年來對匿名化的研究,令我們能透過算法為正式環境模型提供強差分私隱(DP)保障,當中包括 matrix factorization DP-FTRL(MF-DP-FTRL),以及結合安全聚合的分佈式差分私隱。2025 年,我們提出了以這四項原則為核心的新一代 FL 定義:
聯邦學習(FL)是一種機器學習設定,由多個實體(用戶端)在服務供應商協調下合作解決機器學習問題。完整的 FL 系統應讓用戶端全面掌控自己的數據、可存取其數據的工作負載,以及這些工作負載的匿名化屬性。FL 系統亦應為數據由 FL 用戶端管理的使用者提供適當的透明度和控制權。
在〈邁向可證明的聯邦數據私隱學習〉中,我們介紹新一代 FL 系統,利用可信執行環境(TEE)提供完全可驗證、可審計的數據匿名化保障。在 TEE 中執行的邏輯可由遠端驗證(第三方能核實實際執行的邏輯),亦具備機密性(內部狀態不可觀察)和完整性(邏輯不可被幹擾),但仍受現代 TEE限制影響。我們的新 TEE 聯邦學習系統以 TEE 在單一機器上的這些特性為基礎,建立完全可驗證的端對端 FL 系統,提供更強私隱保障並提升準確度。Gboard 已採用新系統,運算速度比先前的 FL 系統大幅提升。
以個別 TEE 建立可驗證私隱的 FL 系統
我們的 TEE 聯邦學習系統建基於早前在機密聯邦分析和可證明私隱分析方面的研究技術。
系統協調四項核心運作概念:
- 數據上載:用戶端裝置會在本機加密訓練樣本並上載。裝置會預先授權一項存取政策,列明哪些 TEE 運算可處理數據,而這些運算只會釋出匿名化結果。用戶端要求將存取政策公佈在公開透明度日誌中。
- KMS 和政策驗證:金鑰管理系統(KMS)由一個執行 RAFT 共識協議的 TEE 叢集組成,只會向符合存取政策中運算要求的伺服器端 TEE 工作負載提供解密金鑰。
- 工作負載執行:數據處理 TEE 會執行實作訓練循環的 Python 程式。這個「根」TEE 會把可並行的子任務交由 TEE 工作節點叢集處理。分佈式邏輯以開源、與框架無關的協調語言 Federated Language 表達;該語言衍生自 TensorFlow Federated,後者曾用於我們早期的 FL 系統。訓練循環會定期向數據分析人員釋出匿名化模型權重。
- 容錯復原:Python 程式會在每輪訓練結束時儲存由 KMS 加密的復原狀態。若根節點或工作節點間歇性故障,可使用此狀態復原,不會額外洩漏任何私隱敏感資訊。
更多 TEE 聯邦學習系統設計詳情,請參閲我們的白皮書:邁向可證明的聯邦數據私隱學習。
TEE 聯邦學習如何加強私隱保障
在早期 FL 系統中,裝置數據會上載並即時彙總,但外部觀察者無法驗證數據從未被記錄或檢視。其後,安全聚合讓上載內容得到密碼學保護,但不兼容最先進的集中式 DP 保障。新的 TEE 系統是我們持續努力的重要里程碑,目標是徹底免除對伺服器營運者的信任需求。
在新的 TEE FL 系統中,工作負載營運者只能看到指標和差分私隱模型權重。從裝置收集的加密訓練數據,只能在執行存取政策所指定 Python 訓練程式的 TEE 內解密和處理,而且上載後只會保留有限時間。
公開透明度日誌和可重現建置
參與新 TEE FL 系統的裝置可掌握所有可能存取上載數據的伺服器工作負載。描述這些潛在伺服器工作負載的存取政策會發布至公開透明度日誌 Rekor,外部審計人員可查看日誌,追蹤裝置可能參與的所有伺服器端工作負載。
FL 系統所用的 KMS 和數據處理二進位檔,可根據發布在 Confidential Federated Compute GitHub 儲存庫中的開源程式碼重現建置。
透過動態載入實現可驗證執行
在早期 FL 系統中,裝置和審計人員都無法驗證伺服器執行的邏輯,因此我們必須讓人信任我們會正確地在梯度總和加入隨機雜訊,以提供差分私隱。
在新的 TEE FL 系統中,發布到 Rekor 的存取政策會直接描述實作 FL 訓練邏輯的 Python 程式。為在保留可審計性的同時保護專有模型架構和數據預處理邏輯,我們的數據處理 TEE 支援在執行時將序列化資訊載入 Python 程式。只要所有與私隱相關的邏輯仍硬編碼在 Python 程式中,這項載入功能便可讓必須保密的專有邏輯在 TEE 中執行,同時提供強而有力、可由外部驗證的私隱保障(有關側通道觀察的討論見下文)。
Gboard 如何使用 TEE 聯邦學習
Gboard 已部署這套 TEE FL 系統,推出英語和日語下一字詞預測模型,提供更強私隱保障並提升準確度。這些改進可歸因於新系統設計的多個方面。
緩解每日裝置可用率限制
先收集所有裝置上載數據,再執行伺服器端訓練工作負載,便不用擔心裝置可用率的每日變化影響訓練進度。伺服器端執行時,我們可在程式中動態計算最佳裝置參與時程,並用它調整其他 DP 參數。
加快訓練速度
過去,訓練這些 FL 模型每個可能需時 1-2 個月,進度受裝置可用率、裝置端運算能力,以及多個訓練工作負載競爭相同裝置資源所限制。新 TEE 系統把瓶頸移至伺服器,並透過多部機器並行運算,大幅縮短訓練時間;目前只受 TEE 資源可用量限制。
下一步是甚麼?
在新 TEE FL 系統中,客戶端梯度計算轉移至伺服器,解除早期系統受裝置端運算資源限制的問題。這為使用 FL 技術訓練更大型模型鋪路。把 TEE 與加速器整合,將對這類用途發揮重要作用。
上述系統不但能以可驗證方式執行 FL 訓練工作負載,也能執行任何可用 Python 表達的工作負載。我們正試驗在這個基礎設施上執行其他類型工作,例如合成數據生成。另一個探索方向,是把執行任意 Python 的數據處理 TEE,與專門執行 LLM 推論等功能的其他數據處理 TEE 結合。
這項工作朝著嚴格證明伺服器端處理可保障個人私隱邁進一步。外部驗證者能精確檢查我們在 Google 執行的程式碼,因此我們可有力保證數據會按描述在伺服器端處理。我們預期,未來的 TEE 硬件,以及持續研究如何緩解側通道觀察,將為動態載入工作負載提供更深入的保護,抵禦惡意伺服器端攻擊。我們亦預期,這類系統有一天能為 DP 算法和系統元件的軟件實作附上完整正確性證明。
鳴謝
作者感謝為基礎設施設計和實作作出貢獻的合作夥伴:Arun Ganesh、Brendan McMahan、Brett McLarnon、Chunxiang (Jake) Zheng、Emily Glanz、Maya Spivak、Michael Reneer、Nova Fallen、Stefan Dierauf、Suxin Guo、Timon Van Overveldt、Yu Xiao、Zachary Charles 和 Zachary Garrett。我們亦感謝支援 Gboard 整合的密切合作夥伴:Haicheng Sun、Heng Su、Jianpeng Hou、Liyang Jiang、Noriyuki Takahashi、Wenzhi Mao、Xiaojuan Fang、Yanxiang Zhang、Yingjie Liu、Yuanbo Zhang 和 Yun Wang。感謝 Corinna Cortes、Shumin Zhai 和 Yossi Matias 支持這項工作。另感謝 Maysam Moussalem 對本文寫作提出意見。
來源:Google Research · research.google