Google Research 公佈 PPI 系統,以差分私隱分析生成式 AI 使用情況
Toward provably private insights into AI use
Google Research 公佈可證明私隱洞察(PPI)系統,結合 LLM、TEE 與差分私隱分析生成式 AI 工具的真實使用情況,只釋出匿名化聚合結果。
文章將 LLM 結構化摘要、TEE 內的資料隔離與 user-level 差分私隱聚合串成可外部檢查的流程,並以 Pixel Recorder 説明實際部署方式。
生成式 AI(GenAI)能提供個人化體驗,並協助產生摘要、轉錄文字等非結構化資料。瞭解 AI 在真實世界中的使用情況 [1, 2],有助 GenAI 開發者掌握常見用途及找出失效模式,從而改善工具。尤其當這些工具應用於裝置端資料時,我們希望在產生洞見的過程中提供更穩健的私隱保障。本文介紹「可證明私隱洞見」(PPI),這項全新重要方向旨在動態分析人們如何使用 LLM 和 GenAI 工具,同時確保個人資料不可供檢視,彙總洞見亦保持匿名。
今天,我們宣佈推出首創的 PPI 系統,結合大型語言模型(LLM)、差分私隱(DP)和可信執行環境(TEE),分析非結構化 GenAI 資料。系統證明伺服器端處理僅限於保障私隱的運算,並可接受全面的外部檢視。透過這套系統,GenAI 工具開發者可使用負責回答「正在討論甚麼主題?」或「用戶是否感到沮喪?」等問題的「資料專家」LLM,分析用戶互動。LLM 的回答會透過 DP 彙總,全面瞭解整個用戶羣體對 GenAI 功能的使用情況,同時不會暴露未彙總資料。「資料專家」LLM 本身亦位於 TEE 內。PPI 由機密聯邦分析(CFA)技術支援;這項技術首先部署於 Gboard,在 TEE 內執行開源分析軟件,讓伺服器端資料處理的機制和私隱特性完全透明。我們在 Pixel 的 Recorder 應用程式中部署 PPI,並採用 Google 最新的開源 Gemma 模型作為「資料專家」,分析 Recorder 的使用情況並提供洞見。
為鼓勵外界驗證我們的主張,我們已將由 LLM 驅動的私隱保障洞見功能開源,作為 Google Parfait 機密聯邦分析專案的一部分,並一同開源其餘由 TEE 託管的機密聯邦分析技術堆疊。
如何實現可證明私隱的洞見
Google 的 CFA 運用機密運算,在處理期間保護未彙總的用戶資料,並且只會發布具備正式(用戶級)DP 保證的輸出。CFA 提供強大的資料隔離和匿名化保證,不受分析人員執行甚麼查詢影響。
使用這項技術時,用戶裝置會先決定應上傳哪些資料作分析。裝置會加密並上傳資料,同時附上伺服器獲授權用於解密的處理步驟。上傳資料受到由 TEE 託管的金鑰管理服務所管理的加密金鑰保護;該服務只會向裝置批准的處理步驟發放解密金鑰。裝置可以驗證金鑰管理服務是否使用預期的開源程式碼(該程式碼載於公開且防篡改的透明度日誌 Rekor),亦可以驗證程式碼是否在 Google 無法存取、設定正確的 TEE 中執行。金鑰管理服務則會驗證經批准的公開處理步驟是否在 TEE 中執行。資料不會接受其他分析,亦沒有任何人能存取個別裝置的資料。
私隱洞見透過一組明確定義的處理步驟,從資料中提取。首先,LLM 會分析非結構化原始資料,並按特定問題(例如輸入內容的類別或主題)提取答案,這個過程稱為「結構化摘要」。處理時會先使用開源 Gemma 3 模型,把轉錄文字分類至相關類別,然後將各類別加總,透過加入差分私隱雜訊,計算主題直方圖,確保任何單一用戶都不能大幅影響輸出結果。由於 DP 保證適用於彙總演算法,而非 LLM 提示,因此可以頻繁更改 LLM 提示。即使開發者提出旨在識別個別用戶的問題,差分私隱統計資料也不會洩漏該用戶的資料。
我們系統所有與私隱相關的部分均為開源且可重複建置,從私隱保護彙總演算法到 TEE 技術堆疊皆然;LLM 本身亦是開源。用來分析資料的工作流程簽章同樣公開。結合 TEE 對執行軟件的系統狀態進行證明的能力,資料處理流程的每個部分都能以可驗證方式連結至已發布的程式碼。這讓外界能夠驗證我們的私隱保障主張。系統透過承諾端對端可驗證性,逐步實現「可證明」;我們以此能力為基礎,讓第三方檢視開源程式碼並確認它就是我們聲稱正在執行的程式碼,從而向用戶證明資料只會經該程式碼處理,但現時這一代 TEE 存在已知弱點,須將其納入考量。
簡而言之,機密聯邦分析可透過由 LLM 驅動的結構化摘要流程,產生可證明私隱的洞見。結合結構化摘要與差分私隱直方圖生成,便能深入瞭解 GenAI 工具在真實世界中的使用方式,同時確保私隱。系統技術細節載於白皮書。
可證明私隱洞見在 Recorder 中的應用
Pixel 上的 Google Recorder 應用程式提供強大的 AI 功能,例如轉錄、摘要和説話者標記。應用程式開發者面對的一項主要挑戰,是瞭解用戶如何使用這些功能。例如,用戶是在建立「給自己的筆記」、「提醒事項」,還是錄製「商務會議」?若沒有結構化摘要或其他分類方式,傳統以計數為主的分析方法不足以分析這類資料。在傳統做法中,系統會把轉錄文字記錄到中央伺服器進行分類,再對結果執行差分私隱計數查詢。PPI 的運作方式類似,但不會有資料被用於其他用途的風險。
在 Recorder 應用程式中,部分轉錄文字(來自設定中已啟用「改善所有人的體驗」的用戶)會使用由中央 TEE 託管金鑰儲存庫管理的公開金鑰加密;該金鑰儲存庫受 Google Project Oak 證明技術堆疊保護,並在配備 AMD Secure Encrypted Virtualization-Secure Nested Paging(SEV-SNP)的 CPU 上執行。金鑰儲存庫確保上傳資料只可由預先批准的處理步驟解密;這些步驟本身亦須經證明,確認正在 TEE 中執行預期的處理流程。在 AMD SEV-SNP TEE 類別中執行的 Gemma 3 4B 模型會把轉錄文字分類為不同主題,再以差分私隱方式彙總。外界可以驗證原始轉錄文字從未離開 TEE 的安全環境,而 Google 只會收到經摘要分類後、具私隱保障的彙總數值。
PPI 亦可協助評估裝置端 GenAI 功能的效能,例如 Recorder 產生摘要的準確度。CFA 不必只依賴未必能準確反映真實使用情況的合成資料,亦可在結構化摘要環節中執行 LLM 自動評分器。這個自動評分 LLM 同樣位於 TEE 內,可評估裝置端模型的輸出,令評估更準確並保障私隱。開發者因而可以根據真實用戶互動微調裝置端模型,同時不損害個人私隱。
我們在 Recorder 使用的設定已公開於GitHub 儲存庫;按照這些指引,即可將設定連結至特定程式碼路徑和私隱保障。Recorder 的設定保證,無論執行甚麼 LLM 查詢,都會經過自動調校的 DP 直方圖彙總器,並提供嚴格的私隱保障(上圖使用用戶級 ε = 1)。
下一步是甚麼?
這項研究證明可實現可證明私隱的洞見:使用 LLM 分析真實世界的 GenAI 工具使用情況,再彙總為差分私隱統計資料,同時完全公開伺服器端的處理步驟。洞見生成流程的每個步驟均以提供業界領先的資料隔離和匿名化為目標;外部驗證者亦可檢查方法的原始碼,以及我們確實執行這些方法的證明。
此外,我們亦分享了由 LLM 驅動的結構化摘要,作為首個應用。我們預期日後會有其他用途,包括差分私隱分羣和合成資料生成,並具備同等程度的可驗證性和機密性。未來若能支援以更高吞吐量的加速器(例如 Google TPU)進行機密運算,就能實現更深入的分析,包括詳細分析轉錄文字和自動評分。現在無須讓敏感用戶資料離開機密運算範圍,也能生成洞見,並為產生的洞見提供強大的用戶級 DP 保證。我們很高興看到,可證明私隱洞見技術日漸成熟,正值 GenAI 工具開始應用於裝置端及敏感資料體驗之際。
鳴謝
我們感謝 Google 各團隊協助設計演算法、實作基礎設施及維護生產系統,尤其感謝 Marco Gruteser、Peter Kairouz 和 Timon Van Overveldt 帶領的團隊,以及產品經理 Prem Eruvbetine;參與者包括:Albert Cheu、Brett McLarnon、Chunxiang (Jake) Zheng、Edo Roth、Emily Glanz、Grace Ni、James Bell-Clark、Kassem Fawaz、Katharine Daly、Krzysztof Ostrowski、Maya Spivak、Mira Holford、Nova Fallen、Rakshita Tandon、Ren Yi、Stanislav Chiknavaryan、Stefan Dierauf、Steve He 和 Zoe Gong。我們亦感謝透過技術和 Recorder 整合支援這套系統的緊密合作夥伴,包括:Allen Su、Austin Hsu、Console Chen、Daniel Minare Ho、Dennis Cheng、Jan Wassenberg、Kristi Bradford、Ling Li、Mina Askari、Miranda Huang、Tam Le、Yao-Nan Chen 和 Zhimin Yao。Corinna Cortes、Jay Yagnik、Ramanan Rajeswaran、Seang Chau 和 Yossi Matias 亦為本工作提供支援。此外,感謝 Peter Kairouz、Marco Gruteser、Mark Simborg 和 Kimberly Schwede 對本文撰寫提供意見和貢獻。
來源:Google Research · research.google