如何限制 OS AI 智能體讀取應用程式的敏感畫面
How to Keep OS AI Agents Out of Your App's Sensitive Screens
文章整理 Android、iOS、Windows、macOS 和 Electron 限制 OS AI 智能體讀取應用程式敏感畫面的做法,並比較各平台可阻止或偵測的範圍。
文章按平台比較螢幕擷取與輔助功能資料等存取路徑,並列出對應 API 和防護限制,協助開發者為敏感畫面選擇控制方式。
端對端加密可保護傳輸中及儲存在磁碟上的訊息,但無法保護顯示在螢幕上的訊息。此時,作業系統可以讀取訊息,作業系統允許存取的任何 AI 代理也可以。
11 月 20 日,Signal 表示將在 iOS 27 應用程式中預設封鎖截圖,並在 Android 偵測到 AI 助理嘗試讀取畫面時啟用「Screen security」設定。Signal 的公告點名 Android 上的 Gemini 及 iOS 上 Siri AI 的 Onscreen Awareness,並稱作業系統層級的 AI 代理「對其使命構成存亡威脅」。TechCrunch 在翌日報道了此事,而Hacker News 討論串的得分超過 570 分。
大部分報道都聚焦於 Signal。本文談的是你的應用程式。如果你開發銀行應用程式、健康應用程式、密碼管理程式,或大型產品內的聊天功能,同一個問題也適用於你:你實際上能阻止甚麼、在哪個平台阻止,以及使用哪個 API?以下答案來自 Android、Apple、Microsoft 和 Electron 的官方文件,以及 Signal 自己發布的文章。
作業系統代理如何查看你的應用程式
把問題分成三條路徑會較容易理解,因為每條路徑都需要不同的控制措施。
像素。代理會截取螢幕畫面或讀取螢幕錄影,再用模型分析。Microsoft Recall 在 Windows 上就是以這種方式運作:Signal 在註腳中指出,它每隔幾秒便截取螢幕畫面,再透過 OCR(光學字元識別,即把文字圖片轉換成真正文字)擷取文字。Signal 表示,截圖是「大多數代理式系統存取 Signal 等應用程式資料的方式」。
結構。代理會向作業系統索取檢視階層(按鈕、標籤和文字欄位組成的樹狀結構),而非索取圖片。在 Android 上,Assist API 會把目前螢幕的文字和檢視樹交給當前的助理 AssistStructure。無障礙 API 也會向用戶啟用的任何無障礙服務提供類似的樹狀結構。Signal 的文章以 Meta 的 Muse 為例,指出第三方代理可透過用戶在設定期間授予的廣泛權限進入系統。Signal 表示,很多情況下,這些權限是無障礙設定,猶如「萬能鑰匙」。
從未顯示在螢幕上的資料。通知、儲存在磁碟上的檔案,以及其他作業系統框架和 API。Signal 明確指出,封鎖截圖「無法處理 AI 代理可能存取應用程式資料的其他較隱蔽方式,例如透過檔案系統擷取用戶裝置上已有的內容」。
螢幕保護措施只能完全涵蓋第一條路徑,並部分涵蓋第二條路徑。閲讀各平台的部分時,請記住這一點。
Android:最全面的工具組
Android 提供最多控制措施,而且都有文件記載。以下按你最可能需要使用的次序列出。
1. 視窗上的 FLAG_SECURE
FLAG_SECURE 是一個視窗旗標。Android 防詐指南指出,它「會告知 Android 不允許截圖,亦不允許在非安全顯示器(例如投放螢幕時)顯示視窗畫面」。安全視窗的截圖會呈現空白。
這個旗標對助理也很重要。Assist API 指南指出,除非目前視窗已標記為安全,否則系統會把自動收集的螢幕內容傳送給助理。
class ChatActivity : AppCompatActivity() {
override fun onCreate(savedInstanceState: Bundle?) {
super.onCreate(savedInstanceState)
window.setFlags(
WindowManager.LayoutParams.FLAG_SECURE,
WindowManager.LayoutParams.FLAG_SECURE
)
setContentView(R.layout.activity_chat)
}
}
文件中有三項容易忽略的細節:
- 此旗標是按視窗設定,而非按應用程式設定。Assist 指南指出,你「必須為活動建立的每個視窗(包括對話方塊)明確設定
FLAG_SECURE」,而且「沒有全域(應用程式層級)的機制可將所有檢視排除於助理之外」。如要用於SurfaceView,請使用setSecure()。 -
FLAG_SECURE不會阻止 Assist 回呼。如果你的活動覆寫了onProvideAssistContent()或onProvideAssistData(),仍可自行將資料交給助理。在敏感畫面上,不要把訊息文字或帳戶號碼放入這些回呼。 - 在舊裝置上,這項措施的效力較弱。防詐指南指出,對於 Android 11 (API 30) 及以下版本,
FLAG_SECURE「只能在約 70% 的裝置上可靠地發揮作用」,因為部分裝置會記錄鍵盤按鍵。
Android 14 截圖指南也建議加入設定,讓用戶切換此旗標。Signal 正是這樣做。如要在執行時關閉旗標,請呼叫 window.clearFlags(WindowManager.LayoutParams.FLAG_SECURE)。
2. 只標記敏感檢視(Android 15)
封鎖所有畫面的所有截圖,限制太嚴。Android 15 (API 35) 新增了 View.setContentSensitivity()。View 參考文件指出,系統會「在螢幕分享及錄影時,隱藏敏感檢視所繪製的內容」,而且「在媒體投影工作階段進行期間,承載敏感檢視的視窗會標記為安全」。
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.VANILLA_ICE_CREAM) {
otpField.setContentSensitivity(View.CONTENT_SENSITIVITY_SENSITIVE)
}
請留意適用範圍:此功能只會在媒體投影期間生效,也就是螢幕分享及螢幕錄影期間。對登入及付款表格而言,這是較輕量的選項。如果你的威脅來自以截圖為基礎的助理,它就不能完全取代 FLAG_SECURE。
3. 關閉無障礙功能入口(Android 14)
這是 Android 對「萬能鑰匙」問題最接近的解決方案。Android 14 (API 34) 新增了 View.setAccessibilityDataSensitive()。根據 View 參考文件,它「指定此檢視是否只允許具有 AccessibilityServiceInfo.isAccessibilityTool() 屬性且值為 true 的 AccessibilityServices 進行互動。」
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.UPSIDE_DOWN_CAKE) {
messageList.setAccessibilityDataSensitive(
View.ACCESSIBILITY_DATA_SENSITIVE_YES
)
}
誰可以設定 isAccessibilityTool?Google Play 的無障礙 API 政策指出:「只有旨在協助殘疾人士使用裝置,或以其他方式克服其殘疾所帶來困難的服務,才符合資格申報為無障礙工具。」
因此,為殘疾人士而設的螢幕閲讀器可以繼續運作,而未申報為無障礙工具的通用服務則無法存取該檢視。這項功能有兩個限制:它只保護你標記的檢視,而且旗標由服務自行申報。Play 的政策指出,旗標是「透過服務中繼資料檔案內的 isAccessibilityTool 屬性設定」,而對此聲明的核實依據是 Google Play 的審查,而非 API。
4. 偵測擷取並作出反應
有時你會想知道何時發生擷取,而不是加以封鎖。Android 提供兩種回呼。
Android 14 加入了截圖偵測功能。你需要宣告安裝時權限 android.permission.DETECT_SCREEN_CAPTURE,然後為每個活動註冊回呼:
private val screenCaptureCallback = Activity.ScreenCaptureCallback {
// Warn the user, or tell the other side of the chat.
}
override fun onStart() {
super.onStart()
registerScreenCaptureCallback(mainExecutor, screenCaptureCallback)
}
override fun onStop() {
super.onStop()
unregisterScreenCaptureCallback(screenCaptureCallback)
}
依賴這項功能前,請先閲讀截圖偵測頁面列出的限制。只有透過「特定組合的硬件按鍵操作」拍攝的截圖才會觸發回呼。ADB 或 instrumentation 測試擷取不會觸發回呼。回呼也不會提供圖片。因此,它能讓你得知有人按下按鈕,卻無法偵測 Agent 在背景擷取像素。
螢幕錄影偵測功能於 Android 15 推出。此功能需要 DETECT_SCREEN_RECORDING 權限;每當你的應用程式在錄影期間變為可見或不可見時,都會執行回呼:
private val recordingCallback = Consumer<Int> { state ->
if (state == WindowManager.SCREEN_RECORDING_STATE_VISIBLE) {
// Hide sensitive content or show a notice.
}
}
override fun onStart() {
super.onStart()
val initialState =
windowManager.addScreenRecordingCallback(mainExecutor, recordingCallback)
recordingCallback.accept(initialState)
}
override fun onStop() {
super.onStop()
windowManager.removeScreenRecordingCallback(recordingCallback)
}
Signal 的註腳解釋了為何它沒有直接在所有 Android 裝置上封鎖截圖。Android 有多種廠商版本,而在不少版本中,截圖功能已停用後,Signal 就沒有可靠的方法偵測截圖嘗試。為免截圖無聲無息地失敗,令用戶感到困惑,Signal 偵測到 AI 助理嘗試存取螢幕時,便會自動啟用 Screen security。Signal 沒有公開這項偵測的運作方式,因此不要假定上文提到的其中一個公開回呼函式就是全部機制。
iOS:偵測,而非防止
本文提及的 UIKit API 所提供的控制功能較有限。你可以得知畫面正在被擷取,但無法阻止截圖。
截圖後。 UIApplication.userDidTakeScreenshotNotification 會觸發,但 Apple 的文件指出,它「會在截圖拍攝後發出」。應用它來發出警告或通知另一方,而非用作保護。
NotificationCenter.default.addObserver(
forName: UIApplication.userDidTakeScreenshotNotification,
object: nil,
queue: .main
) { _ in
// The screenshot already exists. Warn or log here.
}
錄影或鏡像期間。 舊有的 UIScreen.isCaptured 屬性自 iOS 27 起已標示為棄用。Apple 的文件指向 sceneCaptureState,這項自 iOS 17 起提供的特徵「表示場景目前是否正在鏡像或錄影」。其值為 .active、.inactive 和 .unspecified。當它變成 .active 時,你可以用佔位內容遮蓋敏感檢視。
registerForTraitChanges([UITraitSceneCaptureState.self]) { (self: Self, _: UITraitCollection) in
let captured = self.traitCollection.sceneCaptureState == .active
self.sensitiveContainer.isHidden = captured
}
Signal 的 iOS 27 App 確實能封鎖截圖,並設有「封鎖 Siri AI」設定,但其帖文沒有説明所用的機制。如果你需要達到相同效果,應把它視為仍待解答的問題,並在真實裝置上測試,而非視為有文件記載的 API。
用戶端的開關。 自 iOS 27.2 起,用戶可以為個別 App 設定控制項。EFF 將其描述為「設定 > Siri > 已排除的 App」。排除某個 App 後,「Siri AI 無法存取該 App 的內容」,而 Onscreen Awareness 在該 App 內也會停止運作。Signal 和 EFF 都沒有説明 App 可自行啟用這項設定的方法。你可以告知用戶這項設定,例如在設定畫面的私隱部分或首次使用引導中説明。
桌面:Windows 可行,macOS 暫時不行
Windows。 使用 SetWindowDisplayAffinity 搭配 WDA_EXCLUDEFROMCAPTURE 即可控制。Win32 參考文件指出,視窗之後只會顯示在螢幕上,而「在其他地方,視窗完全不會出現」。Windows 10 version 2004 起支援此功能。在較舊版本中,它的行為會如同 WDA_MONITOR,在擷取畫面中把視窗顯示為空白。Microsoft 的 Recall 管理員指南指出,使用此旗標後,「Recall 或任何其他截圖應用程式都不會顯示視窗內容」。Signal Desktop 自 2025 年起便在 Windows 11 預設採用這種做法,詳見其Recall 帖文。
如果你的桌面 App 是以 Electron 建構,便不需要使用 Win32 程式碼。Electron BrowserWindow 文件指出,win.setContentProtection(true)「可防止其他 App 擷取視窗內容」,而在 Windows 上,它會呼叫 SetWindowDisplayAffinity 並使用 WDA_EXCLUDEFROMCAPTURE。
const { app, BrowserWindow } = require('electron')
app.whenReady().then(() => {
const win = new BrowserWindow({ width: 1000, height: 700 })
win.setContentProtection(true)
win.loadFile('index.html')
})
Electron 文件還提到一項生效時間的細節:這項變更「會在下一次桌面合成時生效,而非在呼叫返回時生效」。建立視窗時就應設定保護,不要等到敏感資料已顯示在螢幕上才設定。
macOS。這是 Signal 未能解決的缺口。Electron 的文件指出,在 macOS 上,同一個呼叫會將 NSWindow sharingType 設為 none,但「使用 ScreenCaptureKit 的較新 Mac 應用程式仍會擷取你的視窗,無論 win.setContentProtection(true) 如何。」Signal 的貼文進一步指出,macOS 設有防止持續螢幕擷取的保護措施,但 Signal「無法可靠地封鎖螢幕截圖」;而大多數 Agent 都是透過螢幕截圖讀取應用程式資料。Signal 對 macOS 27 用戶的唯一建議,仍是由用戶自行切換設定:前往系統設定 > Siri > 排除的 App,並加入 Signal。
目前沒有應用程式能封鎖的事項
即使已啟用上述所有控制措施,仍有三種途徑無法封鎖。
- 通知。EFF 指出,在 Android 上,如果已啟用名為「Device Assistance」的已連線應用程式,Gemini 就能讀取通知。通知中的訊息預覽不會經過你的安全視窗。如果通知包含敏感文字,請提供選項,讓用戶隱藏內容,只顯示「新訊息」。
- 磁碟上的檔案。Signal 指出,檔案系統存取是它無法涵蓋的缺口。螢幕旗標在此毫無作用。請確保敏感資料在靜態儲存時已加密,並由平台金鑰儲存庫保管金鑰,這樣讀取檔案時只會取得密文。
- 作業系統供應商本身控制的一切。Signal 向 Apple、Google 和 Microsoft 提出的兩項要求很簡單:提供有文件記錄的方法,讓應用程式選擇不讓 AI 存取資料,涵蓋「螢幕讀取、檔案系統存取、通知、API 及其他作業系統架構」;並提供真正説明這些 Agent 如何存取資料的文件。在這些要求實現之前,上述所有保護措施都只是建基於作業系統之上的權宜方案。
HN 討論串中有一位留言者簡單説明瞭這種依賴關係:「任何防止這種情況的保護措施,都需要作業系統支援。」(留言)
需要預先考慮的取捨
封鎖擷取會帶來實際代價,而 Signal 的貼文也坦率談及這些影響。
使用輔助功能的用戶。Signal 在談及 Recall 的貼文中指出,啟用螢幕安全保護後,「部分輔助功能軟件(例如視障人士使用的螢幕閲讀器或放大工具)可能無法正常運作」。請使用 TalkBack、VoiceOver 和螢幕放大工具測試受保護的畫面。在 Android 上,setAccessibilityDataSensitive 的設計旨在讓已聲明的輔助功能工具繼續運作,同時阻止其他服務;因此,在輔助功能方面,這是比全面封鎖更好的選擇。
需要截圖的用戶。回報錯誤、保存收據,以及分享有趣的訊息,都是常見用途。Signal 允許用戶停用保護功能;在 Windows 上,停用前會顯示警告並要求確認。這是值得參考的做法:預設啟用保護、容易更改,而且不容易意外更改。
無聲失效。截圖結果一片黑,看起來就像程式出錯。Signal 選擇其 Android 做法,部分原因是為了避免「用戶體驗欠佳(截圖突然無法使用,令用戶感到困惑)」。如果你封鎖截圖,請在用戶看得到的地方説明。
下一次發布前的檢查清單
- 列出敏感畫面:對話、帳戶餘額、健康紀錄、一次性驗證碼和密碼欄位。
- Android:在上述每個視窗(包括對話方塊)設定
FLAG_SECURE。在包含資料的檢視上加入setAccessibilityDataSensitive(API 34+),並在登入和付款欄位加入setContentSensitivity(API 35+)。 - Android:檢查
onProvideAssistContent()和onProvideAssistData()的覆寫設定,確保不會將敏感資料交給助理。 - iOS:留意
sceneCaptureState,並在螢幕正在錄影或鏡像輸出時隱藏敏感檢視。如果你的產品需要向用戶發出提示,請處理userDidTakeScreenshotNotification。 - iOS 和 macOS:告知用戶前往「設定」>「Siri」>「排除的 App」。
- Windows 和 Electron:在建立視窗時,以
WDA_EXCLUDEFROMCAPTURE呼叫setContentProtection(true)或SetWindowDisplayAffinity。 - 通知:提供「隱藏訊息內容」選項。
- 儲存:使用平台持有的金鑰加密靜態敏感資料。
- 新增設定切換選項並附上清晰警告,並使用螢幕閲讀器測試每個受保護的畫面。
Signal 將自己形容為「煤礦中的金絲雀」。Signal 自述,在過去幾個月投入了「相當多的開發時間」,在 Android 和 iOS 上進行數碼鑑證調查,但仍無法涵蓋 macOS 或每一款 Android 裝置。規模較小的 App 也會遇到相同限制。差別在於,你會現在從文件中得知,還是日後由用戶告訴你。
你會優先保護 App 中哪些畫面?作業系統的助理是否已經讀取過其中一個畫面?
來源
[2] TechCrunch:Signal 限制流動裝置截圖,以應對 AI 監控帶來的「生存威脅」
[3] Hacker News 上關於 Signal 貼文的討論
[5] Android Developers:為 Assistant 最佳化情境內容
[6] Android Developers:偵測用戶何時拍攝裝置螢幕截圖
[7] Android Developers:Android 15 功能和 API
[8] Android Developers:View 參考資料
[9] Google Play:AccessibilityService API 的使用
[10] Apple Developer:userDidTakeScreenshotNotification
[11] Apple Developer:sceneCaptureState
[12] Apple Developer:isCaptured
[13] EFF:勝利!現在你可以將 App 排除在 Siri AI 之外
[14] Microsoft Learn:SetWindowDisplayAffinity 函式
[15] Microsoft Learn:管理 Recall
來源:DEV Community · dev.to