跳到正文
Hacker News 熱門(buzzing.cc 中文翻譯)·· 12 天前精選AI 評分77

研究拆解自 2022 年起 Mac 內置的家庭關係推斷機制

每台 Mac 都内置了一个(未记录在文档中的)家庭成员识别器

AI 導讀

研究者分析 macOS 26 內置的個人知識圖譜,指出系統會從聯絡人、日曆、照片、訊息等資料推斷用戶及身邊人士的關係。兩個背景服務會結閤家庭共享、位置與行為信號;家庭關係分類器使用 144 項特徵,主要涵蓋通訊模式及照片共同出現資料。作者開源 iKnow 本機儀錶板供用戶唯讀檢視圖譜;相關 SQLite 數據庫以明文儲存在受 TCC Full Disk Access 權限保護的目錄。

推薦理由

文章逐層追查資料來源與家庭關係分類依據,並以 iKnow 展示通訊、照片和行為信號如何形成個人知識圖譜。

正文 · 繁體中文

如果我告訴你,自 2022 年起出貨的每部 Mac 都隨附一對守護程序,它們唯一的用途就是建立一張關於你和你身邊人士的圖譜:你是誰、你認識誰、這些人與你及彼此之間有甚麼關係、你如何與他們溝通、你會去哪裏、跟誰一起、做甚麼,以及何時做。這張圖譜會在裝置上建立,透過交叉比對電腦上幾乎所有資料:聯絡人、行事曆、照片、訊息、郵件、位置、螢幕使用時間,以及一長串其他行為訊號。更重要的是,這些資料會以可供查詢的儲存庫形式保存,LLM 會從中擷取資料(據稱)。你會相信我嗎?

事情的確如此;有趣的是,幾乎沒有文件説明這套機制在 Mac 上如何運作。最接近官方説明的,是手冊頁(man 8 knowledgeconstructiond),而你能看到的全部內容如下:

man 8 knowledgeconstructiondmacOS 26.6.2, build 25G83
NAME
     knowledgeconstructiond – A daemon that analyzes content on the
     device to build a general purpose knowledge graph.

DESCRIPTION
   knowledgeconstructiond analyzes the content on this device to help
   build a knowledge graph representing the device and the user. It
     works together with intelligenceplatformd, performing some of the
     heavy processing tasks, to generate the knowledge graph.

先前研究:公平來説,Apple 自己的研究人員早在 2023 年就曾發表一篇探討構建這類圖譜背後技術的論文。但幾乎沒有資料説明這套機制如何整合至 macOS:哪些版本會執行它,以及所收集和推斷資料的確切清單。對下文討論的「親屬關係」推斷,更是隻字未提。此外,我們在 2026 年 8 月研究 macOS 26 中的 Apple Intelligence 套件時,也親自遇上了這套機制;但幾個月前,Nic Lydon 已發現同一個資料庫,並在我建立了一個個人知識圖譜,Apple 早已在我的手提電腦上建立了一個。一文中記錄了這件事。

不過,我們會深入探討一點。

這篇網誌文章記錄了我們對知識圖譜實際功能所作的部分分析,讓你(用戶)更瞭解這套機制如何運作,並更清楚知道圖譜儲存了哪些關於你、家人和朋友的資料。文中所有資料均於 macOS 26 上收集(撰文時版本為 26.6.2)。

為此,我們將一個本機儀錶板iKnow開源,讓你在 Mac 上查看個人知識圖譜的內容。

最後,我們稍作岔題,研究我們最擅長的事:將系統武器化及加以利用。我們會進行一個思想實驗(適用於任何同類個人化系統),展示知識庫落入不當人士手中時會發生甚麼事,以及如何利用「私隱單點故障」,以你此前可能未曾想過的方式威脅你(配合 abliterated LLM 使用時)。

個人知識圖譜內有甚麼?

這兩個守護程序會將工作資料存放在 ~/Library/IntelligencePlatform。這是一個包含 SQLite 資料庫(五十一個資料庫)的目錄;資料以明文儲存,但目錄位於受 TCC Full Disk Access 保護的區域。

當中最值得關注的,大概是 graph.db。這是一個三元組資料庫,採用包含 181 種實體類別和 278 個謂詞的詞彙:每一列都由主體、謂詞和客體組成。主體是實體(人物、應用程式或事件);客體則可以是一般值(名稱、網上代號或日期),也可以是另一個實體,圖譜的邊便由此形成。謂詞才是有趣之處:它表示系統認為兩者之間存在哪一類關係。

一條邊,以及儲存它所用的資料列

人物實體(Me),即這部 Mac 的擁有者,透過兩者之間的關係節點,與組織實體 Halden Labs 相連。第一條邊標記為 PS500(僱主);該節點為 CS165,即僱傭關係類型;第二條邊標記為 PS45(所屬成員)。下方是 stable_graph 中儲存同一條邊的兩列資料,共用一個 relationshipId:一列指出關係類型,另一列指向該組織;欄位為 subject、predicate、relationshipId、relationshipPredicate 和 object,並註明每列亦包含 confidence、sources、sourceDuplicates 和 timestamp。這些值是虛構的;predicate ID、路徑和欄位則是正式版本採用的內容。

圖譜中的一條邊(合成資料):人物,以及儲存庫記錄為其僱主的組織。PS500 是 ID,predicate.json 對應 僱主,其值域並非組織,而是 關係類型——因此,一條邊會以共用同一個 relationshipId 的兩列表示,一列指出關係類型,另一列指向另一個實體。下表中的四十六個 關係類型類別正是為此而設,因此邊本身可以有信心度,日後亦可以撤回。

兩個 daemon 程序大部分工作,是根據作業系統允許它們讀取的所有資料,填入這些 predicate 和旁邊的資料表。圖譜中包括 Contacts;Photos(人臉);Calendar(標題和出席者);Family Sharing(包括每位成員的年齡);Health 中的 Medical ID 緊急聯絡人;Siri Suggestions 在 Mail 和 Messages 中找到的事件和聯絡人;應用程式透過 App Intents 提供的人物資料;以及已安裝的應用程式。旁邊另有獨立資料表,記錄你的相片中有哪些人一同出現;通訊記錄(對象、時間、使用的應用程式、通訊方向;不包括內容),亦會從你的其他裝置取得資料;位置和移動資訊;以及大量裝置訊號(螢幕鎖定、Wi-Fi、Bluetooth、充電、環境光線,還有一條名為 ContextualUnderstanding.PhysicalSocial 的資料流,其記錄格式會列出人物的姓名、電話和電郵,並為每人記下開始和結束時間。它看起來像是記錄身邊有哪些人的日誌,不過我們從未見過其中填有資料)。

推斷所得

181 個實體類別的完整清單:

class.json 中的 181 個實體類別

類別標籤羣組是否找到機制?
SB56實體核心已實作
SB104人物核心已實作
SB152地點核心已實作
nm_topic主題核心已實作
SB65事件核心已實作
nm_document文件核心未能找到機制
SB473住所核心未能找到機制
SB10組織核心已實作
SB2人類羣體核心已實作
SB144軟件核心已實作
SB193生物體核心已實作
SB198代理者核心已實作
SB83概念核心已實作
SB400發生事件核心已實作
SB60角色核心已實作
SB197siribase 類型核心已實作
nm_knowledgeSource知識來源核心已實作
SB170時間核心未能找到機制
SB175羣組核心已實作
SB470裝置主要用戶人物未能找到機制
SB199音樂人人物未能找到機制
SB14體育隊伍人物已實作
SB417體育組織人物未能找到機制
SB115體育聯盟人物未能找到機制
SB185運動員人物未能找到機制
SB21藝術界人士人物未能找到機制
SB184音樂家人物未能找到機制
nm_screenTimeSegment螢幕使用時間區段人物未能找到機制
CS8性別屬性可能已實作(未經核實)
CS4計量單位屬性已實作
CS25職業類型屬性已實作
CS37宗教屬性未能找到機制
SB74語言屬性未能找到機制
SB18政黨屬性找不到機制
SB461類型屬性已實作
SB537交通方式屬性已實作
SB544汽車型號屬性已實作
SB418品牌屬性已實作
SB399內容分級屬性找不到機制
SB48人口聚居地地點已實作
SB101州地點可能已實作(未經核實)
SB163國家地點可能已實作(未經核實)
SB370時區地點可能已實作(未經核實)
SB131郡地點已實作
SB471日曆事件找不到機制
SB472日曆事件事件已實作
SB513活動事件事件已實作
SB71體育賽事事件找不到機制
SB77假日事件事件已實作
SB514交通活動活動已實作
SB515工作活動活動已實作
SB516會議活動活動已實作
SB517飲食活動活動可能已實作(未經核實)
SB518看電視活動活動可能已實作(未經核實)
SB519通訊活動活動已實作
SB520購物活動活動已實作
SB523旅行活動活動可能已實作(未經核實)
SB524閲讀活動活動已實作
SB525度假活動活動已實作
SB526遊戲活動活動已實作
SB527社交活動活動可能已實作(未經核實)
SB528起牀活動活動可能已實作(未經核實)
SB529就寢活動活動可能已實作(未經核實)
SB522睡眠活動活動已實作
SB530運動活動活動已實作
SB521正念活動活動可能已實作(未經核實)
SB531通電話活動活動已實作
SB532FaceTime 活動活動已實作
SB533步行活動活動已實作
SB534跑步活動活動已實作
SB535騎單車活動活動已實作
SB536遠足活動活動找不到機制
SB722通勤活動活動已實作
SB723用餐活動活動已實作
SB726出席演出活動活動已實作
SB732靜止活動活動已實作
SB764到訪地點活動活動已實作
SB784駕駛活動活動找不到機制
SB786行為活動活動找不到機制
SB394體育活動活動已實作
SB116活動種類活動類型可能已實作(未經驗證)
SB545交通活動類型活動類型找不到機制
SB546工作活動類型活動類型找不到機制
SB547會議活動類型活動類型找不到機制
SB548進食活動類型活動類型找不到機制
SB549觀看媒體活動類型活動類型找不到機制
SB550溝通活動類型活動類型找不到機制
SB551購物活動類型活動類型找不到機制
SB552正念活動類型活動類型找不到機制
SB553睡眠活動類型活動類型找不到機制
SB554旅行活動類型活動類型找不到機制
SB555閲讀活動類型活動類型找不到機制
SB556假期活動類型活動類型找不到機制
SB557社交活動類型活動類型找不到機制
SB558醒來活動類型活動類型找不到機制
SB559就寢活動類型活動類型找不到機制
SB560電話通話活動類型活動類型找不到機制
SB561FaceTime 活動類型活動類型找不到機制
SB562步行活動類型活動類型找不到機制
SB563跑步活動類型活動類型找不到機制
SB564騎單車活動類型活動類型找不到機制
SB565遠足活動類型活動類型找不到機制
SB483體能鍛煉類型活動類型找不到機制
SB721通勤活動類型活動類型找不到機制
SB785駕駛活動類型活動類型找不到機制
SB787行為活動類型活動類型找不到機制
SB425車輛交通已實作
SB543步行交通找不到機制
SB335汽車交通已實作
SB538飛機交通找不到機制
SB539單車交通找不到機制
SB358船隻交通找不到機制
SB541巴士交通找不到機制
SB542火車機車交通找不到機制
SB51作品媒體已實作
SB405媒體作品媒體已實作
SB44歌曲媒體已實作
SB138專輯媒體找不到機制
SB85音樂作品媒體已實作
SB183電影媒體找不到機制
SB295電視節目媒體找不到機制
SB49動物動物找不到機制
nm_pet寵物動物找不到機制
nm_dog狗動物找不到機制
nm_cat貓動物找不到機制
nm_myPet我的寵物動物找不到機制
nm_myDog我的狗動物找不到機制
nm_myCat我的貓動物找不到機制
nm_walletOrder電子錢包訂單商務已實作
nm_walletTransaction電子錢包交易商務找不到機制
nm_payment付款商務已實作
nm_transaction交易商務已實作
nm_email電郵商務已實作
nm_shippingInfoshippingInfo商務找不到機制
nm_shipmentFullFillmentInfo貨件履行資訊商務已實作
CS29地點關係類型邊已實作
CS97地址關係類型邊已實作
nm_topicRelationshipType主題關係類型邊可能已實作(未經核實)
CS1關係類型邊已實作
nm_senderRelationshipType寄件者關係類型邊可能已實作(未經核實)
nm_calendarRelationshipType日曆關係類型邊已實作
nm_organizerRelationshipType主辦人關係類型邊找不到機制
CS105文字關係類型邊找不到機制
CS101語言關係類型邊找不到機制
CS22識別碼關係類型邊已實作
CS2圖片關係類型邊可能已實作(未經核實)
CS13成員資格關係類型邊已實作
CS165就業關係類型邊已實作
CS154時區關係類型邊可能已實作(未經核實)
CS3數量關係類型邊已實作
CS36宗教關係類型邊找不到機制
CS167興趣關係類型邊找不到機制
CS38參與關係類型邊已實作
nm_calendarSourceRelationshipType日曆來源關係類型邊已實作
CS168Agent 隸屬關係類型邊已實作
nm_dateRelationshipType日期關係類型邊已實作
nm_administratorRelationshipType管理員關係類型邊找不到機制
nm_visualIdentifierRelationshipType視覺識別碼關係類型邊已實作
nm_songRelationshipType歌曲關係類型邊已實作
nm_softwareRelationshipType軟件關係類型邊已實作
CS173事件關係類型邊找不到機制
nm_localizedNameRelationshipType本地化名稱關係類型邊已實作
nm_confidenceRelationshipType置信度關係類型邊已實作
CS31表演關係類型邊找不到機制
CS15部分—整體關係類型邊找不到機制
CS113評分關係類型邊找不到機制
CS166羣組關係類型邊已實作
nm_livingBeingRelationship生物關係邊已實作
nm_entityAliasRelationshipType實體別名關係類型邊已實作
nm_extractionTagRelationshipType擷取標籤關係類型邊已實作
nm_orderEmailRelationshipType訂單電郵關係類型邊已實作
nm_orderTransactionRelationshipType訂單交易關係類型邊已實作
nm_orderShippingInfoRelationshipType訂單貨件資訊關係類型邊已實作
nm_entityOrganizationRelationshipType實體組織關係類型邊已實作
nm_shipmentFullFillmentEmailRelationshipType貨件履行電郵關係類型邊已實作
nm_orderShipmentFullFillmentRelationshipType訂單貨件履行關係類型邊已實作
nm_orderPaymentRelationshipType訂單付款關係類型邊已實作
nm_fromToEmailRelationshipType寄件者至收件者電郵關係類型邊找不到機制
nm_orderPersonRelationshipType訂單人物關係類型邊已實作
nm_shipmentPersonRelationshipType出貨人物關係類型邊已實作
nm_emailInfoRelationshipType電郵資訊關係類型邊找不到機制

隨附本體宣告的所有類別,按類別分組,而非依檔案順序排列:核心類型,接着是人物、屬性、地點和事件,再來是活動類別,最後是 46 種關係類型。它們完全不是事物——每一種都會將一條邊實體化,讓該邊可帶有自身的屬性,其中包括信心度。識別碼和標籤均由 Apple 提供;分組則由我們整理。intValue 的編號由 1 至 185,當中缺少四個號碼——18、54、169、181;磁碟上的資料沒有説明它們原本代表甚麼。

181 個類別之中,有 57 個描述活動:睡覺、做運動、正念、上牀睡覺、通勤、用餐;其中大部分旁邊都有相應的類型類別。因此,近三分之一的詞彙用來描述你正在做甚麼,而非你是誰或身處何處。不過,並不清楚每個類別是否確實有被使用;有些可能只是已宣告、但從未填入內容的佔位符。在表格中,我們把找到可能負責該類別的機制的類別標示為已實作,但這些標示應視為推論結果,而非確鑿事實。

以下是完整的述詞清單(同樣適用上述聲明):

predicate.json 中的 278 個述詞

述詞記錄內容資料來源取得方式是否找到機制?
PS1這是甚麼類型的事物所有來源規則已實作
PS10類型Apple 世界知識Apple 隨附已實作
PS102此記錄與另一記錄指向同一人物/事物所有來源嵌入模型已實作
PS106時長Calendar、Suggestions複製找不到機制
PS107有位置Calendar、位置記錄複製可能已實作(未經驗證)
PS123整體-部分關係中的部分Apple 世界知識Apple 隨附找不到機制
PS132有宗教信仰Contacts複製找不到機制
PS133宗教信仰Apple 世界知識Apple 隨附找不到機制
PS135區域Apple 世界知識Apple 隨附找不到機制
PS137由……執行Apple 世界知識Apple 隨附找不到機制
PS143出席者識別碼Calendar、Suggestions複製可能已實作(未經驗證)
PS144參與事件Calendar、Photos複製找不到機制
PS147人口Apple 世界知識Apple 隨附找不到機制
PS16表演者Apple 世界知識Apple 隨附找不到機制
PS194由……發布Apple 世界知識Apple 隨附已實作
PS2單位Apple 世界知識Apple 隨附已實作
PS225有位置關係Calendar、位置記錄複製已實作
PS232有出席者Calendar、Suggestions複製已實作
PS248起始位置Calendar、位置記錄複製已實作
PS249終點位置Calendar、位置記錄複製已實作
PS29開始時間Calendar、Suggestions複製已實作
PS296URLCalendar、應用程式、世界知識複製已實作
PS3數量Apple 世界知識Apple 隨附已實作
PS30結束時間Calendar、Suggestions複製已實作
PS312名字Contacts複製已實作
PS313用戶名稱/帳號代稱Contacts、Family Sharing複製已實作
PS314運動Apple 世界知識Apple 隨附找不到機制
PS315郵政編碼Contacts、訂單電郵複製已實作
PS316完整街道地址Contacts、訂單電郵複製可能已實作(未經驗證)
PS317有地址Contacts、訂單電郵複製已實作
PS324有語言Contacts複製找不到機制
PS325使用的語言通訊錄已複製找不到機制
PS33姓名通訊錄已複製已實作
PS335文字值日曆、應用程式、世界知識已複製找不到機制
PS336正式名稱Apple 世界知識Apple 提供找不到機制
PS34性別認同通訊錄已複製可能已實作(未經核實)
PS343地方居民稱謂Apple 世界知識Apple 提供找不到機制
PS35…的公民Apple 世界知識Apple 提供找不到機制
PS358有評分Apple 世界知識Apple 提供找不到機制
PS359評分Apple 世界知識Apple 提供找不到機制
PS36出生姓名通訊錄已複製已實作
PS37出生日期通訊錄已複製已實作
PS374有成員通訊錄、家人共享已複製已實作
PS392最後更新時間日曆、建議已複製已實作
PS396外部識別碼、其值及類型每個來源已合併已實作
PS4闊度Apple 世界知識Apple 提供可能已實作(未經核實)
PS406電郵地址通訊錄、訂單電郵已複製已實作
PS407電話號碼通訊錄、訂單電郵已複製已實作
PS424政黨成員Apple 世界知識Apple 提供找不到機制
PS441姓氏通訊錄已複製已實作
PS447有時區日曆、位置記錄已複製找不到機制
PS448時區日曆、位置記錄已複製可能已實作(未經核實)
PS45成員通訊錄、家人共享已複製已實作
PS450地址所在國家通訊錄、訂單電郵已複製可能已實作(未經核實)
PS453城市通訊錄、訂單電郵已複製可能已實作(未經核實)
PS454國家代碼 ISO 3166-1 alpha-2通訊錄、訂單電郵已複製可能已實作(未經核實)
PS455行政區通訊錄、訂單電郵已複製可能已實作(未經核實)
PS46羣組成員識別碼家人共享已合併找不到機制
PS484官方語言Apple 世界知識Apple 提供找不到機制
PS486顯示圖片照片、通訊錄已複製找不到機制
PS5身高Apple 世界知識Apple 提供可能已實作(未經核實)
PS500僱主通訊錄已複製已實作
PS51描述日曆、應用程式、世界知識已複製已實作
PS515地點內的位置Apple 世界知識Apple 提供找不到機制
PS520有聯絡資料通訊錄、訂單電郵已複製已實作
PS524原居地Apple 世界知識Apple 提供找不到機制
PS53屬於Apple 世界知識Apple 提供找不到機制
PS545姓名前綴通訊錄已複製已實作
PS546中間名通訊錄已複製已實作
PS547姓名後綴通訊錄已複製已實作
PS548部門通訊錄已複製已實作
PS557此人感興趣的主題Personalization Portrait評分模型找不到機制
PS558此人感興趣的主題Personalization Portrait評分模型找不到機制
PS565縮寫Apple 世界知識Apple 提供找不到機制
PS566羣組包含部分Apple 世界知識Apple 提供找不到機制
PS567與 GMT 相差秒數日曆、位置記錄已複製找不到機制
PS568次級行政區通訊錄、訂單電郵已複製已實作
PS569次級地區通訊錄、訂單電郵已複製已實作
PS570次級街道通訊錄、訂單電郵已複製已實作
PS571緯度日曆、位置記錄已複製已實作
PS572經度日曆、位置記錄已複製已實作
PS573有緯度/經度日曆、位置記錄已複製已實作
PS574曾用姓氏通訊錄已複製已實作
PS578有主辦人日曆、建議已複製已實作
PS579在日曆上日曆、建議已複製找不到機制
PS580日曆活動寄件者行事曆、建議已複製已實作
PS581地址第二行聯絡人、訂單電郵已複製已實作
PS582誰管理住所HomeKit已複製找不到機制
PS586狀態—未確立已實作
PS598一個人與另一個人有關/有所關聯聯絡人、健康、家人共享、螢幕使用時間、照片XGBoost + 規則 + 已複製已實作
PS599一個人與另一個人有關/有所關聯聯絡人、健康、家人共享、螢幕使用時間、照片XGBoost + 規則 + 已複製找不到機制
PS618有子事件行事曆、建議已複製找不到機制
PS66來源網址行事曆、應用程式、世界知識已複製已實作
PS67死亡日期Apple 世界知識Apple 提供找不到機制
PS69外部識別碼、其值及類型每個來源已合併已實作
PS7圖像檔案照片、聯絡人已複製可能已實作(未經核實)
PS709有司機CarPlay、Wallet已複製找不到機制
PS710交通工具類型Apple 世界知識Apple 提供找不到機制
PS711爬升高度Apple 世界知識Apple 提供找不到機制
PS712地形Apple 世界知識Apple 提供已實作
PS713消耗燃油Apple 世界知識Apple 提供找不到機制
PS714高速公路行駛里程Apple 世界知識Apple 提供找不到機制
PS715市區行駛里程Apple 世界知識Apple 提供找不到機制
PS716汽車品牌CarPlay、Wallet已複製找不到機制
PS717汽車型號CarPlay、Wallet已複製找不到機制
PS718兩件事件同時發生照片、行事曆規則找不到機制
PS719活動類型健康、動作感應器規則找不到機制
PS72外部識別碼、其值及類型每個來源已合併已實作
PS73職業聯絡人、Apple 世界知識已複製已實作
PS730地址附加單位聯絡人、訂單電郵已複製可能已實作(未經核實)
PS731行政區代碼聯絡人、訂單電郵已複製可能已實作(未經核實)
PS733用戶為地點或物件提供的標籤行事曆、建議已複製可能已實作(未經核實)
PS734參與者義務行事曆、建議已複製找不到機制
PS740聯絡人標籤聯絡人已複製已實作
PS741有事件行事曆、建議已複製找不到機制
PS747行為類別行為記錄規則找不到機制
PS75有母親—未確立找不到機制
PS753羣組包含個人家人共享已複製已實作
PS76有父親—未確立找不到機制
PS77配偶—未確立找不到機制
PS78有圖像照片、聯絡人已複製找不到機制
PS79有子女—未確立找不到機制
PS83長度Apple 世界知識Apple 提供找不到機制
PS85擔任的職位Apple 世界知識Apple 提供找不到機制
PS89同一人使用的另一個名稱聯絡人、照片嵌入模型已實作
PS99淨資產Apple 世界知識Apple 提供找不到機制
nm_QIDWikidata IDApple 世界知識Apple 提供已實作
nm_UMC_IDUMC IDApple Music已複製已實作
nm_accountInstitution帳戶機構Wallet、訂單電郵已複製已實作
nm_accountLastFourDigits帳戶末四位數Wallet、訂單電郵已複製已實作
nm_accountType帳戶類型Wallet、訂單電郵已複製已實作
nm_accuracy準確度位置記錄已複製找不到機制
nm_activityCategory從文字提取的事件類型Mail、Messages、應用程式內容規則找不到機制
nm_addressString地址字串行事曆、建議已複製已實作
nm_age年齡家人共享已複製已實作
nm_albumIdentifier專輯識別碼Apple Music已複製已實作
nm_albumName歌曲專輯名稱Apple Music、應用程式使用情況已複製已實作
nm_amount金額Wallet、訂單電郵已複製已實作
nm_anniversary紀念日Contacts已複製已實作
nm_applicationIdentifier應用程式識別碼已安裝的 App已複製已實作
nm_artistIdentifier藝人識別碼Apple Music已複製已實作
nm_artistName歌曲藝人名稱Apple Music、App 使用情況已複製已實作
nm_associationReason哪個機制為這張人臉命名Photos 人臉規則已實作
nm_availability可用狀態Calendar、Suggestions已複製找不到機制
nm_birthdayContactID生日聯絡人 IDContacts已連接找不到機制
nm_bundleID套件 ID已安裝的 App已複製已實作
nm_calendarType日曆類型Calendar、Suggestions已複製找不到機制
nm_carrierName電訊商名稱Wallet 票券、Calendar已複製已實作
nm_category根據你閲讀和撰寫的內容評分的主題Personalization Portrait評分模型找不到機制
nm_cnFavoriteActionType聯絡人最愛動作類型Contacts已複製已實作
nm_confidence系統對此有多大把握寫入該事實的引擎規則已實作
nm_confirmationConfidence名稱配對的確定程度Contacts、Photos嵌入模型已實作
nm_creationDate建立日期Calendar、Suggestions已複製已實作
nm_dates日期Calendar、Suggestions已複製已實作
nm_documentID文件 ID—未確立找不到機制
nm_dynamicCategory根據你閲讀和撰寫的內容評分的主題Personalization Portrait評分模型找不到機制
nm_emailFrom電郵寄件者訂單電郵已複製已實作
nm_emailIdentifier電郵識別碼訂單電郵已連接已實作
nm_emailReplyTo電郵回覆對象訂單電郵已複製已實作
nm_emailTo電郵收件者訂單電郵已複製找不到機制
nm_emailType電郵類型訂單電郵已複製已實作
nm_entityAliasRelationship連結同一人的兩個姓名Contacts、Photos嵌入模型已實作
nm_exactVersion確切版本已安裝的 App已複製找不到機制
nm_extensionHostId擴充功能主機 ID已安裝的 App已複製找不到機制
nm_familyMemberType家庭成員類型Family Sharing已複製已實作
nm_file檔案已安裝的 App已複製找不到機制
nm_flightNumber航班編號Wallet 票券、Calendar已複製已實作
nm_handleIdentifierHandle 識別碼Messages、Mail已連接已實作
nm_handles某人使用的電話號碼和電郵地址Contacts已複製可能已實作(未經核實)
nm_hasAdministrator有管理員HomeKit已複製找不到機制
nm_hasCalendar有日曆Calendar、Suggestions已複製找不到機制
nm_hasConfidence各來源的信任權重可下載的 Apple 資產Apple 提供已實作
nm_hasDate有日期Calendar、Suggestions已複製已實作
nm_hasDomain述詞適用於哪些類別本體論本身Apple 提供找不到機制
nm_hasEmail有電郵訂單電郵已複製已實作
nm_hasExtractionTags有擷取標籤資料匯入流程規則找不到機制
nm_hasFavoriteSportsTeam有最喜愛的運動隊伍App 使用情況、Apple Music已複製找不到機制
nm_hasField有欄位—未確立已實作
nm_hasLocalizedName有本地化名稱Apple 世界知識Apple 提供已實作
nm_hasMerchant有商戶Wallet、訂單電郵已複製已實作
nm_hasPayment有付款Wallet、訂單電郵已複製已實作
nm_hasPerson有人物訂單電郵已複製已實作
nm_hasProfileImage有個人檔案圖片Contacts已複製已實作
nm_hasRange述詞適用於哪些類別本體論本身Apple 提供已實作
nm_hasSender有寄件者訂單電郵已複製可能已實作(未經核實)
nm_hasShipmentFullFillment有貨件履行資訊Wallet、訂單電郵已複製已實作
nm_hasShippingInfo有送貨資訊Wallet、訂單電郵已複製找不到機制
nm_hasSoftware有軟件已安裝的 App已複製已實作
nm_hasSong有歌曲Apple Music、App 使用情況已複製已實作
nm_hasSource有來源Calendar、Suggestions已複製找不到機制
nm_hasTopic根據你閲讀和撰寫的內容評分的主題Personalization Portrait評分模型可能已實作(未經核實)
nm_hasTransaction有交易Wallet、訂單電郵已複製已實作
nm_hasVisualIdentifier某人的人臉分羣Photos 人臉人臉分羣已實作
nm_homeTeam主隊Apple Music、應用程式使用情況已複製找不到相關機制
nm_iataCodeIATA 代碼Wallet 通行證、Calendar已複製已實作
nm_image_bytes圖片位元組Photos、Contacts已複製已實作
nm_imputedAnniversary推算出的週年紀念日Contacts、行為未知模型已實作
nm_imputedBirthday代填而非告知的生日——以及系統實際讀取的生日Photos 年齡估算(候選項)未知模型已實作
nm_imputedCreationDate填入或標準化的時間戳記Calendar、建議規則已實作
nm_imputedEndTime填入或標準化的時間戳記Calendar、建議規則已實作
nm_imputedInferredBirthday代填而非告知的生日——以及系統實際讀取的生日Photos 年齡估算(候選項)未知模型已實作
nm_imputedLastUpdated填入或標準化的時間戳記Calendar、建議規則已實作
nm_imputedNonGregorianBirthday推算出的非公曆生日Contacts、行為未知模型已實作
nm_imputedOccurrenceDate填入或標準化的時間戳記Calendar、建議規則已實作
nm_imputedStartTime填入或標準化的時間戳記Calendar、建議規則已實作
nm_inferenceFeedbackID標記機器生成陳述的識別碼親屬關係分類器XGBoost已實作
nm_inferredBirthday代填而非告知的生日——以及系統實際讀取的生日Photos 年齡估算(候選項)未知模型已實作
nm_inferredDeviceUser經推斷而非明確申報的擁有人行為記錄未知模型已實作
nm_inferredSemanticLabel地點用途,例如住所、健身室位置記錄未知模型已實作
nm_intentPersonId應用程式提及該人士時使用的稱呼應用程式提供的資料合併已實作
nm_isAllDay是否為全日活動Calendar、建議已複製已實作
nm_isCurrentUser此人是手機的持有人Contacts 個人名片規則已實作
nm_isDetached是否已分離Calendar、建議已複製找不到相關機制
nm_isFavorite是否為最愛Contacts已複製已實作
nm_isStarting是否正在開始Calendar、建議已複製找不到相關機制
nm_isSubscribed訂閲狀態Calendar、建議已複製找不到相關機制
nm_launchReason啟動原因應用程式使用情況、Screen Time已複製找不到相關機制
nm_launchType啟動類型應用程式使用情況、Screen Time已複製找不到相關機制
nm_league_name聯賽名稱Apple Music、應用程式使用情況已複製已實作
nm_listening_confidence每種語言下對某段關係的掌握程度—尚未確立可能已實作(未經核實)
nm_localeIdentifier地區設定識別碼系統設定已複製已實作
nm_mappedTopic根據你閲讀和撰寫的內容評分的主題Personalization Portrait評分模型找不到相關機制
nm_merchantName商戶名稱Wallet、訂單電郵已複製已實作
nm_naturalLanguageEventTypeIdentifier從文字中提取的事件類型Mail、Messages、應用程式內容規則找不到相關機制
nm_nonGregorianBirthday非公曆生日Contacts已複製已實作
nm_occurrenceDate發生日期Calendar、建議已複製已實作
nm_orderContentType訂單內容類型Wallet、訂單電郵已複製已實作
nm_orderNumber訂單編號Wallet、訂單電郵已複製已實作
nm_organizationIdentifier組織識別碼Contacts、Wallet合併已實作
nm_parentBundleId父級套件 ID已安裝的應用程式已複製找不到相關機制
nm_paymentIdentifier付款識別碼Wallet合併已實作
nm_paymentMethodIsApplePay付款方式是否為 Apple PayWallet、訂單電郵已複製已實作
nm_personIdentifier關係所指向的人關係的另一端合併已實作
nm_personTypePhotos 偵測到的物件類型Photos規則已實作
nm_phoneticFamilyName姓氏讀音Contacts已複製已實作
nm_phoneticFirstName名字讀音Contacts已複製已實作
nm_phoneticMiddleName中間名讀音Contacts已複製已實作
nm_phoneticName姓名讀音Contacts已複製已實作
nm_photosDetectionTypePhotos 偵測到的物件類型Photos規則已實作
nm_poiType地點類型Maps、位置記錄已複製找不到相關機制
nm_reading_confidence每種語言下對某段關係的掌握程度—尚未確立可能已實作(未經核實)
nm_relationship某人與另一人的親屬或關聯關係聯絡人、健康、家人共享、螢幕使用時間、相片XGBoost + 規則 + 複製已實作
nm_relationshipLabel關係詞,例如「姊妹」、「同事」聯絡人、健康、家人共享XGBoost + 複製已實作
nm_role角色—未能確立找不到機制
nm_screenTimeSegmentPerson螢幕使用時間區段中的人物螢幕使用時間複製找不到機制
nm_senderDomain寄件者網域訂單電郵複製已實作
nm_senderIdentifier寄件者識別碼訊息、郵件聯結可能已實作(未經核實)
nm_sgEventType根據 App 或電郵推斷的事件類型建議規則已實作
nm_shipmentFullFillmentIdentifier貨件履約識別碼錢包聯結已實作
nm_shippingMethod運送方式錢包、訂單電郵複製已實作
nm_shippingStatus運送狀態錢包、訂單電郵複製已實作
nm_shortVersion簡短版本已安裝的 App複製找不到機制
nm_signalLabel訊號標籤相片規則已實作
nm_softwareIdentifier軟件識別碼已安裝的 App聯結可能已實作(未經核實)
nm_songIdentifier歌曲識別碼Apple Music複製找不到機制
nm_sourceType來源類型資料匯入通道規則已實作
nm_subject主題訂單電郵複製已實作
nm_suggestedName為未命名人臉推測的姓名相片人臉 + 訊息文字本機 LLM已實作
nm_suggestedRelationshipConfidence推測的人臉與手機擁有者的關係相片人臉 + 訊息文字本機 LLM已實作
nm_suggestedRelationshipToDeviceOwner推測的人臉與手機擁有者的關係相片人臉 + 訊息文字本機 LLM已實作
nm_teamIdentifier團隊識別碼已安裝的 App聯結已實作
nm_toDisplayName電郵收件者的顯示名稱電郵複製已實作
nm_toEmailAddress收件者電郵地址電郵複製已實作
nm_topicIdentifier主題識別碼個人化肖像聯結可能已實作(未經核實)
nm_totalAmount總金額錢包、訂單電郵複製已實作
nm_totalNotifications通知總數App 使用情況、螢幕使用時間複製找不到機制
nm_totalPickups手機拿起次數總計App 使用情況、螢幕使用時間複製找不到機制
nm_trackingNumber追蹤編號錢包、訂單電郵複製已實作
nm_transactionIdentifier交易識別碼錢包聯結已實作
nm_transactionSource交易來源錢包、訂單電郵複製已實作
nm_transactionStatus交易狀態錢包、訂單電郵複製已實作
nm_transactionType交易類型錢包、訂單電郵複製已實作
nm_uncertainty不確定性位置記錄複製找不到機制
nm_unknownHandle未知帳號名稱訊息、郵件聯結已實作
nm_unlocalizedRelationshipLabel關係詞,例如「姊妹」、「同事」聯絡人、健康、家人共享XGBoost + 複製已實作
nm_virtualConferenceURL虛擬會議 URL日曆、建議複製已實作
nm_visualIdentifier某人的人臉羣組相片人臉人臉分羣已實作
nm_writing_confidence對某種關係按語言劃分的掌握程度—未能確立可能已實作(未經核實)

已隨產品提供的本體所宣告的每個述詞。第一欄是 graph.db 儲存的 ID;最後一欄説明數值如何得出:從來源複製、從另一筆記錄聯結而來、按規則推導、由 Apple 隨產品提供作為世界知識,或由模型(以粗體標示)產生。有七項我們未能確定,表格如實標示,沒有猜測。ID 和標籤由 Apple 提供;淺白解讀則由我們撰寫。

如何推斷

方法涵蓋的範圍相當廣。大部分詞彙都透過直接複製(例如從 Contacts 複製姓名、從 Calendar 複製出席者),再對這些副本套用規則來填入;有意思的資料列則來自模型:一對 XGBoost 分類器根據 144 項大多與行為有關的特徵,判斷哪些人屬於家人;兩個嵌入模型是系統用來判斷兩筆紀錄是否屬於同一人的十項訊號之一;Photos 中的十二個分析器,會根據哪些人與你一同出現在照片中,以及你們曾一起去過哪些旅程和假期,為伴侶、父母、子女、同事和朋友評分;而 Apple 的裝置端 LLM 會讀取你的訊息,為一張臉配上姓名和關係(前提是 Apple Intelligence 已啟用)。

無論採用哪種方法,每筆資料都會連同一個 confidence 值寫入圖譜,該數值介乎 0 和 1 之間。

家人關係評分獨立儲存。兩個 CoreML 模型與本體一同隨附,分別是 EntityTagging_Family.mlmodelc 和 EntityTagging_FamilyAndFriends.mlmodelc:這些二元 XGBoost 分類器會接收 144 項特徵,並輸出一個類別及該類別的機率。它們的評分不會寫入三元組儲存區,而是存放在專屬資料表(entityTagging.db)中;每人一列,包含十七個關係欄位,涵蓋 family、mother 至 coworker,並每天重新計算。下文的 iKnow 計分卡讀取的正是這張表。這十七個欄位中,只有兩個欄位有隨附模型支援;其餘十五個欄位由甚麼填入,以及這些機率如何轉化為圖譜中的 confidence 值,我們都無法追查。

每個模型的 metadata.json 都以純文字列出特徵名稱。這是我在任何地方找到對這個系統最清楚的說明。全部 144 項:

metadata.json 中的 144 項特徵

#特徵群組
0isVIPidentity
1sharesWorkAddressidentity
2hasSamePrivateEmailDomainidentity
3hasBirthdayidentity
4hasSameEmailDomainsidentity
5sameLastNameidentity
6hasSamePublicEmailDomainidentity
7photosPersonAgeidentity
8isFavoriteidentity
9hasSameEduEmailDomainidentity
10hasSameWorkEmailDomainidentity
11hasNicknameidentity
12allowListedNameMatchidentity
13ageDifferenceCategoryidentity
14nameContainsEmojiidentity
15nicknameContainsEmojiidentity
16sharesHomeAddressidentity
17allowListedNicknameMatchidentity
18photosAgeDifferenceCategoryidentity
19iCloudFamilyMemberidentity
20personOverallPopularitycommunication
21personLongTermPopularitycommunication
22personPopularityGivenMondaycommunication
23personPopularityGivenTuesdaycommunication
24personPopularityGivenWednesdaycommunication
25personPopularityGivenThursdaycommunication
26personPopularityGivenFridaycommunication
27personPopularityGivenSaturdaycommunication
28personPopularityGivenSundaycommunication
29mondayPopularityGivenPersoncommunication
30tuesdayPopularityGivenPersoncommunication
31wednesdayPopularityGivenPersoncommunication
32thursdayPopularityGivenPersoncommunication
33fridayPopularityGivenPersoncommunication
34saturdayPopularityGivenPersoncommunication
35sundayPopularityGivenPersoncommunication
36personPosteriorProbabilityGivenMondaycommunication
37personPosteriorProbabilityGivenTuesdaycommunication
38personPosteriorProbabilityGivenWednesdaycommunication
39personPosteriorProbabilityGivenThursdaycommunication
40personPosteriorProbabilityGivenFridaycommunication
41personPosteriorProbabilityGivenSaturdaycommunication
42personPosteriorProbabilityGivenSundaycommunication
43personPopularityGivenMorningcommunication
44personPopularityGivenAfternooncommunication
45personPopularityGivenEveningcommunication
46personPopularityGivenNightcommunication
47personPopularityGivenHomecommunication
48personPopularityGivenWorkcommunication
49homePopularityGivenPersoncommunication
50workPopularityGivenPersoncommunication
51personPosteriorProbabilityGivenHomecommunication
52personPosteriorProbabilityGivenWorkcommunication
53personPopularityGivenWeekdaycommunication
54personPopularityGivenWeekendcommunication
55weekdayPopularityGivenPersoncommunication
56weekendPopularityGivenPersoncommunication
57top1PersonInteractionMechanismcommunication
58top2PersonInteractionMechanismcommunication
59top3PersonInteractionMechanismcommunication
60photosPersonOverallPopularityphotos
61photosPersonLongTermPopularityphotos
62photosPersonPopularityGivenMondayphotos
63mondayPopularityGivenPhotosPersonphotos
64photosPersonPosteriorProbabilityGivenMondayphotos
65photosPersonPopularityGivenTuesdayphotos
66tuesdayPopularityGivenPhotosPersonphotos
67photosPersonPosteriorProbabilityGivenTuesdayphotos
68photosPersonPopularityGivenWednesdayphotos
69wednesdayPopularityGivenPhotosPersonphotos
70photosPersonPosteriorProbabilityGivenWednesdayphotos
71photosPersonPopularityGivenThursdayphotos
72thursdayPopularityGivenPhotosPersonphotos
73photosPersonPosteriorProbabilityGivenThursdayphotos
74photosPersonPopularityGivenFridayphotos
75fridayPopularityGivenPhotosPersonphotos
76photosPersonPosteriorProbabilityGivenFridayphotos
77photosPersonPopularityGivenSaturdayphotos
78saturdayPopularityGivenPhotosPersonphotos
79photosPersonPosteriorProbabilityGivenSaturdayphotos
80photosPersonPopularityGivenSundayphotos
81sundayPopularityGivenPhotosPersonphotos
82photosPersonPosteriorProbabilityGivenSundayphotos
83photosPersonPopularityGivenMorningphotos
84morningPopularityGivenPhotosPersonphotos
85photosPersonPosteriorProbabilityGivenMorningphotos
86photosPersonPopularityGivenAfternoonphotos
87afternoonPopularityGivenPhotosPersonphotos
88photosPersonPosteriorProbabilityGivenAfternoonphotos
89photosPersonPopularityGivenEveningphotos
90eveningPopularityGivenPhotosPersonphotos
91photosPersonPosteriorProbabilityGivenEveningphotos
92photosPersonPopularityGivenNightphotos
93nightPopularityGivenPhotosPersonphotos
94photosPersonPosteriorProbabilityGivenNightphotos
95photosPersonPosteriorProbabilityGivenMondayMorningphotos
96photosPersonPosteriorProbabilityGivenMondayAfternoonphotos
97photosPersonPosteriorProbabilityGivenMondayEveningphotos
98photosPersonPosteriorProbabilityGivenMondayNightphotos
99photosPersonPosteriorProbabilityGivenTuesdayMorningphotos
100photosPersonPosteriorProbabilityGivenTuesdayAfternoonphotos
101photosPersonPosteriorProbabilityGivenTuesdayEveningphotos
102photosPersonPosteriorProbabilityGivenTuesdayNightphotos
103photosPersonPosteriorProbabilityGivenWednesdayMorningphotos
104photosPersonPosteriorProbabilityGivenWednesdayAfternoonphotos
105photosPersonPosteriorProbabilityGivenWednesdayEveningphotos
106photosPersonPosteriorProbabilityGivenWednesdayNightphotos
107photosPersonPosteriorProbabilityGivenThursdayMorningphotos
108photosPersonPosteriorProbabilityGivenThursdayAfternoonphotos
109photosPersonPosteriorProbabilityGivenThursdayEveningphotos
110photosPersonPosteriorProbabilityGivenThursdayNightphotos
111photosPersonPosteriorProbabilityGivenFridayMorningphotos
112photosPersonPosteriorProbabilityGivenFridayAfternoonphotos
113photosPersonPosteriorProbabilityGivenFridayEveningphotos
114photosPersonPosteriorProbabilityGivenFridayNightphotos
115photosPersonPosteriorProbabilityGivenSaturdayMorningphotos
116photosPersonPosteriorProbabilityGivenSaturdayAfternoonphotos
117photosPersonPosteriorProbabilityGivenSaturdayEveningphotos
118photosPersonPosteriorProbabilityGivenSaturdayNightphotos
119photosPersonPosteriorProbabilityGivenSundayMorningphotos
120photosPersonPosteriorProbabilityGivenSundayAfternoonphotos
121photosPersonPosteriorProbabilityGivenSundayEveningphotos
122photosPersonPosteriorProbabilityGivenSundayNightphotos
123photosPersonPopularityGivenHomephotos
124homePopularityGivenPhotosPersonphotos
125photosPersonPosteriorProbabilityGivenHomephotos
126photosPersonPopularityGivenWorkphotos
127workPopularityGivenPhotosPersonphotos
128photosPersonPosteriorProbabilityGivenWorkphotos
129photosPersonPopularityGivenWeekdayphotos
130weekdayPopularityGivenPhotosPersonphotos
131photosPersonPosteriorProbabilityGivenWeekdayphotos
132photosPersonPopularityGivenWeekendphotos
133weekendPopularityGivenPhotosPersonphotos
134photosPersonPosteriorProbabilityGivenWeekendphotos
135photosPersonPosteriorProbabilityGivenWeekdayMorningphotos
136photosPersonPosteriorProbabilityGivenWeekdayAfternoonphotos
137photosPersonPosteriorProbabilityGivenWeekdayEveningphotos
138photosPersonPosteriorProbabilityGivenWeekdayNightphotos
139photosPersonPosteriorProbabilityGivenWeekendMorningphotos
140photosPersonPosteriorProbabilityGivenWeekendAfternoonphotos
141photosPersonPosteriorProbabilityGivenWeekendEveningphotos
142photosPersonPosteriorProbabilityGivenWeekendNightphotos
143hasWeekendWeekdayPhotosFeaturesphotos

每個輸入EntityTagging_Family.mlmodelc都會按其metadata.json所列的次序讀取。EntityTagging_FamilyAndFriends會以相同次序讀取同一組144個項目,而且每一項都是數字。這些羣組是結構描述中的三個區塊:二十項描述這個人是誰,四十項描述你何時以及如何與對方溝通,八十四項則關於你們共同出現的照片。當中有兩項,photosPersonAge和photosAgeDifferenceCategory,也會從 Photos 讀取。名稱是 Apple 的;羣組標籤則是我們定的。

身份羣組描述的是一個簡單明瞭的故事:相同姓氏、相同住址、一個 iCloud Family 標記——而且它只佔較小部分。模型的大部分內容來自另外兩個羣組:你會傳訊息給誰,以及誰會出現在你的照片中;這些資料會按星期幾和一天中的時間分類,然後再同時按兩者分類。photosPersonPosteriorProbabilityGivenSaturdayNight是已推出的分類器中的功能名稱;該分類器用來判斷某人是否為家庭成員。

刪除某項資料,不代表它會在所有地方一併刪除。

即時圖譜會忘記。刪除一個聯絡人後,系統不會重新推導出這個人;下一次執行時,整張表都會被替換。

但資料儲存區除了即時表格,還會保留第二張表格expired_stable_graph。撤回的資料列會移到那裏,並保留其信心度和來源。從我們能看到的資料,無法確定它會在那裏保留多久。它似乎約 48 小時後便會消失(資料儲存區會保留一個清理水位標記,而近期的表格快照所涵蓋的資料也只追溯至這段期間);但在我自己的 Mac 上,我仍能讀到當中非常舊的紀錄。

而結論可以比支持它的證據留存得更久。在我自己的 Mac 上,評分表仍然為圖譜前一天已剔除的兩個人評分,而它對這兩人唯一的認識,都來自一份日曆邀請。嗯,如果你不想伴侶發現一些你可能已刪除的聯絡人,以及他們與你的「親近程度」,最好也從expired_stable_graph刪除一些資料列(可惜必須手動操作)。不過,我相信你沒有甚麼要隱瞞(只是開玩笑)。

查看自己的資料

這些內容有沒有敏感資料?由你自行判斷,因為不同人對「敏感」有不同定義(不過我想,這裏有不少內容可供你挑選)。但問題是,這些資料沒有任何一項是孤立存在的。它們本來就是為了合併及建立關聯而設;這些節點正是用來互相連結的:

個人知識圖譜(合成資料)

我 · 這部 Mac 的擁有人 · 1資料儲存區以實體形式保存的一個羣組 · 1評分為家人的對象 · 7評分為與我親近的對象 · 9僱主 · 4羣組對話 · 6已知但未被評為親近的對象 · 61羣組對話成員身份雙方均有出席的日曆活動僱傭關係陳述由已儲存的羣組命名親近程度評分高於門檻 · 沒有人輸入過這項評分

如何閲讀這張圖

每個節點都對應資料儲存區中的一筆資料列,而節點下方的紀錄就是資料儲存區所保存的內容。大小代表提及該節點的資料列數量;形狀表示它屬於哪一類;以強調色顯示的節點就是你,而外圈標示資料儲存區評分為家人的四個人。虛線表示沒有人輸入過的結論。

按一下節點(或按 Tab 前往圖譜,再用方向鍵移動,然後按 Enter),該節點的紀錄便會取代這些説明。

按一下節點後,圖譜下方的紀錄就是資料儲存區對該節點保存的內容(即資料列本身,而非其摘要)。六十一個顏色較淡的節點最令人意外:它們代表資料儲存區認識但未有歸類的人;他們會出現在圖中,是因為曾經傳訊息給你,或曾被列在別人的邀請中。

不過,最重要的一點是,這件事影響的不只是你(使用 Mac 的人)。你身邊的人也牽涉其中:你的家人、朋友,以及你透過裝置交談過的「任何人」。沒有人徵求過他們的意見,而儲存庫會將他們與你連結起來,並透過他們共同參與的事件和羣組,將彼此連結起來。關係是一種比推斷所依據的資料列高一層的情報。例如,透過比對我自己的儲存庫,我(嗯,是一個為我工作的 LLM)很容易就能推斷出以下資料:

  • 家中有一名孩子,而且大概知道他的年齡。家庭成員類型和家庭圈子可以顯示住戶組成。評分卡中的 child 和 son/daughter 欄位則顯示孩子在其中的身分。旁邊還有一個從 Family Sharing 複製而來的年齡;儲存庫中的出生日期也可能帶有系統使用的 imputed 一詞,但我們不清楚系統所指為何。
  • 孩子就讀哪間托兒所,以及聯絡該處的兩個電話號碼。這些資料是從聯絡人卡片複製而來。請留意沒有甚麼:日曆中沒有接送上學的行程,因此儲存庫有該機構及其電話號碼,卻沒有孩子送抵的時間。即使如此,資料仍足以讓人用一個電話號碼聯絡家長,而家長的電話早已信任這個號碼。
  • 家人會在哪裏、哪幾天到場,以及每次會逗留的時段。一項日曆事件、一個地點、兩個已儲存的時段,以及一個提及家人的標題(因此,即使出席者資料列為空,字串中仍包含賓客名單)。
  • 哪些家人會到場。評分卡列出被評為家人的成員;一個住戶實體將他們歸為一組,而 Family Sharing 圈子則指出其中哪些人屬於同一家庭羣組。
  • 而同一個檔案中,還記錄了這部裝置安裝了甚麼軟件,連密碼管理程式也包括在內。

如果這個構成私隱單點故障的資料落入不當人士手中,很容易想像它會如何被用作攻擊手段。我們在另一篇文章中演繹了這個(假設性)情境。好的一面是,這些資訊本應只留在你的 Mac 本機,並受完整磁碟存取權限保護;不過,其他服務也可以使用這些資訊(但我們不完全清楚可存取哪些內容,以及如何存取)。

事實上,這個儲存庫所包含的資訊實在多得驚人:每次深入研究守護程序會推斷甚麼,以及如何推斷,我們都會發現幾條新的調查方向。你或許不希望任何人知道的、關於你或家人的事情,可能都藏在其中某處;我們認為你有權知道這些資料是否存在。但你得到的卻是:沒有文件、無法檢視儲存庫,也沒有通用方法可以更正錯誤的推斷。

因此,我們提供兩項工具。第一項是iKnow,一個本機儀錶板,讓你瀏覽自己的圖譜,而不會有任何資料離開 Mac(下一節會介紹使用方法)。第二項工具讓你深入探索。iKnow 儲存庫附有一份供你自己的 Agent 使用的手冊,説明資料庫的位置及讀取方法,讓 Agent 搜尋你想找的內容。(請使用自行託管的模型讀取這份手冊,而非雲端模型。)

iKnow

我們以 Python 標準程式庫實作iKnow網頁儀錶板;不使用 npm 或 CDN。

此工具旨在直接在存放資料庫的 Mac 上執行。執行時,它會綁定 127.0.0.1,在檔案系統中尋找資料庫(前提是已取得必要權限),以唯讀模式開啟資料庫,即時收集資訊,並在儀錶板上呈現。它不會寫入任何內容,也不會留下任何記錄;資料值會由資料儲存區經 loopback 傳送至瀏覽器分頁;如有需要,也可以在網絡隔離的環境中執行。

我們已在 macOS 26.6.2 和 26.7.1 上測試,並只在 27.0.1 上進行過部分測試。

iKnow 有十二個頁面。

由此開始

你的 Mac 知道甚麼。 主頁:你身邊人士的關係圖。下方是相片中的人臉、你的家人、網上帳號名稱、聯絡對象,以及你接下來會身處何處。

圖中顯示的住戶與本文頂部所示相同,這次是由工具本身的繪圖器繪製:

主頁

A dark dashboard showing a force-directed graph of about seventy-eight labeled nodes around one white node marked "(Me)", with a color key reading "you", "a group the store holds as an entity", "family, as scored", "scored close to you", "employer", "group chat" and "known, not scored close".

第一個畫面。標示為 (Me) 的白色節點是 Mac 的擁有人;其餘節點則是資料庫與這部 Mac 的擁有人建立關聯的人士、僱主和羣組對話,並按資料庫對各自身份的判斷着色。橙色代表評分所判定的家人;藍色代表親近度評分高於門檻。邊緣淡化顯示的姓名,則是資料庫認識但尚未分類的人。

這裏顯示的摘要內容都能在記錄中找到:每個節點都對應一筆資料列,點擊節點便會顯示該資料列(本文頂部的關係圖也有這項功能)。

關係圖是總覽,而總覽很容易讓人一笑置之;背後的頁面則不然。

社交關係圖。 資料庫透過共同會議、羣組對話及親近度評分,判斷哪些人彼此有關聯。每個圓圈都可展開,查看其成員及背後的證據。

它得出的結論

親屬關係評分卡。 守護程式推斷出的家庭關係。

主頁上的評分卡只列出它提及的人:

評分卡所列的家庭關係

A dashboard card headed "Family, as the scorecard has it", subtitled "61 people scored on 17 relationship columns. Nobody typed any of it", listing six people with one label and one score each: Mara Quill, mother, 0.960; Tomas Quill, father, 0.960; Maya Smith, daughter, 0.960; Nils Quill, brother, 0.500; Leo Smith, son, 0.500; Ines Quill, sister, 0.500. A section headed "The household, by how many signals agree" scores Mara Quill 8 of 9, Tomas Quill and Priya Sandoval 7 of 9 and Maya Smith 6 of 9, and a last one names the Quill household, 4 members, at confidence 0.880.

六個人、六種關係,副標題則稱這些內容都不是人手輸入的。評分確實如此;但部分評分依據是你曾輸入的資料(聯絡人卡片上的關係、緊急聯絡人、Family Sharing)。母親、父親和女兒的評分為 0.960,這是這些欄位的最高分;兄弟、兒子和姊妹則為 0.500。

下方是我覺得最難反駁的部分。系統會分別檢查九項資料(伴侶欄、綜合評分、住戶羣組實體、Family Sharing token、iCloud Family 標記、過去十二個月最常聯絡的對象、Photos 人臉羣組、Contacts 記錄,以及可聯絡的帳號),而評分卡會計算其中有多少項指向同一個人。母親有八項符合;父親有七項,伴侶 Priya Sandoval 也有七項,但她並不在上面的名單中:iKnow 只列出會歸入另一欄的關係(母親和父親會歸入家長),而伴侶不會歸入任何欄。資料表連接仍然找出了這位伴侶。

評分卡是其中一張資料表的摘要,而 iKnow 也會繪製整張資料表:

每個人,每個欄位

A heatmap headed "Every person, every column": thirty people against seventeen relationship columns with abbreviated headers. The top seven rows are the family, each lit on its own relationship (mother, father, daughter, brother, son, sister, partner), on the column that relationship rolls up into, and on family and familyAndFriends; the partner's row is also lit on coworker. Below them a few rows are lit on friend or coworker, every row is lit on family and familyAndFriends, most of them at the same two shades, and the alumni and unknown columns are empty from top to bottom.

按 familyAndFriends 排序,這是涵蓋範圍最廣的評分。排名最前的七項,各自在對應的關係欄位及其匯總欄位中亮起(mother 和 father 匯總至 parent,sister 和 brother 匯總至 sibling,son 和 daughter 匯總至 child);伴侶亦是同事。再往下是朋友和辦公室其他人。至於他們以下,幾乎所有其他人都只有相同的兩個儲存格:family 欄有一個重複值,familyAndFriends 欄則有另一個;這是分類器沒有內容可説時寫入的值。兩個欄(alumni 和 unknown)完全沒有使用。

這兩張圖中的分數是虛構的,而且比真實情況寬鬆得多。在我們拆解的 Mac 上,只有 mother 達到最高級別;少數其他得到任何評分的人,在每個家庭標籤上都同時只獲得一個很低的分數,父親和兄弟也一樣。這份測試資料保留了表格的粒度:它只會寫入少數幾個數值(0.125、0.25、0.5 和 0.96),而大多數人都使用同一個預設值。

人臉索引。為相片中每個人建立的人臉羣組。

它的共現圖沒有使用任何聯絡人、訊息或日曆項目。它只根據你的相片建立:

人臉共現圖

A dashboard card headed "The face co-occurrence graph": forty-seven circles, each filled with a blurred face, linked when two of them appear in the same photograph and labeled with six-character fragments of cluster identifiers instead of names. One cluster sits at the center, linked to nearly everything; a tight knot sits to its left, a looser group above it, and a third group at the bottom right shares no link with the knot. A control above the graph reads "photographs on the nodes — 47 of 47 drawn here have one".

兩張人臉只要出現在同一張相片中便會連結,這是唯一的輸入資料:在 1,643 張包含多於一張人臉的相片中,共有 8,904 個已分羣的人臉。標籤是各羣組本地識別碼的片段,因為沒有姓名可顯示。擁有者是樞紐。左邊那團是家人,右下方那組是工作關係,而且兩組從未同框。

每個節點都顯示其羣組的代表人臉,從相片圖庫讀取,並由 iKnow 自帶的螢幕分享模糊功能模糊處理。模糊效果之下其實沒有人:這份測試資料沒有相片圖庫,因此每張人臉都是專為它繪製的合成人像。

這正是此頁最坦率之處:圖譜指向各個人臉羣組,卻幾乎無法辨認其中任何人(這份測試資料中的 29 個羣組,只有 3 個能辨認姓名)。但它並不需要做到這一點。誰跟誰站在一起、頻率如何,以及哪些羣組從未碰面,全都一目瞭然,完全不需要姓名;任何熟悉這個家庭的人都能轉眼補上姓名。

推測還是提供。你輸入的資料與 Mac 自行推算的內容,存放在同一張表格中。兩者之間唯一的區別是信心分數。

它記錄的內容

一年的聯絡紀錄。你與誰聯絡、何時聯絡,卻沒有任何訊息文字(而它無需訊息文字,也能判斷你何時入睡)。

它在首頁上的卡片最容易引起反應,而卡片內容完全不涉及推論。

一年來你聯絡過的對象

A dashboard card headed "A year of who you talked to", subtitled "18,432 interactions over 365 days, 146 correspondents (97 named), 5 apps — and not one word of text", listing eight people with interaction counts, in and out splits, call counts and last-contact dates, and a final section headed "The hours it can read as sleep".

一年的聯絡紀錄,按對象列出,分為傳入和傳出,附有通話次數及最後出現日期,涵蓋五款通訊應用程式——正如副標題所言,完全沒有任何訊息文字。這些都不是內容,而全是中繼資料,而且已經足夠。

最後一行值得再讀一次:它能判讀為睡眠的時段。

iKnow 也會從同一份紀錄繪出這條線,並將資料按一週彙整:

星期幾對照一天中的時段

Two dashboard cards. The first, headed "Weekday against hour of day — when this person is reachable, and when they are asleep", is a heatmap of seven weekday rows against twenty-four hour columns: a pale band from 01 to 07 on every day, running later into Saturday and Sunday mornings, a dark plateau through the working day on weekdays, and the darkest cells between 20 and 22. The second, headed "The hours the log goes quiet — a sleep schedule nobody wrote down", reads: "Hours carrying less than 25% of an even spread form one unbroken run of 6 hours, 01:00 to 07:00 Europe/London. 402 of 18.4K events fall inside it (2%)."

每個儲存格統計一年內,某個星期幾的某個小時內發生的訊息和通話數目。當中可見工作週,也包括晚上和週末上午較晚的時段;每晚凌晨一時至早上七時的淡色帶亦清晰可見。沒有人儲存睡眠時間表。單憑時間戳記,便可自然得出最安靜的連續六小時時段。

這就是這個資料儲存庫的大致輪廓:其中幾乎沒有資料需要特意收集,因為幾乎所有資料都是某件已發生事情的結果。

行事曆。 唯一知道你身在何處的資料層:時段、會議室、出席者和電話撥入資料。

你撤回的事實。 撤回一項事實並不會將它刪除。該資料列會移至已過期資料表,並保留其信心度及來源脈絡。

機制

資料儲存庫。 檔案本身:它所建模的內容,以及兩筆真實資料列,展開顯示與它們相關的一切。

裝置指紋。 每個安裝在 Mac 上的 app 都會以純文字記錄,旁邊還有一個 token,其值是同一個 app 識別碼的未加鹽 SHA-256 雜湊值;因此,這個頁面會在你的瀏覽器中重新計算該值,你可以看到兩者吻合。

還有誰會讀取它。 圖譜是第一份副本,並非唯一副本。此頁列出訂閲它的檢視、這些檢視發佈資料的資料庫、重複記錄相同事實的資料表、由與 Mac 配對的硬件傳入的資料流,以及已設定但尚未執行的機制。

macOS 27 注意事項。 macOS 27 於 2026年9月14日推出。升級至 27.0.1 後,圖譜撤回了大部分根據 Contacts、Calendar、Siri Suggestions、Family Sharing 和 app 目錄建立的資料列,並在接下來的一天內重新建立這些資料列。iKnow 的部分頁面目前可能尚未能在 macOS 27 上完全正常運作。

不過,讓我們再深入看看:

來源:Hacker News 熱門(buzzing.cc 中文翻譯) · 8rank.ai