跳到正文
Google Research·· 2026-06-05精選AI 評分65

Google Research 發表 PHRM 研究,探索智能手機被動監測心率與靜息心率

Towards passive heart health monitoring via smartphone camera

AI 導讀

Google Research 在 Nature 發表 PHRM 研究系統,透過智能手機前置鏡頭在面部解鎖後擷取 8 秒影片,於日常使用中被動估算心率(HR)及每日靜息心率(RHR)。

推薦理由

研究結合實驗室測試與八日自由生活驗證,按膚色報告 HR 誤差,並呈現 RHR 估算覆蓋率及穿戴裝置對照,讓讀者掌握日常使用中的證據範圍。

正文 · 繁體中文

心率(HR)是生命表徵之一,會隨活動、壓力、急慢性疾病等因素變化,是反映生理狀態的動態指標。此外,靜息心率(RHR)是心血管健康和長期健康風險的重要生物標記。RHR 較高或隨時間上升,均與重大心血管不良事件和全因死亡率相關。

Fitbit 裝置和 Pixel Watch 等穿戴式裝置,讓我們可以在日常生活中持續追蹤這些健康指標。不過,這類裝置仍有提升普及率的空間,尤其是在資源有限的環境,以及最有心血管疾病風險的人羣中。智能手機提供了擴大健康追蹤服務的一個獨特機會:現時全球約有五十億人已擁有配備強大感測器的裝置,可用於監察健康。2022 年,我們示範瞭如何將手指放在手機鏡頭上,按需測量 HR;Google 隨後的研究則探討測量期間偵測到的訊號如何協助預測心血管疾病。

我們在刊載於 《日常智能手機使用期間的被動心率監測》、發表於 Nature 的研究中,介紹研究系統 PHRM,讓用戶在日常使用智能手機時,可於背景追蹤 HR 和 RHR。PHRM 會利用前置鏡頭,在人臉解鎖後數秒內拍攝用戶面部影片,再以深度學習估算 HR,並以平均絕對百分比誤差(MAPE)衡量結果。與心電圖得出的標準真值相比,MAPE 低於 10%,達到適用於各種膚色人士的業界準確度標準。最後,系統會整合全日 HR 測量結果,估算每日 RHR;與穿戴式追蹤器相比,其平均絕對誤差(MAE)低於每分鐘 5 次心跳(bpm),準確度相若。我們亦隨論文公開發布目前最大的多元化智能手機影片研究資料集,以及預訓練的「PHRM-mini」模型。符合資格的研究人員可申請存取。

為所有人而設的技術突破

與穿戴式裝置、血氧儀和我們的先前研究一樣,PHRM 使用光體積描記法(PPG)測量 HR,即偵測每次血液脈動時光線與皮膚互動方式的變化。我們開發了裝置端軟件管道,處理 8 秒面部影片片段,並採用運算效率高的時間位移卷積神經網絡,預測 HR 和信心分數。管道亦會彙整全天 HR 預測結果,並利用信心分數和卡爾曼濾波估算每日 RHR。

雖然用於「遠端」PPG(rPPG)的電腦視覺模型已有二十年歷史,以往研究的規模較小,而且在受控環境下進行,限制了結果的普遍適用性。此外,過往研究大幅低估深色皮膚人士的比例;由於黑色素會令相機更難偵測 PPG 訊號,這一羣體尤具挑戰。直到近期,研究人員才開始更深入地調查 rPPG 模型在深色皮膚研究參與者身上的表現,並發現準確度顯著較低;這與血氧儀及其他基於 PPG 的技術所發生的情況相似。血氧儀相關疑慮促使 FDA 草擬指引,確保驗證研究納入不同膚色人士。至今,rPPG 研究仍缺乏達到同等標準的工作。

我們使用超過 350,000 段影片,開發 PHRM;影片來自近 700 名多元化且已同意參與研究的人士,並在實驗室和真實環境中收集。與早前研究一樣,我們亦加強模型對最具挑戰個案的訓練。我們採用比色法和Monk 膚色量表,確保淺色膚色(「第 1 組」,Monk 1–4)和中等膚色(「第 2 組」,Monk 5–7)參與者各佔資料集至少 25%,而深色膚色(「第 3 組」,Monk 8–10)參與者佔至少 33%。這種抽樣方式符合 FDA 後來提出的膚色羣組劃分。在 Google Health Optimization 團隊支持下,我們進一步制定非劣效準則:各組的 HR MAPE 彼此相差必須少於 5 個百分點。這些工作令 PHRM 研究成為迄今規模最大、最多元化的 rPPG 研究,並讓我們開發出適用於各種膚色、能準確運作的包容性模型。

在實驗室和真實環境中驗證

我們訓練 PHRM 應對實驗室研究中的各種條件,從 365 名多元化研究參與者收集不同光線和活動狀態下的面部影片及同步心電圖(ECG)資料。在另一組 104 人的測試資料中,套用最低信心分數門檻後,儘管條件各異,PHRM 在各膚色羣組的 MAPE 均顯著低於 10%。在相同測試資料中,無論是否套用信心門檻,PHRM 的表現都顯著優於 15 款領先的已發表 rPPG 模型,而且是唯一一款在所有膚色上都達到 MAPE 低於 10% 的模型。

為了使用真實環境資料訓練 PHRM,我們進行了首個同類型的「自由生活」研究。231 名多元化研究參與者在自己的手機安裝自訂資料收集應用程式,並在佩戴 ECG 胸帶和 Fitbit Charge 6 健身追蹤器的情況下,照常使用手機八天。應用程式會在每次人臉解鎖後立即錄製 8 秒影片片段和 ECG 資料,平均每日錄得 231 段影片。每天結束時,參與者會先查看影片,確認沒有敏感內容或其他人臉,然後明確授權上載至安全、加密的伺服器。

在保留作驗證的一組 101 人資料中,套用信心門檻後,PHRM 的整體 MAPE 為 6.09%;第 1、2、3 組分別為 5.04%、5.12% 和 7.84%。各組 MAPE 均顯著低於 10%,符合預先設定的非劣效目標。在自由生活條件下,PHRM 的表現更大幅優於同樣 15 款領先 rPPG 模型,並仍是唯一在所有膚色上達到 MAPE 低於 10% 的模型。Bland-Altman 分析顯示,PHRM 平均只低估 HR 0.64 bpm,95% 一致性界限介乎 -11.3 至 10.3 bpm;信心分數較高的測量誤差較低。

接着,我們對至少有一日取得 20 次或以上 HR 測量的參與者套用 PHRM 的 RHR 演算法。在這 90 人中,PHRM 成功估算了 73.6% 的參與者日資料。與 Fitbit Charge 6 的每日 RHR 相比,PHRM RHR 的整體 MAE 為 4.39 bpm,顯著低於我們預先設定的 5 bpm 目標。Bland-Altman 分析顯示,PHRM 平均低估 RHR 0.1 bpm,95% 一致性界限介乎 -9.1 至 9.2 bpm;隨着 RHR 測量日數增加,誤差會下降。除第 3 組外,各膚色組別的 MAE 均顯著低於 5 bpm。不過,隨着 RHR 演算法中的卡爾曼濾波逐漸收斂,所有組別的 MAE 都會隨時間下降;從第 3 日起,第 3 組的 MAE 亦顯著低於 5 bpm。

在確認方法有效時,我們亦發現控制共變數後,PHRM 推算 RHR 較高的參與者,更可能有較高的身體質量指數(BMI)和較差的心血管體能(較低的VO2max),顯示 PHRM 正確掌握了心血管風險的變化方向。

展望

據我們所知,PHRM 首次大規模展示了日常使用智能手機期間的被動 HR 和每日 RHR 監測。它是唯一一種在難以預測的真實環境下,仍達到適用於各種膚色人士之 HR 準確度標準的 rPPG 方法,為此領域樹立新標準。這亦是首次使用 rPPG 估算每日 RHR,並在所有膚色上達到穿戴式裝置級別的準確度。透過結合對用戶習慣的瞭解、尖端深度學習技術和包容性設計,我們開發了基於智能手機的 HR 監測系統,提供類似穿戴式裝置的心臟健康資訊。因此,PHRM 有機會透過最普及的裝置,讓更多人受惠於心臟健康追蹤。更廣泛而言,這項研究展示了我們經常查看的裝置,也能反過來提供健康狀況資訊。

雖然 PHRM 在各種膚色上都達到準確度標準,但第 2 組的 HR 測量成功率較低,第 3 組最低,可能是因為深色皮膚上的 PPG 訊號較難偵測。未來可探討如何最佳化相機曝光,或觸發額外取樣,以提升測量成功率。我們亦觀察到一些離羣誤差由參與者説話或頭部移動造成。改善影片穩定功能或可減低這類誤差;利用加速度計設定門檻,則有助優先選取適合的靜止時段。最後,未來系統可要求人臉驗證,並採用安全的裝置端處理,以確保資料完整性和私隱。

為推動更多研究,我們向符合資格的研究人員開放重要的資料和建模資源;研究人員須具備機構審查委員會(IRB)批准,並符合我們的資料保護要求。為保障研究參與者私隱,所有影片均在 IRB 批准下收集,並根據參與者明確同意處理。此資料集完全限於非商業研究用途;取得資料的研究人員嚴禁嘗試重新識別任何個人,或公開展示原始影片。我們歡迎研究社羣運用這些資源延續相關工作。

鳴謝

這項工作歷時超過 7 年,終於完成。我們感謝論文共同作者 Shun Liao、Paolo Di Achille、Jiang Wu、Silviu Borac、Jonathan Wang、Xin Liu、Lawrence Cai、Yuzhe Yang、Yun Liu、Daniel McDuff、Hao-Wei Su、Brent Winslow、Anupam Pathak、Mark Malhotra、Shwetak Patel、James A. Taylor 和 Jameson K. Rogers。亦感謝多位重要貢獻者,包括:Nikola Teslovich、Alex Mun、Jonathan Hsu、Xiaoxia Zheng、Derrick Vickers、Sam Mravca、Tracy Giest、Jason Guss、Florence Thng、Jiening Zhan、Julie Cannon、Mehr Kashyap、Jaspreet Pannu、Tiffany Kung、Ming Jack Po、Matthew Shore、Justin Tansuwan、Liwen Chen、Cristo Alanis Barrera、Anand Saxena、Jeremy Miles、Melissa Moran、Michael V. McConnell、Ivor Horn、Benny Ayalew、Jonelle Saunders、Jonathan Tsai、Heather Cole-Lewis、Ebony Respress、Perry Payne、Kamillah Wood、Nnamdi Ezeanochie、Magdala Chery 和 Rich Gossweiler。感謝 Lizzie Dorfman、Katherine Chou、Michael Howell 和 Greg Corrado 提供領導層支持。特別感謝 Jiemin Yang、Josh Grondie、Kenya Moore 和 Katie Barton 協助進行自由生活研究。

來源:Google Research · research.google