Google Research 探討 AMIE 對話式診斷 AI 在真實臨牀研究中的可行性
Exploring the feasibility of conversational diagnostic AI in a real-world clinical study
Google Research 的前瞻性研究在真實門診流程中評估 AMIE 用於就診前病史採集的可行性。研究納入 100 名成人,互動由醫師即時監督且沒有觸發安全停止;AMIE 的鑑別診斷在 90% 個案中涵蓋最終診斷,前三項診斷準確率為 75%。研究屬單中心文字聊天研究,沒有對照組;PCP 的管理方案在實用性及成本效益方面較佳。
這項研究將 AMIE 用於門診前病史採集,展示即時醫師監督下的安全與診斷評估,亦交代單中心、無對照設計的限制。
具備臨牀推理和對話能力的 AI 系統,有望大幅增加醫療專業知識和護理服務的可及性,同時讓醫生能騰出時間陪伴病人。然而,要把這些創新付諸實行,必須以安全為本,並採取以證據為基礎的方法。近年來,我們透過 Articulate Medical Intelligence Explorer(AMIE)探索對話式醫療 AI 的可能性,先在模擬環境中展示其診斷能力,包括協助臨牀醫護人員處理診斷難題和與病人演員互動。不過,正如近期一篇臨牀醫療 AI 評述所強調,要把這些系統引入臨牀實務,必須在真實工作流程中進行評估。
在我們的新研究「對話式診斷 AI 在流動基層醫療診所的前瞻性臨牀可行性研究」中,我們分享證據路線圖上的重要里程碑結果:與 Beth Israel Deaconess Medical Center(BIDMC)合作進行的單中心前瞻性可行性研究。這項已預先登記並獲IRB批准的前瞻性研究,專門探索 AMIE 如何在病人首次流動基層醫療診症前協助收集資料,並瞭解臨牀醫護人員和病人如何看待 AI 系統參與護理體驗。這是我們超越合成情境的第一步,目標是在真實臨牀環境中與病人互動,嚴謹評估 AMIE 的安全性和實際可行性。
在真實臨牀工作流程中測試 AMIE
要把 AI 系統引入臨牀實務,必須在真實護理服務環境中評估,並採取嚴格安全監督。在這項前瞻性、單組可行性研究中,AMIE 會在病人前往學術醫療中心接受流動基層醫療診症前,進行診前病史收集。
臨牀情境涵蓋已預約接受新發、非緊急和偶發性病症護理的病人,診症方式包括親身就診或遙距醫療平台。病人可在預約診症期間獲邀參與研究,有充足時間查看研究所需的 IRB 批准方案,並獲保證無論是否參與,都不會影響其護理。
研究參與者在親身診症前,透過安全網頁連結與 AMIE 系統互動。醫生會透過即時視像通話及螢幕共享監督這些 AI 文字對話。監督醫生(下圖稱為「AI 監督醫生」)接受培訓,並須按預先訂定的一組結構化安全準則,在有需要時隨時介入,保障臨牀安全並確保遵守研究方案。
病人前往接受緊急護理診症前,系統會生成逐字稿和摘要,為臨牀醫護人員提供診前互動的全面概覽。監督是臨牀實務中常見的安全保障方式。例如,受訓中的臨牀醫護人員可在醫生密切監督及病人同意下與病人溝通,並從監督醫生獲得意見。同樣地,在本研究中,AMIE 會在參與者前往基層醫生(PCP)診症前生成逐字稿和摘要,並在病人同意後提供予其臨牀醫護人員。摘要會概述診前互動,供醫生查看。
安全性、效能、信任和體驗方面的研究發現
要在真實臨牀工作流程中評估對話式醫療 AI 系統,必須按多項準則進行評估,並兼顧病人和臨牀醫護人員的觀點。我們從多個面向評估系統表現,包括在真實部署中的安全性和可行性、臨牀推理能力,以及病人和臨牀醫護人員對互動的觀感。結果顯示,在此項任務中以受監督方式部署 AMIE 不但可行,對話過程亦安全,並獲得良好接納。
參與情況
研究有 100 名成年病人參與,並完成與 AMIE 的診前互動。其中 98 人出席預約的流動基層醫療診症。病人樣本涵蓋不同年齡、種族和族裔羣體,以及健康知識和科技素養程度各異的人士。研究期間,緊急護理診症總數為 1,452 宗;相比之下,本研究參與者的年齡偏低,因為該診所研究期間超過一半的緊急護理診症來自 60 歲以上人士。不過,研究期間整體緊急護理就診人口以女性和白人為主,與本研究的病人樣本一致。
安全性
監督 AMIE 與病人互動的人類 AI 監督員,接受訓練;若符合以下四項預先指定安全準則之一,便會啟動安全停止程序:
- 即時出現傷害自己或他人的疑慮
- 病人因 AI 互動而明顯情緒困擾
- 監督員根據對話發現可能造成臨牀傷害
- 病人明確要求結束對話
在本研究所有 AMIE 與病人互動中,人類 AI 監督員均無需啟動安全停止程序,為 AMIE 在這項真實世界部署中的對話安全性提供證據。
臨牀推理
為評估診斷和管理能力,一組未參與緊急護理診症的臨牀評估員,以盲測和隨機方式評分 AMIE 和 PCP 提出的鑑別診斷及管理計劃。每宗病人個案由三名臨牀評估員審閲和評分,結果按每宗個案三名評估員的評分中位數彙總。
鑑別診斷(DDx)及管理(Mx)計劃的盲測評估顯示,AMIE 和 PCP 的整體 DDx 和 Mx 計劃品質相若;DDx 以及 Mx 計劃的恰當性和安全性均沒有顯著差異。不過,PCP 在 Mx 計劃的實用性和成本效益方面表現較佳。根據診症後 8 週的病歷覆核,AMIE 的 DDx 在 90% 個案中包含最終診斷,top-3 診斷準確度為 75%;在 46 名病人的子集中,最終診斷由診斷測試(實驗室、微生物、病理或影像檢查)確認,AMIE 的表現亦維持在高水平。
管理計劃在成本效益和實用性方面的差距並不意外,因為 AMIE 和 PCP 的推理情境不同。AMIE 無法存取病人的電子健康紀錄(EHR),不能進行身體檢查,也不能整合多模態用戶輸入,例如病人的整體外觀。PCP 或許能利用這些豐富情境資訊,以及在特定臨牀環境工作的經驗,制定更符合成本效益且實用的管理計劃。
為進一步評估診斷效能,我們把 AMIE 的鑑別診斷與最終診斷比較;最終診斷是透過 PCP 緊急護理診症後八週的病歷覆核確定。AMIE 在 90% 個案中,能在最可能診斷的首 7 項之內找出最終診斷。此外,在所有評估個案中,系統有 56% 能準確把最終診斷列為最可能的單一診斷。
為更瞭解診斷能力,我們亦根據最終診斷如何確定進行子羣分析。個案按最終診斷屬推定(PCP 未進一步測試便作出的診斷),還是較具確認性的診斷(經專科轉介或診斷測試確認,例如實驗室、微生物、病理或影像結果)分類。對需要透過測試或專科醫生作客觀確認的個案,AMIE 維持良好診斷準確度;若最終診斷純粹根據 PCP 的推定診斷,系統整體準確度甚至更高。
信任和體驗
除了展示安全性,我們亦探討病人和醫療服務提供者對 AMIE 的體驗。病人在與 AMIE 互動前、互動後,以及與醫療服務提供者診症後,均填寫對 AI 的一般態度量表(GAAIS)。互動後,病人對 AI 的態度更正面;與醫療服務提供者診症後,正面態度仍維持在較高水平。兩個子量表(感知效用和對 AI 的疑慮)及整體量表的變化均達統計顯著。
病人調查和訪談顯示滿意度很高,病人普遍認為 AMIE 有禮貌,並能有效解釋醫療狀況。
檢視 AMIE 診前逐字稿的臨牀醫護人員認為內容有用,並表示診症準備工作有所改善。質性訪談中,PCP 指出 AMIE 有助令診症由單純收集資料,轉為核實資料,促進更協作的對話和共同決策。
研究限制和未來方向
本研究提供證據,初步顯示對話式醫療 AI 在真實環境中作為實用工具具備可行性、安全性,並獲用戶接納,這是邁向臨牀應用的重要一步。本研究屬單中心可行性研究,亦揭示一些細微限制和改進空間,突顯我們以安全和負責任方式生成真實世界證據的重要性。
首先,研究採用純文字對話介面,未能完整呈現臨牀護理豐富的多模態特性。未來系統可加入語音或影片互動,或影片功能,以更好地捕捉非語言線索和身體檢查結果。其次,本研究沒有受控比較,因此無法就此介入措施相較基線工作流程的成效提出量化主張。未來研究可根據本研究結果,透過受控比較量化 AI 對醫療系統的影響。最後,本研究未有全面探討既有健康知識、科技素養及使用聊天機器人的熟悉程度等因素,如何影響臨牀環境中的 AI 互動。瞭解更廣泛人羣如何看待這些系統,以及這些因素如何影響互動,仍是未來研究的重要方向。
本研究中,專責醫生會「即時」監督 AMIE 與病人的互動,這是提高病人安全的一種模式。我們亦在 OSCE 研究中探索異步工作流程下的可能性,詳見以醫生為中心的監督。
總結而言,這項工作提供重要實證,顯示對話式 AI 在真實環境中可安全地協助病人和醫療服務提供者。我們期待在即將開展、規模更大的受控比較研究中,進一步評估這些系統的效用和影響。
鳴謝
本項目由多個團隊廣泛合作完成,包括 Beth Israel Deaconess Medical Center、 Beth Israel Lahey Health,以及 Google Research、 Google DeepMind 和 Google for Health 的多個團隊。感謝眾多合作夥伴、贊助者和審閲者。我們感謝多位共同作者在研究期間作出的貢獻:Peter Brodeur、Jacob M. Koshy、Anil Palepu、Khaled Saab、Ava Homiar、Roma Ruparel、Charles Wu、Ryutaro Tanno、Joseph Xu、Amy Wang、David Stutz、Hannah M. Ferrera、David Barrett、Lindsey Crowley、Jihyeon Lee、Spencer E. Rittner、Ellery Wulczyn、Selena K. Zhang、Elahe Vedadi、Christine G. Kohn、Kavita Kulkarni、Vinay Kadiyala、Sara Mahdavi、Wendy Du、Jessica Williams、David Feinbloom、Renee Wong、Tao Tu、Petar Sirkovic、Alessio Orlandi、Christopher Semturs、Yun Liu、Juraj Gottweis、Dale R. Webster、Joëlle Barral、Katherine Chou、Pushmeet Kohli、Avinatan Hassidim、Yossi Matias、James Manyika、Rob Fields、Jonathan X. Li、Marc L. Cohen、Vivek Natarajan 和 Adam Rodman。
來源:Google Research · research.google