Google Research 推進 AMIE 邁向專家級視聽臨牀會診
Advancing AMIE towards expert-level audio-visual clinical consultations
Google Research 展示基於 Gemini 和 Project Astra 的 AMIE (Video),在模擬即時視像會診中,核心臨牀能力獲評與基層醫生相當。
研究以 300 場模擬視像會診比較 AMIE (Video)、文字版 AMIE 與基層醫生,呈現視聽感知和虛擬檢查的表現差異,並交代病人演員研究的適用邊界。
醫生與病人會面時,診症內容遠不止彼此説過的話。醫生會觀察病人的步姿、留意看得見的不適跡象和呼吸情況,並引導病人接受身體檢查動作。這些持續出現的視覺和聽覺資訊,會與病人口述的臨牀病史自然結合。這些非語言的視聽線索,對準確診斷、建立病人信任及臨牀溝通都至關重要。
具備臨牀推理和對話能力的 AI 系統,有潛力大幅增加人們獲取醫療專業知識和護理服務的機會,讓醫生可以把時間集中於醫患互動中最有意義的部分。在早期研究中,我們的臨牀推理及對話研究 AI 系統 Articulate Medical Intelligence Explorer(AMIE),已在文字診斷對話方面展現專家級表現,並證明能有效協助臨牀醫生進行鑑別診斷。近期,我們進一步把 AMIE 的能力由診斷擴展至長期治療及疾病管理。
我們亦把 AMIE 的能力延伸至專科級評估,涵蓋腫瘤科、心臟科和眼科,以及在模擬環境中,由病人演員參與、以圖像和臨牀文件進行的多模態診斷推理。與此同時,我們開始把研究進展轉化為臨牀實踐,包括以醫生為中心的監督框架,以及首批真實世界臨牀研究,其中包括與臨牀可行性研究合作的 Beth Israel Deaconess Medical Center,以及一項仍在進行中的全國性隨機研究,合作夥伴為 Included Health。
儘管取得上述進展,我們的研究仍受一項基本限制所制約:文字介面會捨棄臨牀實務中的視覺及聽覺資訊。病人必須把複雜的身體症狀轉化為文字描述,過程中會流失診斷資訊,亦可能對數碼或健康識能有限的病人造成不利影響。純文字系統無法自行觀察有助臨牀推理的視聽線索,也無法引導病人進行會影響鑑別診斷的身體檢查動作。
今天,我們在〈邁向專家級即時視像診症醫療 AI〉中介紹具備即時視像功能的 AMIE(Video),以應對上述限制。AMIE(Video)建基於 Gemini 及 Project Astra,能同步進行臨牀視像診症、感知非語言臨牀線索、引導病人演員進行虛擬身體檢查,並即時作出診斷推理。在一項涵蓋 100 個情境、300 次即時診症,並有 30 位取得專科資格的基層醫療醫生(PCP)參與的多組別隨機研究中,我們首次展示 AI 系統能在即時臨牀視像診症中達到專家級表現。
AMIE(Video):非同步多 Agent 架構
透過視像進行有效的臨牀對話,需要兼顧互相競爭的要求:系統既要以自然的對話速度回應病人,同時又要仔細作臨牀推理,並持續處理視聽串流。目前,單一 Agent 無法滿足所有要求。深入推理需要時間,但對話停頓會削弱病人的信任和融洽關係。
為應對這個挑戰,AMIE(Video)採用非同步多 Agent 架構,把工作分配給三個專責 Agent,讓它們持續並行運作:
- 對話 Agent:面向病人的 Agent,負責維持回應迅速、延遲低的口語互動。它會保持自然的對話流程,同時納入其他 Agent 提供的指引。
- 規劃 Agent:在背景運作,持續改善系統的臨牀推理,更新鑑別診斷和管理計劃,同時找出資訊缺口,並重新排列不同臨牀目標的優先次序。
- 感知 Agent:持續檢視音訊和視像串流,識別具臨牀意義的非語言線索(例如可見的不適徵象、身體檢查結果或聽覺訊號),並結合正在進行的對話理解這些觀察。
這種解耦設計讓 AMIE(Video)在維持自然對話延遲的同時,執行診斷推理和視聽感知,避免這些工作造成無法接受的延誤。自動化評估證實,在這個由三個 Agent 組成的架構中,各 Agent 均對臨牀指標改善作出重要貢獻,例如病史採集、臨牀推理和治療建議方面的能力;此外,對話質素指標亦有所改善,包括以病人為中心的溝通技巧和回應延遲。
以自動化評估引導開發
建構視聽醫療 AI 的一項主要挑戰,是如何大規模描述系統的感知和推理能力。為引導開發,我們根據醫學文獻整理出適用於遠程醫療的臨牀視聽能力分類,涵蓋非語言視覺線索、聽覺訊號及身體檢查動作,然後據此建立一套自動化評估。
這套評估框架結合了針對單輪視聽能力的測試,以及多輪模擬音訊診症。單輪視聽評估會測試特定的臨牀感知和推理能力(例如正確辨認身體部位的左右側,或察覺呼吸窘迫徵象)。多輪模擬音訊診症則會把視覺線索以文字描述注入模擬情境,評估端到端對話表現(例如,針對帕金森症情境的 AI 病人模擬器,獲提示展示字跡時,可以注入口述描述:「[舉起紙張向鏡頭展示字體擠迫細小的筆跡]」)。這些互補評估讓我們在真人評估前快速反覆改進系統設計,並深入分析 AMIE(Video)的能力和失效模式。
透過隨機視像研究進行評估
為在更具挑戰性、更貼近現實的端到端視聽臨牀診症情境中評估臨牀能力,我們以同步視像診症介面進行了大規模隨機客觀結構式臨牀考試(OSCE)研究。
為涵蓋多種疾病,研究包括 100 個臨牀情境,涉及五大身體系統,包括心肺、腹部、頭部/眼睛/耳朵/鼻子/喉嚨(HEENT)、神經/精神及肌肉骨骼狀況。十五位受訓病人演員在三個研究組別中進行了 300 次標準化診症:
- AMIE(Video):以視像設定進行即時視像診症的 AMIE。
- AMIE(Text):純文字版本,用作基準以單獨評估視聽能力的作用。
- PCP(Video):十位取得專科資格的 PCP,透過相同視像介面進行診症。
由 20 位資深基層醫療醫生組成的獨立小組,採用既定臨牀評分準則評估所有診症,包括一般臨牀能力量表,以及針對各情境設計的詳細個案評分準則。
主要結果
專家級臨牀表現:在各項核心臨牀能力、病史採集的完整度、診斷準確度、管理方案適切性及溝通質素方面,臨牀評估人員給予 AMIE(Video)與 PCP 相若的評價。在這些範疇,AMIE(Video)的表現亦與 AMIE(Text)相若或更佳。
身體觀察和檢查方面表現出色:在引出身體徵象及主動引導病人演員進行虛擬檢查動作方面,AMIE(Video)的平均評分顯著高於 PCP 和 AMIE(Text)。個別個案的感知和檢查評分準則亦反映出這項優勢。
病人演員較喜歡視像體驗:病人演員強烈偏好同步視像介面,而非文字聊天;他們認為視像介面明顯較易使用,也更有效溝通健康問題。與 PCP 和 AMIE(Text)相比,他們亦對 AMIE(Video)在同理心、融洽感及護理信心方面給予正面評價。
限制與負責任的開發
這項研究有重要限制,解讀結果時必須考慮這些因素。研究完全在模擬臨牀環境中由專業病人演員參與,並非由帶着自身健康狀況求診的真實病人參與。即使病人演員訓練有素,也無法完全重現真實臨牀接觸的複雜性和不可預測性;研究情境亦只限於可透過演戲真實呈現的狀況,因此未涵蓋某些視聽感知對診斷有重大影響的重要臨牀表現。研究範圍以外的針對性自動評估發現,儘管對話質素和診斷準確度整體甚高,系統仍偶爾會出現感知及推理錯誤;系統也間歇出現技術問題,影響對話自然度。由於 Project Astra 尚屬原型,這亦包括日後開發時可從系統層面處理、超出本研究所探討特定醫療應用範圍的技術考量。在真實病人和真實臨牀狀況中進行研究,是下一個必要步驟;在此之前,不能就係統的現實效用下結論。
展望未來
這項研究證明,文字臨牀 AI 可以轉型為達到專家級質素的視聽臨牀 AI。AMIE(Video)能運用臨牀實務豐富的感官資訊,觀察非語言線索、引導身體檢查,並以口語自然對話;這些能力更接近遠程醫療視像診症的實際體驗。
要建立負責任的真實世界證據,仍有重要問題待解。我們的研究結果需要在真實病人身上驗證,並擴展至無法透過演出呈現的臨牀表現,同時配合穩健的安全框架。我們已在這方面踏出初步步伐:與 Beth Israel Deaconess Medical Center 合作的真實世界可行性研究,為文字版 AMIE 在臨牀實踐中的安全性和效用提供了初步證據;我們與 Included Health 合作、仍在進行中的全國性隨機研究,則會進一步評估 AI 在真實世界遠程醫療中的表現。這些研究經驗將有助我們瞭解如何負責任地把視聽能力整合至臨牀實踐。雖然仍有大量工作要做,這些結果仍標誌着一個重要里程碑,讓 AI 系統將來有望運用臨牀實務中的複雜感官資訊來輔助醫療護理。
鳴謝
此處介紹的研究由 Google Research 和 Google Deepmind 多個團隊共同完成。我們衷心感謝所有共同作者:Mahvish Nagda、Jihyeon Lee、Matthew Thompson、CJ Park、Tim Strother、Valentin Liévin、Roma Ruparel、Akshay Goel、Teya Bergamaschi、Suhana Bedi、Meet Shah、Pavel Dubov、Liviu Panait、Toshiyuki Fukuzawa、Sam Schmidgall、Craig Schiff、Joseph Xu、Aliya Rysbek、Yana Lunts、Jan Freyberg、Rebecca Hemenway、Sunny Virmani、David Racz、Carey Radebaugh、Joëlle Barral、Kavi Goel、Dale R. Webster、Katherine Chou、Avinatan Hassidim、Yossi Matias、James Manyika、Gregory Wayne、Tao Tu、Yun Liu、Ethan Goh、Christina Chen、Ryutaro Tanno 和 Cameron Chen。
來源:Google Research · research.google