Google Research 探討機器學習如何改善乳癌篩查流程
Improving breast cancer screening workflows with machine learning
Google Research 與 NHS 合作開展兩項研究,評估 AI 單獨讀片及融入乳癌篩查雙讀仲裁流程的表現。單獨讀片評估的癌症檢出率由每 1,000 名女性 7.54 升至 9.33,AI 亦檢出原雙讀流程漏掉的間隔癌中的 25%。融入雙讀仲裁後,流程在癌症檢出敏感度和特異度上達非劣效,估計可減少 46% 的人工讀片;但仲裁者曾推翻 AI 對 93 宗陽性癌症個案作出的正確召回判斷。
兩項研究分別檢視 AI 單獨讀片及加入人機仲裁後的流程,讓讀者同時衡量讀片人力效益與仲裁風險。
乳癌是英國 35 至 64 歲女性的主要死因,但研究已確切證明,透過乳房 X 光造影及早篩查可以拯救生命。英國國民保健署(NHS)乳癌篩查計劃目前採用雙人閲片流程:兩名人類乳房 X 光閲片員評估每宗個案,並由仲裁小組按需要,根據當地規程和兩次初步閲片結果覆核個案。這個嚴謹流程雖然成效顯著,但臨牀放射科醫生短缺 30%,而短缺情況預計到 2028 年將達 40%,威脅計劃長遠的可持續性。
研究界愈來愈關注探索 AI 協助乳癌篩查流程潛力的研究工作。延續我們在這方面的早期工作,我們與多個 NHS 機構合作,參與乳房 X 光篩查人工智能(AIMS)研究,進一步探討 AI 在這方面的潛力。正如本月稍早的分享,我們在Nature Cancer發表兩篇配套研究,評估 AI 乳癌檢測系統的不同方面。第一項研究評估 AI 系統獨立運作時的效能,以及前瞻性整合的可行性。第二項研究則進行端到端閲片研究,比較原有的雙人閲片和仲裁流程,與使用 AI 作為第二閲片員的流程。雖然仍需更多工作,才能證明這套系統在前瞻性臨牀實務中的成效,但研究進一步支持 AI 有望協助乳癌篩查。
研究 1:獨立效能和整合可行性
第一項研究分為兩個階段。第一階段對 AI 系統的獨立效能進行大規模多中心回顧性評估。第二階段則進行前瞻性非介入部署研究,評估把實時系統整合到真實臨牀流程的可行性和相關挑戰。
階段 1:多中心獨立效能評估
第一個回顧性階段採用英國五個 NHS 篩查服務中心的乳房 X 光造影,涉及 125,000 名女性;套用納入和排除準則後為 115,973 人。這些服務涵蓋三種不同臨牀流程,分別涉及第二閲片員是否不知道第一閲片員的判斷,以及如何選出需要仲裁的個案(見下圖)。各篩查服務中心會分別設定 AI 運作閾值(決定 AI 以多保守方式標示個案的門檻),以調整不同篩查人羣和流程的地區差異。
研究的主要終點是評估 AI 系統檢測癌症的靈敏度和特異度,並與該個案歷史上的(原始)第一閲片員比較。研究採用嚴謹的真值標準,使用 39 個月的追蹤期,讓我們能研究 AI 系統在間隔期癌症和下一輪篩查癌症出現臨牀症狀前,額外帶來的檢測效益。除主要終點外,研究亦評估 AI 系統相對第二閲片員及共識閲片員的表現、病灶定位(能否找出乳房內正確的異常位置),以及公平性分析。透過嚴謹的病灶層級分析,我們評估 AI 系統是否準確定位目標區域,而非依賴可能只是偶然的相關性。這個階段採用回顧性設計,以便大規模驗證 AI 效能,並沒有收集人類閲片員的額外判讀,也沒有進行前瞻性部署。
階段 2:前瞻性技術可行性
第二階段為瞭解如何在不同診所的真實篩查流程中加入 AI 的實際考量,我們在倫敦 2 個主要篩查服務旗下的 12 個篩查地點,進行前瞻性非介入部署。此階段著重展示技術整合是否成功、評估自動資格檢查,以及監察分佈偏移。
在各地點,研究人員先將篩查乳房 X 光造影假名化,再傳送至以 Google Cloud 為基礎的安全 AI 系統處理。研究亦評估反覆校準 AI 運作閾值的流程:研究人員在研究期間監察召回率並調整閾值,讓系統更切合當地環境,確保運作安全。
主要結果
在獨立效能評估中,AI 系統的靈敏度顯著高於原有的第一位人類閲片員,同時沒有犧牲特異度。整體癌症檢測率由每 1,000 名女性 7.54 宗上升至 9.33 宗;重要的是,AI 系統能檢測出原有雙人閲片流程漏掉的間隔期癌症當中的 25%。
AI 特別擅長檢測侵襲性癌症,在這些風險較高的癌症類型上,其靈敏度高於原有的人類閲片員。對首次接受篩查的女性,AI 的表現亦非常出色:提高檢測靈敏度之餘,大幅減少假陽性。探索性分析發現,不同年齡、族裔、乳房密度或社會經濟地位之間,沒有明顯的系統性差異。
在前瞻性部署階段,AI 系統成功以非介入方式部署於 12 個 NHS 實際篩查地點,在兩個服務中心處理 9,266 宗個案;每個服務中心的部署期約為兩個月。完成篩查至 AI 完成閲片的時間很短,中位數為 17.7 分鐘,相比之下,第一位人類閲片員需時超過 2 天。重要的是,實際部署成功識別歷史訓練數據與現代臨牀數據之間的「分佈偏移」。研究揭示這種偏移,顯示若配合嚴謹、分階段的方式,按當地流程和要求校準運作閾值,AI 部署可能更安全有效。
研究 2:評估整合至雙閲片員流程
第一項研究以量化方式評估獨立效能,但沒有探討人類閲片員在仲裁過程中實際參考 AI 輸出時的表現。以往的回顧性研究曾模擬仲裁,而我們的第二項研究則進行大規模閲片研究:22 名人類閲片員根據當地真實篩查服務規則,仲裁數千宗個案,讓我們瞭解真實世界的人機互動。我們比較兩種流程:
- 標準護理組:沿用第一和第二位人類閲片員的歷史判斷
- AI 輔助組:把第一位人類閲片員的歷史判斷與 AI 閲片員配對
研究涵蓋 50,000 名女性的個案;套用納入和排除準則後為 45,602 人。22 名認可乳房 X 光閲片員,按照當地篩查服務規則,覆核 8,732 宗需要仲裁的個案:其中一個服務中心規定,兩名原始閲片員對是否召回有不同建議時須仲裁;另一個則規定,只要任何一名原始閲片員建議召回便須仲裁。仲裁員以兩人一組閲片,模擬臨牀共識小組。標準護理組的仲裁員會覆核兩名人類閲片員的意見;AI 輔助組則會看到第一位人類閲片員的意見、AI 輸出及其標示的目標區域。之後由仲裁員決定是否召回該名女性。與第一篇論文的方法相若,研究採用包含 39 個月追蹤期的穩健真值標準,讓研究人員追蹤 AI 輔助流程能否比標準護理更早檢測間隔期和下一輪篩查癌症。研究主要終點是比較 AI 輔助護理組與標準護理組的個案層級癌症檢測靈敏度和特異度,評估前者是否不遜於後者。
主要結果
分析全部個案,包括需要仲裁和無須仲裁的個案後,我們發現 AI 輔助流程在仲裁後的整體靈敏度和特異度方面,統計上不遜於傳統雙人閲片流程。除了可取得與傳統流程相若的結果外,我們估計 AI 輔助流程可令所需人類閲片總數減少 46%。由於約 8.7% 的複雜個案(例如涉及乳房植入物的個案)仍需兩名人類閲片員,因此減幅略低於 50%。考慮到仲裁閲片比第一或第二閲片員的判讀更耗時,閲片員總工作時間可減少 36% 至 44%。在不犧牲結果的情況下節省閲片時間,有望紓緩英國個案負擔持續增加所造成的危機。
仲裁成功過濾人類閲片員和 AI 系統造成的許多假陽性,但研究亦揭示相關缺點:人類仲裁小組錯誤推翻 AI 對 93 宗陽性癌症個案的正確召回決定,其中大部分是難以察覺的間隔期和下一輪篩查癌症。這項結果顯示仍需持續研究人類閲片員如何理解和處理與自身判斷不一致的 AI 預測,既要建立專家信任,也要提升 AI 結果的可解釋性。
總結
綜合而言,研究顯示 AI 篩查系統在個別閲片時能提升癌症檢測效能,而在英國採用的完整雙人閲片流程中,表現亦不遜於原有流程。AI 輔助篩查有望大幅減少人類閲片員的整體工作量和閲片時間,同時提高癌症檢測率,尤其是侵襲性癌症和首次篩查個案。不過,要充分發揮 AI 的潛力,仍須解決仲裁量增加等操作問題、提升模型可解釋性,並透過持續效能監察和本地閾值校準,主動管理數據偏移。
最終而言,這項工作支持一個觀點:AI 輔助篩查或可建立可持續的醫療系統,讓科技與人類專業知識協作,及早檢測癌症,最重要的是拯救更多生命。
鳴謝
我們感謝 Google Research、國民保健署和學術合作夥伴眾多同事的貢獻,令這項工作得以完成。我們亦感謝 Imperial College London、Royal Surrey NHS Foundation Trust、St George’s University Hospitals、Cancer Research UK 和 Cancer Research Horizons 的職員,整理並協助我們取得本研究使用的 OPTIMAM 數據。我們特別感謝病人及公眾參與小組提供寶貴建議和意見。AIMS 研究由衞生及社會關懷大臣透過 National Institute for Health and Care Research(NIHR)撥款資助。圖像經修改,原圖刊載於《Nature Cancer》相關論文,並採用 Creative Commons Attribution 4.0 International License。要查看此授權,請瀏覽 http://creativecommons.org/licenses/by/4.0/。
來源:Google Research · research.google