Google 發佈 MedGemma 1.5 4B,介紹 MedASR 醫療語音轉文字模型
Next generation medical image interpretation with MedGemma 1.5 and medical speech to text with MedASR
Google 發佈開放醫療多模態模型 MedGemma 1.5 4B,新增 CT、MRI、病理全切片及胸部 X 光時間序列等醫療影像處理能力。其基準結果較 MedGemma 1 4B 提升,例如 CT 疾病分類準確率為 61%(58%),MRI 為 65%(51%),醫療文本 EHRQA 為 90%(68%)。
MedGemma 1.5 4B 在多項醫療影像與文本基準上較前代提升,文中列出的具體分數可用來比較不同任務的改進幅度。
醫療界採用人工智能的速度正急速上升,醫療行業採用 AI 的速度是整體經濟的兩倍。為支持這場轉型,Google 去年發布開放式醫療生成 AI 模型MedGemma 系列,作為Health AI Developer Foundations(HAI-DEF)計劃的一部分。MedGemma 等 HAI-DEF 模型旨在讓開發者以此為起點,評估並按其醫療用途調整模型,也可透過 Vertex AI 在Google Cloud輕鬆擴展。MedGemma 推出後反應熱烈,下載次數達數百萬,Hugging Face 上亦發布數百個社羣建立的模型版本。
今天,我們乘勢推出 MedGemma 1.5 4B,並推出名為 MedGemma Impact Challenge 的黑客松,由 Kaggle 主辦。在社羣直接意見的指引下,這次模型更新讓開發者更有效地按涉及多種醫學影像的應用調整 MedGemma:
- 高維度醫學影像:電腦斷層掃描(CT)、磁力共振成像(MRI)和組織病理學
- 縱向醫學影像:胸部 X 光時間序列檢視
- 解剖定位:定位胸部 X 光中的解剖特徵
- 醫療文件理解:從醫療化驗報告擷取結構化數據
相比 MedGemma 1 4B,MedGemma 1.5 4B 在文字、醫療紀錄和 2D 圖像等核心能力上的準確度亦有所提升。我們今天發布更新後的 4B 模型,為開發者提供理想、運算效率高的起點;模型體積夠小,可離線運行。開發者亦可繼續使用 MedGemma 1 27B 參數模型,處理較複雜的文字應用。MedGemma 1.5 4B 模型和效能基準的完整詳情,載於MedGemma 1.5 模型卡。
我們最近亦發布了 MedASR(可在Hugging Face和Vertex AI取得),這是一個針對醫療口述微調的全新開放式自動語音識別(ASR)模型。MedASR 初始版本讓開發者把醫療語音轉成文字,並可與 MedGemma 無縫配合,執行進階推理任務。
MedGemma 1.5、MedASR 和所有其他 HAI-DEF 模型(例如 MedSigLIP 圖像編碼器)仍可免費用於研究和商業用途,並可從 Hugging Face下載,或在雲端 Vertex AI。訓練並調整成可擴展的應用程式。
MedGemma Impact Challenge
我們希望鼓勵開發者探索 MedGemma 模型在醫療轉型方面更多具創意和影響力的用途。為此,我們欣然宣佈推出 MedGemma Impact Challenge,這是由 Kaggle 舉辦、獎金總額達 100,000 美元的黑客松。所有開發者均可參加,運用 MedGemma 和 HAI-DEF 展現 AI 在醫療和生命科學領域的潛力。期待看到大家的作品!
提升醫學影像應用效能
MedGemma 從一開始便以多模態模型為目標,反映醫學本身的多模態特性。MedGemma 1 支援理解二維醫學影像,包括胸部 X 光、皮膚科圖像、眼底圖像和組織病理學圖像切片。
MedGemma 1.5 擴大了對高維度醫學影像的支援,首先涵蓋CT 影像和MRI的三維體積表示,以及整張載玻片的組織病理影像。開發者可建立應用程式,將多個切片(CT 或 MRI)或多個圖塊(組織病理)連同描述任務的提示詞一併輸入。
在內部基準測試中,MedGemma 1.5 對疾病相關 CT 發現進行分類的基線絕對準確度,比 MedGemma 1 高 3%(61% 對 58%);對疾病相關 MRI 發現分類則高 14%(65% 對 51%),以上均為各項發現的平均值。此外,在一項涵蓋不同組織病理切片及相關發現的內部基準測試中,對恰好包含一張組織病理切片的個案,以 ROUGE-L 分數衡量預測一致性,MedGemma 1.5 比 MedGemma 1 高 0.47(0.49 對 0.02),與特定任務模型 PolyPath 的 0.498 分相若。
這項高維度支援是我們先前以 API 為基礎、用於生成 CT 嵌入的工具CT foundation的自然演進。據我們所知,MedGemma 1.5 是首個公開發布、能理解高維度醫療數據,同時保留一般 2D 數據和文字理解能力的開放多模態大型語言模型。這些能力仍處於早期階段,並非完美;開發者以自己的數據微調 MedGemma 模型,可取得更佳結果。我們亦希望隨時間持續改進 MedGemma 模型。我們已發佈教學筆記本,示範如何使用這項高維度圖像功能處理 CT(Hugging Face、Model Garden)和組織病理影像(Hugging Face、Model Garden)。
相較 MedGemma 1 4B,MedGemma 1.5 4B 在多種其他醫學圖像理解任務的基線表現亦大幅提升:
- 解剖定位:定位胸部 X 光中的解剖特徵;在 交併比指標上,Chest ImaGenome 基準測試提高 35%(38% 對 3%)。請參閲我們的解剖定位教學筆記本。
- 縱向醫學影像:胸部 X 光時間序列檢視;在 MS-CXR-T 基準測試中,宏平均準確度提高 5%(66% 對 61%)。請參閲下方範例和我們的縱向醫學影像教學筆記本。
- 醫學圖像理解:我們針對胸部 X 光、皮膚科、組織病理學和眼科建立的內部單圖基準測試;表現提高 3%(62% 對 59%)。
- 化驗報告擷取:從醫療化驗報告擷取結構化數據(化驗類型、數值、單位);在內部化驗報告基準測試中的檢索宏平均 F1 提高 18%(78% 對 60%)。
此外,部署於 Google Cloud 的 MedGemma 應用程式現在支援完整 DICOM,令 MedGemma 更易應用於醫學影像。
改善文字功能
除了加強醫學影像支援,我們亦努力提升 MedGemma 的基線醫療文字功能。透過加入新的訓練資料集和訓練技術,MedGemma 1.5 4B 在 MedQA 的表現比 MedGemma 1 4B 高 5%(69% 對 64%),以 EHRQA 測試文字式電子健康紀錄(EHR)問答則高 22%(90% 對 68%)。
MedASR:開放式醫療自動語音識別模型
目前大型語言模型的主要介面雖然是文字,但語音溝通在醫療多個方面仍十分重要,包括醫療口述,以及病人與醫護人員的即時對話。語音亦是與語言模型互動更自然的方式。
為支援需要模型熟悉醫療專業詞彙的用途,我們開發了 MedASR 語音轉文字模型,用於轉錄醫療領域的語音。MedASR 既可轉錄醫療口述,也可自然地為 MedGemma 生成提示詞。我們把 MedASR 與通用 ASR 模型 Whisper large-v3 比較,發現 MedASR 在胸部 X 光口述的錯誤少 58%(詞錯誤率 WER 為 5.2% 對 12.5%);在涵蓋多個專科和講者的內部醫療口述基準測試中,錯誤則少 82%(WER 為 5.2% 對 28.2%)。我們發布了一系列教學筆記本,協助開發者建立和調整結合 MedASR 語音理解與 MedGemma 1.5 臨牀推理能力的系統。詳情請參閲MedASR 模型卡。
開發者如何使用 MedGemma
全球各地的醫療科技初創公司和開發者,正運用 MedGemma 加快研究和產品開發,涵蓋廣泛用途和場景。
例如,Qmed Asia 已調整 MedGemma,應用於 askCPG,這是一個涵蓋馬來西亞 150 多份臨牀實務指引的對話介面。根據馬來西亞衞生部,這個對話介面令日常臨牀決策支援中查閲馬來西亞臨牀實務指引更為實用;MedGemma 的多模態醫學圖像擴展功能在試行部署中亦廣受好評。
台灣衞生福利部中央健康保險署亦使用 MedGemma 評估肺癌手術的術前評估。透過 MedGemma 從逾 30,000 份病理報告和非結構化數據擷取關鍵資料,他們進行統計分析,評估病人的術前醫療狀況。這項工作旨在為政策決策提供參考,改善手術切除的決策,從而提升病人療效。
MedGemma 今年稍早推出以來,已在醫療 AI 研究論文中被廣泛引用。研究顯示,相較其他模型,它作為基礎模型,在理解醫療文字、跨專科團隊決策、乳房 X 光造影報告和其他臨牀場景方面表現良好。
開始使用
你可透過 Hugging Face 系列或 Google Cloud 上的 Vertex AI取得 MedGemma 的所有版本。MedASR 現可在 Hugging Face和 Vertex AI使用。想展示你對新一代醫療 AI 應用的構思,請參加 MedGemma Impact Challenge。
瀏覽我們的 MedGemma GitHub 儲存庫,探索擴充後的教學資源,包括現有的推論執行教學、以 LoRA 為基礎的監督式微調,以及全新的強化學習教學。強化學習是一種調校方法,特別適合在不損害模型現有能力的情況下學習複雜任務。
瀏覽 HAI-DEF 網站,瞭解 MedGemma 1.5 和其他 Health AI Developer Foundations 模型的資源。請訂閲電子報掌握最新消息。如需技術支援,請使用 HAI-DEF 論壇。
我們十分期待社羣運用這些新模型創作,也歡迎提供意見。
資料集説明
模型使用公開和私人去識別化資料集的組合進行訓練和評估。Google 與合作夥伴使用經嚴格匿名化或去識別化的資料集,確保研究參與者個人資料和病人私隱受到保障。
免責聲明
HAI-DEF 模型(包括 MedGemma 和 MedASR)旨在作為起點,協助高效開發涉及醫療文字和圖像的下游醫療應用程式。開發者不應在未有按特定用途進行適當驗證、調整及/或作出有意義修改的情況下使用 HAI-DEF 模型。這些模型生成的輸出,不應直接用於臨牀診斷、病人管理決策、治療建議或任何其他直接臨牀實務應用。本文報告的效能基準反映模型的基線能力,並不表示 MedGemma 適合安全地用於任何特定醫療應用。模型亦可能產生本文未列出的錯誤輸出。所有模型輸出均應視為初步結果,並須透過既定的研究和開發方法進行獨立驗證、臨牀相關性評估及進一步調查。詳情請參閲使用條款和禁止用途政策。
鳴謝
MedGemma、MedGemma Impact Challenge 和 MedASR 是 Google 多個團隊合作的成果。我們感謝參與這項工作的眾多人士,包括 Health AI、Gemma 和 Kaggle 團隊的工程人員及跨職能團隊成員,以及 Google Research 和 Google DeepMind 的贊助人。
來源:Google Research · research.google