跳到正文
阿里雲開發者社區 AI·· 34 分鐘前AI 評分27

牙科影像分析深度學習綜述

A Survey of Deep Learning for Dental Image Analysis |牙科影像深度学习综述

AI 導讀

牙科影像分析研究由 CNN 主導的單一任務分割與分類,逐步發展至結合自監督學習、Mamba 與視覺語言模型的多元方法,目標是在標註稀缺、多模態異構及計算受限的條件下提升幾何保真度、跨域泛化與臨牀推理能力。綜述梳理牙齒分割與重建、疾病診斷、多模態大模型及幾何規劃等研究路線,並指出專用小模型與通用大模型需要融合,而非互相取代。

正文

简介: 牙科影像分析旨在从锥形束CT(CBCT)、口内扫描(IOS)及全景X光片(OPG)中提取解剖与病理信息,其核心价值在于缓解专家标注成本高企与临床泛化需求之间的张力。早期研究以卷积神经网络(CNN)为主线,通过像素级监督解决单一任务的分割或分类,思路简洁却受制于数据稀缺与邻牙粘连导致的边界模糊。当3D几何复杂性与跨域偏移暴露出传统方法的局限后,研究者引入自监督学习(SSL)与状态空间模型(Mamba),用更强的先验与线性复杂度换取跨域鲁棒性与计算效率。随着视觉语言模型(VLM)的兴起,领域进一步向具备临床推理能力的“牙科GPT”演进,实现了图像理解与知识问答的融合。

综述原文见 www.arxivreview.com

导读

牙科影像分析旨在从锥形束CT(CBCT)、口内扫描(IOS)及全景X光片(OPG)中提取解剖与病理信息,其核心价值在于缓解专家标注成本高企与临床泛化需求之间的张力。早期研究以卷积神经网络(CNN)为主线,通过像素级监督解决单一任务的分割或分类,思路简洁却受制于数据稀缺与邻牙粘连导致的边界模糊。当3D几何复杂性与跨域偏移暴露出传统方法的局限后,研究者引入自监督学习(SSL)与状态空间模型(Mamba),用更强的先验与线性复杂度换取跨域鲁棒性与计算效率。随着视觉语言模型(VLM)的兴起,领域进一步向具备临床推理能力的“牙科GPT”演进,实现了图像理解与知识问答的融合。各路线在表示质量、几何保真度与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何拟合到语义推理的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

牙科影像分析的核心困境源于数据、几何与语义的三重壁垒。口腔疾病影响全球约35亿人,传统人工诊断耗时且依赖专家经验,这构成了深度学习介入的核心驱动力。然而,牙科影像(尤其是3D CBCT和IOS)的专家级标注极其耗时且昂贵,导致监督学习模型难以扩展。与此同时,CBCT提供体积数据但标注困难,IOS提供高分辨率表面网格但缺乏内部结构,这种多模态异构性使得单一模态模型难以捕捉完整的解剖信息。此外,不同医院、不同设备产生的数据存在显著域偏移,导致模型在外部数据上性能下降。这些约束共同定义了该领域的初始问题结构:如何在标注稀缺、多模态异构且计算受限的临床约束下,构建具备几何保真度与跨域泛化性的自动化诊断系统。

问题定义经历了从“如何分割牙齿”到“如何理解影像并生成临床诊断”的演化。2015年至2020年间,核心矛盾集中在特征提取与标注成本,研究主要依赖CNN进行单一任务的分类或分割。2021年至2024年,随着3D几何深度学习成为主流,核心矛盾转向几何完整性与跨模态对齐,邻牙粘连导致的边界模糊成为关键挑战。2025年至2026年,多模态大语言模型(MLLMs)的兴起推动了从单一图像识别向具备推理能力的“牙科GPT”演进,核心矛盾转变为临床推理能力、可解释性与端侧部署。这一演化过程并非线性替代,而是子问题依赖关系的层层递进:数据基准构建是基础,分割与重建是诊断的前置条件,多模态融合依赖于单模态特征的鲁棒性,而大模型推理则依赖于底层视觉特征的语义丰富度。

范式边界在专用小模型与通用大模型之间逐渐清晰。传统深度学习(CNN/Transformer)擅长局部特征与几何拟合,但缺乏全局语义与临床逻辑;大模型(VLM)擅长语义推理,但缺乏牙科解剖先验,常出现幻觉。两者需融合而非替代。当前,研究重心已从单纯的精度提升转向通用性、可解释性及端侧部署,旨在构建能够跨机构、跨设备泛化的牙科AI基础模型,以解决临床落地的最后“一公里”问题。

如果用一个核心问题概括该领域,那便是:如何在标注稀缺、多模态异构且计算受限的临床约束下,构建具备几何保真度、临床推理能力及跨域泛化性的牙科影像通用智能体。

2. 方法体系

  • 2015:U-Net——提出编码器-解码器对称架构并引入跳跃连接,通过融合浅层高分辨率特征与深层语义特征解决医学图像分割中边界模糊问题。

  • 2017:PointNet——针对无序点云数据提出直接处理3D点集的深度学习框架,利用共享MLP与对称函数聚合全局特征。

  • 2019:DGCNN——引入动态图卷积网络以捕捉点云中的局部几何关系,通过构建动态图结构增强邻域特征交互。

  • 2023:SAM——提出Segment Anything Model,通过提示工程实现通用图像分割。

  • 2024:Mamba——提出基于状态空间模型的高效序列建模架构,以线性复杂度处理长序列数据。

  • 2025:3DTeethSAM——将SAM2适配至3D牙齿分割,引入轻量级可学习模块实现自动提示与Deformable Global Attention增强。

  • 2025:DentalGPT——构建牙科专用多模态大语言模型,通过两阶段训练注入牙科知识并强化复杂推理能力。

  • 2026:TSegAgent——提出零样本牙齿分割智能体,结合多视角分割与几何感知视觉语言代理进行牙齿识别。

这条时间线勾勒了该领域方法演进的代表性节点:从 2015 年的 U-Net 奠定该领域方法基线,经 2017 年 PointNet 的推进,到 2026 年的 TSegAgent 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 基础模型与自监督

自监督学习(SSL)与半监督学习是解决牙科医学影像标注数据稀缺问题的关键途径。早期研究主要依赖监督学习,但受限于标注成本,难以应对多模态和复杂临床场景。2024年,Mamba架构的提出为高效序列建模提供了新范式,其在医学影像分割中展现出优于Transformer的效率与性能。2025年,U-Mamba2(Tan et al., 2025, P3)将Mamba2状态空间模型集成至U-Net瓶颈层,结合半监督学习框架处理CBCT牙齿与牙髓分割。该架构利用SSM的高效长程依赖建模能力,在有限标注数据下实现了优于Transformer基线的分割性能,降低了牙科3D分割的标注依赖。U-Mamba2-SSL(Tan et al., 2025, P4)进一步提出三阶段训练策略,解决了传统半监督方法在3D数据上的计算瓶颈。ATMask(Yang et al., 2026, P29)则提出自适应纹理感知掩码自监督学习方法,通过计算切片间纹理变化图,自适应识别信息丰富区域进行掩码,替代随机或固定掩码策略,提升了自监督预训练的效率与质量。DinoDental(Tang et al., 2026, P24)基准测试了DINOv3作为牙科影像统一视觉编码器,揭示了高分辨率输入对牙科细微病变检测的关键作用,验证了自监督基础模型在牙科领域的迁移潜力。这些方法共同构成了牙科AI从专用小模型向通用基础模型转型的技术基础,为后续多模态融合与大模型应用提供了鲁棒的特征表示。

2.2 牙齿分割与重建

牙齿分割是后续诊断、编号和重建的基础步骤,核心难点在于邻牙粘连边界。2015年U-Net确立了医学图像分割的基础范式,2017年PointNet突破了传统网格重建的依赖,2019年DGCNN显著提升了3D牙齿实例分割的边界精度。2023年SAM的提出为牙科影像分割提供了新起点,但缺乏牙齿解剖约束导致实例区分度不足。2025年,3DTeethSAM(Lu et al., 2025, P15)将SAM2适配至3D牙齿分割,引入三个轻量级可学习模块,实现自动提示生成并优化SAM2的初始输出,解决了2D基础模型在3D牙科网格上的适配难题。Shape-preserving Tooth Segmentation(Ji et al., 2025, P9)提出结合语义与形状感知的深度学习框架,引入目标牙齿质心提示的多标签学习策略,显式施加形态约束以保留边界完整性,克服了传统分割方法仅关注像素分类而忽略几何一致性的缺陷。Multimodal Contrastive Pretraining(Son et al., 2025, P1)构建了迄今最大的配对CBCT-IOS数据集,利用自监督对比学习框架无需人工标注即可学习跨模态共享表示,解决了两种模态在数据特性上的根本差异。High-Fidelity 3D Tooth Reconstruction(Zhu et al., 2026, P18)提出融合口内扫描与CBCT数据的深度隐式表示重建方法,利用DeepSDF隐式表面表示生成最终高保真3D牙齿模型,克服了传统网格拼接中的边界不连续问题。SemiTooth(Sun et al., 2026, P21)提出面向多源牙齿分割的通用半监督框架,通过教师-学生范式与对比审查机制,实现伪标签的动态生成与质量筛选,有效抑制误差传播。2026年,TSegAgent(Zhuang et al., 2026, P23)提出零样本牙齿分割智能体,完全避免任务特定训练与全局后优化,通过显式几何归纳偏置与推理机制,实现了可解释的牙齿分割与FDI标签分配,代表了牙科分割向智能体范式演进的趋势。B-Spline Embedded Structure Learning(Wei et al., 2026, P34)则进一步探索了B样条嵌入结构学习,提升了3D牙齿分割的精度。这些方法在几何保真度与泛化能力上取得了显著进展,为数字牙科工作流中多源数据整合提供了高效技术路径。

2.3 疾病检测与诊断

疾病检测与诊断旨在针对龋齿、牙周病等病理特征的自动检测、分割与分类。2022年DETR的提出简化了检测流程,但在牙科低对比度病变检测中面临收敛慢与解剖先验缺失问题。2025年,MATHENA(Kim et al., 2026, P25)提出基于Mamba的牙齿层级估计与整体评估网络,统一处理牙齿检测、龋齿分割及异常检测任务,通过FiLM调制实现跨尺度特征融合,模拟临床粗到细审查流程,在PARTHENON基准上确立了牙科多任务诊断的新标准。Caries DETR(Liu et al., 2026, P28)提出结合牙齿结构感知先验与病变感知动态损失优化的DETR龋齿检测方法,设计牙齿结构感知查询初始化(TSQI),显式编码牙齿结构先验以引导模型注意力聚焦于临床相关区域,提升了检测的精确性与鲁棒性。DentalX(Tan et al., 2026, P17)提出上下文感知的牙科疾病检测框架,采用特征金字塔网络(FPN)骨干,结合目标检测分支与结构上下文提取(SCE)模块,实现疾病检测与解剖分割的联合优化,揭示了疾病检测与解剖分割任务间的相互增益关系。When CNNs Outperform Transformers(Ghimire et al., 2025, P8)通过实证研究重新审视牙科龋齿分割中的深度架构选择,揭示了CNN在局部特征提取与空间分辨率保持上的优势,挑战了“Transformer必然优于CNN”的假设。Restrictive Hierarchical Semantic Segmentation(Banks et al., 2025, P13)提出分层语义分割方法,利用限制分层语义分割策略,将高层级类别细分为低层级类别,建立严格的层级约束关系,增强了分割结果的结构化表达能力。这些方法通过引入解剖先验、上下文感知及高效架构优化,提升了低对比度及细微病变的识别准确率,推动了牙科影像分析从通用视觉任务向专科解剖感知任务的演进。

2.4 多模态大模型应用

多模态大模型应用探索视觉语言模型(VLM/MLLM)在牙科影像理解、报告生成及复杂推理中的应用。2021年CLIP的提出为牙科影像描述生成与检索提供了基础,但缺乏牙科解剖先验。2023年LLaVA-Med展示了通用VLM在医疗场景的潜力,但在牙科细分任务上表现不足。2025年,DentalGPT(Cai et al., 2025, P16)构建牙科专用多模态大语言模型,通过两阶段训练注入牙科知识并强化复杂推理能力,在MMOral-Bench等基准上显著优于通用医疗VLM,实现了从图像描述到临床诊断推理的跨越。OralGPT-Omni(Hao et al., 2025, P11)提出通用牙科多模态大语言模型,支持多种牙科任务。OMNI-Dent(Jang et al., 2026, P19)提出可访问且可解释的自动化牙科诊断AI框架,以多视角智能手机照片为输入,包含牙齿识别、临床推理及诊断整合三个主要模块,实现端到端的自动化诊断。TLNM(Nedaei et al., 2026, P33)提出基于Mask R-CNN的智能手机照片牙齿检测、编号与分割方法,针对智能手机图像特性优化检测与分割模块,提升在低质量图像下的鲁棒性。Prompt-Based Caption Generation(Sukhanova et al., 2026, P20)提出基于提示工程的单牙牙科影像描述生成方法,利用GPT-4o等VLM,通过迭代优化提示词生成短长两种类型的牙齿影像描述,降低了牙科VLM构建的数据与计算成本。这些方法通过领域数据注入与提示工程,实现了可解释的智能诊断与交互,推动了牙科AI从感知向认知层面的演进。

2.5 几何分析与规划

几何分析与规划利用拓扑数据分析、强化学习及几何推理进行牙齿计数、地标定位及正畸排牙规划。2017年PointNet为牙科3D口内扫描数据的几何分析与牙齿分割奠定了数据驱动的基础。2025年,ArchMap(Zhang et al., 2025, P7)提出牙弓展平与知识引导视觉语言模型,通过几何感知牙弓展平策略,将不规则3D网格转换为解剖一致的2D表示,简化后续处理,结合知识引导VLM,实现牙齿计数与结构化牙科理解。3D Geometric Tooth Alignment Planning(Li et al., 2026, P32)提出基于深度强化学习的3D几何牙齿排牙规划方法,将排牙规划建模为序列决策问题,利用强化学习逐步生成牙齿运动轨迹,确保碰撞自由且符合临床逻辑,克服了优化方法的路径预设局限与生成模型的单步生成缺陷。Topology of a Smile(Dahlmeier et al., 2026, P35)提出基于持续同调的牙科影像分析方法,利用持续同调生成拓扑特征向量,捕捉牙齿与周围组织的连通性、孔洞等拓扑属性,增强分割与分类性能,提供了新的特征表示维度。这些方法强调从数据驱动向几何约束与序列决策结合的方法论转变,推动了数字正畸自动化进程。

3. 关键共识、分歧与开放问题

3.1 领域共识

牙科影像分析正从单一任务向多任务、多模态统一框架演进,以模拟临床综合诊断流程。这一共识在多个基准上被反复验证:MATHENA在PARTHENON基准上统一处理检测、分割与异常检测,DentalX在Dental Disease Detection基准上实现检测与分割的联合优化,均大幅超越了单一任务模型的性能。自监督学习和半监督学习是解决标注数据稀缺问题的关键途径,能显著提升模型在少样本场景下的性能。U-Mamba2-SSL在ToothFairy3上的0.738 IA与ATMask在CBCT上的74.1% Dice均证明了无标签数据利用的有效性。3D牙齿分割中,邻牙粘连和形态保持是核心挑战,仅依赖像素级监督不足,需引入几何先验、形状约束或语义关系。3DTeethSAM的94.57 Top-1与B-Spline Embedded Structure Learning的94.86 Top-1均体现了几何约束带来的边界完整性提升。视觉语言模型(VLM/MLLM)在牙科领域的应用需结合领域知识注入和专用指令微调,通用模型直接应用效果有限。DentalGPT在MMOral-Bench上的表现显著优于通用模型,验证了专用指令微调的必要性。

3.2 观点分歧

架构选择是领域内的主要分歧之一。CNN在低对比度病变分割中是否优于Transformer/Mamba?现有证据偏向CNN在DC1000等2D低对比度任务上略优(DoubleU-Net的0.5978 vs PVTFormer的0.5291),但Mamba在3D CBCT任务上因效率优势成为主流(U-Mamba2的0.731 IA)。这一分歧的背后,是任务维度(2D vs 3D)与数据特性的差异,缺乏统一的跨模态、跨任务基准测试导致结果不可直接比较。大模型范式是另一个根本性争论。通用VLM微调 vs 牙科专用基础模型?现有证据偏向专用模型在MMOral-Bench等基准上表现更优(DentalGPT显著优于Qwen2.5-VL),但通用模型在零样本泛化上更具潜力。分歧根源在于通用模型的牙科知识注入方式尚未标准化,且缺乏大规模、高质量的牙科专用预训练数据。3D分割范式也存在监督学习 vs 零样本智能体的争论。TSegAgent在私有数据集上展现出优于监督方法的跨域泛化能力,但监督方法在标准基准上精度略高。零样本智能体的推理过程缺乏标准化评估指标,且其几何归纳偏置的泛化边界尚不明确,难以在大规模临床场景中全面验证。

3.3 其他开放问题

最紧迫的工程问题是端侧部署与隐私保护。临床场景要求快速响应且数据敏感,当前研究聚焦于轻量化模型(如MobileNetV2+MHA的77.49% Accuracy),但模型压缩、量化及边缘计算技术仍需进一步突破,以实现高性能牙科AI在智能手机或本地设备上的实时运行。最根本的研究问题是大模型在牙科细粒度病理上的幻觉与专业性不足。通用MLLMs在牙科影像中常出现幻觉或缺乏临床逻辑,当前通过注入牙科教科书知识、构建专用指令数据集及强化推理能力来提升专业性,但专用模型的构建成本高昂,且缺乏统一的评估标准。此外,3D几何推理与强化学习在牙科规划中的应用尚处于起步阶段,3D Geometric Tooth Alignment Planning(Li et al., 2026, P32)展示了序列决策在正畸排牙中的潜力,但如何结合3D几何先验、视觉语言代理及深度强化学习,实现自动化的牙齿排列规划、手术路径优化等复杂决策任务,仍是开放问题。已知—争议—未知认知图谱显示,领域在基础架构与数据利用上已形成共识,在架构选择与大模型范式上存在争议,在端侧部署与几何推理自动化上仍属未知。

4. 总结与展望

牙科影像深度学习已构建起“高效感知-几何保真-语义推理”的技术栈,核心瓶颈在于如何在保持几何保真度的同时,提升模型的临床推理能力与端侧部署效率。从U-Net奠定分割范式,到Mamba解决计算瓶颈,再到VLM实现认知跃迁,领域经历了从专用分割到通用智能体的范式跃迁。然而,标注稀缺、邻牙粘连边界模糊及临床推理缺失的复合问题仍未完全解决,大模型在细粒度病理上的幻觉与专业性不足仍是制约临床落地的关键障碍。

未来可能突破的方向包括:开发牙科专用基础模型与多模态大语言模型,结合牙科领域知识,通过指令微调与强化学习提升其在临床诊断中的可靠性;提升模型在资源受限环境下的部署效率,研究模型压缩、量化、知识蒸馏及边缘计算技术,使高性能牙科AI模型能在智能手机或本地设备上运行;探索3D几何推理与强化学习在牙科规划中的应用,结合3D几何先验、视觉语言代理及深度强化学习,实现自动化的牙齿排列规划、手术路径优化等复杂决策任务。对于进入该领域的研究者,最值得做的一件事是构建大规模、多模态、高质量标注的牙科数据集,并建立涵盖诊断准确性、安全性、公平性及用户满意度的综合评估基准,以解决数据稀缺与评估标准缺失问题,为模型开发提供基础资源与参考框架。

以上为节选,完整内容见ArxivReview

來源:阿里雲開發者社區 AI · developer.aliyun.com