DentalSplat是首个专为牙科咬合重建设计的稀疏视角3DGS框架，通过"SAP剪枝初始化+梯度+光流双约束优化"，解决了牙科图像稀疏、无位姿、有 artifacts的核心痛点。
而正畸场景通常只有3张稀疏照片——正面咬合图和左右颊侧图，重建难度特别大：输入视角太少会让重建质量暴跌，还没有相机位姿信息雪上加霜。
于是我们推出了DentalSplat框架，专门解决稀疏口腔图像的3D重建问题：先用先验引导的稠密立体重建模型初始化点云，再用尺度自适应剪枝策略提升3DGS的训练效率和重建质量；极端稀疏视角下，还加入光流作为几何约束，再配合梯度正则化，让渲染更保真。
我们在950个临床病例和195个模拟远程正畸成像的视频测试集上验证，DentalSplat能有效应对稀疏输入场景，牙齿咬合可视化的新视角合成质量远超现有顶尖技术～
文章标题：DentalSplat: Dental Occlusion Novel View Synthesis from Sparse Intra-Oral Photographs
一、为啥牙科远程重建这么难？
正畸治疗中，准确的牙齿咬合重建对治疗规划、调整和长期效果都至关重要。传统方法靠CBCT（锥形束CT）和口内扫描（IOS），虽然精度高，但需要专业设备和技术人员，根本不适合远程监测。
现在有了AI辅助远程正畸工具（比如DentalMonitoring），患者能用手机配件拍口腔照片，但这些工具只靠单张图片，没法全面评估咬合关系和空间位置。新视角合成（NVS）本来是个好解决方案，但传统3DGS有两个致命问题：
依赖密集输入和相机位姿：得靠COLMAP这类SfM方法估计位姿，稀疏图像根本搞不定； 牙科场景特殊：患者拍的照片视角稀疏（通常就3张）、没有相机参数，还存在牙齿反光、运动模糊、光照多变等问题，直接用现有3DGS模型根本收敛不了。
虽然有DUSt3R这类模型能处理两张稀疏无位姿图像，但它输出的稠密点云会拖慢3DGS优化速度，而且口腔图像的大视角差异也会导致重建质量差。DentalSplat就是专门解决这些痛点的～
这张图清晰展示了核心逻辑：输入稀疏无位姿的口腔图像，先用立体稠密重建模型得到全局坐标系下的稠密点云和相对相机位姿；再用SAP策略剔除异常点，下采样后得到适合3DGS初始化的稀疏点云；优化阶段加入光流约束保证几何一致性，再用梯度约束提升3DGS的稠密化效果，最终得到优化后的高斯模型。
二、DentalSplat是怎么攻克难题的？
核心思路：针对牙科稀疏图像的痛点，从"初始化"和"优化"两个环节做专项优化，让3DGS能在少数据、无位姿的情况下精准重建。
1. 先搞懂基础：3DGS和DUSt3R的核心逻辑
（1）3D高斯溅射（3DGS）
用一堆3D高斯基元表示场景，每个高斯的密度公式为：
是3D空间任意点，\sum_io_i$是不透明度。
渲染时，高斯投影到2D图像后按深度阿尔法混合，像素的颜色和深度公式为：
(c_i)是高斯颜色，(d_i)是高斯在相机空间的深度，(\alpha_i)是混合权重。
（2）DUSt3R
不用传统SfM，直接从两张无位姿图像生成稠密点云和相机位姿，点云计算公示为：
是相机内参，是深度图，是像素对应的3D点。
两张视图的点云通过刚性变换对齐：
、是视图的世界到相机变换。
2. 初始化优化：SAP策略让稠密点云"瘦身"
DUSt3R输出的稠密点云虽然精准，但太多了会拖慢3DGS优化，还容易不收敛。我们设计了尺度自适应剪枝（SAP）策略，给点云"瘦身"：
先计算所有高斯的缩放参数均值(\mu_S)； 按点云规模设置自适应阈值，剔除缩放过大的异常点，公式如下： 最终保留的高斯满足(G_survived} = { G_i})，既剔除噪声，又保留关键几何结构。
3. 优化阶段：双约束让重建更精准
（1）梯度约束：解决"模糊 artifacts"
3DGS优化时，不同像素的梯度方向可能冲突，导致重建模糊。我们对梯度做绝对值操作，让梯度方向沿轴对齐，公式如下：
有效减少梯度冲突，让高斯稠密化更精准，避免局部过度重建。
（2）光流约束：保证多视角几何一致
稀疏视角下，单靠光度损失不够，我们加入光流约束：
计算相邻帧的高斯流（3D高斯投影到2D后的位移）： 所有重叠高斯的混合光流： 光流损失（用双向光流置信掩码过滤噪声）： 总损失函数（联合优化相机位姿和高斯参数）： 是渲染图与真实图的L1损失。
这张图直观展示了光流约束的作用：t时刻3D高斯投影成2D像素，t+1时刻通过相机位姿变换得到新投影位置，计算两者的位移作为高斯流，再和真实光流对比优化，保证几何一致性。
三、实验效果：3张照片也能精准重建
我们用两个数据集测试：195个视频病例（模拟远程场景）和950个3张照片病例（极端稀疏场景），对比了3DGS、CF-3DGS、InstantSplat等顶尖方法。
1. 核心图表解读
（1）表格：定量结果对比（共3张）
表1（视频测试集）：不同训练视角下的PSNR（峰值信噪比）、SSIM（结构相似性）、LPIPS（感知相似度）。3个视角时，DentalSplat的PSNR达23.96，远超CF-3DGS的15.32；12个视角时，PSNR高达30.174，LPIPS低至0.213，各项指标都是最优。传统3DGS在3-9个视角下根本无法收敛（标记为"-"）。
表2（3张照片数据集）：极端稀疏场景下，DentalSplat的PSNR达34.50，SSIM 0.954，LPIPS 0.135，不仅精度最高，训练时间也只有69秒，远快于CF-3DGS的372秒。
表3（消融实验）：验证各模块的作用——去掉梯度约束后PSNR降至27.58，去掉光流约束后PSNR降至27.35，证明双约束和SAP策略都是提升性能的关键。
（2）图片：定性结果对比（共3张）
图3（6/9个视角输入）：CF-3DGS有模糊和漂浮 artifacts，InstantSplat的下牙有几何畸变；DentalSplat重建无 artifacts，纹理和形状都和真实情况高度一致。
图4（3张照片输入）：展示了输入的3个视角和重建结果，DentalSplat的渲染图比InstantSplat更清晰，牙齿结构更准确。
图5（3张照片新视角合成）：虽然没有真实标签，但对比可见，DentalSplat合成的新视角无几何漏洞和模糊，比InstantSplat的重建质量更高。
2. 关键结论
稀疏视角适配性强：3个视角就能稳定重建，传统3DGS完全做不到； 精度高：新视角合成的纹理和几何结构精准，能满足临床评估需求； 速度快：训练时间仅69秒，适合远程医疗的快速决策。
四、总结一下
DentalSplat是首个专为牙科咬合重建设计的稀疏视角3DGS框架，通过"SAP剪枝初始化+梯度+光流双约束优化"，解决了牙科图像稀疏、无位姿、有 artifacts的核心痛点。
它只需要3张口腔照片，就能在1分钟内完成高质量3D重建和新视角合成，完美适配远程正畸场景。未来不管是远程治疗监测，还是临床治疗规划，都有巨大的应用价值～
没有评论:
发表评论