本文面向馆藏文物三维数字化中“几何精度”和“视觉保真度”难以兼得的问题,提出一种多模态融合 3D 高斯泼溅稠密重建方法。研究将高精度扫描点云作为几何先验,将高分辨率序列影像作为纹理与外观约束,通过跨模态配准、特征保留采样初始化、扫描先验引导 3DGS 优化以及概率采样稠密化,实现高保真、高密度、低噪声的文物点云重建。实验表明,该方法既能缓解传统 3DGS 几何漂移和表面畸变问题,也能在点云完整性、细节锐利度和几何精度方面优于传统 MVS 稠密重建。
文化遗产三维数字化不仅要服务虚拟展陈,还要支撑考古研究、病害监测、修复设计和量化分析。单一技术路线往往各有短板:扫描点云几何精度高但纹理弱,摄影测量纹理好但几何易受弱纹理和高反光影响,3DGS 渲染逼真但缺乏几何约束。
结构光或激光扫描可获得亚毫米级几何数据,但在高反光、深色表面和复杂凹陷区域容易产生噪声、空洞或纹理不足。
MVS 和摄影测量依赖纹理匹配,面对瓷器釉面、青铜器反光和弱纹理区域时,易出现重建空洞与几何畸变。
3D 高斯泼溅擅长新视角合成和实时渲染,但优化目标偏向外观质量,容易出现尺度漂移、表面毛刺和形态失真。
论文方法由三个阶段构成:首先完成扫描点云与影像 SfM 结果的跨模态配准;然后从扫描点云中提取稀疏但富含几何特征的初始化点,为 3DGS 提供几何先验;最后从训练后的连续高斯场中进行概率采样,生成高质量密集点云。
影像侧利用 SIFT 与 SfM 解算相机位姿和稀疏点云,扫描点云侧利用 SIFT-3D 提取几何特征点;随后通过 FLANN、RANSAC 与 PnP 完成粗配准,再采用 ICP 求解含尺度、旋转和平移的 7 自由度相似变换,将相机位姿转换到扫描点云度量坐标系。
研究不直接使用完整扫描点云,而是基于 PCA 计算曲率、平面度、线性度和散度等局部几何属性,并构建综合重要性得分。随后在体素网格内保留得分最高的点,使初始化点云既稀疏又突出棱边、角点和纹饰等关键几何特征。
富含特征的扫描采样点作为 3DGS 初始化基元,使高斯优化过程不再完全依赖影像外观,而是被真实几何结构约束。适度稀疏的初始化避免过度约束,使模型仍能学习影像中的纹理细节和局部外观变化。
训练完成后,先剔除不透明度过低或尺度过大的伪影基元,再根据体渲染贡献为基元赋予真实像素颜色;随后按高斯椭球体积分配采样点数,并在每个高斯分布内随机采样,最后利用马氏距离剔除异常点。
研究构建了包含 7 件馆藏文物的 HFACT-3D 多模态数据集,涵盖青铜器精细铭文与瓷器高光釉面等复杂材质。实验使用 Go!SCAN 3D 手持结构光扫描仪和自动化转台影像采集,并从渲染质量与几何精度两个层面进行评估。
| 指标 | 本文方法 | MVS 方法 | 变化幅度 |
|---|---|---|---|
| 平均点数 | 2,700,303 | 1,524,770 | 提升 77.1% |
| 倒角距离 | 0.0138 | 0.0162 | 降低 14.8% |
| D1-MSE | 0.0097 | 0.0104 | 降低 6.7% |
| 豪斯多夫距离 | 0.4205 | 1.4855 | 降低 71.7% |
本文证明,将高精度扫描点云、摄影测量影像和 3D 高斯泼溅神经渲染结合,可以突破单一重建技术的局限,生成兼具几何精度、视觉保真度和点云完整性的高质量文物三维数据。
扫描点云提供度量几何约束,影像提供纹理与外观信息,3DGS 提供连续场景表达和高效渲染能力。
约 25% 的特征保留采样在几何约束和优化灵活性之间取得平衡,优于直接全量初始化或随机采样。
从高斯连续场概率采样生成的点云较 MVS 更密集、更完整,且显著减少离群噪声和宏观几何偏差。