多模态融合 3D 高斯泼溅的
馆藏文物稠密重建

地球信息科学学报 · 2026 · 28(7): 2079 起 馆藏文物 / 3DGS / 多模态融合 结构光扫描 + 高分辨率影像 HFACT-3D 数据集

本文面向馆藏文物三维数字化中“几何精度”和“视觉保真度”难以兼得的问题,提出一种多模态融合 3D 高斯泼溅稠密重建方法。研究将高精度扫描点云作为几何先验,将高分辨率序列影像作为纹理与外观约束,通过跨模态配准、特征保留采样初始化、扫描先验引导 3DGS 优化以及概率采样稠密化,实现高保真、高密度、低噪声的文物点云重建。实验表明,该方法既能缓解传统 3DGS 几何漂移和表面畸变问题,也能在点云完整性、细节锐利度和几何精度方面优于传统 MVS 稠密重建。

3D 高斯泼溅 文物数字化 多模态配准 特征保留采样 点云稠密化 神经渲染
↓ 向下滚动阅读

01 · 研究背景与问题

馆藏文物重建需要同时满足“可量测”和“可观看”

文化遗产三维数字化不仅要服务虚拟展陈,还要支撑考古研究、病害监测、修复设计和量化分析。单一技术路线往往各有短板:扫描点云几何精度高但纹理弱,摄影测量纹理好但几何易受弱纹理和高反光影响,3DGS 渲染逼真但缺乏几何约束。

主动测量:几何强,纹理弱

结构光或激光扫描可获得亚毫米级几何数据,但在高反光、深色表面和复杂凹陷区域容易产生噪声、空洞或纹理不足。

被动测量:纹理强,几何不稳

MVS 和摄影测量依赖纹理匹配,面对瓷器釉面、青铜器反光和弱纹理区域时,易出现重建空洞与几何畸变。

3DGS:渲染强,几何约束弱

3D 高斯泼溅擅长新视角合成和实时渲染,但优化目标偏向外观质量,容易出现尺度漂移、表面毛刺和形态失真。

7
HFACT-3D 文物数量
25%
最优初始化采样密度
0.211 mm
特征点平均空间偏差
77.1%
点数相对 MVS 提升

02 · 多模态融合方法

用扫描点云“定形”,用影像与 3DGS“增真”

论文方法由三个阶段构成:首先完成扫描点云与影像 SfM 结果的跨模态配准;然后从扫描点云中提取稀疏但富含几何特征的初始化点,为 3DGS 提供几何先验;最后从训练后的连续高斯场中进行概率采样,生成高质量密集点云。

R1
跨模态配准:统一扫描点云与影像坐标系

影像侧利用 SIFT 与 SfM 解算相机位姿和稀疏点云,扫描点云侧利用 SIFT-3D 提取几何特征点;随后通过 FLANN、RANSAC 与 PnP 完成粗配准,再采用 ICP 求解含尺度、旋转和平移的 7 自由度相似变换,将相机位姿转换到扫描点云度量坐标系。

SIFT SIFT-3D RANSAC + PnP ICP 7-DOF
S2
特征保留采样:构建几何先验初始化

研究不直接使用完整扫描点云,而是基于 PCA 计算曲率、平面度、线性度和散度等局部几何属性,并构建综合重要性得分。随后在体素网格内保留得分最高的点,使初始化点云既稀疏又突出棱边、角点和纹饰等关键几何特征。

PCA Features Curvature Linearity Voxel Sampling Geometry Prior
G3
扫描先验引导 3DGS 优化

富含特征的扫描采样点作为 3DGS 初始化基元,使高斯优化过程不再完全依赖影像外观,而是被真实几何结构约束。适度稀疏的初始化避免过度约束,使模型仍能学习影像中的纹理细节和局部外观变化。

3DGS Gaussian Primitives Geometry Constraint Neural Rendering
D4
概率采样稠密化:从连续高斯场提取点云

训练完成后,先剔除不透明度过低或尺度过大的伪影基元,再根据体渲染贡献为基元赋予真实像素颜色;随后按高斯椭球体积分配采样点数,并在每个高斯分布内随机采样,最后利用马氏距离剔除异常点。

Opacity Filtering Color Reassignment Volume Sampling Mahalanobis Distance

核心技术路线

  • 输入:高精度扫描点云 + 高分辨率序列影像。
  • 配准:特征匹配粗配准 + ICP 精配准。
  • 初始化:保留约 25% 富含几何特征的扫描点。
  • 优化:以扫描先验约束 3DGS 外观学习。
  • 输出:高密度、高保真、低噪声彩色点云。

为何不是直接用全量扫描点云?

  • 全量扫描点云可能包含噪声与孔洞,会将误差传递给 3DGS。
  • 过高初始化密度会过度约束高斯优化,限制细节学习。
  • 特征保留采样可突出文物棱边、铭文、纹饰等关键结构。
  • 稀疏但关键的几何先验更利于平衡准确性与可学习性。

03 · 实验结果与性能评估

本文方法在渲染质量、几何精度和点云完整性上均表现突出

研究构建了包含 7 件馆藏文物的 HFACT-3D 多模态数据集,涵盖青铜器精细铭文与瓷器高光釉面等复杂材质。实验使用 Go!SCAN 3D 手持结构光扫描仪和自动化转台影像采集,并从渲染质量与几何精度两个层面进行评估。

43.99
特征采样 PSNR
0.0039
LPIPS 降至
0.496 mm
最大特征点偏差
2,700,303
平均输出点数
指标 本文方法 MVS 方法 变化幅度
平均点数 2,700,303 1,524,770 提升 77.1%
倒角距离 0.0138 0.0162 降低 14.8%
D1-MSE 0.0097 0.0104 降低 6.7%
豪斯多夫距离 0.4205 1.4855 降低 71.7%

渲染与外观表现

  • 25% 初始化密度在 PSNR 与 SSIM 上表现最优。
  • 特征保留采样 PSNR 达到 43.99,LPIPS 降至 0.0039。
  • 过高采样密度会产生过度几何约束,降低外观细节学习能力。
  • 贡献度色彩赋真可缓解球谐函数导致的非物理颜色问题。

几何与稠密点云表现

  • 虚拟横截面显示,本文轮廓与扫描真值高度重合。
  • 8 处特征点平均空间偏差仅 0.211 mm,达到亚毫米级。
  • 相较 MVS,本文点云更完整、离群噪声更少。
  • 豪斯多夫距离大幅下降,说明极端几何误差被有效抑制。
核心发现:3DGS 本身擅长“看起来真实”,但不一定“几何上准确”。本文通过扫描点云提供几何先验,再借助影像与神经渲染增强外观和细节,实现了“可量测的真实”和“可展示的逼真”的统一。

04 · 结论与未来方向

多模态 3DGS 为馆藏文物高保真数字资产生产提供新路径

本文证明,将高精度扫描点云、摄影测量影像和 3D 高斯泼溅神经渲染结合,可以突破单一重建技术的局限,生成兼具几何精度、视觉保真度和点云完整性的高质量文物三维数据。

多模态融合有效

扫描点云提供度量几何约束,影像提供纹理与外观信息,3DGS 提供连续场景表达和高效渲染能力。

特征采样关键

约 25% 的特征保留采样在几何约束和优化灵活性之间取得平衡,优于直接全量初始化或随机采样。

稠密化质量更高

从高斯连续场概率采样生成的点云较 MVS 更密集、更完整,且显著减少离群噪声和宏观几何偏差。

应用价值

  • 支撑馆藏文物的高精度数字存档。
  • 为考古测量、修复设计和病害分析提供可量测几何模型。
  • 为虚拟展览、沉浸式展示和在线传播提供高保真视觉资产。
  • 适合处理青铜器铭文、瓷器釉面等复杂纹理与材质场景。

未来方向

  • 探索更低成本、轻量化的多模态采集设备组合。
  • 进一步提升对镜面、透明、强反光等极端材质的适应性。
  • 将重建结果与文物知识图谱结合,实现语义化智能分析。
  • 发展面向文物保护修复的几何变化检测与数字孪生应用。