基于 3D 高斯溅射引导
建筑物多视图三维重建

吴庆双 · 万猛 · 林雨琴 · 等 地球信息科学学报 · 2026 · Vol.28 No.6 · pp.1604-1623 3D Gaussian Splatting · Multi-view Reconstruction

建筑物三维重建是城市规划、灾害模拟与文化遗产保护的重要基础。针对传统 MVS 在复杂场景下计算复杂、精度不足,以及 NeRF 训练成本高、几何表达弱等问题,本文提出一种基于 3D 高斯溅射引导的建筑物多视图三维重建方法,在不依赖外部先验信息的条件下,通过多视角图像恢复细致表面结构,提升几何形状与外观重建的一致性。

建筑物三维重建 3D 高斯溅射 多视图影像 SfM 点云优化 几何重建
向下滚动阅读

01 · 研究背景与问题

从 MVS、NeRF 到 3DGS 的建筑重建演进

建筑物具有规则几何结构、复杂立面纹理和遮挡关系。如何在复杂城市场景中兼顾渲染真实感与几何精度,是三维重建的核心挑战。

传统 MVS

依赖视角覆盖与图像质量

多视图立体视觉在纹理弱、遮挡强、背景复杂的场景中易产生孔洞、噪声或误匹配,且大规模场景计算成本较高。

NeRF 路线

真实感强但训练成本高

NeRF 能生成高质量新视角图像,但隐式体积表示训练耗时,且对建筑物几何边界和规则结构的精确表达不足。

3DGS 机会

显式点云与快速渲染

3D 高斯溅射具有快速渲染与显式表达优势,但原生高斯点云缺乏建筑几何约束,需要进一步引导其服务于高精度模型生成。


02 · 技术框架

建筑物 3D 高斯点云初始化、优化与模型生成

本文方法以多视角影像为输入,利用 SfM 初始化相机位姿与稀疏点云,再引入 3DGS 表达和优化机制,最终生成建筑三维模型。

S1
基于 SfM 的建筑物 3D 高斯点云初始化

通过 SIFT 等特征提取与匹配估计相机位姿,生成稀疏点云,并以重投影误差最小化优化相机参数和三维点坐标,为后续 3D 高斯表示提供初始空间支撑。

SfMSIFT MatchingSparse Point Cloud
S2
3D 高斯点云优化

将点云表示为具有位置、尺度、旋转、不透明度和颜色等属性的 3D 高斯基元,通过可微渲染和多视图一致性优化,使点云同时适应图像外观与空间结构。

3D GaussianDifferentiable RenderingView Consistency
S3
三维模型生成与几何重建

利用优化后的高斯点云引导建筑物表面结构恢复,减少复杂背景干扰,提升模型边界、立面和细节结构的完整性,实现几何形状与纹理外观的一致重建。

Surface RecoveryMesh / Model GenerationGeometry-aware

总体重建链条

Multi-view Images
→ SfM Pose & Sparse Points
→ 3D Gaussian Optimization
→ Building Model Generation

该流程将摄影测量中的几何初始化与 3DGS 的快速显式表达相结合,兼顾稳定性与细节表现。

3D 高斯基元属性

Position + Scale + Rotation
+ Opacity + Color / SH Coefficients

每个高斯基元不仅表达空间位置,也表达局部形状、方向、透明度和外观信息,是可渲染的显式三维表示。


03 · 方法优势与技术价值

以 3DGS 引导建筑几何与外观一致重建

该方法的关键不是单纯追求新视角渲染,而是利用 3DGS 的显式点云和可微优化能力,为摄影测量意义上的建筑物三维模型生成提供引导。

3DGS
显式表达
点云化高斯基元
Fast
快速渲染
优于隐式体渲染
Geo
几何引导
增强建筑结构表达
No Prior
无外部先验
仅依赖多视角图像
相对 MVS 的改进
  • 利用高斯点云的连续表达能力,缓解传统点云在弱纹理、遮挡和复杂背景下的噪声与空洞问题。
  • 通过可微渲染与多视图一致性优化,提高局部表面与外观细节的稳定性。
  • 在复杂城市环境中更有利于保留建筑立面、屋顶和边界结构。
相对 NeRF 的改进
  • 3DGS 具有显式空间基元,渲染效率更高,更便于与点云和摄影测量流程结合。
  • 不再完全依赖隐式密度场,有助于提升几何结构可控性和后续模型生成能力。
  • 更适合面向城市级建模、数字孪生和工程测绘的应用需求。

04 · 结论与未来展望

迈向高真实感与高几何精度统一的建筑重建

本文方法将 3DGS 从视图合成工具进一步拓展为建筑物三维重建的几何引导机制,为复杂场景下的高质量建模提供了新路径。

面向建筑几何

方法强调对建筑表面、边界和结构细节的恢复,而不仅是合成视觉上逼真的新视角图像。

融合摄影测量与神经表达

以 SfM 提供几何初始化,以 3DGS 提供可优化显式表达,实现传统摄影测量与新型神经渲染的互补。

未来应用潜力

可服务于城市数字孪生、灾害场景建模、文化遗产保护、建筑形变监测与大规模三维地图更新等应用。