本文面向建筑遗产数字化采集中低照度影像亮度不足、对比度弱、暗区噪声重、纹理模糊和颜色偏移等问题,提出一种基于灰度引导空间多尺度光照注意力的图像增强网络 GI-MSIA-EnlightenGAN。该方法以 EnlightenGAN 为基础,借鉴 Retinex 理论,在生成器中引入灰度引导分支以显式建模光照信息,并设计多尺度光照注意力模块 MSIA,在不同空间层级上强化暗区细节与整体阴影分布。实验表明,该方法在 LOL 数据集和自建永定门建筑遗产数据集中均能取得更好的亮度恢复、纹理保持和色彩保真效果,并在三维重建任务中显著提升关键点数量、改善弱纹理区可观测性,为建筑遗产低照度场景下的高质量数字化采集提供技术支撑。
建筑遗产中的砖石肌理、壁面纹饰、雕刻线条和彩画细节承载着重要历史信息。然而在室内、洞窟、城墙阴影区和地下遗址等场景中,受文物保护规范限制,往往不能使用强光照明设备,导致影像出现亮度不足、暗区噪声、色彩失真与纹理模糊等问题。
直方图均衡和 Retinex 类方法可提升亮度,但容易放大噪声、引入光晕或造成颜色偏移,难以满足文物影像保真要求。
Zero-DCE 易局部过增强,SCI 可能压缩建筑纹理,原始 EnlightenGAN 在暗区恢复、砖缝清晰度和色彩稳定性上仍不足。
低照度会影响特征提取、纹理映射、空中三角测量和多视几何一致性,最终降低三维重建精度与真实性。
该方法以 EnlightenGAN 为基础框架,采用生成器与双判别器结构。生成器包含 RGB 纹理特征分支与灰度光照特征分支;判别器包括约束整体亮度和色彩分布的全局判别器,以及关注砖缝、雕刻等局部纹理真实性的局部判别器。
网络首先将 RGB 输入转换为灰度引导图,用灰度编码器提取光照特征,用 RGB 编码器提取纹理特征,再通过通道拼接与 3×3 卷积进行融合。该设计使模型能够显式区分“亮度变化”和“真实建筑纹理变化”,减少误增强和颜色偏移。
MSIA 通过平均池化获得多个尺度的光照图,并对对应层级特征进行残差式调制。浅层尺度关注砖缝、雕刻线条和彩画纹理等局部细节;深层尺度关注大范围阴影分布和整体亮度一致性,从而兼顾局部清晰度与全局自然感。
全局判别器约束增强图像的整体亮度、色彩分布和视觉自然性;局部判别器基于 PatchGAN 思想,对砖石缝隙、风化表面、斗拱和彩画等局部区域进行真实性判别,防止纹理泛白和细节抹平。
训练中联合使用对抗损失、感知损失、重建损失和光照一致性损失:对抗损失提升生成真实性,感知损失保持结构语义,重建损失约束像素一致性,光照一致性损失保证亮度变化平滑,减少局部突变和伪影。
实验包括消融分析、LOL 数据集定量对比、建筑遗产数据集定性对比和三维重建应用验证。结果表明,灰度引导与多尺度光照注意力具有互补作用:前者提供亮度约束,后者强化局部结构,完整模型在多项指标和实际重建任务中表现更稳健。
| 方法 | PSNR ↑ | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 输入图像 | 4.410 | 0.0671 | 0.6927 |
| SCI | 6.709 | 0.3307 | 0.4347 |
| URetinex-Net | 7.433 | 0.4223 | 0.4190 |
| Zero-DCE | 7.616 | 0.4184 | 0.4133 |
| EnlightenGAN | 8.602 | 0.5085 | 0.4227 |
| GI-MSIA-EnlightenGAN | 8.928 | 0.5346 | 0.3916 |
| 影像类型 | 校准影像数 | 关键点中值 | 连接点总数 | 重投影误差 RMS |
|---|---|---|---|---|
| 原始影像 | 461 | 26,169 | 265,045 | 0.66 px |
| SCI 增强 | 459 | 28,739 | 201,664 | 0.69 px |
| EnlightenGAN 增强 | 470 | 42,686 | 282,416 | 0.69 px |
| 本文改进增强 | 463 | 42,244 | 257,594 | 0.68 px |
本文提出的 GI-MSIA-EnlightenGAN 能在无监督训练框架下增强低照度建筑遗产影像,兼顾亮度恢复、结构边界、纹理细节与色彩保真,适用于古城墙、木构建筑、石窟、地下遗址等不宜使用强补光的文物数字化场景。
通过独立灰度编码分支学习光照信息,使模型能更准确地区分阴影变化与真实建筑纹理,减少误增强。
MSIA 以残差注意力方式同时关注局部砖缝和彩画细节,以及全局阴影和亮度分布,抑制伪影。
结合光照一致性损失和局部判别器,面向文物数字化对细节保真、弱光适应和纹理可用性的需求。