SAF-Net：结构恢复驱动的高分辨率遥感语义分割解码建模

针对高分辨率遥感影像中地物尺度差异大、结构复杂、边界模糊等问题，本文提出一种轻量化语义分割网络SAF-Net，将解码过程重新建模为层次化结构恢复过程，在三个公开数据集上取得领先性能。

01 · 研究背景与问题

复杂场景下的结构退化挑战

高分辨率遥感影像中地物尺度差异显著、空间结构复杂，现有轻量化方法将解码简化为分辨率恢复，导致结构破碎、小目标漏检与边界模糊。

尺度差异显著

地物尺度从微小车辆到大面积建筑群跨越极大，单一感受野难以覆盖，小目标易漏检。

空间结构复杂

细长道路、不规则建筑边界等复杂结构在编码过程中易断裂，解码阶段缺乏结构恢复机制。

边界退化严重

邻近类别粘连、边界模糊，传统解码仅关注分辨率恢复，缺少显式边界约束。

84.57%

Vaihingen mIoU

86.89%

Potsdam mIoU

51.04%

LoveDA mIoU

+3.02%

LoveDA 提升

02 · 方法架构

结构恢复驱动的渐进式解码框架

SAF-Net 将解码过程建模为层次化结构恢复，包含空间重建、语义对齐、细节恢复与边界约束四个阶段，实现从语义到结构的逐级优化。

空间结构重建模块 (SRM)

对高层特征进行结构化建模，通过全局-局部注意力与差分特征融合，增强空间连续性，为后续融合提供稳定基础。

全局上下文局部结构门控融合

选择性语义对齐融合模块 (SEFM)

通过空间自适应门控与上下文增强，缓解编码器-解码器特征间的语义偏差，实现跨层语义协调。

语义对齐门控交互上下文增强

多尺度细节恢复模块 (MSDRM)

在浅层阶段通过自适应细节选择与多尺度深度卷积，筛选有效高分辨率信息，抑制噪声，增强小目标与细长结构。

细节选择多尺度建模空间重标定

轻量边界约束细化模块 (LBRM)

显式预测边界响应并反向调制解码特征，在边界区域增强结构响应，非边界区域保持语义稳定，实现轮廓连续性。

边界约束结构注意力轮廓校正

轻量主干适配

采用 swsl-ResNet18 作为编码器，在计算效率与特征表达间取得平衡，解码模块不依赖特定主干，具备通用性。

渐进式优化路径

从高层结构初始化到浅层细节注入，再到边界显式校正，形成完整的结构恢复闭环，优于传统分辨率恢复范式。

03 · 实验结果

全面领先的分割性能与效率

在ISPRS Vaihingen、Potsdam及LoveDA数据集上，SAF-Net在mIoU、mF1等指标上超越多种轻量、Transformer及Mamba方法，尤其在结构敏感类别上优势显著。

84.57%

Vaihingen mIoU

91.47%

Vaihingen mF1

86.89%

Potsdam mIoU

+0.95%

vs CMTFNet

方法	mIoU (%)	mF1 (%)	OA (%)	Car IoU (%)
BiSeNetV2	83.13	90.59	92.94	77.52
DC-Swin	83.10	90.53	93.23	75.14
CMTFNet	83.62	90.89	93.09	78.78
UNetFormer	82.93	90.45	92.86	77.56
UNetMamba	83.31	90.68	92.97	78.19
LightFormer	82.92	90.43	93.15	74.84
SAF-Net (本文)	84.57	91.47	93.57	79.86

小目标结构恢复

Car类别IoU达79.86%，相比UNetMamba提升1.67%，验证了MSDRM在细粒度结构建模中的有效性。

复杂场景鲁棒性

在LoveDA数据集上mIoU达51.04%，相比LightFormer提升3.02%，城乡混合场景下结构恢复优势突出。

边界连续性提升

可视化分析显示，SAF-Net在细长道路、建筑边界等区域预测更完整，LBRM有效抑制了边界模糊与类别粘连。

核心发现

结构恢复驱动解码将传统分辨率恢复扩展为兼顾语义一致性、结构完整性与边界连续性的联合建模过程，为轻量化高分辨率遥感语义分割提供了一种通用且高效的建模思路。

04 · 结论与展望

新范式与未来方向

本文通过将解码重新定义为层次化结构恢复问题，显著提升了轻量化模型在复杂场景下的结构表达能力，同时为未来研究提供了多个可行方向。

理论贡献

首次将语义分割解码建模为结构恢复问题，提出SRM、SEFM、MSDRM、LBRM四阶段渐进式框架，为轻量化解码设计提供新视角。

性能与效率平衡

在保持轻量化优势的同时，在三个数据集上取得领先性能，验证了结构恢复机制在精度与效率之间的有效平衡。

通用性与可扩展性

解码模块不依赖特定主干网络，可灵活适配不同编码器，为未来结合更强主干或大模型提供基础。

应用价值

适用于城市规划、土地利用监测、灾害评估等需要高精度语义地图的场景，尤其适合资源受限的边缘部署。

局限与未来

在大面积连续地物区域优势减弱，未来可引入全局上下文增强模块；同时探索结构恢复与自监督预训练的融合。