从「地面事后处理」到「在轨实时检测」
随着对地观测卫星分辨率与拍摄频率提升,遥感数据量呈爆发式增长。现有模式通常将影像传输至地面站再处理分析,受限于星地通信链路与响应时效。卫星在轨目标检测通过在轨计算直接提取关键信息并仅下传检测结果,可将遥感应用模式从事后处理推向实时智能;但星载边缘设备算力有限,而光学遥感影像又具有背景复杂、目标尺度差异大、小目标密集、部分目标几何形态特殊等特点,使精度与效率难以兼得。
星载平台算力与存储受限
卫星边缘设备算力有限,无法支撑大规模参数量、高计算复杂度的深度学习模型的部署与实时推理。如何在保证对遥感复杂小目标检测精度的同时大幅降低模型体量,以适应星上严苛的资源约束,是实现高效在轨目标检测亟待解决的首要问题,构建高效能轻量化模型成为星上智能处理的必然选择。
激进压缩引发特征退化
通用轻量化网络通过大幅削减通道数与网络深度来降低参数量与计算量,当这种激进压缩策略直接迁移至幅宽大、目标尺度差异显著、背景纹理复杂的遥感影像时,往往引发特征退化,导致微小目标漏检与深层语义信息丢失。轻量化带来的非线性变换占比下降,使网络深层语义特征表达能力退化。
复杂背景干扰与特殊几何形态
遥感影像背景复杂,目标尺度差异大且小目标密集,存在检测精度低、漏检率高等问题;港口建筑物与船舰在光学影像中具有高度纹理相似性,易产生语义混淆。此外,桥梁、大坝等目标具有极端长宽比的几何特性,传统 IoU 损失难以精确回归,压缩后的特征进一步放大定位偏差。
涵盖 20 类遥感目标
尺度差异大、小目标密集
涵盖 13 类遥感目标
尺寸分布相对均匀
GFVS-Net:四模块协同的轻量化检测架构
本文不将星上遥感目标检测简单视为模型压缩问题,也不单纯依赖增加复杂模块提升精度,而是将其理解为资源受限条件下「轻量化压缩—特征协同补偿—场景干扰抑制—几何约束定位」的协同优化问题。模型以兼具实时性与工程部署基础的 YOLOv8n 为基线,由 Ghost、FCS-M、VASA 与 Shape-IoU 四个核心模块协同构成:先通过轻量化结构重构降低计算负担,再围绕轻量化带来的特征退化引入跨层特征协同增强多尺度目标表征,并结合场景复杂度感知的空间注意力与几何形状约束的回归优化提升鲁棒性。
基于 Ghost 模块的骨干与颈部轻量化
利用卷积神经网络中广泛存在的特征冗余性,使用 GhostConv 与 C3Ghost 模块构建轻量化架构:先以少量标准卷积生成本征特征图,再经深度卷积的廉价线性运算生成幽灵特征,理论加速比与参数压缩率均近似为 s。骨干网络中仅保留第一层标准卷积以确保初始特征稳定,并以 C3Ghost 替代 C2f,在继承跨阶段局部结构梯度流特性的同时大幅降低显存占用。颈部采用混合轻量化策略:以 C3Ghost 替换 C2f 降低特征聚合开销,但在关键下采样与融合节点保留标准卷积,缓解全盘线性变换导致的信息流瓶颈。
FCS-M 跨层特征协同机制
针对轻量化后深层语义表达能力退化,在骨干网络 P4 与 P5 层级引入由 FasterNet Block 改进得到的 FasterNeXt 特征增强模块,采用双路径结构:主路径以部分卷积进行空间特征提取并先升维后降维以高效提取深层语义,分支路径直接保留浅层空间细节,最终通过拼接实现互补增强。同时针对小尺寸卷积导致感受野受限、大目标检测能力下降的问题,在特征拼接节点 C1 处新增跨层连接,将分辨率为 40×40(下采样 16 倍)、兼具语义信息与空间细节的 P4 增强特征沿通道维度拼接,注入特征金字塔聚合过程。
VASA 方差感知空间注意力
采用通道压缩与空间感知策略,以极低计算代价抑制复杂背景并增强显著目标:通过通道缩减因子为 r 的 GhostConv 将高维特征映射到低维子空间,并复用 C3Ghost 中 GhostConv 的权重参数以避免引入额外参数;再沿通道维度做全局平均池化并经 Sigmoid 生成空间显著性掩码。考虑到遥感影像场景异质性显著,引入以特征图全局标准差衡量的动态缩放因子 λ 作为全局门控,并配以可学习标量系数 α 平衡注意力加权与恒等映射:复杂场景偏向空间掩码加权突出目标,简单场景则输出趋近输入,跳过无效调制以防止特征退化。
自适应动态加权的 Shape-IoU 损失
针对桥梁、大坝等极端长宽比目标,先按真实框宽高定义形状敏感权重 ww 与 hh,使较长维度在距离惩罚中获得较小权重以避免回归过度敏感;再构建交叉加权形状差异度量,经指数衰减与四次幂形成具有非线性响应特性的形状惩罚项,放大严重几何失配的影响。为平衡收敛速度与定位精度,引入与当前 IoU 质量负相关的动态权重系数 β,定义为 clamp(1-IoU, 0.3, 0.7):训练初期较大的 β 迫使模型关注形状匹配,随训练推进 β 衰减,使模型聚焦于精细的坐标回归。
DIOR-10k 与 HRRSD 双数据集
DIOR 数据集含 23 463 张高分辨率影像与 192 472 个目标实例,涵盖 20 类目标;考虑到星上部署对精度的工程需求,使用原验证集(5 863 张)对原训练集(5 862 张)进行补充,对验证集分层随机抽样构建含 10 000 张影像的基准子集 DIOR-10k,训练集与验证集各占 80% 与 20%,并在原测试集上评估。DIOR-10k 类别更多,存在显著的尺度差异与小目标密集问题,比 HRRSD 更具挑战;HRRSD 含 21 761 张图像与 55 740 个实例、13 类目标,同样按 8:2 重划,目标尺寸分布相对均匀但小目标占比仍较高。
地面训练与星载模拟验证环境
训练在移动计算平台上完成:Intel Core i5-11400H 处理器、16 GB 内存、NVIDIA GeForce RTX 3050 Laptop GPU(4 GB GDDR6 显存),64 位 Windows,PyTorch 2.4.1 与 CUDA 12.1;训练 200 轮次,SGD 优化器,初始学习率 0.01、动量 0.937、权重衰减 0.000 5,采用 Mosaic 增强、随机水平翻转与 HSV 色彩增强,输入尺寸 640 像素×640 像素,批量大小 8,测试前先运行 100 轮次预热。星载模拟验证在 Jetson AGX Orin 上开展,Ubuntu 22.04、CUDA 11.4、Python 3.8.0、torch 2.4.1 与 torchvision 0.19.1,并置于最大功耗模式(60 W)。
实验结果:消融、对比与边缘部署验证
本节在地面服务器与由 NVIDIA Jetson AGX Orin 模拟的卫星平台上验证 GFVS-Net,以 mAP50 与 mAP50-95 作为核心精度指标,结合 MacroP、MacroR 与 MacroF1 辅助评估,并以参数量、GFLOPs 衡量模型复杂度、以 FPS 衡量实时推理效率,系统展示消融实验、注意力机制对比与边缘部署结果。
较基线 3.01 M 减少 38.2%
较基线 8.1 减少 34.6%
mAP50-95 达 64.6%
Jetson AGX Orin,DIOR 为 94.34
| 模型配置 | Params/M | FLOPs/G | mAP50/% | mAP50-95/% | FPS | MacroP/% |
|---|---|---|---|---|---|---|
| YOLOv8n 基线 | 3.01 | 8.1 | 86.1 | 64.5 | 192.31 | 89.4 |
| + 骨干轻量化 | 2.30 | 6.2 | 85.5 | 63.8 | 217.39 | 89.7 |
| + 颈部轻量化 | 1.78 | 5.1 | 84.8 | 63.2 | 222.22 | 87.7 |
| + FCS-M | 1.86 | 5.3 | 85.1 | 63.5 | 217.39 | 89.0 |
| + VASA | 1.86 | 5.3 | 85.5 | 63.8 | 212.77 | 89.9 |
| + Shape-IoU(GFVS-Net) | 1.86 | 5.3 | 85.8 | 64.6 | 212.77 | 89.3 |
| 数据集 | 模型 | mAP50/% | mAP50-95/% | 显存占用/MB | 平均功耗/W | 峰值功耗/W | FPS |
|---|---|---|---|---|---|---|---|
| DIOR | YOLOv8n | 86.1 | 64.5 | 12.6 | 4.9 | 6.4 | 84.96 |
| DIOR | GFVS-Net | 85.8 | 64.7 | 10.5 | 4.5 | 5.6 | 94.34 |
| HRRSD | YOLOv8n | 91.7 | 65.2 | 12.2 | 4.8 | 6.8 | 95.82 |
| HRRSD | GFVS-Net | 92.0 | 65.4 | 10.1 | 4.4 | 5.6 | 105.45 |
FCS-M 以 0.2 GFLOPs 补偿特征退化
基于 Ghost 模块轻量化后参数量下降 40.8%,mAP50 由 86.1% 降至 84.8%,揭示结构压缩的固有代价;颈部轻量化后精确率由 89.7% 降至 87.7%,引发建筑物与舰船语义混淆及大尺度桥梁漏检,但轻量化模型也检测出基线漏检的小目标,说明有效感受野分布更集中于小目标物理尺度。引入 FCS-M 后,在计算开销增长 0.2 GFLOPs 的条件下实现精度指标与精确率同步回升,纠正了港口建筑误检与桥梁漏检。
VASA 以几乎零开销胜过通用注意力
CBAM 在引入 0.04 M 参数与 0.1 GFLOPs 额外开销的同时,mAP50 反而下降 0.3%、平均精度值下降 2.3%、推理速度降低 11.5%;GAM 带来 30.7% 的参数量激增与 13.2% 的计算量增长,精度仅提升 0.1%,推理速度下降 17.8%。二者在机场场景对背景纹理冗余激活、在舰船场景局限于船尾局部过度激活。VASA 通过共享权重实现参数复用,几乎不引入额外开销,mAP50 与 mAP50-95 分别增长 0.4% 与 0.3%,并保持原有推理速度。
Shape-IoU 在严苛指标上反超基线
替换损失函数为 Shape-IoU 后,在更严苛的 mAP50-95 指标上达到 64.6%,反超基准模型的 64.5%,MacroR 提升至 80.0%、MacroF1 提升至 84.4%,得益于该损失对目标几何形态的精准感知,缓解了细长目标的回归难题。综合消融结果,GFVS-Net 在降低 34.6% 计算量的同时实现速度与精度的高效平衡,其 64.6% 的 mAP50-95 为所有对比模型中最高。
GFVS-Net通过高效的网络架构设计与面向光学遥感影像的适配性优化,在降低34.6%参数量和34.6%计算量的同时,实现了速度与精度的高效平衡。这种“以质补量”的设计思路,能够有效缓解星载平台计算资源极端受限与遥感任务高精度需求之间的矛盾。
结论、应用价值与未来议程
本文面向星载边缘计算平台资源受限与光学遥感影像目标检测任务复杂之间的矛盾,提出轻量化、高精度的 GFVS-Net。在 DIOR 与 HRRSD 数据集上的综合实验表明,模型在保持检测精度的同时显著降低了复杂度,并在 Jetson AGX Orin 上验证了工程可行性。
Ghost 模块重构骨干与颈部
以 GhostConv 与 C3Ghost 重构网络并采用混合轻量化策略,参数量由 3.01 M 降至 1.86 M(减少 38.2%),计算量由 8.1 GFLOPs 降至 5.3 GFLOPs(减少 34.6%),模型权重压缩至 4.1 MB、降低约 34%;在颈部关键下采样与融合节点保留标准卷积,实现效率与精度的高效平衡。
FCS-M 重建高保真空间信息通路
揭示轻量化导致的信息损失并非均匀分布,浅层空间细节流失是关键瓶颈。通过构建从骨干网中层 P4 到颈部融合节点的跨层连接,将保留丰富细节的中层特征直接注入特征金字塔聚合过程,以极小计算代价恢复模型对多尺度目标与复杂结构目标的感知与解耦能力。
场景自适应注意力与几何约束损失
VASA 摒弃复杂参数学习,利用全局方差作为场景复杂度的统计描述符,使注意力动态调节为与场景复杂度相关的函数:背景简单时降低调制强度避免过度处理,背景复杂时加强空间筛选抑制干扰。Shape-IoU 以形状敏感加权提升特殊长宽比目标的边界框回归精度。
应用价值
基于 GFVS-Net 的星载应用构成星地协同的闭环生命周期:地面服务器训练与调优、模型上注与星上更新、在轨实时推理、目标信息实时更新。该模式仅需下传检测到的目标结果信息,有效减轻星地下行数据传输压力,将智能处理能力前置至卫星平台。在 Jetson AGX Orin 上,DIOR 达 94.34 FPS、HRRSD 达 105.45 FPS(较基线提升约 10%),显存占用 10.5 MB 与 10.1 MB,平均功耗 4.5 W 与 4.4 W,均优于 YOLOv8n 的 12.6 MB、12.2 MB 与 4.9 W、4.8 W,为下一代智能卫星在轨实时检测提供工程可行的解决思路。
局限与未来
实验揭示了模型在非正视成像条件下的局限性:大离轴角观测下目标几何投影畸变,导致高度较高的柱状目标检测性能显著下降。这本质上是域适应问题,当前模型学习主要基于正射或小倾角影像,其隐含的空间结构与目标形态先验在极端观测几何下不再成立。未来需探索更具几何鲁棒性的表征学习方法,如引入显式的透视变换建模,或利用合成数据与域随机化技术增强视角泛化能力。此外,本研究部署验证基于 FP32 精度,下一步将聚焦 INT8 低比特量化与量化感知训练,重点研究如何在极致压缩下缓解微小目标特征消失问题。