从空间域堆叠到频域重构：三道效率瓶颈
遥感影像通常由飞机、卫星等高空平台获取，在相同图像尺寸下具备更广阔的视场，由此带来 2 个新挑战：一方面，图像尺寸固定时更大的视场使目标所占像素变少，图像中出现大量小尺度目标；另一方面，广阔视场使目标类别更加丰富多样，单幅影像中并存尺度差异极大的目标。高效的多尺度信息提取因而成为核心，其依赖「多尺度特征编码」与「多尺度特征融合」2 个关键阶段，而主流方法在这 2 个阶段均以复杂结构换取性能，难以兼顾检测精度与推理速度。
骨干网络难兼局部细节与长程依赖
基于卷积层等局部特征提取结构可高效建立像素与其邻域间的关联，具备较强的小尺度特征编码能力，却难以捕获长程依赖，对大尺度目标建模不足、全局上下文理解有限；基于视觉 Transformer、状态空间模块等非局部结构可借助全局交互捕获长程依赖，却会严重削弱局部特征提取能力，影响小尺度目标信息的提取效率。Swin Transformer 的移动窗口、Local Mamba 的局部扫描等改进，仍难在极低计算开销下协同编码大小尺度信息。
语义鸿沟与融合开销的二难权衡
不同尺度特征之间存在语义鸿沟，逐元素相加、通道拼接等简单融合方式往往难以奏效。主流方法转而引入复杂结构：多分支并行类如 TridentNet 的共享权重多分支卷积、ASPP 的不同空洞率并行卷积、RFB 的离心率感受野机制；渐进式类如 PANet 叠加多层卷积、BiFPN 重复堆叠加权融合块、DetectoRS 的递归结构。二者本质均为保证特征多层级关联，但都依赖空间域大量卷积操作，难以在高推理速度下完成高效融合。
频域模块多为独立单元且缺乏自适应
Fourier-fpn 利用傅里叶变换的全局感受野学习小目标表示，HFGL-Net 与 FANet 通过频域增强纹理与边缘提升小目标检测能力，但这类工作多将频域模块作为独立增强单元嵌入检测框架，频域表示与空间域特征建模缺乏充分协同，且频域建模仅作用于单一阶段，尚未从编码与融合 2 个关键环节系统挖掘频域潜力。此外，现有方法常对整个频谱施加统一滤波或固定频率划分，缺乏对遥感小目标实际频率特征的自适应性。
由空间域 O(N²) 降低
涵盖 20 类典型目标
批次大小 20
USOD 沿用原始划分
频域贯通编码与融合：五步技术链路
F-DETR 以 DETR 为基础，设计 FVM 与 FFBlock 两个基于频域变换的核心结构。输入首先经 FVM 完成多尺度特征提取；与 DETR 一致，骨干网络阶段 2、3、4 的输出分别编码小尺度、中等尺度与大尺度信息，先由 HIFI 与 LIFI 完成尺度内针对性增强，再进入以 FFBlock 为基础的融合网络；融合特征经查询选取与解码器完成分类与边界框回归。整个过程仅需一次傅里叶变换，据此保证较高的推理速度。
FVM 骨干：patch 嵌入与异构阶段配置
为在降低计算开销的同时最大程度保留小目标原始细节，借鉴 ViT 设计思路，采用核大小为 4、步长为 4 的标准卷积对图像进行 patch 嵌入，生成的初始序列特征向量作为后续阶段输入，随后下采样将特征图缩小至原尺寸的 1/2。网络采用分阶段异构模块配置：第一个低分辨率阶段仅部署 2 个 VSS Block 以快速建立全局关联；中间 2 个高语义阶段采用 VSS Block 与 FSE Block 串联结构（阶段 2 为 1 个 VSS Block 与 1 个 FSE Block 串联，阶段 3 为 2 个 VSS Block 与 1 个 FSE Block 串联）；最后一个阶段因特征图尺度过小，仅用 2 个 VSS Block 增加全局关联。最终将阶段 2、3、4 的输出作为不同尺度特征载体送入颈部网络。
VSS Block：四向扫描的状态空间建模
输入特征先经 Layer Norm 归一化，再经一个线性层与一个深度可分离卷积层，结果经 SiLU 激活后送入核心模块 SS2D，其输出经 LN 与线性层处理后与原始输入残差连接。SS2D 沿「从左到右」「从右到左」「从上到下」「从下到上」4 个方向对特征图进行全局 patch 遍历，将 4 个方向生成的特征序列并行输入独立的状态空间模块编码，再合并多方向上下文信息。由于状态空间模块本质为连续时间动态系统，本文对核心参数 A 与 B 应用零阶保持技术实现离散化，使连续模块可直接处理离散序列数据；其后沿用 LN 与 FFN Block 构成的第二残差结构。
FSE Block：可学习高通滤波与复数调制
单纯的状态空间建模对局部高频特征感知不足，且多阶段下采样会持续衰减高频成分，造成小目标边缘与纹理逐层丢失。FSE Block 先对浅层特征做二维快速傅里叶变换得到复数频域表示，再以截止频率与滤波阶数均为可学习参数的高通滤波器突出高频信息，使模块能够根据不同任务场景动态确定高频增强的边界范围与响应强度；随后通过可学习复数权重张量实施幅度调制与相位调制，在自适应重加权的同时抑制噪声；经逆傅里叶变换回到空间域后，与原输入以可学习权重做加权残差连接，该权重初值设为 0.1 以自适应控制增强强度。频域处理在工程上将空间域卷积转为逐点乘法，复杂度由 O(N²) 降至 O(N log N)。
尺度内交互：LIFI 语义增强与 HIFI 细节增强
尺度内特征交互模块由 LIFI 与 HIFI 组成。LIFI 作用于骨干网络阶段 4 的输出，专注富含语义内容的高层特征，以一个基于 Transformer 的自注意力层实现高效语义捕获，输出为 Softmax(QKᵀ/√d_k)V，其中 √d_k 为缩放因子用于防止 Softmax 梯度饱和。HIFI 作用于骨干网络阶段 2 的输出，由 3×3、5×5、7×7 三个并行的深度可分离卷积分支与一个融合块构成，输出为 1×1 卷积融合三分支结果后与输入残差相加；多核并行捕捉不同尺度目标，深度可分离卷积显著压低计算成本，使其成为轻量且易于集成的增强模块。
FFBlock：RMB-SE 径向分频段跨尺度融合
FFBlock 借鉴基于特征金字塔的双向融合机制，通过自下而上与自上而下的双向路径实现多层级信息交互。模块先对来自不同尺度的特征图执行合并操作，再送入由 2 个分支构成的残差结构：一条为 1×1 卷积的线性变换支路，另一条为 RepVGG 块与径向多频段通道注意力块 RMB-SE 组成的非线性增强支路，两分支输出逐元素相加生成融合特征。RMB-SE 利用频谱空间的各向同性，以距频谱原点的欧氏距离将频谱划分为 K=4 个同心径向频段，逐频段做能量池化后送入带 ReLU 与 Sigmoid 的共享两层 MLP，再以 Softmax 归一化的可学习权重融合为通道注意力向量，最后按 y = x + β·(x⊙A) 完成残差通道重校准。采用 SE 方式在频域融合而非在主干上融合，可降低傅里叶变换次数与计算开销。
DIOR 通用检测与 USOD 小目标检测
DIOR 是当前应用广泛的遥感目标检测数据集之一，共包含 23 463 幅遥感图像与 20 类目标类别，涵盖飞机、桥梁、船舶、体育场等多种典型遥感场景目标，具有目标尺度变化大、背景复杂、类别分布不均衡等特点，对特征提取与多尺度建模能力要求较高，本文按 7:3 比例划分训练集与验证集。USOD 主要面向遥感小目标检测任务，包含大量密集分布的小尺度目标，由于目标尺寸小、纹理信息有限且背景干扰严重，可有效验证模型的小目标检测能力，实验遵循数据集原始划分方式进行训练与测试。
COCO API 统一评估与硬件配置
所有实验均在 4 张 NVIDIA RTX 4090 GPU 上完成训练与评估，批次大小设置为 20，图片输入大小为（640，640）；推理在同一型号 GPU 上进行且不使用加速工具，YOLO 类模型需使用 NMS 后处理，DETR 类模型不需要。由于 YOLO API 与 COCO API 计算的检测指标略有差异，为保持一致性，全部结果均使用 COCO API 统一评估。评价指标以 mAP 为标准，mAP50 与 mAP75 分别为 IoU 阈值 0.50 与 0.75 时的平均精度均值，并以 APs、APm、APl 反映小尺度、中等尺度与大尺度 3 个维度上的效果。
精度与效率双优：DIOR 与 USOD 全景对比
常规目标检测任务在 DIOR 数据集上与 YOLOv5-L、YOLOv8-L、DINO、RT-DETR、Mamba-YOLO-L 等主流模型对比；小目标检测任务在 USOD 数据集上除上述通用模型外，额外引入 TPH-YOLOv5 与 FFCA-YOLO 两个面向遥感小目标优化的算法。结果显示 F-DETR 在 2 个数据集上的所有检测指标均为最优，且参数量与计算量明显低于大多数基线，并通过 FVM 配置与颈部结构的消融实验验证了各频域组件的有效性。
较 RT-DETR 提升 0.7%
较 DINO 提升 1.2%
DINO 为 77.63 ms
参数量仅 40.5 M
| 方法 | mAP | mAP50 | mAP75 | APs | APm | APl |
|---|---|---|---|---|---|---|
| YOLOv5-L | 0.656 | 0.858 | 0.707 | 0.193 | 0.456 | 0.770 |
| YOLOv8-L | 0.655 | 0.852 | 0.701 | 0.182 | 0.456 | 0.771 |
| Mamba-YOLO-L | 0.646 | 0.847 | 0.696 | 0.186 | 0.431 | 0.761 |
| DINO | 0.592 | 0.804 | 0.633 | 0.138 | 0.379 | 0.714 |
| RT-DETR | 0.656 | 0.861 | 0.710 | 0.185 | 0.481 | 0.771 |
| F-DETR | 0.663 | 0.864 | 0.715 | 0.198 | 0.485 | 0.772 |
| 方法 | mAP（USOD） | mAP50 | mAP75 |
|---|---|---|---|
| YOLOv5-L | 0.269 | 0.824 | 0.080 |
| YOLOv8-L | 0.245 | 0.783 | 0.063 |
| Mamba-YOLO-L | 0.249 | 0.792 | 0.066 |
| DINO | 0.316 | 0.864 | 0.120 |
| RT-DETR | 0.307 | 0.843 | 0.105 |
| TPH-YOLOv5 | 0.282 | 0.851 | 0.087 |
| FFCA-YOLO | 0.300 | 0.863 | 0.095 |
| F-DETR | 0.328 | 0.875 | 0.125 |
| HIFI | FFBlock | mAP | mAP50 | APs | 参数量 / M | 计算量 / GFLOPs |
|---|---|---|---|---|---|---|
| 否 | 否 | 0.650 | 0.854 | 0.193 | 40.23 | 115.52 |
| 否 | 是 | 0.657 | 0.860 | 0.192 | 40.26 | 115.53 |
| 是 | 否 | 0.659 | 0.861 | 0.196 | 40.52 | 119.15 |
| 是 | 是 | 0.663 | 0.864 | 0.198 | 40.55 | 119.16 |
增益分布与频域设计原理高度吻合
在 6 个关键指标上相对 5 种基线模型的平均提升为：mAP +2.2%、mAP50 +2.0%、mAP75 +2.6%，小目标、中目标、大目标分别 +2.1%、+4.4%、+1.5%。小尺度与中等尺度的提升远高于大尺度，与频域机理一致：FSE Block 的高频增强对小目标最敏感，FFBlock 的频段分解助益中等目标，而大目标依赖低频语义特征，主流模型已能有效建模，频域增益有限。FVM 消融中，FSE 块置于后期深层阶段时 APs 由 0.186 升至 0.193，前移至高分辨率的中间阶段后进一步提升至 0.198，mAP 同时达到最优的 0.663。
严格定位阈值下的优势更为突出
mAP75 的平均提升（+2.6%）高于 mAP50（+2.0%），更严格的 IoU 阈值要求更精确的边界定位，这一改善来源于 FSE Block 对高频边缘信息的显式保留，使模型对目标轮廓的空间感知更加精准。USOD 上这一现象更为鲜明：FFCA-YOLO 的 AP50 已达 0.863、接近 F-DETR 的 0.875，但 AP75 仅 0.095、远低于 F-DETR 的 0.125，说明其未从频率理论层面解决语义鸿沟，在严格定位精度要求下性能折损明显。
极小开销换来精度-速度更优权衡
F-DETR 仅含 40.5 M 参数（约为 DINO 的 86%）与 119 GFLOPs，推理速度 8.76 ms，远快于 DINO 的 77.63 ms，与 YOLO 系列相当且快于同样采用 Mamba 架构的 Mamba-YOLO-L（28.4 ms）。消融显示，单独引入 HIFI 使 AP 由 0.650 提升至 0.659，单独引入 FFBlock 使 mAP 由 0.650 提升至 0.657 且仅带来 0.03 M 参数开销，二者并用 mAP 达 0.663、较基线提升约 1.38%，参数量仅由 40.23 M 增至 40.55 M、计算量由 115.52 GFLOPs 增至 119.16 GFLOPs。
F-DETR 在 DIOR 上 mAP 达 0.663、USOD 上达 0.328，所有检测指标均为最优，并以 40.5 M 参数、119 GFLOPs 实现 8.76 ms 的单图推理速度。
频域视角下的高效检测：三点结论
本文针对遥感目标检测中小尺度特征提取困难与多尺度特征融合效率低的问题，从频域视角提出检测框架 F-DETR，通过设计频域增强的骨干网络 FVM 与频域融合模块 FFBlock，在显著降低计算开销的同时，实现复杂背景下遥感目标的高精度、高时效检测，为灾害应急响应等实时性场景提供了可行的技术路径。
频域增强骨干网络 FVM
在 VMamba 模型基础上提出骨干网络 FVM，由 VSS Block 与 FSE Block 协同构建混合特征编码策略：利用状态空间模块经四向扫描捕获全局上下文，同时通过可学习高通滤波与复数幅度相位调制聚合高频分量，增强复杂背景中小目标的表示，提升网络提取多尺度信息的效率。
频域融合模块 FFBlock
提出频域融合模块 FFBlock，以径向多频段通道注意力 RMB-SE 将频谱划分为多个同心频段，对低频语义共识与高频细节差异分别建模通道依赖并以可学习权重整合，通过对频段进行拆分与多级关联学习，有效降低语义鸿沟对融合过程的影响，实现多尺度特征的高效融合。
两数据集全面领先且效率更优
在 DIOR 与 USOD 两个遥感目标检测数据集上的实验表明，F-DETR 的 mAP 相较于 YOLOv5-L、RT-DETR 等多个代表性方法分别提升 0.7%~7.1%（DIOR）与 1.2%~8.3%（USOD），所有检测指标均为最优，且在模型规模相当时具备更优的推理效率，证明其在保持高精度的同时具有出色的实时性。
面向高时效遥感解译的部署取向
遥感影像目标检测可广泛应用于城市规划、智慧农业与国防安全等场景，F-DETR 为高时效检测任务提供了新的解决思路。可视化显示，mAP 偏低的 DINO 对港口等大尺度目标出现严重漏检，而 F-DETR 在小目标与密集区域的边界框置信度分布更为精准、漏检率更低。综合精度与效率两个维度，F-DETR 更适合对检测精度与定位准确性要求较高的应用场景；而 FFCA-YOLO 等轻量化方案在资源受限的边端部署场景中更具实际竞争力。
自适应频域建模与跨尺度动态调整
当前方法仍存在两方面局限：频域选择性增强模块缺乏根据场景自适应调节的能力；RMB-SE 模块无法根据输入尺度动态调整，限制了跨尺度建模的潜力。同时，F-DETR 的 40.5 M 参数量与 119 GFLOPs 在 DETR 类模型中已属精简，但与可灵活压缩的轻量化 YOLO 系列相比体量仍偏大。未来工作将引入自适应频域建模机制，使模型能够根据输入内容动态调整频域增强策略与频段划分方式，进一步提升其在复杂多样遥感场景下的检测性能。