Geo-Information Science · Urban Flooding · Visual Inundation

融合多视觉参照的城市内涝涉水目标受淹状态识别方法

A Multi-Visual-Reference Fusion Method for Recognizing the Inundation States of Water-Exposed Targets in Urban Flooding
薛丰昌 仲国阳 成沿年 汤建忠 地球信息科学学报 2026, 28(10): 3054–3068 DOI 10.12082/dqxxkx.2026.260367
Abstract · 摘要 【目的】 针对单一视觉参照物难以适应城市内涝场景中多目标、多尺度及复杂环境下涉水目标视觉受淹状态判别的问题,本文提出一种融合多视觉参照的城市内涝涉水目标视觉受淹状态识别模型。 【方法】 基于社交媒体图像和交通监控视频帧构建包含行人、机动车和非机动车的3 600张城市内涝图像数据集,依据水线与行人、机动车和非机动车类型特异性关键部位的相对位置定义S1—S4视觉受淹状态,形成12类“参照物类别-视觉受淹状态”联合标签。在YOLO11n基础上引入动态蛇形卷积(DySnakeConv)、尺度内注意力交互模块(Attention-based Intra-scale Feature Interaction)和DetectAux辅助检测分支,构建DAD-YOLO模型。 【结果】 DAD-YOLO的 mAP @50达到64.1%,较YOLO11n提高3.1%,计算量为7.2 G FLOPs。S3/S4高受淹状态目标召回率由61.2%提高至68.4%。 【结论】 融合多视觉参照的方法能够在统一检测框架下利用行人、机动车和非机动车等多类目标的受淹视觉证据,提高城市内涝图像中多类型涉水目标视觉受淹状态识别能力,可为城市内涝场景下的人工研判和辅助视觉感知提供参考。
城市内涝 多视觉参照 视觉受淹状态 联合标签 水线判别 DAD-YOLO 目标检测 涉水目标
Scroll · 向下滚动
Section 01 · Background & Challenges

单一参照物失效:内涝视觉感知的三重瓶颈

城市内涝图像中,水线与行人下肢、机动车轮胎及底盘、非机动车脚踏及坐垫等语义部位的相对位置,可以为涉水目标受淹状态判别提供直观视觉证据。然而现有研究通常围绕某一种特定视觉参照物展开:或利用受淹车辆与三维车辆模型估计洪水深度,或通过人体关键点与水面空间关系识别行人受淹部位,或以公交车受淹状态判读洪水等级。当指定参照物缺失、远距离尺度过小、受到遮挡或关键部位不可辨识时,单一参照方法容易失效,也难以处理同一图像中多类目标并存且受淹状态不同的复杂场景。

CHALLENGE 01

单一参照物的场景覆盖盲区

已有方法分别以受淹车辆、人体关键部位或公交车建立水线与洪水程度的视觉关系,验证了视觉参照的可行性,但其判据绑定于单类目标。一旦该类目标在图像中缺失、尺度过小或关键部位被水花、设施遮挡,可用视觉证据即告中断;同一图像中行人、机动车和非机动车受淹程度不同的情形,也无法在单参照框架内分别表达。

CHALLENGE 02

异构参照难以用统一阈值描述

多视觉参照并非简单增加目标类别。行人、机动车和非机动车在几何尺度、结构组成及可观察关键部位方面差异明显,相同水线高度在不同类型目标上具有不同视觉含义,因此难以直接采用统一像素位置或绝对水深阈值描述。如何在保留类型特异性判据的同时,将异构视觉参照映射到统一表征与识别框架,是必须解决的关键问题。

CHALLENGE 03

绝对水深估计的外部依赖与干扰

绝对水深估计通常依赖相机参数、目标实际尺寸、地形数据或同步实测水深。对于拍摄视角与设备参数不统一的公众图像,结果易受透视关系、水面波动、遮挡和图像质量影响。同时,城市内涝图像目标尺度差异明显,水线及关键受淹部位面积较小,并受弱光、反光、雨雾和遮挡干扰,对局部不规则结构的表征提出更高要求。

3 类视觉参照物
行人 · 机动车 · 非机动车
3 600 张城市内涝图像
社交 2 137 + 监控 1 463
S1–S4类型特异性受淹状态
轻度 · 中度 · 重度 · 严重
12 类联合标签
参照物类别 × 受淹状态

Section 02 · Framework & Architecture

从类型特异性判据到统一检测:五步技术链路

本文方法包括多视觉参照状态表征、联合标签编码和 DAD-YOLO 统一检测识别 3 个环节。首先依据水线与各类目标类型特异性关键部位的相对位置,分别定义 S1—S4 视觉受淹状态;其次将参照物类别与受淹状态组合,生成 12 类联合标签,使异构视觉参照映射至统一类别空间;最后以 YOLO11n 为基线,引入 C3k2-DySnakeConv、AIFI 与 DetectAux 辅助检测分支,在统一网络中完成多类型涉水目标的定位、类别识别与状态判别。

01

多视觉参照物选取与互补性分析

基于城市道路内涝图像中出现频率高且内部存在可辨识语义结构的条件,选取行人、机动车和非机动车作为参照物。其下肢、车轮、车身、脚踏等部位具有由低到高的结构序位,可表征水线沿目标逐步上升的过程。3 类参照物在场景适用性上互补:当某类目标缺失、尺度过小或关键部位被遮挡时,其他目标仍可能提供视觉证据,且多目标场景中可分别判定状态,而非要求每幅图像同时包含 3 类目标。

3 类参照物结构序位场景互补非强制共存
02

类型特异性关键部位与 S1—S4 状态定义

行人选取脚部、脚踝、小腿、膝部、大腿和腰臀部等连续人体部位;机动车选取车轮下部、轮轴、轮毂、底盘、车门下沿及车窗附近结构;非机动车选取车轮下部、轮轴、脚踏、坐垫和把手。判定依据是水线是否达到相应语义部位,而非目标框内的固定像素比例,可减弱目标尺度和拍摄距离变化的影响,但仍可能受透视畸变、姿态、遮挡和水面波动干扰。

语义部位判据非像素比例S1–S4 四级透视鲁棒
03

12 类“参照物类别-视觉受淹状态”联合标签生成

联合标签生成分为 4 步:确定图像中单个涉水目标、判断目标所属参照物类型、依据水线与该类目标关键部位的相对位置确定 S1—S4 状态、将类别与状态组合生成标签,形成 person_S1~person_S4、vehicle_S1~vehicle_S4 和 nonmotor_S1~nonmotor_S4。标签将目标类型与受淹状态统一编码到同一类别空间,同一图像中的多个目标分别输出,不合并为场景级状态。

12 类联合标签四步生成流程统一类别空间目标级输出
04

C3k2-DySnakeConv 与 AIFI 特征增强

以 C3k2-DySnakeConv 替换 Backbone 中部分 C3k2 模块:输入特征经卷积和通道划分后进入 2 条支路,常规卷积分支保留基础局部信息,DySnakeConv 分支通过偏移生成器获得可学习采样位置,使采样轨迹随局部结构变化,增强对细长、弯曲和局部形变结构的感知。同时以 AIFI 替换 SPPF,将空间特征展平为长度 N=H×W 的序列并加入位置编码,经自注意力与前馈网络处理后恢复为空间特征图,加强目标、关键受淹部位与周围积水区域的语义交互。

动态蛇形卷积可学习采样偏移尺度内注意力替换 SPPF
05

DetectAux 辅助检测分支与联合损失监督

连续下采样会削弱小目标和关键受淹部位的空间信息,因此在主检测头之外设置 DetectAux,接收 Neck 输出的中间尺度特征并执行与主检测头形式一致的类别预测和边界框回归。训练总损失 L = L_main + λ L_aux,λ 为辅助监督权重。该分支不参与最终推理,仅提供附加梯度,使中浅层特征更早受到检测任务约束,推理阶段由主检测头完成 12 类联合目标的定位与分类。

辅助检测分支L = L_main + λ L_aux仅训练期生效中浅层监督
SUPPLEMENT A · 数据集

3 600 张双源图像与 8∶1∶1 划分

数据由社交媒体公开图像 2 137 张与城市交通监控视频帧 1 463 张构成,前者视角与场景多样,后者视角相对固定、时间连续且道路目标较清晰,两类数据在场景范围、拍摄视角和目标尺度方面形成互补。共标注行人目标 1 791 个、机动车目标 2 643 个和非机动车目标 1 154 个;按 8∶1∶1 划分为训练集 2 880 张、验证集 360 张和测试集 360 张。监控帧按摄像头、内涝事件和连续时间片段分组,避免相邻帧进入不同子集;社交图像经感知哈希与人工复核去重。仅对训练集实施旋转翻转、0.8~1.2 倍尺度缩放、0.7~1.3 亮度与 Gamma 调整、核尺寸 3~5 模糊、质量 60~90 JPEG 压缩、面积比例 0.02~0.10 随机遮挡及透明度 0.2~0.5 局部反光扰动。

SUPPLEMENT B · 实验设置

标注一致性检验与评价指标体系

按数据来源、参照物类型、受淹状态和干扰条件分层抽样 360 张图像,由 2 名标注人员以 IoU ≥ 0.5 为匹配条件独立标注,共形成 532 个匹配目标:平均 IoU 0.84,参照物类别一致率 94.7%,受淹状态等级一致率 86.3%,联合标签一致率 84.0%,等级与联合标签 Cohen's Kappa 分别为 0.81 与 0.79。实验基于 PyTorch,输入 640×640,批量 16,训练 200 轮,采用 COCO 预训练权重初始化。除 Precision、Recall、mAP@50、mAP@50:95 与 FLOPs 外,另定义 S1—S4 严格召回率、混淆矩阵、S3/S4 高受淹状态召回率 R_high 及漏检与低估率 E_high。


Section 03 · Results & Interpretation

64.1% mAP@50 背后:增益来源与残余短板

本文从整体检测性能、改进模块贡献、不同视觉干扰条件下的识别能力以及不同视觉受淹状态的识别结果 4 个方面开展实验。DAD-YOLO 的 Precision、Recall、mAP@50 和 mAP@50:95 分别达到 80.1%、56.5%、64.1% 和 50.8%,均高于 YOLOv5n、YOLOv5s、YOLOv8n、YOLOv10n 与 YOLO11n;消融实验进一步显示 3 个模块单独引入均取得正向增益,联合后增益最大,说明局部几何建模、高层上下文交互与辅助监督具有互补作用。

64.1%mAP@50
较 YOLO11n 提高 3.1%
68.4%S3/S4 高受淹召回率
由 61.2% 提升
31.6%漏检与低估率
由 38.8% 下降
7.2 GFLOPs 计算量
由 6.3 G 增加
模型Precision / %Recall / %mAP@50 / %mAP@50:95 / %FLOPs / G
YOLOv5n71.650.657.346.14.2
YOLOv8n73.151.858.648.28.1
YOLOv10n74.452.160.246.98.2
YOLO11n74.752.661.048.66.3
YOLOv5s76.254.662.349.715.8
DAD-YOLO(本文)80.156.564.150.87.2
模块组合Precision / %Recall / %mAP@50 / %mAP@50:95 / %FLOPs / G
YOLO11n 基线74.752.661.048.66.3
仅 C3k2-DySnakeConv77.554.361.649.47.0
仅 AIFI76.754.261.248.96.6
仅 DetectAux75.553.562.149.36.6
DySnakeConv + AIFI79.255.963.550.37.1
DySnakeConv + DetectAux78.755.263.250.27.1
AIFI + DetectAux78.154.662.950.16.8
三模块联合(DAD-YOLO)80.156.564.150.87.2
场景类型图像数量 / 张YOLO11n mAP@50 / %DAD-YOLO mAP@50 / %YOLO11n Recall / %DAD-YOLO Recall / %DAD-YOLO mAP@50:95 / %
白天正常光照8064.867.555.859.354.1
夜间弱光7057.661.449.554.148.5
水面反光6556.860.748.753.547.9
遮挡场景7058.962.550.454.849.7
多目标混合场景7562.465.953.657.253.0
FINDING 01

三模块互补,DetectAux 单模块增益最高

消融实验显示 3 个模块单独引入均取得正向增益,其中 DetectAux 取得最高的单模块 mAP@50(62.1%,较基线 61.0% 提升 1.1 个百分点),说明中浅层辅助监督对关键判别区域的约束效果最直接;C3k2-DySnakeConv 与 AIFI 组合在双模块配置中表现最佳,mAP@50 达 63.5%。三者联合后 mAP@50 与 mAP@50:95 分别达到 64.1% 和 50.8%,而 FLOPs 仅由 6.3 G 增至 7.2 G,仍明显低于 YOLOv5s 的 15.8 G。

FINDING 02

反光与弱光仍是增益最大也最薄弱的场景

DAD-YOLO 在 5 类视觉条件下的主要指标均高于 YOLO11n,水面反光和夜间弱光场景的 mAP@50 分别提高 3.9% 和 3.8%,表明模型在水线模糊和弱光条件下仍能取得稳定增益。但水面反光场景下 DAD-YOLO 的 Recall 和 mAP@50:95 分别为 53.5% 和 47.9%,仍是 5 类子集中的最低值,说明强反射造成的水线模糊与目标边缘缺失尚未得到充分解决。

FINDING 03

误判集中于相邻等级,高受淹漏检仍突出

状态混淆矩阵显示误判主要集中于相邻等级:真实 S3 的 147 个目标中 13 个被判为 S2、8 个被判为 S4,真实 S4 的 103 个目标中 13 个被判为 S3,同时 S1~S4 分别有 45、48、39 和 24 个目标漏检。DAD-YOLO 的 S3 和 S4 严格召回率为 58.5% 和 62.1%,较 YOLO11n 提高 6.1% 和 7.7%;S3/S4 召回率由 61.2% 升至 68.4%,但漏检与低估率仍达 31.6%。

「

S1—S4 仅表示同一参照物类型内部受淹程度由低到高的视觉序位,不代表统一的实际水深、目标稳定性或通行风险;本文方法定位为人工研判的辅助视觉感知,不作为具有风险排除作用的自动筛查工具。

— 结论与讨论中关于方法定位的界定,基于 3 600 张图像测试与消融实验

Section 04 · Conclusion & Prospect

多类视觉证据统一表达的三点结论

本文针对城市内涝图像中单一视觉参照物易受目标缺失、尺度变化、局部遮挡和复杂环境影响的问题,提出融合多视觉参照的涉水目标视觉受淹状态识别方法。其核心在于保留不同视觉参照物的类型特异性判据,同时通过联合标签与共享检测网络实现多类视觉证据的统一表达与自动识别,在统一网络中完成定位、参照物类别识别与受淹状态判别。

CONTRIBUTION 01

类型特异性判据与 12 类联合标签

依据水线与脚部、脚踝、小腿、膝部、大腿、车轮、轮轴、底盘、脚踏、坐垫等类型特异性关键部位的相对位置,分别为 3 类参照物定义 S1—S4 视觉受淹状态,并组合为 12 类联合标签。分层抽样 360 张图像、2 名标注人员独立标注的 532 个匹配目标检验表明,参照物类别一致率 94.7%、受淹状态等级一致率 86.3%、联合标签一致率 84.0%,判据具有可操作性与标注重复性。

CONTRIBUTION 02

DAD-YOLO 在精度与高受淹召回上双提升

以 YOLO11n 为基线引入 C3k2-DySnakeConv、AIFI 和 DetectAux 后,Precision、Recall、mAP@50 和 mAP@50:95 分别达到 80.1%、56.5%、64.1% 和 50.8%,mAP@50 与 mAP@50:95 较 YOLO11n 提高 3.1% 和 2.2%,FLOPs 由 6.3 G 增至 7.2 G,与 YOLOv5s 相比 mAP@50 提高 1.8% 而计算量明显降低。

CONTRIBUTION 03

多视觉参照扩大场景适用范围

将 3 类常见涉水目标纳入统一的状态表征与识别框架后,可在某一类参照物缺失、尺度较小或受到遮挡时,利用其他类型目标提供视觉受淹证据,从而扩大方法的场景适用范围。模型在夜间弱光、水面反光、目标遮挡和多目标混合 4 类干扰条件下均取得正向增益,S3/S4 高受淹状态召回率由 61.2% 提高至 68.4%。

APPLICATION · 应用价值

面向人工研判的辅助视觉感知

社交媒体图像与交通监控视频帧是城市内涝最易获取的两类地面视觉数据,本文方法可在不依赖相机参数、目标实际尺寸和同步实测水深的前提下,直接输出涉水目标的位置、参照物类别与视觉受淹状态,为人工研判提供结构化参考。目标级输出而非场景级标签的设计,更利于在同一图像中区分多个受淹程度不同的目标,支撑内涝事件的快速复核与过程化监测。

LIMITATION · 局限与未来

漏检、跨区域验证与物理解释性

当前模型 Recall 仍为 56.5%,S3/S4 高受淹状态漏检与低估率仍为 31.6%,弱光、反光、透视变化和关键部位遮挡仍会造成漏检及相邻状态误判,尚不足以支持具有风险排除作用的自动筛查。现有数据以成人行人、常见乘用机动车以及自行车或电动自行车为主,缺少跨城市、跨摄像头和跨降雨事件的独立验证。后续可补充不同目标子类型和跨区域样本,引入视频时序、目标跟踪、序位分类及不确定性估计,并结合相机标定、实测水深和道路高程数据,提高高受淹状态识别能力与视觉状态的物理解释性。