单一参照物失效:内涝视觉感知的三重瓶颈
城市内涝图像中,水线与行人下肢、机动车轮胎及底盘、非机动车脚踏及坐垫等语义部位的相对位置,可以为涉水目标受淹状态判别提供直观视觉证据。然而现有研究通常围绕某一种特定视觉参照物展开:或利用受淹车辆与三维车辆模型估计洪水深度,或通过人体关键点与水面空间关系识别行人受淹部位,或以公交车受淹状态判读洪水等级。当指定参照物缺失、远距离尺度过小、受到遮挡或关键部位不可辨识时,单一参照方法容易失效,也难以处理同一图像中多类目标并存且受淹状态不同的复杂场景。
单一参照物的场景覆盖盲区
已有方法分别以受淹车辆、人体关键部位或公交车建立水线与洪水程度的视觉关系,验证了视觉参照的可行性,但其判据绑定于单类目标。一旦该类目标在图像中缺失、尺度过小或关键部位被水花、设施遮挡,可用视觉证据即告中断;同一图像中行人、机动车和非机动车受淹程度不同的情形,也无法在单参照框架内分别表达。
异构参照难以用统一阈值描述
多视觉参照并非简单增加目标类别。行人、机动车和非机动车在几何尺度、结构组成及可观察关键部位方面差异明显,相同水线高度在不同类型目标上具有不同视觉含义,因此难以直接采用统一像素位置或绝对水深阈值描述。如何在保留类型特异性判据的同时,将异构视觉参照映射到统一表征与识别框架,是必须解决的关键问题。
绝对水深估计的外部依赖与干扰
绝对水深估计通常依赖相机参数、目标实际尺寸、地形数据或同步实测水深。对于拍摄视角与设备参数不统一的公众图像,结果易受透视关系、水面波动、遮挡和图像质量影响。同时,城市内涝图像目标尺度差异明显,水线及关键受淹部位面积较小,并受弱光、反光、雨雾和遮挡干扰,对局部不规则结构的表征提出更高要求。
行人 · 机动车 · 非机动车
社交 2 137 + 监控 1 463
轻度 · 中度 · 重度 · 严重
参照物类别 × 受淹状态
从类型特异性判据到统一检测:五步技术链路
本文方法包括多视觉参照状态表征、联合标签编码和 DAD-YOLO 统一检测识别 3 个环节。首先依据水线与各类目标类型特异性关键部位的相对位置,分别定义 S1—S4 视觉受淹状态;其次将参照物类别与受淹状态组合,生成 12 类联合标签,使异构视觉参照映射至统一类别空间;最后以 YOLO11n 为基线,引入 C3k2-DySnakeConv、AIFI 与 DetectAux 辅助检测分支,在统一网络中完成多类型涉水目标的定位、类别识别与状态判别。
多视觉参照物选取与互补性分析
基于城市道路内涝图像中出现频率高且内部存在可辨识语义结构的条件,选取行人、机动车和非机动车作为参照物。其下肢、车轮、车身、脚踏等部位具有由低到高的结构序位,可表征水线沿目标逐步上升的过程。3 类参照物在场景适用性上互补:当某类目标缺失、尺度过小或关键部位被遮挡时,其他目标仍可能提供视觉证据,且多目标场景中可分别判定状态,而非要求每幅图像同时包含 3 类目标。
类型特异性关键部位与 S1—S4 状态定义
行人选取脚部、脚踝、小腿、膝部、大腿和腰臀部等连续人体部位;机动车选取车轮下部、轮轴、轮毂、底盘、车门下沿及车窗附近结构;非机动车选取车轮下部、轮轴、脚踏、坐垫和把手。判定依据是水线是否达到相应语义部位,而非目标框内的固定像素比例,可减弱目标尺度和拍摄距离变化的影响,但仍可能受透视畸变、姿态、遮挡和水面波动干扰。
12 类“参照物类别-视觉受淹状态”联合标签生成
联合标签生成分为 4 步:确定图像中单个涉水目标、判断目标所属参照物类型、依据水线与该类目标关键部位的相对位置确定 S1—S4 状态、将类别与状态组合生成标签,形成 person_S1~person_S4、vehicle_S1~vehicle_S4 和 nonmotor_S1~nonmotor_S4。标签将目标类型与受淹状态统一编码到同一类别空间,同一图像中的多个目标分别输出,不合并为场景级状态。
C3k2-DySnakeConv 与 AIFI 特征增强
以 C3k2-DySnakeConv 替换 Backbone 中部分 C3k2 模块:输入特征经卷积和通道划分后进入 2 条支路,常规卷积分支保留基础局部信息,DySnakeConv 分支通过偏移生成器获得可学习采样位置,使采样轨迹随局部结构变化,增强对细长、弯曲和局部形变结构的感知。同时以 AIFI 替换 SPPF,将空间特征展平为长度 N=H×W 的序列并加入位置编码,经自注意力与前馈网络处理后恢复为空间特征图,加强目标、关键受淹部位与周围积水区域的语义交互。
DetectAux 辅助检测分支与联合损失监督
连续下采样会削弱小目标和关键受淹部位的空间信息,因此在主检测头之外设置 DetectAux,接收 Neck 输出的中间尺度特征并执行与主检测头形式一致的类别预测和边界框回归。训练总损失 L = L_main + λ L_aux,λ 为辅助监督权重。该分支不参与最终推理,仅提供附加梯度,使中浅层特征更早受到检测任务约束,推理阶段由主检测头完成 12 类联合目标的定位与分类。
3 600 张双源图像与 8∶1∶1 划分
数据由社交媒体公开图像 2 137 张与城市交通监控视频帧 1 463 张构成,前者视角与场景多样,后者视角相对固定、时间连续且道路目标较清晰,两类数据在场景范围、拍摄视角和目标尺度方面形成互补。共标注行人目标 1 791 个、机动车目标 2 643 个和非机动车目标 1 154 个;按 8∶1∶1 划分为训练集 2 880 张、验证集 360 张和测试集 360 张。监控帧按摄像头、内涝事件和连续时间片段分组,避免相邻帧进入不同子集;社交图像经感知哈希与人工复核去重。仅对训练集实施旋转翻转、0.8~1.2 倍尺度缩放、0.7~1.3 亮度与 Gamma 调整、核尺寸 3~5 模糊、质量 60~90 JPEG 压缩、面积比例 0.02~0.10 随机遮挡及透明度 0.2~0.5 局部反光扰动。
标注一致性检验与评价指标体系
按数据来源、参照物类型、受淹状态和干扰条件分层抽样 360 张图像,由 2 名标注人员以 IoU ≥ 0.5 为匹配条件独立标注,共形成 532 个匹配目标:平均 IoU 0.84,参照物类别一致率 94.7%,受淹状态等级一致率 86.3%,联合标签一致率 84.0%,等级与联合标签 Cohen's Kappa 分别为 0.81 与 0.79。实验基于 PyTorch,输入 640×640,批量 16,训练 200 轮,采用 COCO 预训练权重初始化。除 Precision、Recall、mAP@50、mAP@50:95 与 FLOPs 外,另定义 S1—S4 严格召回率、混淆矩阵、S3/S4 高受淹状态召回率 R_high 及漏检与低估率 E_high。
64.1% mAP@50 背后:增益来源与残余短板
本文从整体检测性能、改进模块贡献、不同视觉干扰条件下的识别能力以及不同视觉受淹状态的识别结果 4 个方面开展实验。DAD-YOLO 的 Precision、Recall、mAP@50 和 mAP@50:95 分别达到 80.1%、56.5%、64.1% 和 50.8%,均高于 YOLOv5n、YOLOv5s、YOLOv8n、YOLOv10n 与 YOLO11n;消融实验进一步显示 3 个模块单独引入均取得正向增益,联合后增益最大,说明局部几何建模、高层上下文交互与辅助监督具有互补作用。
较 YOLO11n 提高 3.1%
由 61.2% 提升
由 38.8% 下降
由 6.3 G 增加
| 模型 | Precision / % | Recall / % | mAP@50 / % | mAP@50:95 / % | FLOPs / G |
|---|---|---|---|---|---|
| YOLOv5n | 71.6 | 50.6 | 57.3 | 46.1 | 4.2 |
| YOLOv8n | 73.1 | 51.8 | 58.6 | 48.2 | 8.1 |
| YOLOv10n | 74.4 | 52.1 | 60.2 | 46.9 | 8.2 |
| YOLO11n | 74.7 | 52.6 | 61.0 | 48.6 | 6.3 |
| YOLOv5s | 76.2 | 54.6 | 62.3 | 49.7 | 15.8 |
| DAD-YOLO(本文) | 80.1 | 56.5 | 64.1 | 50.8 | 7.2 |
| 模块组合 | Precision / % | Recall / % | mAP@50 / % | mAP@50:95 / % | FLOPs / G |
|---|---|---|---|---|---|
| YOLO11n 基线 | 74.7 | 52.6 | 61.0 | 48.6 | 6.3 |
| 仅 C3k2-DySnakeConv | 77.5 | 54.3 | 61.6 | 49.4 | 7.0 |
| 仅 AIFI | 76.7 | 54.2 | 61.2 | 48.9 | 6.6 |
| 仅 DetectAux | 75.5 | 53.5 | 62.1 | 49.3 | 6.6 |
| DySnakeConv + AIFI | 79.2 | 55.9 | 63.5 | 50.3 | 7.1 |
| DySnakeConv + DetectAux | 78.7 | 55.2 | 63.2 | 50.2 | 7.1 |
| AIFI + DetectAux | 78.1 | 54.6 | 62.9 | 50.1 | 6.8 |
| 三模块联合(DAD-YOLO) | 80.1 | 56.5 | 64.1 | 50.8 | 7.2 |
| 场景类型 | 图像数量 / 张 | YOLO11n mAP@50 / % | DAD-YOLO mAP@50 / % | YOLO11n Recall / % | DAD-YOLO Recall / % | DAD-YOLO mAP@50:95 / % |
|---|---|---|---|---|---|---|
| 白天正常光照 | 80 | 64.8 | 67.5 | 55.8 | 59.3 | 54.1 |
| 夜间弱光 | 70 | 57.6 | 61.4 | 49.5 | 54.1 | 48.5 |
| 水面反光 | 65 | 56.8 | 60.7 | 48.7 | 53.5 | 47.9 |
| 遮挡场景 | 70 | 58.9 | 62.5 | 50.4 | 54.8 | 49.7 |
| 多目标混合场景 | 75 | 62.4 | 65.9 | 53.6 | 57.2 | 53.0 |
三模块互补,DetectAux 单模块增益最高
消融实验显示 3 个模块单独引入均取得正向增益,其中 DetectAux 取得最高的单模块 mAP@50(62.1%,较基线 61.0% 提升 1.1 个百分点),说明中浅层辅助监督对关键判别区域的约束效果最直接;C3k2-DySnakeConv 与 AIFI 组合在双模块配置中表现最佳,mAP@50 达 63.5%。三者联合后 mAP@50 与 mAP@50:95 分别达到 64.1% 和 50.8%,而 FLOPs 仅由 6.3 G 增至 7.2 G,仍明显低于 YOLOv5s 的 15.8 G。
反光与弱光仍是增益最大也最薄弱的场景
DAD-YOLO 在 5 类视觉条件下的主要指标均高于 YOLO11n,水面反光和夜间弱光场景的 mAP@50 分别提高 3.9% 和 3.8%,表明模型在水线模糊和弱光条件下仍能取得稳定增益。但水面反光场景下 DAD-YOLO 的 Recall 和 mAP@50:95 分别为 53.5% 和 47.9%,仍是 5 类子集中的最低值,说明强反射造成的水线模糊与目标边缘缺失尚未得到充分解决。
误判集中于相邻等级,高受淹漏检仍突出
状态混淆矩阵显示误判主要集中于相邻等级:真实 S3 的 147 个目标中 13 个被判为 S2、8 个被判为 S4,真实 S4 的 103 个目标中 13 个被判为 S3,同时 S1~S4 分别有 45、48、39 和 24 个目标漏检。DAD-YOLO 的 S3 和 S4 严格召回率为 58.5% 和 62.1%,较 YOLO11n 提高 6.1% 和 7.7%;S3/S4 召回率由 61.2% 升至 68.4%,但漏检与低估率仍达 31.6%。
S1—S4 仅表示同一参照物类型内部受淹程度由低到高的视觉序位,不代表统一的实际水深、目标稳定性或通行风险;本文方法定位为人工研判的辅助视觉感知,不作为具有风险排除作用的自动筛查工具。
多类视觉证据统一表达的三点结论
本文针对城市内涝图像中单一视觉参照物易受目标缺失、尺度变化、局部遮挡和复杂环境影响的问题,提出融合多视觉参照的涉水目标视觉受淹状态识别方法。其核心在于保留不同视觉参照物的类型特异性判据,同时通过联合标签与共享检测网络实现多类视觉证据的统一表达与自动识别,在统一网络中完成定位、参照物类别识别与受淹状态判别。
类型特异性判据与 12 类联合标签
依据水线与脚部、脚踝、小腿、膝部、大腿、车轮、轮轴、底盘、脚踏、坐垫等类型特异性关键部位的相对位置,分别为 3 类参照物定义 S1—S4 视觉受淹状态,并组合为 12 类联合标签。分层抽样 360 张图像、2 名标注人员独立标注的 532 个匹配目标检验表明,参照物类别一致率 94.7%、受淹状态等级一致率 86.3%、联合标签一致率 84.0%,判据具有可操作性与标注重复性。
DAD-YOLO 在精度与高受淹召回上双提升
以 YOLO11n 为基线引入 C3k2-DySnakeConv、AIFI 和 DetectAux 后,Precision、Recall、mAP@50 和 mAP@50:95 分别达到 80.1%、56.5%、64.1% 和 50.8%,mAP@50 与 mAP@50:95 较 YOLO11n 提高 3.1% 和 2.2%,FLOPs 由 6.3 G 增至 7.2 G,与 YOLOv5s 相比 mAP@50 提高 1.8% 而计算量明显降低。
多视觉参照扩大场景适用范围
将 3 类常见涉水目标纳入统一的状态表征与识别框架后,可在某一类参照物缺失、尺度较小或受到遮挡时,利用其他类型目标提供视觉受淹证据,从而扩大方法的场景适用范围。模型在夜间弱光、水面反光、目标遮挡和多目标混合 4 类干扰条件下均取得正向增益,S3/S4 高受淹状态召回率由 61.2% 提高至 68.4%。
面向人工研判的辅助视觉感知
社交媒体图像与交通监控视频帧是城市内涝最易获取的两类地面视觉数据,本文方法可在不依赖相机参数、目标实际尺寸和同步实测水深的前提下,直接输出涉水目标的位置、参照物类别与视觉受淹状态,为人工研判提供结构化参考。目标级输出而非场景级标签的设计,更利于在同一图像中区分多个受淹程度不同的目标,支撑内涝事件的快速复核与过程化监测。
漏检、跨区域验证与物理解释性
当前模型 Recall 仍为 56.5%,S3/S4 高受淹状态漏检与低估率仍为 31.6%,弱光、反光、透视变化和关键部位遮挡仍会造成漏检及相邻状态误判,尚不足以支持具有风险排除作用的自动筛查。现有数据以成人行人、常见乘用机动车以及自行车或电动自行车为主,缺少跨城市、跨摄像头和跨降雨事件的独立验证。后续可补充不同目标子类型和跨区域样本,引入视频时序、目标跟踪、序位分类及不确定性估计,并结合相机标定、实测水深和道路高程数据,提高高受淹状态识别能力与视觉状态的物理解释性。