基于多模态传感器融合和可解释性深度学习的浅水区灾害地貌识别研究
河口海岸全国重点实验室程和琴研究员科研团队在近岸浅水灾害地貌智能识别领域取得重要突破。研究团队创新集成无人机载激光雷达与无人船载多波束测深技术,研发了注意力感知多模态多尺度交叉融合模型(AMMNet),并首次结合(Grad-CAM)与SHAP算法实现模型可解释性分析。相关成果以Multimodal Sensor Fusion and Interpretable Deep Learning for Shallow Water Hazardous Geomorphology Features Recognition为题发表于领域权威期刊IEEE SENSORS JOURNAL。
研究背景
近岸灾害地貌的精准识别是保障堤防安全与河道稳定的关键。传统监测手段依赖单波束测深、全站仪等设备,存在浅水区数据空白、多源数据融合效率低等问题,基于模糊数学或单模态数据的识别模型易受参数依赖性限制,难以满足精细化应急决策需求。长江下游铜陵、镇扬等典型河段因三峡工程蓄水后水沙条件剧变,崩岸频发且孕育复杂水下灾害地貌,2017年指南村崩岸事故更造成重大经济损失,凸显高精度智能识别技术的迫切需求。
研究结果
通过无人机载LiDAR与无人船多波束声呐协同观测,首次实现水陆交互带地形分米级无缝测量,构建形态与纹理多模态数据集。在此基础上,创新设计三支流编码-解码架构,集成注意力感知的多模态融合模块与空洞空间金字塔池化,显著提升多尺度地貌特征提取能力。结果表明,模型对崩岸、陡坎、冲刷坑和沙波的交并比(IoU)分别达93.7%、92.2%、87.2%和94.2%(图1)。其次,联合Grad-CAM与SHAP方法能够全面考虑地貌形态和视觉纹理等多模态因素,揭示浅水区灾害地貌形成机理(图2)。以长江安徽无为河段北岸窝崩段为例(图3),当熵值与相异性指数同步跃升时,表征地貌不规则度与纹理异质性增强,崩岸总体风险增大。同时,河槽高程抬升,且窝崩坑内的回流冲刷使得近岸边坡进一步侵蚀,坡脚变陡,粉砂-极细砂土层坡度增加,崩岸进一步发育,灾害风险高。这种评估有助于准确识别高风险区域,预测灾害地貌发生的可能性和影响范围,从而提前采取巩固护岸工程并注意控制工程水下坡度等预防措施。
图1 地貌识别可视化对比(DeepLabV3+、U-Net、FCN等)
图2 识别结果类激活映射
图3 可解释性分析 (a) 无为崩岸段SHAP解释性局部力图 (b) 崩岸粒度分布特征图 (c) 三维流场分布与泥沙输移路径
研究团队及资助
该论文的第一作者为华东师范大学河口海岸全国重点实验室博士生丁伟杰,通讯作者为程和琴研究员和上海海洋大学王兆才研究员,其他作者包括美国路易斯安娜州立大学Yijun Xu 研究员、中国地质调查局南京地质调查中心金阳博士等。研究得到国家自然科学基金 (42271009) 和中国地质调查局南京地质调查中心(DD20221728) 的资助。
文献信息
Ding Weijie, Cheng Heqin, Zhaocai Wang, et al. Multimodal sensor fusion and interpretable deep learning for shallow water hazardous geomorphology features recognition. IEEE Sensor Journal, 2025. https://ieeexplore.ieee.org/document/10896460
-
IEEE Sensor Journal ,
2025 ,
10896460
: