原始研究的文章

前面。远程Sens。, 2022年12月14日
秒。微波遥感
卷3 - 2022 | https://doi.org/10.3389/frsen.2022.1060144

深的融合网络洪水检测uni-temporal Sentinel-1数据

Ritu Yadav*,

安德里亚Nascetti和

易纺禁令

Geoinformatics分工,k皇家理工学院,斯德哥尔摩,瑞典

洪水是发生在全球各地,由于气候变化,洪水预计将增加在未来几年。现状敦促更多关注有效监测洪水和检测领域的影响。在这项研究中,我们提出两个分割网络对洪水检测uni-temporal Sentinel-1合成孔径雷达数据。第一个网络是“细心U-Net”。这需要VV, VH, VV / VH作为输入。网络使用空间和channel-wise注意增强特征图,帮助学习更好的分割。“细心U-Net”收益率67%交叉在联盟(借据)Sen1Floods11数据集,3%比基准的借据。第二个提出网络dual-stream“融合网络”,我们融合全球低分辨率的高程数据和永久水面具Sentinel-1 (VV, VH)数据。在Sen1Floods11前面的基准数据集相比,我们的融合网络给了4.5%更好的借据得分。定量,提出方法的性能改进是相当大的。 The quantitative comparison with the benchmark method demonstrates the potential of our proposed flood detection networks. The results are further validated by qualitative analysis, in which we demonstrate that the addition of a low-resolution elevation and a permanent water mask enhances the flood detection results. Through ablation experiments and analysis we also demonstrate the effectiveness of various design choices in proposed networks. Our code is available on Github athttps://github.com/RituYadav92/UNI_TEMP_FLOOD_DETECTION以便重用。

1介绍

根据流行病学研究中心的一份报告的灾难(信誉、UClouvain) (UNDRR 2015),洪水是最具破坏性的灾难事件在1995年和2015年之间。另一个信誉报告(2021年信誉)指出,2020年,23%的洪水记录超过163年的年平均事件和洪水死亡人数超过18%的年均5233人死亡。极端的气候变化,洪水比以往任何时候都更沉重的打击。洪水的频率增加,影响不仅影响世界各地的发展中国家也是发达国家。洪水造成大规模破坏生命,财产,和经济的数十亿美元。健壮和洪水实时检测可以帮助提供快速和可靠的援助影响生活。救援任务的快速部署,这是至关重要的态势感知。由于影响交通系统,从地面检查可能是危险的也太慢了。在这样的场景中,卫星地图可以帮助大的地理区域。

合成孔径雷达(SAR)图像通常用于确定洪水和其他产品的程度。光学数据如Sentinel-2图像相比,SAR卫星数据洪水映射的首选工具由于其功能的捕捉图像日夜,无论天气条件(Anusha Bharathi, 2020)。SAR系统分别运行在微波波段,波长长,有能力穿透云层,在某种程度上的植被,雨雨,雾,雪。另外,经常重温Sentinel-1卫星使它适合洪水监测。

2相关工作

从各种卫星SAR数据如RADARSAT-1 terrasar - x,萨特,cosmo - sky - med卫星数据(埋头),以及其他许多探索研究水的检测和洪水映射,如(陆et al ., 2015),(Chini et al ., 2017),(Garcia-Pintado et al ., 2015)。这些研究使用各种各样的方法像基本pixel-wise形象差异,分层分裂分布差异,水动力模型适应,等。2014年推出Sentinel-1提供覆盖全球免费数据在十米级6天的名义重新审视时间空间分辨率。由于改进的空间和时间分辨率,研究人员调查了在几项研究中使用洪水Sentinel-1数据检测,如(十二个et al ., 2016),作者使用模糊基于逻辑分类结合高度的排水(手)指数,(Psomiadis 2016),图像差分阈值应用于双时态数据,(马提尼,2017),作者使用时间序列数据和低后向散射的频率区域是用来区分永久性的水体和洪水。

最近,深度学习(DL)算法中扮演着重要的角色在促进图像处理任务,如分类、分割等多个研究探索卷积神经网络(CNN)的映射和监控任务。在(Amitrano et al ., 2018),作者尝试了支持向量机和小神经网络模型来分析多瞬时Sentinel-1数据。作者评估了他们的方法在5使用参考地图由哥白尼洪水事件应急管理服务(EMS)。同样的,(Tavus et al ., 2022),测试了CNN多瞬时Sentinel-1数据四个洪水事件。在(刘et al ., 2017),作者提出了一个深刻的卷积网络检测水灾地区多瞬时从Radarsat-1和ERS-2卫星SAR数据。他们测试了它只有两个洪水事件在加拿大和瑞士。在(Asaro et al ., 2021),作者旨在描述洪水从Sentinel-1数据使用U-Net (Ronneberger et al ., 2015)模型。数据集包含三个洪水来自比利时、意大利和荷兰与低质量的标签。(全et al ., 2021)。研究还使用一个标准的U-Net模型检测河洪水使用Sentinel-1数据。(Nemni et al ., 2020)。尝试用U-Net和X-Net (布洛克et al ., 2019UNOSAT洪水数据集)(Unitar 2020)。Sentinel-1数据的数据集只包含VV极化和覆盖洪水来自八个国家。他们的研究结果强调,U-Net模型表现的更好。在(加戈et al ., 2021),提出一个合奏U-Net和U-Net + +洪水模型检测。NASA-ECTI数据集用于这项研究包含Sentinel-1数据在四个洪水事件。作者还尝试了与多个骨干DeepLab和U-Net架构。最好的结果使用U-Net MobileNetv2骨干。

光学卫星诸如世界观和Sentinel-2进一步提振了DL在卫星数据的使用。光学数据通常是不适合捕捉水灾地区由于高云覆盖。然而,有多个洪水检测研究使用光学数据如(Moumtzidou et al ., 2020),(Mateo-Garcia et al ., 2021),(彭et al ., 2019),和许多其他人。(Moumtzidou et al ., 2020)。测试VGG和ResNet-50模型时段遥测Sentinel-2数据从335年洪水事件。(Mateo-Garcia et al ., 2021)。研究洪水相比U-Net和基本Sentinel-2数据检测功能。U-Net比基本执行。WorldFloods数据集使用(Mateo-Garcia et al ., 2021)在这项研究涵盖119洪水事件,发生在2015年11月和2019年3月之间。(彭et al ., 2019)。神经网络提出了一个暹罗ResPSNet光学图像的高分辨率探测洪水。使用的模型是一个变化检测网络,作用于双时态数据。上述Sentinel-2数据集的问题是,他们遭受高百分比的云量和云阴影问题相关联。这些问题的存在即使云和阴影掩蔽。也不像Sentinel-1,收集到的图像不接近洪水时间或在洪水中因为光学图像在此期间多半多云,不使用。

所有上述DL研究小数据集上进行了一些网站或数据/标签的质量是不好的。有效的培训和更好的泛化,DL算法要求质量数据和大量的报道。此外,标签的质量是至关重要的,如果算法是一个监督。很长一段时间,没有高质量的全球数据集洪水检测任务。最近,Sen1Floods11 (Bonafilia et al ., 2020)已经发布提供一个全球uni-temporal洪水与Sentinel-2光学检测数据集和Sentinel-1 SAR图像。此外,地面实况数据集提供的手动验证了专家。Sentinel-2图像数据集的局部多云在大多数情况下,但数据集很大,覆盖不同的地形。大量的可用性代表数据集允许我们探索潜在的DL在洪水检测任务。这也有助于提供一个解决方案,可以推广到未知的网站。

(Bonafilia et al ., 2020)提供一个基线Sen1Flood11数据集,他们测试了一个完全卷积神经网络(FCNN)单独Sentinel-1和Sentinel-2数据集。四个最近的研究(Akiva et al ., 2021;Konapala et al ., 2021),(白et al ., 2021)和(Yadav et al ., 2022年)也尝试了Sen1Floods11数据集。(Akiva et al ., 2021)。研究了域段洪水的适应方法。模型的训练是Sen1Flood11多光谱图像和训练模型用于高分辨率图像得到的推论。该方法是self-supervised因此不需要标签。另一方面,(Konapala et al ., 2021)和(白et al ., 2021)全面监督细分研究。在(Konapala et al ., 2021)作者尝试了结合Sentinel-1 Sentinel-2和数字高程数据。他们雇了一个标准U-Net分割网络与3通道的输入。(白et al ., 2021)。结合Sentinel-1和Sentinel-2数据。作者没有比较的性能分别网络Sentinel-1和Sentinel-2表现两者的融合。相反,他们直接提出了融合的结果。作者使用了一个级联U-Net架构(BASNet)洪水检测导致更好的地图功能细化和最有可能的实际原因改善结果。(Yadav et al ., 2022年)。扩展Sen1Floods11数据集通过添加大洪水之前Sentinel-1图像和暹罗网络提出了一种双流。这里作者进行变化检测任务检测洪水和取得更好的结果。

Sen1Flood11包含Sentinel-1和Sentinel-2数据。但Sentinel-2对天气条件非常敏感。特别是在洪水,通常情况下,大量的视图被云挡住了。算法把云阴影与水。这个问题也是突出的基线评估Sen1Flood11数据集。另一方面,Sentinel-1患有云斑纹噪声但不敏感,在所有领域提供无云数据。散斑噪声Sentinel-1数据中可以学到(某种程度上)DL网络但没有信息大部分水淹面积使Sentinel-2不可靠的任务。因此,我们致力于开发一个健壮的洪水对Sentinel-1数据检测模型。

洪水检测可以执行uni-temporal以及时段遥测数据。时段遥测相比,uni-temporal分割有时会稍微不那么准确,但对记忆更快和更轻。这种时间和空间效率使得uni-temporal分割一个适当的选择快速机载处理,使洪水近实时检测和预警系统。自动分割的地图上生成可以发送到卫星地面站通过下行连接。在市场细分的基础上生成地图卫星洪水扩展可以量化。如果洪水扩展大于一定阈值决定的,下行可以优先和洪水警告可以及时发送。

在这项工作中,我们提出了洪水两个分割模型检测uni-temporal Sentinel-1数据。第一个是“细心U-Net”使用VV, VH和比率(VV / VH)频道作为输入。根据洪水网站、环境条件和地形形态、一个极化(例如,VV)是比其他更重要(VH)强调淹没区域。考虑到不同的后向散射行为VV VH,我们建议self-attentive机制获取渠道的优先级大量的网站。第二个模型中,提出了“融合网络”,以提高第一个“细心U-Net”模型使用本地区域的物理特性给网络更多的上下文。“融合网络”融合Sentinel-1、DEM和永久性水掩盖数据。架构的概述提出的两个模型所示图3,4,第四节提供了更多的细节。

3数据集

我们提出了网络训练和评估Sentinel-1 Sen1Floods11数据集的数据(Bonafilia et al ., 2020)。数据集包含446 non-overlapped瓷砖从Sentinel-1和Sentinel-2。每个瓷砖大小为512×512像素。数据记录在11洪水事件记录来自11个全球不同国家即玻利维亚、加纳、印度、湄公河、尼日利亚、巴基斯坦、巴拉圭、索马里、西班牙、用于化工和美利坚合众国。洪水都是确定从全球洪水事件的数据库维护的达特茅斯洪水天文台(Brakenridge 2012)。这些淹没网站涵盖各式各样的地形形态,从平地到山区。这些网站的概述中描述全球地图;看到图1。11洪水事件选择考虑Sentinel-1和Sentinel-2同一父本图像的可用性和减少两者之间的时间差距卫星收购(图片获得当天或在max两天差距)提供close-in-time水灾地区的观测。广泛的云覆盖在洪水影响Sentinel-2数据,进而Sentinel-2数据建立的模型的可靠性问题。这个问题也突出显示数据集的基线评估。由于SAR对云不敏感,我们的目标是探索Sentinel-1 SAR数据的全部潜力。数据集包含orthorectified和radiometrically纠正Sentinel-1十米级分辨率SAR图像,包括两个乐队VV(垂直传播,垂直接收)和VH极化(垂直传播,水平得到)。全球数据集还提供永久的面具被水淹没的地区。这些面具从地表水采样数据集从联合研究中心(欧洲委员会联合研究中心)(Pekel et al ., 2016)。

图1

图1。数据概述。红点代表11洪水网站。捕获的数据是在446年。

数据集提供了所有11个站点pixel-wise地面真理。这些地面实况面具后准备处理Sentinel-1 Sentinel-2分别然后用手动验证相结合和精炼。首先,直方图是建立在Sentinel-1 VH乐队。大津阈值是用于直方图,最大化类方差淹没和unflooded像素之间。这个阈值是应用在平滑焦点意味着VH乐队降低散斑,洪水导致一个二进制映射。第二,Sentinel-2图像处理通过计算归一化植被指数(NDVI = (B8-B4) / (B8 + B4), B =带)和修改归一化水指数(MNDWI = (B12-B3) / (B12 + B3), B =乐队),其次是除云、云阴影去除,手动阈值获取二进制洪水地图。现在,来自两个洪水映射相结合的信息准备最后的地面实况面具。地面实况面具的质量是保证手工标记所有446瓷砖和手动验证(Bonafilia et al ., 2020)。地面真相掩盖了0 1−1值,1代表水,0是没有水的情况下,和−1表明缺失的数据。

除了Sen1Floods11以外,我们还使用高程数据(即。民主党)航天飞机雷达地形测绘)。30米分辨率的DEM数据可用。我们upsampled十米级分辨率使用双线性插值。从理论上讲,插值过程可能引入一些工件和重新取样民主党中的错误。然而,插值工件的数量和大小是低分辨率的DEM(德牧的可以忽略不计 $>$ 10 m),如SRTM DEM (Muthusamy et al ., 2021),(荣格和Jasinski, 2015),(沈和褐色,2020年)。

我们预处理Sentinel-1数据集在喂食前提出的网络。的VV剪后向散射值范围(0)−23日dB,和VH(−−28日5)dB范围。夹后向散射被认为是噪音。最后,输入数据是channel-wise规范化。,depending on the network VV, VH, PW, DEM all input channels are normalized before feeding to the network. The training, validation, and test splits used in this work are following the Sen1Floods11 dataset guidelines provided by the authors (Bonafilia et al ., 2020)。一些样本数据可视化图2。

图2

图2。Sen1Floods11数据样本图片。从左到右,VV, VH单通道SAR图像,永久的水,数字高程模型(DEM)和地面真理是可视化。海拔范围的每个样本显示在右上角的民主党可视化。第一行0,1,第二行−1 0 1标签值。使用的颜色值−1,0,1是白色,天蓝色,深蓝色,分别。

4提出方法

在这项工作中,我们提出两个网络体系结构的检测,所示图3和图4。第一个网络图3作用于Sentinel-1数据。然而,第二网络4利用全球高程数据(DEM)和永久性水(PW)面具作为额外的输入。网络是专为二进制分割任务。因此输出是一个二进制映射与两类“洪水”所代表的值1和“背景”所代表的值是0。

图3

图3。细心的U-Net的体系结构。网络需要三路(VV, VH / VH)输入并生成一个二进制分割地图作为输出。

图4

图4。融合网络。Input1和VV三路输入,VH,民主党的乐队,VV Input2也是一个三路输入,VH和PW乐队。两个编码器和解码器遵循类似的架构的“细心U-net”。细心的两个编码器的输出融合使用element-wise加法操作,和网络的输出是一个二元分割的地图。

4.1关注U-Net

U-Net encoder-decoder架构是通常用于分割任务在各种领域。编码器由一堆卷积、池、和归一化层给定的输入和过程带来较小的编码表示。然后解码器流程和upsamples编码器的输出回到原来的大小。转置的译码器网络由卷积upsampling层。译码器的输出是一个细分的地图。通常,输入包含三个渠道,分段映射是一个2 d地图,其中每个像素代表了相应的类。从编码器在U-Net架构中,特征图谱与up-sampled连接特征图谱的解码器。连接输出处理使用卷积和规范化操作。这些编码器和译码器之间的连接被称为跳过连接。U-Net使用跳过连接添加细粒度的浅的特征编码器译码器的粗粒度的深度特性进行精确定位。

有多个现有的SAR数据探索U-Net架构适合洪水检测。这些研究使用VV和VH渠道作为输入一些信息(民主党,永久的水,或有时是空的)第三通道。我们建议使用比率(VV / VH)作为第三频道,因为它提供了重要的洪水特性检测(Tsyganskaya et al ., 2018)。U-Net架构学习功能的输入通道均匀。但由于不同的地理区域的数据集,VV和VH后向散射行为并不统一。通常观察到,在大量的样本,淹没面积是可见的主导性的渠道(VV, VH,比)和失踪。通道,包含更多的有用的信息识别水灾地区相比应该得到更多的关注。自标准更重要的渠道并不简单,我们提出一个细心U-Net让我们深CNN学习渠道的优先级使用channel-wise自我关注。我们提出的架构网络所示图3。网络的输入由3通道,第一个2频道包含VV和VH后向散射。自比(VV / VH)提供了重要的洪水特性检测(Tsyganskaya et al ., 2018),我们使用的比率作为第三个输入通道。除了获得比例的重要特性,使用3通道输入使我们能够利用ImageNet pre-trained编码器网络的权值。这有助于更快和更好的模型的收敛性。

编码器网络编码输入四个阶段命名为F1, F2, F3, F4功能水平。我们使用剩余(他et al ., 2016年编码器)学习网络,以避免任何性能下降的问题。这是实现为第一Resnet-50架构的四个级别。每个四个特性的输出水平的译码器的输入。

前面提到的注意机制是使用channel-wise实现注意self-learns优先考虑某些渠道在其他基于训练数据。除此之外,我们还增加了空间关注网络,专注于提高空间特性。channel-wise和空间注意应用模块使用并发空间和通道的挤压和激励(scSE)块(罗伊et al ., 2018)。scSE块有助于提高良好的特性和抑制弱的。块给关注更重要的空间特性和输入的重要渠道。scSE块地图应用于编码器的输出特性,如图所示图3。结果的特征图然后连接用解码器功能映射F1, F2, F3和”。

译码器网络流程输入(F4)编码器和upsampled F3’,然后连接F3的细心的地图功能。然后连接输出upsampled F2”。相同的F1的实现。网络是一个二元分割的输出映射,其中包含一个通道高度和宽度相同的输入。

4.2融合网络

融合网络提出了加强洪水检测能力的CNN使用本地物理特征的区域网络提供更多的上下文。在这个网络中,我们从Sen1Floods11保险丝Sentinel-1数据集与全球高程数据(SRTM DEM)和永久水面具(PW)。额外的DEM信息,网络学习获得之间的关系被淹地区(VV, VH)和这些地区的海拔。通过添加PW面具,我们确保网络不会失去永久从检测和水体,更多的关注PW地区周围的区域。我们融合海拔(民主党)在一个分支Sentinel-1和永久水面具Sentinel-1第二。我们融合在一个单独的分支(编码器),这样的模型学习高程的关系和永久水景与Sentinel-1数据分开。卷积运算和self-attention之后,两个分支的特性融合和美联储到译码器网络。从端到端训练模型学习特性。

我们提出融合网络的概述中描述图4。它由两个流三个通道的输入。第一个流的输入由VV, VH,民主党,而第二个流的输入是VV, VH和PW面具。两个流过程的输入通过“Encoder1”和“Encoder2”。两个编码器的架构是“细心U-net”一样。因此,每个编码器网络包含四个功能水平。特征图的四个功能水平增强了空间和channel-wise自我关注。这是由scSE实现街区的关注。细心的特征从两个编码器网络融合使用以聪明元素添加操作。特征融合发生在所有四个水平。 The resulting feature maps are the input to the decoder network, where the features are upsampled, concatenated, and processed to generate the output segmentation maps. The decoder of “Fusion Network” is also similar to the decoder of “Attentive U-net”.

4.3实现和培训

在这项工作中,我们发现洪灾地区通过与两类执行二进制细分任务,“洪水”和“背景”。在数据集,有一个额外的类标记为无效的像素−1。所有无效的像素都设置为0(−1)输入和真实图像。目的是将复杂问题简化到二元分割,避免不必要的干扰。我们也掩盖了这些无效的像素预测和评价过程中地面实况。

所有实验是对原始图像进行大小512×512。两种模型的编码器输入大小为512×512×3,和输出模型的大小是512×512。输入的所有训练增强使用水平和垂直翻转。编码器的网络体系结构都是初始化ImageNet pre-trained ResNet-50权重他et al。(2016)。

训练模型和骰子的加权组合损失(Sudre et al ., 2017)和焦(林et al ., 2017)。骰子损失训练数据中的地址数据不平衡的问题。,(背景)类更多的数据相对于其他(洪水)。焦损失目标之间的不平衡容易和刻苦训练的例子。以下方程代表了加权损失,α的值是0.2。我们尝试了多个α值。最好的骰子结果0.2重量损失和0.8焦损失。

l o 年代 年代 = α * l_{骰子} + (1 - α) * l_{焦} (1)

我们开始培训的学习速率5∗10⁴。更好的融合,学习速率衰减至0.00001。衰变率控制与“高原减少”方法,衰变速率的差不多时,学习曲线是稳定在一个高原。我们选择“亚当”优化器对网络训练。这些hyperparameter设置申请所有实验。两个网络训练70时代。如果学习(损失值)停滞和学习速率达到0.00001,训练自动停止70年以前的时代。由于我们使用大补丁培训、批量大小保持低,设置为2。两个网络被训练在一个谷歌Colab GPU。该网络是实现使用python和TensorFlow从头开始。

4.4评价指标

我们的网络产生输出进行像素级二进制改变地图。因此,评估结果使用进行像素级指标。我们使用两个指标即在联盟(借据)和F1-Score交集。方程式2- - - - - -4代表了借据和F1得分公式,真阳性(TP)代表洪水像素正确归类为水;假阳性(FP)代表non-flood像素被错误地归类为洪水;真阴性(TN)代表non-flood正确归类为non-flood区域的像素,和假阴性(FN)代表错误归类为non-flood洪水像素。

我 o U = \frac{T P}{T P + F P + F N} (2)

F 1 = \frac{2 T P}{2 T P + F P + F N} (3)

F 1 = \frac{2 我 o U}{我 o U + 1} (4)

4.5方法相比

我们已经选择了更相关的深度学习基于分割的方法来比较他们的表演和我们两个架构。结果提出uni-temporal洪水检测网络相比,(Bonafilia et al ., 2020),FC-Siam-conc (Caye Daudt et al ., 2018),(Konapala et al ., 2021),(秦et al ., 2020),(白et al ., 2021),(Yadav et al ., 2022年),(Akiva et al ., 2021)和(Florian和亚当,2017年)。

1。FCNN (Bonafilia et al ., 2020)是Sen1Floods11的作者提供的基线。一个完全与ResNet-50编码器用于卷积神经网络段洪水在这个工作。网络是尝试Sentinel-1和Sentinel-2数据分开。我们在Sentinel-1数据与结果。

2。U-Net (Konapala et al ., 2021洪水标准U-Net)用于检测任务。实验进行了单独使用Sentinel-1 Sentinel-1的不同组合,民主党和Sentinel-2数据。因为我们正在探索SAR数据,我们比较公平的和相关的。因此,我们只有与Sentinel-1 U-Net结果数据与DEM和Sentinel-1的组合。

3所示。FC-Siam-conc (Caye Daudt et al ., 2018)是一个完全卷积网络和两个输入流共享权重(暹罗)。网络可以用于融合(岑和荣格,2018)。我们使用FC-Siam-conc (Caye Daudt et al ., 2018)融合输入相同的融合网络。的性能输出分割网络与他人比较。

4所示。BASNet (白et al ., 2021)提出使用保险丝Sentinel-1 SAR和Sentinel-2多光谱数据。数据融合在进食之前网络(早期融合)。由于分辨率两个数据之间的区别,他们是第一次重新取样匹配的空间分辨率,然后融合pixel-wise除了正常化紧随其后。在实验中使用的模型是一个级联U-Net BASNet (秦et al ., 2019)。

5。此外,我们将我们的结果与两个分割模型²净(秦et al ., 2020)和DeepLabv3 (Florian和亚当,2017年)。U²网络是一个级联U-Net模型提出了改进分割。有大量的层(即DeepLabv3网络。,depth), sparse feature learning capability and cascaded modules. It is more recent segmentation network with remarkable performance in computer vision. Therefore we tested U²净和DeepLabv3遥感数据和结果与我们的相比。两个网络测试Sentinel-1和民主党的输入即。,VV / VH /民主党三路输入。

5个结果

5.1定量结果

我们提出两个方法评估的测试集Sen1Floods11,与现有的方法相比。定量比较的“借据”和“F1-Score”了表1。

表1

表1。定量比较:比较细心U-Net和融合网络方法与现有的方法。比较而言,是平均借据和F1分数测试数据集。最好的结果和相应的模型以粗体突出显示。

结果表明,我们提出的网络“细心U-Net”和“融合网络”比以前Sen1Floods11基准数据集。我们尝试与细心U-Net两个数据设置。第一次设置需要VV三路/ VH /比例作为输入。第二,我们利用DEM作为第三个通道,即。,通过VV, VH和民主党三路输入到网络。虽然都设置的性能比方法相比,细心U-Net与民主党相比结果稍弱的VV / VH /比输入。可能的原因可能是,比频道信息相比,民主党更重要。因此,我们尝试进一步测试民主党的利益,提出了二束网络名为“融合网络”。不同组合的VV, VH,之前比,民主党和PW测试提出表现最佳的融合网络。

FCNN基线相比,我们的“细心U-net”显示,18%改善借据和提高14%的F1得分。“融合网络”即进一步改善了2%。,“Fusion network” gave 20% better IoU and 16% better F1 score in comparison to baseline. (Konapala et al ., 2021)。U-Net报告结果与两个数据设置,只Sentinel-1 Sentinel-1和DEM数据。我们的“细心U-net”了10% - -22%更好的借据和7 - 18%更好的F1的分数。“融合网络”推动了“细心U-net”的改进,导致12 - 24%更好的借据,9% -20%更好的F1的分数。

相比,可以看到类似的改进²净和DeepLabv3模型。你的借据的分数²净U-Net优于标准,但不能执行比提出的网络。比基准和标准U-Net DeepLabv3表现更好,但性能低于预期。可能的原因可能是,DeepLabv3网络太深而复杂。培训这个网络,我们需要一个更大的数据集。与计算机视觉数据集,Sen1Floods11深较小的数据集和不充分训练网络像DeepLabv3。

BASNet相比,我们的“细心U-Net”展示了一个F1分数借据提高3%和2%。融合网络结果进一步改进和更好的借据给5%和4%更好的F1的分数。也与FC-Siam融合方法相比,我们的融合网络给了4%更好的借据和3%更好的F1得分。可能的原因可能是残块的融合网络的帮助克服性能下降和细心的模块,提高网络中重要的空间特性和渠道。定量,提出分割方法的性能改进是相当大的,结果另外由定性分析进行验证。

5.2烧蚀研究

术语“消融研究”是借用了医学领域,包括移除部分脊椎动物神经系统的理解他们的目的。这种技术最初是由法国生理学家介绍M.J.P. Flourens《大英百科全书》(2020)。在DL,消融的取消或替换部分网络或输入和分析结果的性能模型。它有助于在调查不同部分的贡献或DL网络中使用的技术。

烧蚀的研究中,我们得到一个想法的重要性选择在最后提出网络。这里我们展示编码器消融研究网络,关注模块和融合方法。此外,我们测试了两个网络中不同的输入通道的影响。从消融研究结果所示表2。

表2

表2。烧蚀研究。比较而言,是平均借据和F1分数测试数据集。最好的分数以粗体突出显示。

我们测试了我们两个的性能提出了网络与不同的编码器。表显示的比较ResNet-50(使用最广泛和成功的编码器之一)和EfficientNet-B4谭和勒(2019)(最近的和受欢迎的编码器之一)。ResNet-50显示4% -5%更好的借据EfficientNet相比得分。提出的模型都有或没有注意模块进行测试。借据的分数下降了2% -3%,当我们把注意力从模型。注意模块增强特性给予更好的分割结果。我们也显示不同的效果即融合业务。,element-wise addition and concatenation on our fusion network’s performance. The experiment shows that the network performed best with element-wise addition fusion.

前两个输入通道的“细心U-Net”和“融合网络”来自Sentinel-1即。、VV和VH。第三频道我们测试了民主党,PW和比率(VV / VH)。这导致了三个输入组合/网络。在“细心U-Net”的情况下,最好的结果比第三输入通道。可能的原因可能是,在这个三通道网络设置,功能比民主党和PW面具相比更有用。然而在“融合网络”,结合(VV, VH,民主党)和(VV, VH PW)给最好的结果。

5.3定性结果

定性分析的方法给出结果的更多信息。在很多情况下,我们提出的网络执行同样微小的区别。我们选择一些网络的预测不同的是有点清楚。三个样本的网站在西班牙,用于化工,巴拉圭所示图5- - - - - -7。

图5

图5。检测结果样本西班牙网站。在可视化包含(一)VV,(B)VH,(C)民主党,(D)地面真理,(E)细心U-Net网络预测和(F)融合网络的预测。第三行包含的放大版本(E)和(F)。红色的圆圈强调文本描述的领域。在指定的数字预测地图对应的借据的分数。

图5在西班牙网站上显示洪水检测结果。的分割结果表明好的借据分数但“融合网络”的分割图略优于“注意力U-Net”的地图。主要的差异是突出了红圈。《第一圈》1)显示了错误分类区域细心U-net产出和正确分类融合网络的输出。第二圈2)突显出详细的分割融合网络,淹没了补丁在哪里很好地分开。而在分割图从细心U-Net有点模糊的界限和合并。

图6演示的情况下用于地方永久水域(用红色突出显示的圆1)不是正确高亮显示在VH VV频道,但可见一些噪音。最后一行显示了一个输出分割地图的放大版本。有更进一步的洪水地区(以红色突出显示圆1)在“细心U-Net”检测地图,一个大比例的正确分类的融合网络。“细心U-Net”的身份不明的水淹面积检测地图是永久的一部分水。由于PW面具是美联储聚精会神地在“融合网络”,该网络检测这一领域没有麻烦。

图6

图6。检测结果样本西班牙网站。在可视化包含(一)VV,(B)VH,(C)民主党,(D)地面真理,(E)细心U-Net预测和网络(F)融合网络的预测。第三行包含的放大版本(E)和(F)。红色的圆圈强调文本描述的领域。在指定的数字预测地图对应的借据的分数。

图7显示了洪水巴拉圭网站检测结果。分割输出的细心U-Net’,的上部有虚假检测检测地图(以红色突出显示圆1)。这些错误检测高斜率(见民主党),因此不能真正地淹没了。因此,适应海拔地图可以减少假阳性的检测过程。给出的示例是许多情况下,“融合网络”的结果验证的好处民主党通过去除假阳性高斜率的地区。我们提出了“融合网络”提供DEM信息,使网络学习之间的关系的斜率和洪水的区域,因此避免假阳性。重要的是要注意,海拔低分辨率数据,这可能帮助好高程变化,但在大范围内是有益的。

图7

图7。检测结果样本西班牙网站。在可视化包含(一)VV,(B)VH,(C)民主党,(D)地面真理,(E)细心U-Net预测和网络(F)融合网络的预测。第三行包含的放大版本(E)和(F)。红色的圆圈强调文本描述的领域。在指定的数字预测地图对应的借据的分数。更多的样本可以可视化在谷歌地球引擎(GEE)应用程序https://erritu92.users.earthengine.app/view/flooddetectionunitemporal。

进一步分析,我们已经开发出一种哎呀应用程序相比,更多的结果可以可视化和多个站点。通过比较两种提议的方法的预测,我们可以解释,民主党和PW大大加剧洪水向更好的检测。

5.4个人网站分析

除了平均分数的测试数据,我们也验证检测结果在每个淹没网站。我们提出两个方法的借据分数“细心U-Net”和“融合网络的比较验证每个站点的设置(请参阅表3)。主要用于改进注意到,美国,和巴拉圭地点斜率变化是高的。对其他人而言,两个网络实现类似的借据的分数。

表3

表3。性能比较细心U-Net和融合网络在每个站点。显示的数值是借据的平均成绩计算所有瓷砖的个人网站。

的图形化描述sitewise性能提出了图8。我们用一只蜘蛛图。的轴线图代表了评价网站和所有的数字同心圆代表可能的百分比借据中心分数从0到100最外层的循环。越远的末尾飙升,更大的价值。最接近中心意味着接近零。最外层线代表当前场景中表现最好的模型,我们提出了融合网络。

图8

图8。蜘蛛图:图形借据的比较我们两提出洪水检测方法“细心U-Net”和“融合网络”在每个站点。

6结论

在这项研究中,我们提出了两个体系结构分段水灾地区命名为“细心U-Net”和“融合网络”。“细心U-Net”利用VV, VH,两者的比例。洪水“融合网络”是一种新型的检测方法,用心保险丝SAR (VV, VH),民主党,永久水面具。我们提出的方法优于基准检测Sen1Floods11数据集的方法。“细心U-Net”给出了一个改进的4%和5%的“融合网络”在Sen1Floods11借据的分数比之前的基准。

的评价和定量比较先进的方法演示我们的高潜力提出洪水检测网络。定性评价表明,添加全局可用数字高程模型和永久水面具提高洪水检测结果。Uni-temporal数据快(2 s /图像)处理和使用更少的内存。好我们的检测结果提出网络随着记忆和空间效率显著成绩机载卫星的方向处理。

超出了我们的正在进行的研究的目标是提供快速、健壮、和自动洪水应急映射的方法。在未来,我们将我们的工作扩展到semi-supervised和无监督方法,带安全标签的数据时往往不容易获得。在遥感数据生成好的标签需要该领域的专业知识和低分辨率的数据使其成为一个费时的过程。同时,消除依赖标签给我们的自由训练丰富网站和模型可以概括在未知网站更好。

数据可用性声明

最初的贡献提出了研究中都包含在本文/辅料,可以针对相应的作者进一步询问。

作者的贡献

从这项工作的第一作者。一个和YB监事和第二作者。

确认

这项研究是EO-AI4GlobalChange项目的一部分由数字期货。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用

Akiva, P。,Purri, M., Dana, K., Tellman, B., and Anderson, T. (2021). “H2o-net: Self-supervised flood segmentation via adversarial domain adaptation and label refinement,” in《IEEE / CVF冬季会议在计算机视觉的应用。