端到端semi-supervised深度学习模型表面裂纹检测的基础设施gydF4y2Ba

1介绍gydF4y2Ba

表面裂缝的存在对安全产生重大影响和耐力的基础设施,如道路和桥梁gydF4y2BaBiondini Frangopol。(2016)gydF4y2BaRafiei和埃德里(2017)gydF4y2Ba。裂缝是不可避免的现象说明基础设施性能的退化。这是常见的基础设施接近他们的寿命。随着人口老龄化和劳动力成本上升,不断检查结构的能力和自动降低劳动力已经成为一个关键的研究路径gydF4y2BaMaeda et al。(2018)gydF4y2Ba和gydF4y2Ba刘et al。(2019 b)gydF4y2Ba。人工目视检查是一个著名的技术检查和评估的健康民用基础设施。这种解决方案是效率低,高度依赖专家和耗时gydF4y2Ba阮et al。(2021)gydF4y2Ba。损伤诊断的准确性在很大程度上是依赖于人员的技术水平和经验。结果,自动裂纹检测是至关重要的实现所需的客观性和效率损失评估gydF4y2BaAdhikari et al。(2014)gydF4y2Ba。gydF4y2Ba

提出了众多的自动或半自动系统,利用先进的传感器进行评估,如线扫描相机gydF4y2Ba加维兰et al。(2011)gydF4y2Ba、感应器gydF4y2BaRadopoulou和Brilakis (2017)gydF4y2BaRGB-D传感器gydF4y2Ba曾荫权和罗(2006)gydF4y2Ba、黑盒相机gydF4y2Ba金姆和Ryu (2014)gydF4y2Ba,三维激光扫描仪gydF4y2BaBursanescu et al。(2001)gydF4y2Ba和gydF4y2BaZhang et al。(2018 b)gydF4y2Ba。这些传感器的设备,以及相关的系统通常是昂贵的。例如,在2012年和2013年之间,俄亥俄交通部(ODOT)提供5选择路面检查112万美元的成本,包括收集系统、网络服务器、工作站、和培训。在一般情况下,路面的平均成本检查和监测在荷兰预计为48.75美元/公里gydF4y2BaSeraj et al。(2017)gydF4y2Ba。类似在英国,平均成本报告从55.77 - 27.89 /公里美元/公里的先前的研究gydF4y2BaRadopoulou和Brilakis (2017)gydF4y2Ba,gydF4y2BaHadjidemetriou和Christodoulou (2019)gydF4y2Ba。由于高成本道路检查,车辆配备传感器相关机构和政府部门不能花高价来检查整个道路尽可能多gydF4y2Ba吸引和杨(2016)gydF4y2Ba。gydF4y2Ba

计算能力的进步,人工智能的出现,图像处理和计算机应用的方法变得越来越有效的分析和检测表面裂纹的基础设施gydF4y2Ba曹et al。(2020)gydF4y2Ba。许多自动或半自动的计算机辅助裂纹检测方法已经提出,包括阈值分割gydF4y2Ba朱镕基et al。(2007)gydF4y2Ba和gydF4y2Ba李et al。(2022)gydF4y2Ba,直方图变换gydF4y2Ba会长Patricio et al。(2005)gydF4y2Ba、区域增长gydF4y2Ba周et al。(2016)gydF4y2Ba和gydF4y2Ba李et al。(2011)gydF4y2Ba,边缘检测gydF4y2BaAyenu-Prah和Attoh-Okine (2008)gydF4y2Ba。虽然这些算法奠定了坚实的基础和自动化的裂纹检测的启发,他们需要广泛的手动功能的工程,而检测结果容易受噪声影响,因为裂纹图像的复杂性。这些限制是讨论最新的。gydF4y2Ba

最近,深度学习(DL)的计算机视觉方法取得了最先进的性能在各种计算机应用任务gydF4y2BaKrizhevsky et al。(2012)gydF4y2Ba,gydF4y2Ba任正非et al。(2015)gydF4y2Ba,gydF4y2Ba长et al。(2015)gydF4y2Ba,gydF4y2Ba彭et al。(2020)gydF4y2Ba,gydF4y2Ba汉et al。(2021 b)gydF4y2Ba。各种方法基于卷积神经网络(CNN)已经应用于识别结构的裂纹检测,包括图像分类gydF4y2BaGopalakrishnan et al。(2017)gydF4y2Ba和gydF4y2Ba穆罕默德et al。(2021)gydF4y2Ba,对象检测gydF4y2Ba程和王(2018)gydF4y2Ba和gydF4y2Ba徐et al。(2019)gydF4y2Ba和语义分割gydF4y2Ba通et al . (2019)gydF4y2Ba,gydF4y2Ba周et al。(2019)gydF4y2Ba,gydF4y2BaAl-Huda et al。(2021)gydF4y2Ba。一般来说,这些前DL-based方法可以分为三大类型,即。,thebinary classifier that distinguishes between crack and non-crack images for the input imagesNhat-Duc et al。(2018)gydF4y2Ba、锚箱用来强调裂缝图像的对象探测器gydF4y2BaHuyan et al。(2019)gydF4y2Ba进行像素级的语义分割,能够从背景裂纹的特定部分像素像素在图像gydF4y2BaHuyan et al。(2020)gydF4y2Ba。在这些方法中,进行像素级裂缝分割描述裂缝的几何特征,因此,应该被视为一个更有效的解决方案在工程实践中,在裂缝的几何特性要求确定类型、长度、宽度、裂纹和严重程度gydF4y2Ba董et al . (2020)gydF4y2Ba。gydF4y2Ba

然而,比较二元分类器和锚箱方法,进行像素级的语义分割的cnn,经常遭受损失的信息和不平衡的裂缝和缝隙像素数量的早期版本。将采样方法(例如,max-pooling)丢失信息的特征映射和阻碍追求精确。gydF4y2BaZhang et al。(2017)gydF4y2Ba开发了一种分段的方法在像素级别裂缝基于CNN称为CrackNet。CrackNet不包含池层,各层功能地图大小不变,以防止信息丢失。他们也逐步加强,CrackNet二世和CrackNet V的改进版本gydF4y2BaZhang et al。(2018)gydF4y2Ba和gydF4y2Ba范et al。(2018)gydF4y2Ba被释放,更准确和更快。gydF4y2Ba程et al。(2018)gydF4y2Ba和gydF4y2Ba詹金斯et al。(2018)gydF4y2Ba证明了高精度细分使用U-Net像素级的裂缝。跳过编码器和译码器之间的连接可以恢复的信息损失U-Net upsampling进行像素级图像分割的方法gydF4y2BaRonneberger et al。(2015)gydF4y2Ba,gydF4y2Ba唐et al。(2021)gydF4y2Ba,gydF4y2BaKarimpouli和卡德罗夫(2022)gydF4y2Ba提出了Double-Unet克服无法重建人力资源功能的解码器U-net的一部分。结果表明,SRDUN执行比传统网络更现实。gydF4y2Ba刘et al。(2020)gydF4y2Ba提出了道路裂缝检测和分割方法,和YOLOv3模型被用来确定和输入图像的裂纹位置,当时作为输入U-Net分割。gydF4y2Ba朱镕基et al。(2022)gydF4y2Ba使用了一种无人机(UAV)收集路面图像,然后使用深度学习检测六种痛苦,包括四种裂缝类型(例如,疲劳裂纹)。gydF4y2Ba汉et al。(2021)gydF4y2Ba提出了抽样块和一个叫CrackW-Net的卷积神经网络实现,从而开发一个小说进行像素级的语义分割网络路面裂缝分割。gydF4y2Ba

从上述研究可以看出,语义分割方法已经广泛应用于裂纹检测和可以作为裂纹形态特性测量的基础。然而,大多数当前的裂纹检测语义分割方法是完全基于监督学习gydF4y2Ba刘et al。(2019 b)gydF4y2Ba和gydF4y2Ba徐et al。(2019)gydF4y2Ba,这需要监督模型的训练过程使用标记图像的数据量。在这些标记图像数据,基础设施表面的裂纹通常手工刻画和non-crack区分开。这些手工标记图像数据的质量显著影响模型的检测精度。从这个意义上讲,应用DL-based语义分割裂纹检测方法是有限的,由于标签工作是费时的。例如,pixel-wise标签花费大约15倍的时间比边界锚箱标签完整,甚至超过60倍映像级别分类gydF4y2Ba董et al . (2020)gydF4y2Ba。为此,不同种类的弱注释中使用多种方法,如边界框gydF4y2Ba戴秉国et al。(2015)gydF4y2Ba,潦草gydF4y2Ba林et al。(2016)gydF4y2Ba在pixel-wise注释。尽管没有困难,因为不需要大规模的数据集,但裂缝可以拥有复杂的拓扑结构和可以跨整个图像。因此,潦草或边界框注释是一个无效的裂纹检测技术gydF4y2BaAl-Huda和李(2022)gydF4y2Ba。与image-wise标签,注释可以显著减少时间和工作负载,允许这个任务更有效地应用于路面裂缝分割任务。gydF4y2Ba

克服数据不足的问题,semi-supervised学习法是一种替代解决方案,充分利用未标记数据,减少标签工作负载,同时保持精度。目前的一些研究,gydF4y2Ba李et al。(2020)gydF4y2Ba和gydF4y2Ba垫片et al。(2020)gydF4y2Ba已经开始使用这种方法,提出了一个敌对的上优于semi-supervised裂缝分割方法。分割的模型由网络和网络歧视。给定一个输入裂纹图像,分割网络生成一个预测地图,地图和鉴别器网络分离预测从地面真理标签地图。gydF4y2Ba小王和苏(2021)gydF4y2Ba提出了半监督语义分割网络裂缝检测。该方法由学生模型和教师模型。两个模型使用EfficientUNet提取多尺度裂纹特征信息,从而减少图像信息的损失。然而,大多数以前的基于semi-supervised学习研究裂缝分割主要用敌对的学习或类似的网络,因此,很难达到良好的培训效果,除非训练过程确保两个敌对的网络同步和之间的平衡gydF4y2Ba王et al。(2017)gydF4y2Ba和gydF4y2Ba格拉汉姆·古德费勒et al。(2016)gydF4y2Ba。gydF4y2Ba

为了解决这些问题,在本文中,我们提出一种新颖的semi-supervised裂纹图像分割的方法。修改后的U-Net应用于该方法。然后,最小化的要求标注的图像数据,一种新颖的数据集更新策略更新提出了给定的训练数据集。修改后的U-Net-based卷积神经网络是用来避免与手动提取特性相关的困难。然而,开源无标号GitHub桥梁裂缝图像的数据集gydF4y2Ba李et al。(2019)gydF4y2Ba使用。这个数据集的图像被独立标记。评价该方法的性能,贴上桥裂纹数据集,和另外两个开源的数据集,即。DeepCrack Crack500,用于训练和测试方法。该方法相比完全监督方法在两个公共数据集进行实验。以下是主要贡献:gydF4y2Ba

•小说semi-supervised上优于语义为裂纹图像分割框架,大大减少了工作量与数据相关的注释,提出。gydF4y2Ba

•改善U-Net-based卷积神经网络是用来避免与手动提取特性相关的困难。gydF4y2Ba

•新桥梁裂缝图像数据集仔细标记和基于标记用于训练和测试模型GitHub桥裂纹开源数据集gydF4y2Ba李et al。(2019)gydF4y2Ba。本手册标记数据集可以和公众发布。gydF4y2Ba

•该方法相比完全监督方法在两个公共数据集进行实验。结果表明,该方法达到类似的结果完全监督的方法同时减少人类标签的工作。gydF4y2Ba

其余本文组织如下。第二部分介绍了研究方法;第三节介绍了数据集和评价指标;第四节介绍了实验结果;第五节提出讨论和比较研究来验证分割性能;最后,提出了研究的结论在第六节。gydF4y2Ba

2方法gydF4y2Ba

2.1该方法的概述gydF4y2Ba

完全监督的深度学习方法取决于质量和数量的标记裂纹图像数据集,这是一般手动标记,耗时和昂贵的。这种方法的主要目的是使用有限数量的标记裂纹图像达到令人满意的结果。为此,一种新的裂纹图像分割方法基于semi-supervised学习提出了解决这一问题。gydF4y2Ba

本节详细介绍我们semi-supervised裂缝分割框架使用映像级别标签作为半监督注释。它旨在桥之间的差距完全和弱监督语义分割方法对路面裂缝分割,同时减少人类标签的努力。拟议的框架有四个主要步骤:1)与有限的自适应直方图均衡化(CLAHE)gydF4y2Ba雷扎(2004)gydF4y2Ba是适应减轻对输入图像不均匀照明的不利影响gydF4y2Ba通过gydF4y2Ba对比有限的适应;2)监督模型训练带安全标签的数据图像;3)初步进行像素级注释使用训练得到的模型(监督)预测和段无标号数据图像;3)semi-supervised模型训练带安全标签的数据时,高信任度的预测;4)更新训练数据集通过结合标记数据和高自信训练semi-supervised预测模型。5)步骤3、4是重复,直到所有图像所需的数据集训练模型,和6)使用的最终模型来预测标签测试集和评估。gydF4y2Ba

所示gydF4y2Ba图1gydF4y2Ba由CLAHE输入图像增强,作为预处理步骤。然后,训练修改U-Net深层神经网络在少量的标记裂纹数据然后预测和段无标号数据图像。接下来,以前使用的数据集更新,结合训练semi-supervised高度自信的预测模型。提议的方法的细节更详细地讨论在接下来的2.3节。gydF4y2Ba

2.2修改U-Net模型gydF4y2Ba

为了实现一个自动裂缝图像分析系统,有必要首先段裂缝。复杂的工程特性和选择最合适的分类器实现令人满意的分割结果至关重要,这任务是耗时和劳动密集型。修改U-Net-based卷积神经网络用于避免手动提取困难的特性。gydF4y2Ba

U-NetgydF4y2BaRonneberger et al。(2015)gydF4y2Ba是一个完全卷积神经网络模型为解决生物医学图像语义分割的问题。收缩的模型由路径和扩张路径,和输入图像压缩成一个多通道特性映射通过特征提取路径。编码器使用max-pooling(进步= 2)和卷积与越来越多的过滤层,不断减少图像大小,其次是激活(ReLU)。卷积过滤器的层数减少在解码过程中,紧随其后的是渐进upsampling在随后的层。传统的收缩和扩张路径UNet网络几乎是对称的。然而,由于将采样方法(如最大池),特征映射的信息丢失,和追求精确的阻碍。此外,传统UNet网络包含许多参数影响网络速度。gydF4y2Ba

在本文中,为了解决上述问题,提出一种修改U-Net-based裂缝分割方法在这项研究中。gydF4y2Ba图2gydF4y2Ba显示了修改后的UNet网络。U-Net的基本方法已经在先前的研究中详细说明gydF4y2BaRonneberger et al。(2015)gydF4y2Ba和gydF4y2Ba唐et al。(2021)gydF4y2Ba。修改后的U-Net主要关注以下几个方面。gydF4y2Ba

减少网络参数的数量,提高网络训练的速度,修改后的U-Net网络参数的一半原始UNet网络,它能够准确、自动检测裂缝与高水平的空间精度。此外,同一填充添加修改UNet网络实现的大小输出特性映射类似于输入特性图的大小。gydF4y2Ba表1gydF4y2Ba显示网络体系结构性能的比较结果,DeepCrack数据集是用于实验,显然,修改U-Net具有最好的性能在所有指标,需要最少的培训时间。gydF4y2Ba

的gydF4y2Ba我gydF4y2Bath输入裂纹图像是由x (i)。标准二进制叉损失是用于火车U-Net损失函数。这个公式在情商。gydF4y2Ba1gydF4y2Ba。gydF4y2Ba

在哪里gydF4y2BaygydF4y2Ba_我gydF4y2Ba代表了真实和gydF4y2Ba ${\stackrel{̂gydF4y2Ba}{\mathrm{ygydF4y2Ba}}}_{\mathrm{\theta gydF4y2Ba}\mathrm{xgydF4y2Ba}\mathrm{我gydF4y2Ba}}$ 代表的预测标签gydF4y2Ba我gydF4y2Ba输入图像。的参数gydF4y2BaθgydF4y2BaU-Net模型的优化问题可以被估计为情商所示。gydF4y2Ba2gydF4y2Ba。gydF4y2Ba

这是解决优化问题使用自适应的时刻(亚当)估计算法gydF4y2BaKingma和Ba (2014)gydF4y2Ba。gydF4y2Ba

2.3数据更新方法gydF4y2Ba

拟议中的semi-supervised方法旨在获得满意的裂缝与数量有限的标记数据分割。在实践中,获得大量的未标记裂纹图像相对比较容易。数据更新策略用于利用这些图像,如图所示gydF4y2Ba图3gydF4y2Ba。数据更新策略的目标是自动标签标记图像,因此,增加标记图像数据的总量,这有助于估计网络参数。以下是详细描述的实现过程。gydF4y2Ba

假设训练数据集gydF4y2Ba $\mathrm{年代gydF4y2Ba}=gydF4y2Ba\{gydF4y2Ba{\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}},gydF4y2Ba{\mathrm{ygydF4y2Ba}}_{\mathrm{ngydF4y2Ba}},gydF4y2Ba{\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}{\mathrm{ngydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}\}gydF4y2Ba$ ,在那里gydF4y2BangydF4y2Ba=gydF4y2BangydF4y2Ba_我gydF4y2Ba:gydF4y2BaNgydF4y2Ba1:gydF4y2Ba米gydF4y2Ba和gydF4y2Ba年代gydF4y2Ba_1gydF4y2Ba∪gydF4y2Ba年代gydF4y2Ba_2gydF4y2Ba。子集gydF4y2Ba年代gydF4y2Ba_1gydF4y2Ba=gydF4y2BaxgydF4y2Ba_ngydF4y2Ba,gydF4y2BaygydF4y2Ba_ngydF4y2Ba;gydF4y2BangydF4y2Ba=gydF4y2BangydF4y2Ba_我gydF4y2Ba:gydF4y2BaNgydF4y2Ba代表了标签数据集,而子集gydF4y2Ba ${\mathrm{年代gydF4y2Ba}}_{\mathrm{2gydF4y2Ba}}=gydF4y2Ba{\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}{\mathrm{ngydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}};gydF4y2Ba\mathrm{米gydF4y2Ba}=gydF4y2Ba{\mathrm{米gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}:gydF4y2Ba\mathrm{米gydF4y2Ba}$ 代表无标号数据集。的gydF4y2BaxgydF4y2Ba_ngydF4y2Ba表示gydF4y2BangydF4y2Ba−gydF4y2BathgydF4y2Ba裂缝图像和gydF4y2BaygydF4y2Ba_ngydF4y2Ba代表了gydF4y2BangydF4y2Ba−gydF4y2BathgydF4y2Ba真实的标签。的gydF4y2Ba ${\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}{\mathrm{ngydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$ 代表了gydF4y2Ba米gydF4y2Ba−gydF4y2BathgydF4y2Ba裂缝图像没有地面实况。的输出U-Net模型是用符号gydF4y2Ba ${\stackrel{̂gydF4y2Ba}{\mathrm{ygydF4y2Ba}}}_{\mathrm{\theta gydF4y2Ba}}$ 和情商。gydF4y2Ba2gydF4y2Ba是用来估计参数gydF4y2BaθgydF4y2Ba。让gydF4y2Ba ${\mathrm{ygydF4y2Ba}}_{\mathrm{pgydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{egydF4y2Ba}{\mathrm{dgydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$ 表示预测的标签gydF4y2Ba ${\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}{\mathrm{ngydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$ 。之后,我们可以得到gydF4y2Ba ${\mathrm{ygydF4y2Ba}}_{\mathrm{pgydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{egydF4y2Ba}{\mathrm{dgydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$ 情商。gydF4y2Ba3gydF4y2Ba。gydF4y2Ba

训练数据集gydF4y2Ba年代gydF4y2Ba_ngydF4y2Ba可以更新如下:gydF4y2Ba

的参数gydF4y2BaθgydF4y2BaU-Net模型将重新计算更新后的数据集gydF4y2Ba年代gydF4y2Ba*作为输入,semi-supervised模型训练和验证期间,损失主要是用来评估预测和实际值之间的差异,骰子系数是选为监测标准指导hyper-parameter学习。提出semi-supervised学习的整个过程显示了裂纹图像分割的方法gydF4y2Ba算法1gydF4y2Ba。gydF4y2Ba

算法1。gydF4y2BaSemi-supervised裂纹图像分割的学习方法。gydF4y2Ba

输入:训练数据集gydF4y2Ba $\mathrm{年代gydF4y2Ba}=gydF4y2Ba\{gydF4y2Ba{\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}},gydF4y2Ba{\mathrm{ygydF4y2Ba}}_{\mathrm{ngydF4y2Ba}},gydF4y2Ba{\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}{\mathrm{ngydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}\}gydF4y2Ba$

输出:标签预测gydF4y2Ba ${\mathrm{ygydF4y2Ba}}_{\mathrm{pgydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{egydF4y2Ba}{\mathrm{dgydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$ 无标号数据gydF4y2Ba ${\mathrm{xgydF4y2Ba}}_{\mathrm{ngydF4y2Ba}\mathrm{ogydF4y2Ba}{\mathrm{ngydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$

步骤1:初始化gydF4y2Ba

•学习方法:学习速率、批量大小、时代gydF4y2Ba

•选择标记数据年代培训U-Net修改模型gydF4y2Ba

步骤2:gydF4y2Ba

•更新修改U-Net模型参数θ的解决gydF4y2Ba情商。gydF4y2Ba

•计算二叉叉标记数据的损失gydF4y2Ba

•计算带安全标签的数据时年代骰子损失系数gydF4y2Ba

步骤3:gydF4y2Ba

•预测pseudo-labelgydF4y2Ba ${\mathrm{ygydF4y2Ba}}_{\mathrm{pgydF4y2Ba}\mathrm{rgydF4y2Ba}\mathrm{egydF4y2Ba}{\mathrm{dgydF4y2Ba}}_{\mathrm{米gydF4y2Ba}}}$ 使用gydF4y2Ba情商。gydF4y2Ba

步骤4:gydF4y2Ba

•使用pseudo-label概率大于阈值gydF4y2Ba

——更新训练数据集gydF4y2Ba年代gydF4y2Ba*通过结合标记数据和pseudo-labels使用gydF4y2BaEq。4gydF4y2Ba

•培训修改U-Net模型更新的训练数据集gydF4y2Ba年代gydF4y2Ba*gydF4y2Ba

•计算二叉叉带安全标签的数据损失gydF4y2Ba年代gydF4y2Ba*gydF4y2Ba

•计算骰子系数带安全标签的数据损失gydF4y2Ba年代gydF4y2Ba*gydF4y2Ba

步骤5:gydF4y2Ba

•而停止条件没有得到满足,做gydF4y2Ba

——返回到步骤3gydF4y2Ba

•结束时gydF4y2Ba

步骤6:使用最后的模型来预测测试集和评估的标签gydF4y2Ba

3评价gydF4y2Ba

3.1数据集gydF4y2Ba

绩效评估是由执行实验使用两个公开的数据集,即。DeepCrack Crack500数据集,与嵌入地面实况标签。gydF4y2Ba

1)DeepCrack数据集gydF4y2Ba刘et al。(2019)gydF4y2Ba。有537张图片分辨率为544×384像素。地面实况图像在像素级别是可用的。这个数据集被用来评估该方法。gydF4y2Ba图4gydF4y2Ba显示了一些DeepCrack的图像数据集。gydF4y2Ba

2)Crack500数据集gydF4y2Ba杨et al。(2019)gydF4y2Ba。696年有3792个训练图像,验证图片,和2246个测试图像,固定大小为640×360像素和各种裂缝的类型。这个数据集提出了挑战,由于复杂的推理和阴影等因素不均匀照明条件。一些样品所示gydF4y2Ba图5gydF4y2Ba。gydF4y2Ba

保证该方法的鲁棒性,我们也扩大在DeepCrack和Crack500数据集的数据集。gydF4y2Ba李et al。(2019)gydF4y2Ba在2019年发布了一个桥裂纹图像数据。然而,这个数据集不包含地面实况标签,因此,不能直接用于培训。我们独立手工进行像素级的标签包含桥梁裂缝图像,生成一个新的裂纹扩展数据集语义分割。gydF4y2Ba

3)桥梁裂缝数据集与独立的手动标签。从现实的裂纹图像数据集向公众开放。这个数据集包括2068裂纹图像分辨率为1024×1042。这些图片是一个真正的桥上使用CMOS相机内置收Phantom4无人机。这个数据集进行像素级地面真理是仔细使用Labelme工具手动创建的训练和测试该模型。一些样品所示gydF4y2Ba图6gydF4y2Ba。本手册标记数据集可以和公众发布。gydF4y2Ba

3.2评价指标gydF4y2Ba

本研究使用了六个指标来评估全面监督和semi-supervised模型。地面真值之间的关系,预测结果为每个像素可以分为真阳性(TP),假阳性(FP),假阴性(FN),和真正的负面(TN)二进制进行像素级分类的任务。裂纹检测,TP表示像素的数量正确预测的裂缝地面真理也是一个裂缝;FP表示像素的数量不合逻辑地预测裂缝但non-cracks在地面真理;FN non-cracks表示像素的数量预测,但地面真理是一个裂缝,TN表示像素的数量预测作为地面真理non-cracks也是non-crack。评估模型的性能,许多指标描述提出了结果的准确性,包括精度、回忆,F1-score,借据。精密代表分数之间的相关实例检索的。回忆是所有相关的部分实例检索,f值,平衡精度和召回的影响,并提供一个更全面的评估分类器的性能和十字路口的联盟(借据)是预测的重叠区域分割和地面真理除以欧盟区域的预测分割和地面真理。方程gydF4y2Ba5gydF4y2Ba- - - - - -gydF4y2Ba8gydF4y2Ba提出了精度,还记得,F1-score,十字路口的联盟(借据)。精度、召回和f值指标没有考虑TN。相比之下,ROC曲线下的面积(AUC)指标考虑了TN和提供了一个更全面的评价方法的性能。此外,可以绘制ROC曲线阈值的异常分数,和ROC曲线下的面积(AUC)可以量化计算异常检测的性能。AUC相比,也用于评估性能的无监督异常检测方法。此外,像素精度是最基本指标指示正确预测像素的比例。gydF4y2Ba

4的结果gydF4y2Ba

4.1培训实施gydF4y2Ba

模型训练一个固定的学习速率为0.001 100时代。损失和优化功能二叉叉和亚当,分别。批处理大小的24被用来训练模型。当验证损失函数降低,保存模型的权重,以减少过度拟合。模型被训练使用Keras Tensorflow和Python库谷歌Colaboratory虚拟环境。在训练和验证,损失主要是用来评估预测和实际值之间的差异,骰子系数是选为监测标准指导hyper-parameter学习。gydF4y2Ba图7gydF4y2Ba显示了骰子损失曲线和曲线在验证。它指出,网络性能在不同的数据集,这并不奇怪因为不同的数据集有不同形状和大小的裂缝,表面复杂的背景和条件。DeepCrack图像、背景强度和裂纹强度与高对比度。因此,大多数可以准确地提取路面裂缝图像。虽然Crack500使裂缝分割挑战性由于其不同的宽度和形状。大多数裂缝图像的背景纹理是复杂的。同样的问题存在于桥梁裂缝数据集。也观察到的损失价值80% Crack500数据高于其他的数据集,因为该方法伪标签添加到以前的数据集更新和训练该模型(80%伪标签添加到80%标记数据)。伪标签越多,损失就越大,因为这些标签的准确性不足,由于各种各样的宽度和形状以及大多数裂缝图像的背景纹理Ckack500数据集是复杂的。gydF4y2Ba

4.2实验配置gydF4y2Ba

大桥上的提议semi-supervised方法训练数据集(我们的标签数据集)。20%,40%,60%,和80%的带安全标签的数据被用来训练和测试semi-supervised裂缝分割方法。训练时20%的带安全标签的数据时,semi-supervised模型自动生成标签无标号数据通过数据集更新策略的80%。训练时40%,60%,和80%的带安全标签的数据时,semi-supervised模型自动生成标签的两倍或三倍数量的培训带安全标签的数据。增加数据用于生成足够的训练数据,确保semi-supervised模型的泛化能力。的定量结果semi-supervised方法在桥上所示裂纹数据集gydF4y2Ba表2gydF4y2Ba。semi-supervised方法的结果更好的记得,F1-Score, AUC,借据只有60%的带安全标签的数据时使用。此外,模型自动生成标签标记两倍的数据标记数量。证明了semi-supervised方法取得了良好的分割结果。semi-supervised方法测试集的结果对桥梁裂缝分割所示gydF4y2Ba图8gydF4y2Ba。冲红虚线矩形表示FP错误。DeepCrack和Crack500数据集被用来训练和测试该模型以全面评价其性能。在之前的实验中,培训了20%,40%,60%,和80%的标记数据,分别。两个数据集的实验结果表明,基于semi-supervised学习裂缝分割是有效的。的定量结果semi-supervised方法所示gydF4y2Ba表3gydF4y2Ba,gydF4y2Ba4gydF4y2Ba。当DeepCrack只有60%的使用带安全标签的数据时,semi-supervised模型优于其他F1-Score而言,AUC,借据。此外,模型自动生成标签标记的标签数量两倍的数据。虽然优于别人的回忆,AUC,借据上训练时Crack500数据集带安全标签的数据时为80%。semi-supervised学习策略使用标记和标记数据来获得丰富的数据和优化细分模式的性能。gydF4y2Ba图9gydF4y2Ba,gydF4y2Ba10gydF4y2Basemi-supervised模型的分割结果显示样品的测试集DeepCrack Crack500数据集,分别。虽然semi-supervised方法取得了良好的裂缝分割结果,一些FN和FP错误不能完全避免。冲红色矩形显示FP错误。两个数据集的实验结果表明,基于semi-supervised学习裂缝分割是有效的。gydF4y2Ba

5讨论gydF4y2Ba

5.1比较充分监督学习gydF4y2Ba

拟议中的semi-supervised分割方法和充分监督分割方法相同的训练训练参数达到收敛。gydF4y2Ba

首先,全面监督方法和semi-supervised方法的性能比较在桥上裂纹数据集(我们的标签数据集)。20%,40%,60%,和80%的带安全标签的数据被用来训练和测试semi-supervised裂缝分割方法。之间的定量比较结果充分监督和semi-supervised方法所示gydF4y2Ba表2gydF4y2Ba。比较半和充分监督方法和训练的一座桥上裂纹数据集有20%带安全标签的数据时,该semi-supervised产生相同或改善性能指标的准确性,记得,F1得分,AUC,借据的结果。类似的趋势,提高精度,精度,还记得,F1-score, AUC,观察和借据上训练时桥裂纹数据集以40%,60%,和80%的带安全标签的数据。20%和80%的带安全标签的数据被用于训练,结果仍可接受相比完全监督的方法。虽然有0.08%的差异在精度和AUC差0.79%,显著降低数据标签的工作负载。gydF4y2Ba

此外,semi-supervised分割方法产生更好的结果比完全监督方法在大多数指标,证明该模型的有效性。gydF4y2Ba

其次,相比的性能充分监督方法和semi-supervised方法DeepCrack和Crack500数据集以全面评价其性能。在之前的实验中,培训了20%,40%,60%,和80%的标记数据,分别。所示的结果gydF4y2Ba表3gydF4y2Ba,gydF4y2Ba4gydF4y2Ba。很明显,该模型具有明显的优势。semi-supervised方法提供了更好的结果比在大多数指标完全监督的方法。如表所示,分割结果的全面监督和semi-supervised方法也提高带安全标签的数据数量的增加;这是符合事实,增加标记图像的数量在一个深层神经网络模型可以提高参数估计精度。gydF4y2Ba

semi-supervised方法优于完全监督裂缝分割的方法,因为与标记相关的工作量明显减少,同时保证数据准确性。两个数据集的实验结果表明,基于semi-supervised学习裂缝分割是有效的。gydF4y2Ba

5.2与Pix2Pix cGAN方法gydF4y2Ba

Pix2Pix方法gydF4y2Ba伊索拉et al。(2017)gydF4y2Ba和gydF4y2BaKyslytsyna et al。(2021)gydF4y2Ba是一个著名的image-to-image翻译策略。它是基于一个条件生成对抗网络,生成一个目标图像和条件输入图像。Pix2Pix发电机的模型使用一个基于U-Net架构gydF4y2BaRonneberger et al。(2015)gydF4y2Ba和模型的鉴别器使用一个卷积“PatchGAN”分类器,只有惩罚结构规模的图像补丁。为了验证该方法的有效性,结果与桥梁裂缝Pix2Pix方法相比,DeepCrack Crack500数据集。三个指标被认为是性能比较包括精度、召回和F1-Score。之间的定量比较结果Pix2Pix cGAN和semi-supervised方法所示gydF4y2Ba表5gydF4y2Ba- - - - - -gydF4y2Ba表7gydF4y2Ba。该方法优于Pix2Pix cGAN所有指标在40%的标签数据用于桥梁裂缝的数据集,但对于Pix2Pix cGAN用20%,40%,和60%的带安全标签的数据。该方法优于Pix2Pix cGAN所有指标在20%的带安全标签的数据时使用DeepCrack数据集,但对于Pix2Pix cGAN用20%,40%,和60%的带安全标签的数据。该方法优于Pix2Pix cGAN召回和F1-Score当40% Crack500带安全标签的数据时使用的数据集,但对于Pix2Pix cGAN法20%,使用带安全标签的数据时的40%和60%。gydF4y2Ba

5.3比较与现有完全监督方法gydF4y2Ba

为了验证该方法的有效性,结果与目前最先进的方法相比DeepCrack和Crack500数据集。四个指标被认为是性能比较包括准确度、精度、召回和F1-Score。gydF4y2Ba

5.3.1比较DeepCrack数据集gydF4y2Ba

表8gydF4y2Ba显示了比较DeepCrack裂缝分割性能结果的数据集。深深监督网络优于其他人的准确性,召回,F1-Score。semi-supervised方法时深深监督网络相比,该方法仍可接受的结果,尽管0.2%,0.4%,1.7%,和1%的差距精度,精度,回忆,和F1-Score分别。此外,方法显著降低负载相关的数据标签。此外,只有40%的标签数据时使用,该方法被优于HED其次,SegNet,远端控制设备,DeepCrackgydF4y2Ba刘et al。(2019)gydF4y2Ba,在所有Crackseg指标。gydF4y2Ba图11gydF4y2Ba显示了一个比较精确,回忆和F1-Score的充分监督和提出semi-supervised DeepCrack数据集的方法。gydF4y2Ba

5.3.2比较Crack500数据集gydF4y2Ba

所示gydF4y2Ba表9gydF4y2Ba,该方法优于竞争方法在精度方面,和深深监督网络优于其他人的准确性和F1-Score。同时,Crackseg比其他方法的回忆。只有20%的标签数据时使用,该方法优于HED, SegNet,远端控制设备在所有指标。此外,当使用80%的带安全标签的数据时,该方法优于HED, SegNet,远端控制设备,DeepCrackgydF4y2Ba刘et al。(2019)gydF4y2Ba,在所有DeepCrack指标。gydF4y2Ba图11 bgydF4y2Ba显示了一个比较精确,回忆和F1-Score的充分监督和提出semi-supervised Crack500数据集的方法。gydF4y2Ba

Deepcrack和Crack500数据集的实验结果表明,该方法是有效的。全面监督分割方法相比,semi-supervised方法显著降低负载相关的数据标签同时确保准确性。此外,最近的研究表明,semi-supervised裂纹检测方法是有效的gydF4y2Ba小王和苏(2021)gydF4y2Ba李et al。(2020)gydF4y2Ba和gydF4y2Ba垫片et al。(2020)gydF4y2Ba。gydF4y2Ba

5.4限制gydF4y2Ba

尽管semi-supervised方法优于完全监督方法,结果表明,该方法能够避免手动标签同时确保精度不足的问题,该方法有一些局限性值得讨论。一个主要的限制是使用的网络类型。网络类型是至关重要的实现图像分割的一个满意的结果。我们使用一个修改摘要U-Net深入学习网络;我们将与另一个网络实验使用相同的semi-supervised方法在未来。此外,没有进行量化研究几何特性,比如裂纹深度、宽度、长度和评估民用建筑的健康。gydF4y2Ba

6结论gydF4y2Ba

本文提出了一种新型semi-supervised裂缝分割基于深度学习的学习方法。该方法结合了神经网络和半监督学习策略来解决的问题标记了图片,这是昂贵的在财政和人力资源。semi-supervised学习方法结合标记和未标记数据获取和优化细分模式的性能。DeepCrack和Crack500数据集的实验结果表明,该方法是有效的。全面监督分割方法相比,semi-supervised方法显著降低负载相关的数据标签同时确保准确性。此外,结果表明,该semi-supervised学习方法取得了相当接近精度建立完全监督模型使用多个精度指标,然而,带安全标签的数据时的要求降低到40%。在未来的研究中,裂纹图像分割的结果将被用于计算几何的量化特性,比如裂纹深度、宽度、长度和评估民用建筑的健康。裂缝分割的研究也将应用于工程。gydF4y2Ba

数据可用性声明gydF4y2Ba

最初的贡献提出了研究中都包含在本文/辅料,可以针对相应的作者进一步询问。gydF4y2Ba

作者的贡献gydF4y2Ba

MM、YL和ZA-H设计算法。毫米,CL,写的手稿。ZA-H和WW收集数据并编辑了手稿。gydF4y2Ba

资金gydF4y2Ba

本研究在经济上支持中国国家重点研发项目(批准号2018 yfd1100401);中国的国家自然科学基金(批准号52078493);湖南的优秀青年学者自然科学基金(批准号2021 jj20057);湖南省自然科学基金(批准号2022 jj30700);创新湖南省省级项目(批准号2020 rc3002),和长沙的科技计划项目(没有。kq2206014)。这些金融支持是感激地承认。gydF4y2Ba

确认gydF4y2Ba

作者也感谢主编及两个评论家深刻的评论。gydF4y2Ba

的利益冲突gydF4y2Ba

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba

出版商的注意gydF4y2Ba

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba

引用gydF4y2Ba