一种基于小样本的土石坝缺陷图像识别方法与流程

本发明专利属于图像识别，具体涉及一种基于小样本的土石坝缺陷图像识别方法。

背景技术：

1、水库大坝是国民经济的重要基础设施，是调控水资源时空分布和优化水资源配置重要的工程措施，是国家防洪抗旱减灾体系和江河防洪工程体系的重要组成部分。水库大坝安全不仅关系到防洪安全、供水安全、粮食安全，也关系到经济安全、生态安全和国家安全。我国现有的九万多座水库，其中90％以上为土石坝，它们大多数建于上世纪50～70年代。受当时经济、技术等条件限制，这些水库大坝普遍存在防洪标准低、工程质量差等问题，加上多年来运行管理投入不足，工程老化失修，病险水库大量存在，安全隐患突出。

2、为了监控土石坝安全，通过布设监测设施，进行日常观测，可以反映大坝安全性态，但监测设施仅能监测到点，不能全面覆盖水库大坝，存在漏检和盲区；而巡视检查可以全面地、直观地对大坝安全性态进行快速诊断，对于没有监测设施或监测设施损坏的大部分中小型水库，水库大坝巡视检查对保障水库大坝安全运行尤为重要。随着水管体制改革，水库管理人员精简，许多水库将巡视检查工作委托给物业公司，巡检人员为非专业人员，只能做到按规定路径巡视，用巡检手机拍照即可。大部分水库在大坝上安装了摄像机，可以定期对大坝、库面及其他重要区域拍照。但是要从这些图像中发现土石坝缺陷，需要大量的经验丰富的坝工技术人员逐一查看，工作量大，时效性差。因此如果能通过对大坝缺陷图像自动识别，就能解决这种依靠需要大量的经验丰富的坝工技术人员逐一查看，工作量大，时效性差的问题。

3、目前，已有大坝缺陷图像自动识别相关研究，主要是从图像中提取各种特征(如gabor、lbp)，采用卷积神经网络识别大坝缺陷，但这些识别方法由于需要大量样本(一般需要上千甚至上万个样本)，收集难度大，且往往仅能针对混凝土坝裂缝等缺陷进行识别，适用范围窄，实用性差。因此，还是无法解决土石坝的缺陷图像识别问题。

技术实现思路

1、本发明的目的在于：针对现有的大坝缺陷图像自动识别方法，需要大量样本、仅适用混凝土坝裂缝等缺陷而无法适用土石坝缺陷图像识别的问题，提供一种基于小样本的土石坝缺陷图像识别方法。

2、技术内容：一种基于小样本的土石坝缺陷图像识别方法，包括如下步骤：

3、步骤一、从图像角度对土石坝缺陷进行分类，获得缺陷类型；

4、步骤二、选取预训练模型，根据步骤一中得到的缺陷类型，建立缺陷识别模型；

5、步骤三、选取土石坝缺陷图像样本并进行样本处理，使其能够适用所述缺陷识别模型的训练和评估；

6、步骤四、采用步骤三中处理后的样本对步骤二中建立的缺陷识别模型进行训练和评估；

7、步骤五、将步骤四得到的缺陷识别模型融入巡检app软件和视频监控软件中进行土石坝缺陷图像识别。

8、进一步的，所述步骤一中，对土石坝缺陷进行分类的具体方法为：依据《土石坝安全监测技术规范》进行土石坝缺陷类型分析，并从图像角度出发，考虑缺陷类内相似度，对视觉能够识别出差异的同一缺陷类型内的缺陷进行再分类；考虑缺陷类间差异性，对视觉识别不出差异的不同缺陷类型进行合并。

9、进一步的，所述步骤二中，采用tensorflow框架，选择faster r-cnn inceptionresnet预训练模型；所述faster r-cnn inception resnet预训练模型的目标检测方法为faster r-cnn，特征提取网络为resnet，并采用inception模块，训练数据集为coco。

10、进一步的，所述步骤二中，所述缺陷识别模型包括一个含有所有缺陷类型的全缺陷模型和若干仅含有某一缺陷类型的单缺陷模型。

11、进一步的，步骤三中，所述样本处理过程包括样本标注、样本检查和样本文件转换：

12、①所述样本标注是指根据图像样本上缺陷生成缺陷标签信息，并将缺陷标签信息存储至标注文件；

13、②所述样本检查是指检查图像上的缺陷标签信息是否存在漏标、错标，对于存在问题的样本文件，删除或者重新标注；

14、③所述样本文件转换是指将经过样本标注和样本检查的图像文件和标注文件转换为tfrecord文件；在进行样本文件转换之前，将经过样本标注和样本检查的样本整体作为训练样本，随机选出部分样本作为评估样本。

15、进一步的，样本标注方法，是根据labelimg功能和标注文件格式开发出的基于b/s架构的样本标注方法；所述样本标注方法，包括如下步骤：

16、①、图像用于全缺陷模型时，标注图像中所有缺陷；用于单缺陷模型时，仅标注该模型能识别的缺陷。

17、②、在前端绘制图像：将图像的缺陷用矩形框标出，获取矩形框的左上角坐标和右下角坐标，选择缺陷类型，生成标签信息；

18、③、将标签信息以json格式传输至后端，后端以labelimg标注文件格式将图像的所有标签信息保存至相应的.xml标注文件。

19、进一步的，所述步骤四中，缺陷识别模型训练时，应用迁移学习技术，保留预训练模型中特征提取器不变，仅重新训练其分类器；全缺陷模型训练采用所有样本，单缺陷模型训练仅采用相应缺陷的样本。

20、进一步的，所述步骤四中：

21、1)缺陷识别模型训练，具体训练过程为：

22、采用keras.model类load_model方法加载缺陷识别模型，从模型配置文件中读取模型训练参数；采用compile方法配置模型；应用训练样本和评估样本的tfrecord文件，采用fit方法对缺陷识别模型进行训练，得到模型的检查点文件；采用save方法保存模型文件；模型训练过程中，采用tensorboard的事件累加器从模型训练记录文件中读取计算过程数据，显示相关参数和图形；

23、2)缺陷识别模型评估，具体为训练过程为：

24、采用keras.model类evaluate方法对已训练的缺陷识别模型进行评估，采用tensorboard的事件累加器从模型评估记录文件中读取数据，显示模型性能参数和图形。

25、进一步的，所述步骤五中，巡检图像或视频监控图像在经过缺陷识别模型识别后，采用缺陷综合识别方法确定缺陷类型；

26、所述缺陷综合识别方法，包括如下流程：

27、步骤1)、按缺陷识别模型顺序及缺陷识别模型识别出的缺陷顺序，逐个选择缺陷，作为当前缺陷；

28、步骤2)、找出后续缺陷识别模型中所有与当前缺陷类型相同、位置相同的缺陷，存储这些缺陷的置信度和缺陷识别模型中该类缺陷ap，从其所属缺陷识别模型中删除该缺陷，避免处理该缺陷识别模型的缺陷时，再次选择该缺陷；

29、步骤3)、根据步骤2)存储的各缺陷识别模型识别出该缺陷时给出的置信度和各缺陷识别模型中该类缺陷ap，更新当前缺陷的置信度；

30、步骤4)、当前缺陷的置信度大于80％时，确定巡检图像或视频监控图像中存在该缺陷；否则该缺陷不存在。

31、进一步的，所述步骤2)中，缺陷的位置是否相同采用位置重合度判别，重合度计算如公式(1)所示，当重合度大于0.95，则缺陷j和缺陷l为同一个缺陷：

32、

33、其中xj1和xj2为缺陷j位置左右坐标，yj1和yj2为缺陷j位置上下坐标，xl1和xl2为缺陷l位置左右坐标，yl1和yl2为缺陷l位置上下坐标，w和h为从巡检图像或视频监控图像中截取的图像的宽度和高度；

34、所述步骤3)中，置信度的计算公式如公式(2)所示，置信度阈值设为80％，当缺陷的置信度的置信度大于80％时，确定图像中存在该缺陷；

35、

36、其中，n为识别出该缺陷的模型总数，置信度p为缺陷识别模型p识别出该缺陷的置信度。

37、与现有技术相比，本发明的有益效果在于：

38、本发明从图像角度对土石坝缺陷进行分类，仅需收集少量、典型的缺陷图像对构建的缺陷识别模型的分类器进行重新训练，就可得到识别准确率高、适用范围广的缺陷识别模型；将缺陷识别模型融入手机上的巡检app软件和硬盘录像机上视频监控软件，从巡检图像和监控图像中识别土石坝缺陷，可以尽早发现大坝险情，及时提醒水库巡查人员和水库管理人员，为水库大坝安全运行提供技术支撑。