一种基于深度学习的结构缺陷检测方法与流程

1.本发明涉及一种基于深度学习的结构缺陷检测方法。


背景技术：

2.提高生产制造流程的自动化程度是制造业的技术变革大趋势，研发先进设备或技术替代繁重人力工作具有重大的实际应用价值。以汽车制造业为例，对冲压件的缺陷检测、车体表面喷漆检测等工序仍需要大量人力资源投入，成为生产流水线的效率瓶颈。一些国内外制造企业已经对多种自动化技术进行了大量研究，特别对于结构件的缺陷检测方向，更是智能技术的核心突破口，例如奔驰在西班牙的公司采用了基于计算机视觉、专家规则的方式实现了汽车喷漆效果的自动化检测。但是通过考察现有已经尝试产业化应用的一系列案例，发现新技术主要集中在对缺陷检测效果要求不高的领域，而对安全性能要求非常高的领域，例如汽车冲压件的缺陷检测等，还没有一种同时满足高精度和高鲁棒性要求的新技术。
3.涉及的一大技术难点来自于难以收集足够量的带缺陷样本，这限制了当前基于有监督深度学习的一系列人工智能技术。为在数据样本有限的条件下实现缺陷检测的高性能要求，存在两个值得研究的技术方向，一是尝试采用半监督、无监督等不需要大量正样本的深度学习算法，二是结合实际工况，对位于结构非边缘区域内的开裂等具有简单几何形状的缺陷类型，应用基于少量数据样本的有监督学习检测技术。


技术实现要素：

4.针对现有技术中存在的缺陷，本发明的目的在于提供一种基于深度学习的结构缺陷检测方法，在只有少量标注正样本数据的条件下，实现结构件主要缺陷类型(例如开裂)的检测，以解决结构件开裂等主要缺陷类型的检测难题。
5.为达到以上目的，本发明采取的技术方案是：
6.一种基于深度学习的结构缺陷检测方法，包括以下步骤：
7.1)建立模型并采用无缺陷图片样本数据集进行训练，得到正常流模型；
8.2)建立模型并采用带缺陷图片样本数据集进行训练，得到目标检测模型；
9.3)将同一张待检测图片输入到正常流模型检测结构边缘缺陷，同时输入到目标检测模型检测结构内部缺陷，最后将正常流模型和目标检测模型的检测结果进行汇总输出。
10.正常流模型的训练过程如下：将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到正常流模型。
11.具体的，正常流模型提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测图片存在缺陷时，该待检测图片在正常流空间上的位置与正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。
12.无缺陷图片样本数据集建立方式为：在实际工况下，收集不带缺陷的负样本，采集
足够数量的无缺陷图片作为正常流模型的无缺陷图片样本数据集。
13.无缺陷图片的数量大于1000张。
14.目标检测模型的训练过程如下：将带缺陷图片样本输入到目标检测网络，经过足够数量的迭代优化，得到目标检测模型；带缺陷图片样本需要标注缺陷位置和类别。
15.具体的，目标检测算法的网络结构划分为特征提取网络和回归网络，特征提取网络抽取图片的高阶特征，回归网络在特征空间上对标注位置和类别进行回归分析。
16.带缺陷图片样本数据集建立方式如下：在实际工况下，收集带缺陷图片样本并标注缺陷位置和类别，作为目标检测模型的带缺陷图片样本数据集；带缺陷图片样本数据集必须包含一定量的非边缘区域缺陷图片样本。
17.非边缘区域缺陷图片样本的数量不少于50。
18.本发明的有益效果：
19.针对带缺陷正样本难以收集的难题，本发明提出了无监督学习和小样本有监督学习相结合的方式，有效实现结构主要缺陷的准确检测，对于安全性要求很高的某些结构缺陷检测领域，本发明填补了技术空白，具有实际推广和应用价值。
20.正常流模型因其特点被用来检测结构边缘缺陷，目标检测模型被用来检测结构内部主要缺陷，两种模型的结合，能够实现结构所有区域的精准检测。
21.有别于当前人工目视或专家设计规则的检测方式，本发明基于前沿深度学习算法，在检测准确性和鲁棒性方面具有明显优势，且可以实现完全自动化。
附图说明
22.本发明有如下附图：
23.图1本发明的总体检测过程示意图。
24.图2正常流模型训练过程示意图。
25.图3无缺陷负样本示例，具体为4张无缺陷汽车冲压件图片示例。
26.图4目标检测模型训练过程示意图。
27.图5带缺陷正样本示例，具体为4张带有内部开裂缺陷的汽车冲压件图片示例。
28.图6待检测图片示例一。
29.图7正常流检测结果示意图。
30.图8待检测图片示例二。
31.图9目标检测算法检测结果示意图。
具体实施方式
32.以下结合附图对本发明作进一步详细说明。
33.采取两种方法对结构件的缺陷进行联合检测。一是采用基于正常流(normalizingflow)模型的无监督深度学习方法，训练此类算法模型不需要带缺陷正样本，只需要无缺陷的负样本，该方法对结构件边缘缺陷比较敏感。二是采用yolo(you only look once)等深度学习目标检测算法，在一般情形下训练此类算法模型需要大量的正样本，但因为有少数类型的结构缺陷几何形状变化不大，只需要少量的正样本即可训练得到较优的缺陷检测模型，结构件非边缘区域的开裂即为此类缺陷之一，且正好属于影响结构
件安全性能的主要缺陷类型。结合正常流和深度学习目标检测方法，两者优势互补，在不需要大量带缺陷标注数据的条件下，能够同时实现结构件边缘和内部缺陷的检测，适合在实际工况推广应用。
34.检测过程：
35.本发明的检测原理如图1所示，将同一张待检测图片分别输入到正常流模型和目标检测模型，得到两个模型对应的缺陷位置和类别等检测结果，最后将两个模型的检测结果进行汇总输出。
36.正常流模型训练过程：
37.正常流模型采用的是无监督学习，不需要带缺陷的正样本，仅需要不带缺陷的负样本，这是本算法的一大优点。如图2所示，将大量无缺陷图片样本输入正常流网络，经过足够数量的迭代训练，得到可以实际使用的正常流模型。
38.算法介绍：
39.正常流算法的核心思想是提取每张无缺陷图片的特征，并投射到正常流空间，通过在无缺陷图片样本数据集上的迭代训练，使得对应的正常流空间趋于正态分布，当待检测的图片存在缺陷时，该待检测图片在正常流空间上的位置与前述正态分布的正常流空间存在明显差异，只要该差异大于一个合理设置的阈值，就认为检测到缺陷。以 differnet为代表的正常流模型，只需要无缺陷的正常样本，即可训练得到用于结构缺陷检测的正常流模型，这类模型对几何变形较大的结构件边缘缺陷比较敏感，而对结构件非边缘区域的封闭型缺陷(裂纹等)检测效果欠佳。
40.无缺陷图片样本数据集建立方式：
41.在实际工况下，很容易收集不带缺陷的负样本，采集如图3示例的足够数量(一般需要大于1000张)的无缺陷图片作为正常流模型的无缺陷图片样本数据集。
42.目标检测模型训练过程：
43.yolo等目标检测模型采用有监督学习方式进行训练，需要标注样本图片中的缺陷位置和类别，考虑到结构件非边缘区域缺陷的几何特征较为一致，例如裂纹大都是一条平直的缝隙，可以大幅减小训练样本的采集数量。如图4所示，将带缺陷图片样本输入到目标检测网络，经过足够数量的迭代优化，得到性能较优的目标检测模型。
44.算法介绍：
45.以yolo系列为代表的目标检测模型，其网络结构大致可以划分为特征提取和回归两部分，特征提取网络抽取图片的高阶特征，回归网络在特征空间上对标注位置和类别进行回归分析。
46.带缺陷图片样本数据集建立方式：
47.在实际工况下，出现带缺陷正样本的概率很小，如图5示例，尽量收集带缺陷图片样本(非边缘区域缺陷图片样本数量一般不少于 50)并标注缺陷位置和类别，作为目标检测模型的带缺陷图片样本数据集。
48.检测结果示例：
49.在训练得到正常流模型和目标检测模型之后，将其应用于实际图片的缺陷检测。
50.输入如图6所示的待检测图片，分别经过两个模型的检测，正常流模型对结构件边缘缺陷敏感，检测结果如图7所示，在结构件边缘区域，出现多处高亮，即为缺陷位置。目标
检测模型对内部缺陷敏感，因被检结构件中不存在此类缺陷，所以没有检测结果。综合两个模型的检测结果，最后输出由正常流模型检测到的边缘缺陷位置。
51.又输入如图8所示的带内部裂纹的待检测图片，分别输入到两个模型进行检测。因裂纹特征不够明显，正常流模型检测不到明显的异常区域。目标检测模型能够精确检测训练集中出现过的缺陷类型，所以能够检测到裂纹位置。将两个模型的检测结果汇总输出，最后得到如图9所示的缺陷位置检测结果。
52.以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的实质和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范围。
53.本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。