一种基于深度学习的气门自动检测方法与流程

1.本发明涉及一种基于深度学习的气门自动检测方法，属于深度学习技术领域。


背景技术：

2.随着自动化技术的快速发展，在工业生产中很多需要人工操作的环节逐渐转由机器完成，工业生产的自动化也将越来越多的工人们从枯燥乏味的工作中解放出来。在气门的生产和加工过程中，气门的准确检测尤为重要，它能为机械手臂提供准确的位置信息和遮挡信息，是实现气门自动化生产的关键步骤。目前常用机器视觉的方法来实现气门的自动检测，根据特征提取方式的不同，可以将检测方法大致分为两类：1)基于传统算法的检测方法；2)基于深度学习的检测方法。
3.传统的检测算法通过图像预处理(直方图均衡化、滤波去噪、灰度二值化等)得到便于检测的图像，随后借助统计机器学习方法(sobel,hog,sift,harris等)来提取图像特征，进而实现目标的检测。尽管传统的检测算法已经在某些特定的应用中已经取得了较好的效果，但仍然存在许多不足。例如：传统算法对图像的质量要求高，图像预处理步骤繁多且具有强烈的针对性，鲁棒性差；多种算法计算量惊人且无法精确的检测出目标的位置信息和遮挡信息；模型泛化性差，应用的场景比较单一。
4.近年来深度学习技术快速发展已经在人脸识别、目标检测、目标追踪等多个应用领域取得了突破性的进展。深度学习的方法利用卷积网络自动地进行图像特征提取，提取过程比较简单，主要有两个步骤：1)卷积网络的搭建；2)网络模型的训练。对于网络的构建，在工业项目中，特征提取网络可以采用一些经典的结构例如fcn系列、resnet系列、darknet系列、deeplab系列、mobile系列等。目前这些经典的网络结构都有相对应的预训练模型，便于后期的模型优化。同时在工业应用中深度学习的训练也比较简单，可以采用一些现有的训练体系只需要对一些常用的参数例如：batchsize、学习速率、迭代次数进行微调即可，不用涉及具体的特征组合等复杂操作。深度学习的优点是特征提取能力强、模型的泛化好、效果好，但是深度学习对训练样本需求大、模型训练过程比较费时，部署过程中与传统算法相比硬件要求高。
5.由于工厂的环境多变，光线条件较差，利用传统方法进行气门芯自动检测很难达到工厂的精度要求。尽管深度学习在很多工业应用上取得了巨大成功，但将深度学习的方法应用到气门芯检测任务中还存在以下问题：1)检测样本单一，因此在图像采集和标注过程中存在困难；2)工厂操作环境多变，增加了检测难度；3)如图1在实际应用中气门芯摆放密集，存在严重的堆叠现象，很难准确地识别出目标；4)工业应用中对准确率和召回率要求都比较高，漏检、错检对生产过程影响较大，一些常用的检测模型和训练方法难以胜任工业要求。5)工业中对检测速度要求较高，很多深度学习模型难以直接应用的气门芯检测任务中。


技术实现要素：

6.本发明的目的在于，提供一种基于深度学习的气门自动检测方法，为了提高所采集样本的有效性，在采集的过程中对样本进行干扰处理，能提高样本采集的有效性。
7.为解决上述技术问题，本发明采用如下的技术方案：
8.一种基于深度学习的气门自动检测方法，包括下述步骤：s100：采集样本；s200：对采集的样本进行标注；s300：对标注后的样本进行预处理；s400：对预处理后的样本进行干扰性处理，从而获得训练样本；s500：搭建卷积网络和训练模型，对训练样本进行训练；s600：对预测结果进行处理，去除可信度小的检测结果。
9.前述的一种基于深度学习的气门自动检测方法中，步骤s400中所述对预处理后的图像进行干扰性处理具体包括下述方法：对样本进行遮挡和/或在样本周围放置干扰物。
10.前述的一种基于深度学习的气门自动检测方法中，步骤s400中所述对预处理后的图像进行干扰性处理具体包括下述方法：利用和目标相似的物体对样本进行干扰。
11.前述的一种基于深度学习的气门自动检测方法中，步骤s200中所述对采集的样本进行标注具体包括下述方法：只标注那些完全未被遮挡的器件，被遮挡的物体则当作背景进行处理。
12.前述的一种基于深度学习的气门自动检测方法中，步骤s300中所述对标注后的样本进行预处理具体包括下述方法：通过旋转、光照强度调节的方法来提高样本采集的有效性。
13.前述的一种基于深度学习的气门自动检测方法中，所述步骤s500具体包括下述方法：利用pytorch深度学习库进行网络的搭建，在气门检测任务中采用yolov3模型和yolo v3 tiny模型进行相的检测任务，yolo v3模型负责第一阶段的找全方面的检测，yolo v3 tiny负责第二阶段的找准方面的检测任务。
14.前述的一种基于深度学习的气门自动检测方法中，所述步骤s500还包括下述方法：在第一阶段的模型训练阶段按照7:2:1的比例将数据分为训练集、验证集和测试集，采用adam优化器进行模型优化，batchsize为16，初始学习速率为1
×
10
‑4，迭代次数为300epoch；在第二阶段的训练过程中采用yolo tiny模型负责气门的精准检测，首先根据第一阶段的检测结果获取感兴趣区域作为第二阶段的网络输入；在第二阶段的训练过程中采用adam优化器进行模型的优化，batchsize为96，初始学习速率为6
×
10
‑5，迭代次数为120个epoch。
15.前述的一种基于深度学习的气门自动检测方法中，所述步骤s500还包括下述方法：
16.在模型的训练过程中对训练样本进行增强，首先随机地对目标区域进行剪裁处理，然后对处理后的图像进行mixup增强处理，最后再采用旋转、镜像，高斯噪声方法对训练样本进行进一步的增强。
17.与现有技术相比，本发明为了提高所采集样本的有效性，在采集的过程中对样本进行干扰处理，能提高样本采集的有效性。在样本的标注过程中，在采集的原始图像进行标注，而不是在预处理以后的图像，同时在标注的过程中我们将被遮挡的物体作为背景处理，这样能有效避免标注的歧义性，有效地提高目标的检测精度。
附图说明
18.图1气门检测原始图像示意图；
19.图2样本标注示意图；
20.图3训练样本在线增强策略示意图；
21.图4 mixup样本增强示意图；
22.图5气门级联检测示意图；
23.图6检测结果示意图。
24.下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
25.本发明的实施例：一种基于深度学习的气门自动检测方法，包括下述步骤：
26.s100：采集样本；
27.s200：对采集的样本进行标注；只标注那些完全未被遮挡的器件，被遮挡的物体则当作背景进行处理，以提高样本采集的有效性。
28.s300：对标注后的样本进行预处理；通过旋转、光照强度调节的方法来提高样本采集的有效性。
29.s400：对预处理后的样本进行干扰性处理，从而获得训练样本；对样本进行遮挡和/或在样本周围放置干扰物，优选的，利用和目标相似的物体对样本进行干扰。这样能提高样本采集的有效性，增加目标的识别难度，在一定程度上能降低训练模型的过拟合。在样本的标注过程中，在采集的原始图像进行标注，而不是在预处理以后的图像，同时在标注的过程中将被遮挡的物体作为背景处理，这样能有效避免标注的歧义性，有效地提高目标的检测精度。
30.s500：搭建卷积网络和训练模型，对训练样本进行训练；利用pytorch深度学习库进行网络的搭建，在气门检测任务中采用yolov3模型和yolo v3 tiny模型进行相的检测任务，yolo v3模型负责第一阶段的找全方面的检测，yolo v3 tiny负责第二阶段的找准方面的检测任务。在第一阶段的模型训练阶段按照7:2:1的比例将数据分为训练集、验证集和测试集，采用adam优化器进行模型优化，batchsize为16，初始学习速率为1
×
10
‑4，迭代次数为300epoch；在第二阶段的训练过程中采用yolo tiny模型负责气门的精准检测，首先根据第一阶段的检测结果获取感兴趣区域作为第二阶段的网络输入；在第二阶段的训练过程中采用adam优化器进行模型的优化，batchsize为96，初始学习速率为6
×
10
‑5，迭代次数为120个epoch。
31.在模型的训练过程中对训练样本进行增强，首先随机地对目标区域进行剪裁处理，然后对处理后的图像进行mixup增强处理，最后再采用旋转、镜像，高斯噪声方法对训练样本进行进一步的增强。这样处理能有效地增强模型对目标区域的学习(图3)。mixup通过样本的组合来生成新的样本，假设有两个样本x
a
和x
b
，则新生成的样本λ
mixup
由下式计算得出：
32.λ
mixup
＝λx
a
+(1
‑
λ)x
b
33.其中λ表示样本的贡献比例，是由参数为α，β的贝塔分布计算出来的混合系数。
34.λ＝beta(α,β)
35.通过设置不同的α和β值以及采用不同的样本进行组合能生成大量的样本。在实际的气门检测任务中我们设置α＝β＝0.5，进行样本随机组合，最终生成的样本大概是组合前样本数目的1.5倍时停止样本的生成，这样能在一定程度上防止信息冗余对模型训练过程的干扰，mixup的增强结果如图4所示。
36.s600：对预测结果进行处理，去除可信度小的检测结果，如将置信度小于0.7的检测结果去除，可以进一步提供检测精度。
37.在气门检测任务中，由于检测的目标单一，在样本采集的过程中会存在大量的样本冗余，过多的样本冗余会干扰模型的训练进而导致模型的预测精度降低。因此为了提高所采集样本的有效性，在采集的过程中对样本进行干扰处理，例如对目标区域进行遮挡、在目标周围放置其他干扰物等，优选地是利用和目标相似的物体对样本进行干扰，这样：1)能提高样本采集的有效性；2)增加目标的识别难度，在一定程度上能降低训练模型的过拟合。在样本的标注过程中，在采集的原始图像进行标注，而不是在预处理以后的图像，同时在标注的过程中我们将被遮挡的物体作为背景处理，这样能有效避免标注的歧义性，有效地提高目标的检测精度。