一种空调外机质量检测与可视化方法

1.本发明属于深度学习与质量检测技术领域，具体涉及一种图像处理、目标检测以及边缘计算的应用方法。


背景技术：

2.在空调外机制造完成之后，正式封装入库之前，为了保证所生产的空调外机符合质量标准，外机附件全部添加正确，需要对空调外机外观进行检测。在外机质量检测中，最传统的方式还是人工检测的方法，另外，还有传统算法当中的模板匹配算法以及机器学习等方式。
3.人工检测方式，顾名思义，主要是通过人工对检测目标识别的方式来确定空调外机的质量。但是随着人工成本的增加，工人不能长时间保持注意力存在一定的误判以及无法保持产线运转的流畅性等的因素，此种方式已逐渐被淘汰。
4.随着工业自动化技术的普及，为了适用自动化的流程，开始采用机器智能图像检测的方式来完成质量的检测，检测方式主要为模板匹配的方式。模板匹配有分为了两个类型，第一个方式是将整个合格的外机图像作为模板，将其与现场采集到的进行匹配，在匹配度达到一定比例之后就将其判断为正；另一种匹配方式是首先确定需要检测的关键部位并制作关键部位的合格样本的模板，而后将识别主体切割出来，再将各个关键部位的模板与切割后的图像进行模板匹配，检测图像中是否含有关键部位。第一种方式的算法复杂度最低，最好实现，在性能较差的主机上也会有比较快速的识别，但识别准确率较差；第二种方式算法复杂度稍低，同时需要在检测前做大量的图像预处理，实现难度有比较大的提升，同时也在识别率方面有明显的提升。模板匹配算法在主机性能受限时，可以作为一种比较理想的方式，但是在准确率方面相对来说很多情况下没有达到工业生产的要求。
5.机器学习是另一种常用的检测方式，该方式将空调的外观检测问题转化为图像的分类问题，利用机器学习中的一系列分类方法来对图像进行分类，从而得出检测结果，主流方式有knn、svm、bp神经网络、cnn和迁移学习等的方式。knn全称为k最近邻(k
‑
nearst neighbor)分类算法,基本思想是如果一个样本在特征空间中的k个最近邻样本的大多数属于某一种类别，则该样本也属于该类别；svm全称为支持向量机(supportvectormachine)，是用于对于数据进行二元分类的广义线性分类器，利用非线性函数，将样本数据从低维空间映射到高维空间中，主要任务是求解最大边距超平面以此用来对数据样本进行分类；bp神经即反向传播神经网络(back
‑
propagation neuron network),是最传统的神经网络。bp神经网络的学习过程由正向传播和反向传播构成。样本由输入层传入，经隐藏层后传入输出层，由于实际输出与期望输出之间存在误差，所以需要进行反向传播，将输出以某种方式通过隐藏层反向传播到输入层，并将误差分配给各个隐藏层，从而获得各层的误差信号，以此对权重进行修正。bp神经网络在分类领域有一定的局限性，它需要较长的训练时间同时容易陷入局部最小值。借鉴bp神经网络的思想，卷积神经网络(convolutional neural networks,cnn)开始广泛应用，并成为深度学习的代表算法之一。cnn输入层可以处理多维
数据，并使用梯度下降算法进行学习，同时在隐含层中包含了卷积层、池化层和全连接层等结构，根据结构不同又产生了各种不同的神经网络算法，这一系列算法对计算量要求极大，不同算法在不同任务上的性能存在很大差异，在具体问题上需要进行具体设计。
6.但是，在实际应用中，现有中国专利公开文献如cn108644988a，主要用于检测空调外机内部质量，即制冷/制热效果问题；又如中国专利公开文献cn107143976a和cn106765921a，主要是对于已经安装完成，正在日常使用中的空调进行内部数据的收集与检修；而又如中国专利公开文献cn106840549a和cn106813422a，亦是检测空调内部质量。而对于生产完成后而未出厂前空调外观(外壳是否有瑕疵和品牌标志知否粘贴正确)和空调内外机联机管是否正确添加(不同型号外机联机管尺寸不同)，智能检测方面还是一个空白。


技术实现要素：

7.针对现有技术的不足，本发明提供了一种空调外机质量检测与可视化方法。
8.本发明解决了现有技术的空白以及使用一般分类算法存在的分类准确率低、时间长、可视化程度低等的问题。
9.本发明将视频目标检测的yolo算法经过改进后应用于图像检测分类中，在满足时间要求以及提升分类准确率的前提下，通过目标检测方法将外机中需要识别到的关键特征(检测目标)标出，并将检测结果输出可视化。
10.术语解释：
11.1、anchor值，anchor可以理解为多尺度滑动窗口，通俗意义上可以理解为检测目标时先验候选框的大小。
12.2、yolov3模型，共由75层卷积层(conv)构成，卷积层主要作用是提取输入图像的特征，每层卷积层之后会有一层bn层(batch normalization)用作对卷积层后的矩阵进行标准化，目的是为了加快网络的训练和收敛速度，控制梯度，防止过拟合，bn层后连接激活层(leakyrelu为具体的激活函数)用于增加结构的非线性，增强神经网络的表达能力。在整体结构中，每隔两层卷积层会进行跳跃连接(残差网络)，极大缓解深层神经网络中的神经网络退化的问题，从而做到更深层次的训练，同时结构中加入fpn结构(特征图金字塔网络)以在多个特征层面上实现了对目标的预测。如图8所示，图8中，dbl结构即为上述conv层，bn层与leakyrelu层的结合。图8中的res模块表示残差网络，单个残差网络会每隔两层卷积层会进行跳跃连接，用以缓解深层神经网络中的神经网络退化的问题，从而做到更深层次的训练，同时结构中加入fpn结构(特征图金字塔网络)，在将原有特征进行深层次提取后再进行上采样，并与浅层次相同维度的特征进行concat融合，以在多个特征层面上实现了对目标的预测。
13.3、k
‑
means聚类算法，其主要作用是将相似的样本自动归到一个类别中。算法步骤为给定k值，确定k个初始类的中心点(一般中心点从已有样本中随机选取或按某种特定方式选取)；将其它样本按照最近邻原则分到这k个类别当中；重新求取每个类别的中心点(求取期望)并更新中心点；迭代进行上述步骤直至中心点位置基本不再变化或达到指定迭代次数。图9即为对一特定空调外机型号标注框采取k
‑
means聚类算法后的结果图，k＝9，具体输出结果为(113.2,125.9,137.6,150.4,168.5,163.6,206.7,189.3,365.8,127.1,395.1,
128.3,411.2,154.7,304.8,362.4,349.0,391.1)，其中，每两位代表一个矩形框大小，原图大小为2464
×
2056。
14.本发明的技术方案为：
15.一种空调外机质量检测与可视化方法，包括步骤如下：
16.(1)初始数据采集：确定需要检测的关键特征，即获取需要检测的空调外机的图片并确定不同型号的空调外机需要检测的不同关键特征；以图3b为例，图中空调外机共贴有四种不同的品牌标志，需要分别检测出来，同时也需检测外机的旋风网是否安装正确；不同型号之间外观相差较大，需要检测的关键特征也存在较大差异。
17.(2)分类与数据标注：对需要检测的空调外机的图片进行分类，并按确定的关键特征对数据进行标注，并将标注好的数据划分训练集与测试集；
18.(3)处理：对不同型号的空调外机的图像样本进行分析，通过k
‑
means聚类算法选取合适的anchor值；
19.(4)改进yolov3模型：对yolov3模型进行调整与改进，对yolov3模型进行调整与改进后的模型为yolo模型，并设置合适的训练参数；
20.(5)训练yolo模型；
21.(6)将需要检测的空调外机的图片输入至训练好的yolo模型中，得到检测结果；
22.(7)将步骤(6)得到的检测结果在终端实时显示。
23.在实时显示的图像中，首先会将图像中的关键特征都标注出来并显示名称，如图6和图7所示，并检测是否为对应特定型号的关键信息，若该型号空调外机空调外机的关键特征齐全且没有其他本应不存在的特征，则将结果判别为正，并自动控制产线继续进行下一步的工作，若检测到缺少关键特征或者特征存在错误，则将结果判别为负，并控制产线将该空调外机剔除，返厂进行重新装配。
24.根据本发明优选的，步骤(4)中，yolo模型主要考虑到yolov3模型网络结构深，学习复杂度高，学习与检测所需的计算量大，一般工业场景可能存在强时延要求以及算力不够的问题，在保证准确率的基础上改进yolov3模型；所述yolo模型包括24层卷积层，每层卷积层后连接一层bn层，bn层后连接激活层，每隔两层卷积层跳跃连接残差网络，yolo模型加入fpn结构，仅做一次上采样，并将上采样结果与同样维度的浅层信息进行特征融合，最终得到13
×
13与26
×
26两个维度下的预测信息，并将二者结合得到最终预测结果。
25.yolo模型的结构如图2所示，首先，将输入图像进行降维特征提取，其中每个模块中的数字表示该层特征的维度，将卷积层由75层简化为24层，同时仍采用残差网络防止网络退化，在模型中加入fpn结构，但是仅会做一次上采样，并将结果与同样维度的浅层信息进行特征融合，最终得到13
×
13与26
×
26两个维度下的预测信息，并将二者结合得到最终预测结果。
26.根据本发明优选的，步骤(5)中，训练yolo模型，包括步骤如下：
27.a、对步骤(3)处理后的不同型号空调外机的图片之间的相似性进行统计，即相同的关键特征大于n的不同型号空调外机的图片划分为一类；n＞4；
28.b、将划分为一类的不同型号空调外机的图片样本的需要检测的关键特征进行统一化的命名，并统一调节图像亮度与尺寸；例如，尺寸统一调整为416
×
416。
29.c、将步骤b处理后的划分为一类的不同型号空调外机的图片样本随机划分训练集
和测试集，对yolo模型进行训练。
30.根据本发明优选的，步骤(2)中，对需要检测的空调外机的图片进行分类，是指：
31.第一，按不同型号空调外机进行分类；
32.第二，按照不同型号空调外机待检测关键特征是否齐全，例如，某一型号旋风网是否安装正确，不同直径的联机管是否齐全，不同的品牌标志是否张贴正确，分出不同型号空调外机的正样本与负样本，正样本即为空调外机待检测关键特征齐全，负样本即为缺少某一项或某几项空调外机待检测关键特征。在分类后的图片中，选择不同光线因素、不同拍摄角度的图片作为数据集。
33.根据本发明优选的，按确定的关键特征对数据进行标注，并将标注好的数据划分训练集与测试集，包括步骤如下：
34.对于不同型号的外机，检测关键特征亦存在很大差距，所以，对所述训练集中不同型号外机确定不同的关键特征，并对不同的关键特征进行统一化命名；
35.a、对数据集中的关键特征进行类别标注，即确定需要标注的关键特征后，将每一个关键特征都在图像中分别用矩形框框出，并附加上统一命名的特征名字，从而提取其位置信息，关键特征位置信息包括特征名称、特征所在横坐标u方向起始坐标、特征所在纵坐标v方向起始坐标、特征所在u方向终止坐标以及特征所在v方向终止坐标；上述坐标系是像素坐标系，坐标系原点为左上角像素点，坐标的单位为像素，u方向为水平方向，最大取值为图像数组中的列数，v方向为竖直方向，最大取值为图像数组中的行数；例如，(logo，5,4，20,40)其含义为关键特征名称为logo，所在位置起始点坐标为(5,4)，即起始点为第五列第四行的像素点，终止点坐标(20,40)，终止位置为第20列第40行的像素点所在区域为u方向15像素点，v方向36像素点的矩形框。
36.b、对每幅图像标注后会生对应的标注文件，标注文件包括图像原始文件名、保存位置、像素大小、通道数、标注的特征名称以及对应所在位置信息，读取标注文件，将特征名称统一排序，并按顺序将名称转化为数字，例如，0,1,2，3,4，表示待检测特征共五个，将不同特征分别赋予不同的数字代号；若待检测特征为六个的话，将不同特征排序后会转化为0,1,2,3,4,5六个数字代号；读取标注文件中的图像像素大小，而后对不同特征包含的坐标以及长度进行归一化转化为相对坐标与相对长度；例如，某一特征为(logo,300,400,350,450)表示该特征名称为logo，起始位置为第300列第400行，终止位置为第350列第450行，矩形框大小为水平方向占50个像素点，竖直方向占50个像素点，获取标注文件的像素大小(例如2000
×
1000)后，假设logo为排序后的第一个特征，则最终转化结果为(0,0.15,0.4,0.025,0.05)表示特征为第0个，图像长度和宽度分别为1，起始位置为(0.15,0.4)，矩形框在横纵方向所占大小分别为0.025和0.05。而后再对图片进行像素调整；
37.c、对标注图片划分训练集与测试集，由于数据量足够大，所以具体划分为90％为训练集，10％为测试集。
38.进一步优选的，对图片的像素调整为416
×
416。
39.本发明专利的有益效果是：
40.在实际项目应用中，本发明取得了非常突出的效果。对于不加联机管的空调外机，取得了99.98％的准确率，而传统算法仅能在70％左右；对于添加联机管后的空调外机，传统算法性能极差且准确率极低，而在用本发明技术方案后不同型号准确率均维持在85％以
上，检测一台机器的纯算法时间减少到了平均0.2秒，在捕获图像中清晰地可视化出了检测到的关键部位
附图说明
41.图1是空调外机质量检测与可视化方法的流程示意图；
42.图2是yolo模型的结构示意图；
43.图3a是型号示意图(有联机管大类)；
44.图3b是型号示意图(无联机管大类)；
45.图4是训练过程损失示意图；
46.图5a是训练过程中在20000次迭代后关键特征海尔文字标志的p
‑
r曲线示意图；
47.图5b是训练过程中在20000次迭代后关键特征海尔图像标志的p
‑
r曲线示意图；
48.图5c是训练过程中在20000次迭代后关键特征白色联机管头的p
‑
r曲线示意图；
49.图5d是训练过程中在20000次迭代后关键特征黑色联机管头的p
‑
r曲线示意图；
50.图6是输出结果示意图(有联机管大类)；
51.图7是输出结果示意图(无联机管大类)；
52.图8是yolov3模型的结构示意图；
53.图9是对一特定空调外机型号标注框采取k
‑
means聚类算法后的结果示意图。
具体实施方式
54.下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
55.实施例1
56.一种空调外机质量检测与可视化方法，如图1所示，包括步骤如下：
57.(1)初始数据采集：确定需要检测的关键特征，即获取需要检测的空调外机的图片并确定不同型号的空调外机需要检测的不同关键特征；以图3b为例，图中空调外机共贴有四种不同的品牌标志，需要分别检测出来，同时也需检测外机的旋风网是否安装正确；不同型号之间外观相差较大，需要检测的关键特征也存在较大差异。
58.(2)分类与数据标注：对需要检测的空调外机的图片进行分类，并按确定的关键特征对数据进行标注，并将标注好的数据划分训练集与测试集；
59.步骤(2)中，对需要检测的空调外机的图片进行分类，是指：
60.第一，按不同型号空调外机进行分类；在本实施例中，共将空调外机按照外观与检测的检测目标的不同分为32种不同型号。
61.第二，按照不同型号空调外机待检测关键特征是否齐全，例如，某一型号旋风网是否安装正确，不同直径的联机管是否齐全，不同的品牌标志是否张贴正确，分出不同型号空调外机的正样本与负样本，正样本即为空调外机待检测关键特征齐全，负样本即为缺少某一项或某几项空调外机待检测关键特征。在分类后的图片中，选择不同光线因素、不同拍摄角度的图片作为数据集。
62.以图3a为例，即必须含有空调外机右侧的两个logo和两条联机管管帽必须一条为白色管帽，另一条为蓝色管帽；以图3b为例，则需要空调外机右侧的四个标志全部粘贴正确以及旋风网安装正确，上述缺少一点即为负样本。同时，在确定好标准之后，需要对各个检
测目标进行统一化命名，图3a中的文字标志被命名为logo_red1,图像标志被命名为logo_red3,白色管帽被命名为white，蓝色管帽被命名为blue。若以后的型号中揣想那与图3a相同的检测目标，则命名相同，若出现新的检测目标，则进行统一命名后再开始使用该名称，标注样例如图6，表1所示。
63.表1
[0064][0065]
(3)处理：对不同型号的空调外机的图像样本进行分析，通过k
‑
means聚类算法选取合适的anchor值；
[0066]
(4)改进yolov3模型：对yolov3模型进行调整与改进，对yolov3模型进行调整与改进后的模型为yolo模型，并设置合适的训练参数；
[0067]
(5)训练yolo模型；
[0068]
(6)将需要检测的空调外机的图片输入至训练好的yolo模型中，得到检测结果；
[0069]
(7)将步骤(6)得到的检测结果在终端实时显示。
[0070]
在实时显示的图像中，首先会将图像中的关键特征都标注出来并显示名称，如图6和图7所示，并检测是否为对应特定型号的关键信息，若该型号空调外机空调外机的关键特征齐全且没有其他本应不存在的特征，则将结果判别为正，并自动控制产线继续进行下一步的工作，若检测到缺少关键特征或者特征存在错误，则将结果判别为负，并控制产线将该空调外机剔除，返厂进行重新装配。
[0071]
实施例2
[0072]
根据实施例1所述的一种空调外机质量检测与可视化方法，其区别在于：
[0073]
步骤(4)中，yolo模型主要考虑到yolov3模型网络结构深，学习复杂度高，学习与检测所需的计算量大，一般工业场景可能存在强时延要求以及算力不够的问题，在保证准确率的基础上改进yolov3模型；yolo模型包括24层卷积层，每层卷积层后连接一层bn层，bn层后连接激活层，每隔两层卷积层跳跃连接残差网络，yolo模型加入fpn结构，仅做一次上采样，并将上采样结果与同样维度的浅层信息进行特征融合，最终得到13
×
13与26
×
26两个维度下的预测信息，并将二者结合得到最终预测结果。
[0074]
yolo模型的结构如图2所示，首先，将输入图像进行降维特征提取，其中每个模块
中的数字表示该层特征的维度，将卷积层由75层简化为24层，同时仍采用残差网络防止网络退化，在模型中加入fpn结构，但是仅会做一次上采样，并将结果与同样维度的浅层信息进行特征融合，最终得到13
×
13与26
×
26两个维度下的预测信息，并将二者结合得到最终预测结果。
[0075]
通过卷积神经网络对图像进行特征提取，并通过池化层进行降维，在降维到13*13后继续进行特征提取，但同时运用残差网络与fpn(特征金字塔)架构，最后进行特征融合，使用两个独立的预测分支进行预测。图8为使用到的完整的yolov3网络架构，图8中，conv表示卷积层，bn表示批标准化，leakyrelu表示激活层，三者构成dbl层；res为残差结构，每个残差结构的输入在经过两个dbl层之后与原输入相加(矩阵相加)构成新的特征矩阵，残差结构大大保持了图像的特征信息，极大缓解了特征消失现象，使得网络可以网更深层次训练；同时，图8中又加入了fpn架构，由自底向上的线路，自顶向下的线路以及横向连接构成，图8中13*13*27输出前的部分即为自底向上，而后从dbl+上采样开始又进入了自顶向下的线路，其中的concat即为横向连接；该架构使得预测可以在三种维度的特征图中同时进行，极大提高了对小目标的预测能力。
[0076]
实施例3
[0077]
根据实施例1所述的一种空调外机质量检测与可视化方法，其区别在于：
[0078]
步骤(5)中，训练yolo模型，包括步骤如下：
[0079]
a、对步骤(3)处理后的不同型号空调外机的图片之间的相似性进行统计，即相同的关键特征大于n的不同型号空调外机的图片划分为一类；n＞4；
[0080]
b、将划分为一类的不同型号空调外机的图片样本的需要检测的关键特征进行统一化的命名，并统一调节图像亮度与尺寸；例如，尺寸统一调整为416
×
416。
[0081]
c、将步骤b处理后的划分为一类的不同型号空调外机的图片样本随机划分训练集和测试集，对yolo模型进行训练。
[0082]
在损失降到一定阈值且基本不再下降后，即可停止本模型的训练。图5a、图5b、图5c、图5d即为在20000次迭代后某一确定型号检测目标的p
‑
r曲线。图5a至图5d中，p
‑
r曲线的横坐标为查全率(recall)，纵坐标为查准率(precision)，查全率查准率tp表示将正样本正确分类为正样本的数量，fn表示把正样本错误分类为负样本的数量，fp表示把负样本错误分类为正样本的数量。
[0083]
实施例4
[0084]
根据实施例1所述的一种空调外机质量检测与可视化方法，其区别在于：
[0085]
按确定的关键特征对数据进行标注，并将标注好的数据划分训练集与测试集，包括步骤如下：
[0086]
对于不同型号的外机，检测关键特征亦存在很大差距，所以，对所述训练集中不同型号外机确定不同的关键特征，并对不同的关键特征进行统一化命名；
[0087]
a、对数据集中的关键特征进行类别标注，即确定需要标注的关键特征后，将每一个关键特征都在图像中分别用矩形框框出，并附加上统一命名的特征名字，从而提取其位置信息，关键特征位置信息包括特征名称、特征所在横坐标u方向起始坐标、特征所在纵坐标v方向起始坐标、特征所在u方向终止坐标以及特征所在v方向终止坐标；上述坐标系是像
素坐标系，坐标系原点为左上角像素点，坐标的单位为像素，u方向为水平方向，最大取值为图像数组中的列数，v方向为竖直方向，最大取值为图像数组中的行数；例如，(logo，5,4，20,40)其含义为关键特征名称为logo，所在位置起始点坐标为(5,4)，即起始点为第五列第四行的像素点，终止点坐标(20,40)，终止位置为第20列第40行的像素点所在区域为u方向15像素点，v方向36像素点的矩形框。
[0088]
b、对每幅图像标注后会生对应的标注文件，标注文件包括图像原始文件名、保存位置、像素大小、通道数、标注的特征名称以及对应所在位置信息，读取标注文件，将特征名称统一排序，并按顺序将名称转化为数字，例如，0,1,2，3,4，表示待检测特征共五个，将不同特征分别赋予不同的数字代号；若待检测特征为六个的话，将不同特征排序后会转化为0,1,2,3,4,5六个数字代号；读取标注文件中的图像像素大小，而后对不同特征包含的坐标以及长度进行归一化转化为相对坐标与相对长度；例如，某一特征为(logo,300,400,350,450)表示该特征名称为logo，起始位置为第300列第400行，终止位置为第350列第450行，矩形框大小为水平方向占50个像素点，竖直方向占50个像素点，获取标注文件的像素大小(例如2000
×
1000)后，假设logo为排序后的第一个特征，则最终转化结果为(0,0.15,0.4,0.025,0.05)表示特征为第0个，图像长度和宽度分别为1，起始位置为(0.15,0.4)，矩形框在横纵方向所占大小分别为0.025和0.05。而后再对图片进行像素调整；图4即为标注图像过程中的示例。横坐标iters代表迭代次数，纵坐标loss代表当前迭代次数下的损失(损失越小越好)；根据以上所述，对每幅图像生成其对应的表1标注文件，而后读取标注文件中的五个关键信息，目标名称转化为0,1,2等的数字，坐标以及长度进行归一化转化为相对坐标与相对长度，而后再对图像进行像素调整，图像统一调整为固定大小，而后标注后生成的xml文件(图4)将进行转化，转化为可以进行训练的txt格式(表1)；
[0089]
c、对标注图片划分训练集与测试集，由于数据量足够大，所以具体划分为90％为训练集，10％为测试集。对图片的像素调整为416
×
416。