一种汽车挡风玻璃花点缺陷的自动检测装置及方法

1.本发明应用于汽车玻璃生产技术领域，尤其涉及一种汽车挡风玻璃花点缺陷的自动检测装置及方法。


背景技术：

2.在花点图案的丝网印刷和烘干过程中不可避免会出现花点的黏连、残缺与缺失等缺陷，这是由印刷网版破损、网孔增大、网孔堵塞以及高温烧结不均匀等因素造成的。花点缺陷不仅微小，而且不同型号汽车玻璃上的花点图案各不相同(表现为花点的排列方式、排列层数和密集度是多种多样的，黑白背景交界处的底纹也各式各样)，这使得花点缺陷的自动检测难度较大。此外由于汽车挡风玻璃的面积较大(1.5m*0.8m左右)，而花点的面积又较小(最大直径为1.0mm/个，最小直径为0.3mm/个)，因此既要清晰采集花点缺陷又要尽量降低图像采集系统的硬件成本。
3.目前汽车挡风玻璃花点缺陷检测技术主要包括以下三种：
4.①
人工检测：通过人工肉眼查看汽车挡风玻璃的花点图案来判断是否存在花点缺陷。人工检测的问题：人工成本高，检测效率低。为了突显花点图像，检测人员需要长时间在强光下工作，造成用眼疲劳，容易出现误检和漏检，导致检测数据因人而异、收集及分析困难等问题。
5.②
特性参数检测技术：通过对玻璃的透光率、折射率以及表面应力检测玻璃是否镀膜、玻璃的材质以及玻璃的钢化程度。该技术目前主要用于检测玻璃的材质种类与质量好坏，无法用于成品汽车玻璃花点缺陷的检测。
6.③
机器视觉检测技术：通过图像的预处理算法、分割算法及比对算法等实现玻璃表面的缺陷检测。需要为每一种型号的汽车玻璃准备1套花点图案比对模板，而且还需要进行复杂的图像预处理。此外，由于花点图案中的每个黑点的面积均非常小，因此花点的各种缺陷也相对较小，更增加了花点缺陷检测的难度，导致传统的检测算法的准确性难以提高。


技术实现要素：

7.为克服现有技术中的不足，本发明的目的在于提供一种汽车挡风玻璃花点缺陷的自动检测装置及方法，实现汽车挡风玻璃花点缺陷图像的清晰采集，以及花点缺陷的在线自动检测，以便替代人工检测，解决挡风玻璃花点图案印刷和烘干质量的实时在线检测问题，并达到工业产线要求的检测准确率。
8.为实现上述目的，本发明采用以下技术方案：
9.一种汽车挡风玻璃花点缺陷的自动检测装置，包括上位机、plc、支撑架和单轴滑轨驱动模组，所述支撑架架设在产线的正上方，所述单轴滑轨驱动模组设于支撑架的顶部，且单轴滑轨驱动模组与产线传动方向垂直设置，所述单轴滑轨驱动模组上连接有两个间隔设置的工业相机，两个工业相机由单轴滑轨驱动模组驱动同步移动，单轴滑轨驱动模组由plc控制，两工业相机和plc分别电连接至上位机，汽车挡风玻璃随产线移动到两工业相机
的拍摄区域下方，两工业相机将摄取的图像传送至上位机。
10.进一步的，所述单轴滑轨驱动模组的动力源为步进电机，步进电机连接的步进驱动器电连接至plc。
11.进一步的，两个工业相机之间的间距为50cm。
12.进一步的，所述产线上且在两个工业相机的拍摄区域内设置有若干个条形光源，各条形光源分别置于产线相邻两个辊道之间。
13.进一步的，所述支撑架上并位于两工业相机拍摄区域的上方固定有遮光罩。
14.本发明采用上述自动检测装置的检测方法，其特征在于：其包括以下步骤：
15.1)花点图案拍摄轨迹的生成：
16.1.1)待测图像的预处理
17.在上位机内，去除不相干的信息；
18.1.2)提取单层花点轮廓
19.首先采用cv.findcontours函数中的cv.retr_external和
20.cv.chain_approx_simple两个参数来设定需被剔除的多余花点轮廓的范围，然后通过cv.drawcontours函数来绘制最终保留下来的黑白交界处底纹的轮廓，从而获得单层花点轮廓；
21.1.3)生成相机运动控制轨迹
22.在获得单层花点轮廓后，先用canny算子提取单层花点轮廓的边缘，再利用houghlinesp函数生成相机移动轨迹曲线；
23.1.4)相机运动控制参数的确定
24.采用恒速移动两个工业相机，两个工业相机移动方向和距离可通过计算轨迹起止点像素的x坐标偏差来确定，如式(1)所示，
[0025][0026]
式中，xs为轨迹起点x坐标值；xe为轨迹终点x坐标值；d
ir
为控制相机移动方向的变量，为1时控制电动机正转并带动相机向右移动，为-1时控制电动机反转并带动相机向左移动；d
is
为相机移动距离变量；b
lo
为相机移动分段变量；
[0027]
其中，当轨迹起止点的x坐标偏差在65个像素以内时，无需调整两工业相机的位置；当轨迹起止点的x坐标偏差大于195个像素时，分2次控制两工业相机的移动，每次移动量为偏差值的一半；
[0028]
1.5)相机运动控制的实现
[0029]
plc根据相机移动轨迹曲线控制两工业相机移动，两工业相机在移动过程中实时拍摄图像，并把图像传至上位机；
[0030]
2)挡风玻璃花点缺陷的检测
[0031]
2.1)花点图案的分类方式
[0032]
汽车玻璃的花点图案包含三个特征：排布的疏密性、排列层数以及黑点形状；排布疏密主要根据花点间的距离、交界处底纹波谷间的距离和花点与底纹间的距离这三个指标进行划分，任意一个指标大于5个像素点，即可定义为稀疏型排布；排列层数是指图案中黑点的层数；黑点形状是指构成花点图案的黑点是方形或圆形；利用上述三个花点特征对需要检测的花点图案进行命名和分类，选取3种代表性的花点样式来制作形成花点缺陷图像数据集，并将花点缺陷图像数据集送入yolov5s模型训练后会生成yolov5s算法的检测模型；
[0033]
2.2)cbam、silu函数与yolov5s的集成
[0034]
将cbam注意力模块嵌入到yolov5s算法的检测模型中，同时将yolov5s算法的检测模型中的leaky relu函数替换为silu函数，最终形成csi-yolov5s模型；
[0035]
2.3)花点缺陷的检测过程
[0036]
花点缺陷图像在csi-yolov5s模型的input部分通过mosaic数据增强后自适应缩放至608
×
608大小，然后在backbone部分经过两次上采样后得到19
×
19的特征图，经过一次上采样后得到38
×
38与76
×
76的特征图；将这三种不同大小的特征图在neck部分进行特征融合，推理出待检测花点图像中是否存在缺陷信息，以及缺陷的类型和所在的位置；
[0037]
2.3)花点缺陷的检测结果
[0038]
经过训练的csi-yolov5s模型可以准确识别待测花点图像中缺陷的类型和位置，并标注出来，花点缺陷分为黏连、缺失和残缺三类，在检测结果的标签数据中分别标识为“adhesions”、“hiatus”和“incomplete”。
[0039]
进一步的，步骤1.3)中，利用houghlinesp函数生成相机移动轨迹曲线的相关参数设置如下：线段像素距离精度值rho为1.0，线段弧度的角度精度theta＝numpy.pi/180，numpy.pi表示圆周率，累加平面的阈值参数值threshod为25，直线长度的阈minlinelength为20，最大线段允许间隔值maxlinegap为11。
[0040]
本发明采用以上技术方案，具有以下有益技术效果：
[0041]
本发明的检测装置采用机器视觉技术来提取花点图案的轮廓，然后用plc控制2台工业相机沿着轮廓轨迹移动，从而实现挡风玻璃4条黑边花点图案的分块采集，以便获得微小花点的清晰图像；最后在上位机内采用csi-yolov5s算法来实现花点缺陷类型和位置的在线检测，并且有效提高了检测准确率。
[0042]
本发明的检测方法在yolov5s模型的基础上加入注意力机制cbam，改进激活函数silu，所构建的csi-yolov5s模型提升了挡风玻璃花点缺陷检测的精度和鲁棒性；利用图像掩码、canny算子、houghlinesp函数等生成相机移动轨迹，并结合plc控制技术实现了工业相机移动轨迹的准确控制；设计了全新的图像采集系统，采用双相机拍摄的模式，并实时调整两工业相机的位置，解决了大面积挡风玻璃四周黑边花点图案的完整采集，以及微小缺陷信息的清晰采集。
附图说明
[0043]
以下结合附图和具体实施方式对本发明做进一步详细说明；
[0044]
图1为本发明自动检测装置的结构图；
[0045]
图2为本发明自动检测装置的简易框图；
[0046]
图3为图像预处理算法流程图；
[0047]
图4为单层花点轮廓图；
[0048]
图5为相机移动轨迹曲线图；
[0049]
图6为相机运动控制图；
[0050]
图7为三组代表性花点样式图像；
[0051]
图8为cbl改进前后模块结构对比图；
[0052]
图9为花点缺陷的检测结果图。
具体实施方式
[0053]
如图1-2所示，本发明一种汽车挡风玻璃花点缺陷的自动检测装置，包括上位机5、plc6、支撑架2和单轴滑轨驱动模组3，支撑架2架设在产线1的正上方，单轴滑轨驱动模组3设于支撑架2的顶部，且单轴滑轨驱动模组3与产线1传动方向垂直设置，单轴滑轨驱动模组3上连接有两个间隔设置的工业相机4，两个工业相机4由单轴滑轨驱动模组3驱动同步移动，单轴滑轨驱动模组3由plc6控制，两工业相机4和plc6分别电连接至上位机5，汽车挡风玻璃随产线1移动到两工业相机4的拍摄区域下方，两工业相机4将摄取的图像传送至上位机5。
[0054]
单轴滑轨驱动模组3的动力源为步进电机31，步进电机31连接的步进驱动器8电连接至plc6。
[0055]
产线1上且在两个工业相机4的拍摄区域内设置有若干个条形光源7，各条形光源7分别置于产线1相邻两个辊道之间。
[0056]
支撑架2上并位于两工业相机4拍摄区域的上方固定有遮光罩(图中未示出)。
[0057]
本发明采用机器视觉技术来提取花点图案的轮廓；然后用plc6控制两个工业相机4沿着轮廓轨迹移动，从而实现挡风玻璃4条黑边花点图案的分块采集，以便获得微小花点的清晰图像；最后在上位机5内通过csi-yolov5s算法来实现花点缺陷类型和位置的在线检测。
[0058]
为了配合产线1的移动速度，同时也为了保证花点图像的清晰，降低图像采集系统的硬件成本，本发明采用两个分辨率为2592*2048的工业相机4进行花点图案的分块采集。为了保证玻璃在移动过程中，两工业相机4能够完整采集到4条边的花点图案，需要通过plc6、步进驱动器8、单轴滑轨驱动模组3对两工业相机4的拍摄位置进行调整。
[0059]
在丝网印刷和烧结阶段挡风玻璃仍为平板玻璃，因此本发明中的工业相机4无需上下移动；产线1会带着汽车挡风玻璃向前移动，故工业相机4也无需前后移动，仅需左右移动即可(如图1中双箭头所示)。检测装置中采用一个单轴滑轨驱动模组3同时带动两个工业相机4移动，两台工业相机4相距50cm，以保证两者的视场足以覆盖汽车挡风玻璃的宽度(a和c边)，并有2～3cm的重合区域。采用条形光源、底部背光照明方式，并在拍摄区域的上方设置了遮光罩，可避免反光和光斑的问题，有效防止外来光线影响花点图案的采集质量。
[0060]
由于汽车挡风玻璃b、d两条黑边图案的曲率相近，故拍摄过程两个工业相机4的移动方向始终一致(要么一起向左移动，要么一起向右移动)，因此本发明通过提取b边的花点轮廓作为两个相机的移动轨迹。
[0061]
本发明的检测方法包括以下步骤：
[0062]
1)花点图案拍摄轨迹的生成；
[0063]
1.1)待测图像的预处理
[0064]
在上位机内，去除不相干的信息，提高图像品质和简化计算。本发明采用的待测图像的预处理算法流程如图3所示。由于预处理算法不是本发明的保护内容因此不展开说明；
[0065]
1.2)提取单层花点轮廓
[0066]
挡风玻璃的花点图案均为多层轮廓，为了去除多层轮廓对轨迹生成的影响，本发明采用图像掩码方式去除多余的花点轮廓，只保留黑白交界处的底纹来提高轨迹提取的准确性，首先采用cv.findcontours函数中的cv.retr_external(检测最外层轮廓)和cv.chain_approx_simple(压缩多个方向的元素并保留其终点坐标)两个参数来设定需被剔除的多余花点轮廓的范围，然后通过cv.drawcontours函数来绘制最终保留下来的黑白交界处底纹的轮廓，从而获得单层花点轮廓，结果如图4所示。
[0067]
1.3)生成相机运动控制轨迹
[0068]
在获得单层花点轮廓后，先用canny算子提取单层花点轮廓的边缘，再利用houghlinesp函数生成相机移动轨迹曲线，如图5所示。为了获得较为光滑且连续的拟合曲线，相关参数设置如下：线段像素距离精度值rho为1.0，线段弧度的角度精度theta＝numpy.pi/180，numpy.pi表示圆周率，累加平面的阈值参数值threshod为25，直线长度的阈minlinelength为20，最大线段允许间隔值maxlinegap为11。
[0069]
1.4)相机运动控制参数的确定
[0070]
为了采集到完整的花点图案，采集过程中需要利用plc控制步进电动机不断调整相机的移动速度、移动方向和移动距离。本发明采用恒速移动两个工业相机，移动速度为50mm/s。两个工业相机移动方向和距离可通过计算轨迹起止点像素的x坐标偏差来确定，如式(1)所示。
[0071][0072]
式中，xs为轨迹起点x坐标值；xe为轨迹终点x坐标值；d
ir
为控制相机移动方向的变量，为1时控制电动机正转并带动相机向右移动，为-1时控制电动机反转并带动相机向左移动；d
is
为相机移动距离变量；b
lo
为相机移动分段变量。
[0073]
其中，当轨迹起止点的x坐标偏差在65个像素(实际尺寸为10mm)以内时，无需调整两工业相机的位置。当轨迹起止点的x坐标偏差大于195个像素时，为防止两工业相机位置一次性调整量过大，导致花点图案超出拍摄范围，将分2次控制两工业相机的移动，每次移动量为偏差值的一半。系统x、y坐标轴及轨迹起止点的规定如图6所示；
[0074]
1.5)相机运动控制的实现
[0075]
plc根据相机移动轨迹曲线控制两工业相机移动，两工业相机在移动过程中实时拍摄图像，并把图像传至上位机；本发明中，步进电机旋转一圈带动同步带前进80mm，即一个脉冲前进的距离为0.025mm；步进电机脉冲频率为2000hz；每个像素对应的实际尺寸为
0.154mm，则可通过式(2)计算出每次相机要移动d
is
的距离plc需要发送给步进电机的脉冲数m。
[0076][0077]
2)挡风玻璃花点缺陷的检测
[0078]
汽车挡风玻璃上的花点面积较小，图案样式繁多，其缺陷较难检测。传统的yolov5s检测算法检测花点图案缺陷时存在精度不够高和鲁棒性不够好的问题。为了改善这两个问题。本发明在yolov5s网络模型基础上增加注意力机制cbam(convolutional block attention module)，对花点缺陷图像的特征图进行注意力重构，突出花点特征图中与缺陷相关的重要信息，抑制与缺陷无关的一般信息；同时采用激活函数silu进一步优化深度网络训练，设计了全新的csi-yolov5s挡风玻璃花点缺陷检测算法。
[0079]
2.1)花点图案的分类方式
[0080]
汽车玻璃的花点图案主要包含三个特征：排布的疏密性、排列层数以及黑点形状。排布疏密主要根据花点间的距离、交界处底纹波谷间的距离和花点与底纹间的距离这三个指标进行划分，任意一个指标大于5个像素点，即可定义为稀疏型排布。排列层数是指图案中黑点的层数，如2层、3层等。黑点形状是指构成花点图案的黑点是方形或圆形。本发明利用上述三个花点特征对需要检测的花点图案进行命名和分类，如图7所示为三种较有代表性的花点样式。
[0081]
选用图7中的稀疏2层圆、密集6层圆、稀疏2层方这3种代表性的花点样式来制作训练和验证数据集，并采用数据增强技术(图像翻转、角度旋转、饱和度变化)来扩展样本数量，共制作了1933张花点缺陷图像数据集，并按照8:2的比例划分为训练集和验证集，即训练集1546张图片，验证集387张图片，将上述花点缺陷图像数据集送入yolov5s模型训练后生成yolov5s算法的检测模型。为了验证由上述数据集训练出来的模型也适用于其他类型的花点图案的缺陷检测，又用另外5种花点样式(密集2层圆、密集3层圆、稀疏3层圆、稀疏4层圆和稀疏4层方)制作了1个测试集，共508图片。
[0082]
2.2)cbam、silu函数与yolov5s的集成
[0083]
将cbam注意力模块嵌入到yolov5s算法的检测模型中，同时将yolov5s算法的检测模型中的leaky relu函数替换为silu函数，最终形成csi-yolov5s模型；
[0084]
cbam作为一个通用的轻量级注意力模块可以无缝地集成到任何cnn网络架构中。本发明在csi-yolov5s模型的focus模块后cbl模块中的conv层嵌入cbam，形成全新的conv_cbam层，将cbam注意力模块融合在backbone网络中，更有利于花点缺陷特征的降维提取和特征融合，改进前后的cbl模块如图8所示。
[0085]
yolov5s模型采用的激活函数是leaky relu函数，但leaky relu函数存在零点不可导，梯度下降不平滑等问题，而且不同区间使用不同函数会导致无法为正负输入值提供一致的预测关系。本发明对此进行改进，选用silu函数代替leaky relu函数作为激活函数。
[0086]
silu函数(sigmoid weighted liner unit)作为sigmoid函数的升级版，解决了sigmoid函数易发生梯度消失的问题，也改善了在负输入时神经元坏死的情况，即在x《0时将激活函数值以一定比例进行缩小操作，从而达到优化深度网络训练的效果。
[0087]
[0088]
2.3)花点缺陷的检测过程
[0089]
花点缺陷图像在csi-yolov5s模型的input部分通过mosaic数据增强后自适应缩放至608
×
608大小，然后在backbone部分经过两次上采样后得到19
×
19的特征图，经过一次上采样后得到38
×
38与76
×
76的特征图；将这三种不同大小的特征图在neck部分进行特征融合，推理出待检测花点图像中是否存在缺陷信息，以及缺陷的类型和所在的位置。
[0090]
2.4)花点缺陷的检测结果
[0091]
经过训练的csi-yolov5s模型可以准确识别待测花点图像中缺陷的类型和位置，并标注出来，如图9所示。花点缺陷主要分为黏连、缺失和残缺三类，在检测结果的标签数据中分别标识为“adhesions”、“hiatus”和“incomplete”。
[0092]
表1为yolov5s算法与目前主流的深度学习算法在花点缺陷检测方面的性能。表1中采用ap、map、t
ave
来评价检测算法的性能。其中，ap指检测精度，可间接体现每一类缺陷的准确率precision、召回率recall；map(mean average precision)指平均检测精度；t
ave
指平均检测时间。
[0093]
从表1的检测数据可知，yolov5s算法平均检测精度map可以达到93.60％，比faster rcnn算法高了7.3％。在平均检测时间t
ave
方面，yolov5s算法检测时间只有faster rcnn算法的21.9％，在检测速度上有绝对的优势。相比ssd算法，yolov5s算法平均检测精度map仍然高了6.7％，平均检测时间t
ave
少了0.066s，其综合性能更好。
[0094]
表1不同深度学习检测算法的性能对比
[0095][0096][0097]
注：faster rcnn检测算法简写为f-rcnn，后续图表均采用此简写。
[0098]
表2所列为不同组合的4种yolov5s算法在花点缺陷检测方面的性能。从表2的检测数据可知，同时加入cbam注意力机制和激活函数silu后的csi-yolov5s模型对花点缺陷检测的adhesions ap值提升了5.1％，hiatus ap值提升了4.9％，incomplete ap值提升了6.5％，map值提升了5.5％，t
ave
缩短到0.142秒。由此可见改进的yolov5s花点缺陷检测算法的性能较为良好，提升了花点缺陷检测精度。
[0099]
表2不同组合的yolov5s算法检测性能对比
[0100][0101]
表3所列为yolov5s与改进的csi-yolov5s模型对另外4种花点样式的缺陷检测结果，这4种花点样式是未经训练的。测试结果表面改进的yolov5s算法在各组花点缺陷的检测精度上均有一定的提升，每组检测精度平均提升3.05％，在花点缺陷漏检和误检方面也
有所改善，但也存在个别组漏检现象明显需改善的情况。
[0102]
表3csi-yolov5s模型检测效果
[0103][0104]
上面结合附图对本发明的实施加以描述，但是本发明不局限于上述的具体实施方式，上述的具体实施方式是示意性而不是加以局限本发明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。