一种MiniLED薄板全自动连线的生产质量检测方法与流程

一种miniled薄板全自动连线的生产质量检测方法
技术领域
1.本发明涉及图像处理领域，具体涉及一种miniled薄板全自动连线的生产质量检测方法。


背景技术：

2.当前，mini led成为显示行业重要技术趋势之一，作为led到micro led过渡的显示技术,具有薄膜化、微小化、阵列化、高亮度化、低成本化的优势。而当前国内现有mini led产线都处在技术研讨和研发阶段，配套的检测装备厂家也未大规模搬入，应用的mini led检测设备部分为进口设备，造价昂贵，检测成本高。
3.因此，如何提供一种miniled薄板在生产过程中的质量检测，是尤为重要的。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供了一种miniled薄板全自动连线的生产质量检测方法，所采用的技术方案具体如下：本发明提供的一种miniled薄板全自动连线的生产质量检测方法的技术方案，包括以下步骤：实时采集未焊接的灰度图像、焊线灰度图像以及焊点灰度图像；对所述未焊接的灰度图像进行边缘检测，获取边缘像素点，对所述边缘像素点进行霍夫圆检测，得到若干个圆的圆心以及对应的半径；计算每个圆的半径与标准圆的半径的差异，根据所述差异，确定各圆与标准圆的匹配程度；同时，根据每个圆的圆心和半径以及焊接规则，确定对应的焊接区域；将所述焊接区域与焊线灰度图像一一对应，确定焊线灰度图像中对应的焊接区域图像，提取所述焊接区域图像的边缘像素点，对所述边缘像素点进行霍夫直线检测，得到对应的k条直线；对所有直线进行分类，得到不同类别的直线组；计算直线上其中一像素点与其相邻像素点之间的差异；将所有像素点的差异的均值作为对应直线的置信度，当所述置信度大于设定阈值时，则对应直线组中的直线均为焊线；并根据各直线组的焊线的个数以及焊线区域的宽度，计算焊线质量评估指标；提取焊点灰度图像中的焊点图像，计算各焊点图像与标准焊点模板图像的相似性，并得到焊点灰度图像的相似指标；对焊接后的miniled薄板进行通电，获取灯珠的变化程度；对所述匹配程度、焊线质量评估指标、相似指标以及变化程度进行加权求和，得到综合生产质量指标，当所述综合生产质量指标大于设定阈值，则miniled薄板合格。
5.进一步地，实时采集生产过程中不同工艺下的miniled薄板的表面图像，得到未焊接的表面图像、焊线表面图像以及焊点表面图像，对各表面图像进行灰度处理，得到对应的灰度图像。
6.进一步地，所述差异的获取方法为：获取各直线的长度以及角度；基于所述长度和
角度，对所有直线进行分类，得到不同类别的直线组；根据各直线组内的各条直线的像素点的个数以及对应的灰度值，确定各像素点的lbp值；获取各条直线的像素点色调值；基于所述lbp值以及像素点色调值，计算直线上其中一像素点与相邻像素点之间的差异。
7.进一步地，所述焊线质量评估指标为：其中，u表示焊接区域的宽度，表示所有焊线之间的平均距离，f为直线组的焊线的个数，为第f条焊线与第f+1条相邻焊线之间的距离。
8.进一步地，还包括对所述置信度进行修正的步骤：任取类别中的某一直线，其相邻直线为，；获取直线上的像素点s分别到相邻直线、的距离，；计算两距离的差异，根据两距离的差异对所述置信度进行调整，得到新的置信度：其中，为第k直线的置信度。
9.进一步地，所述变化程度为：其中，为通电前位置为的灯珠的灰度值，为通电后位置为后灯珠的灰度值，为灯珠的行数，为灯珠的列数。
10.本发明的有益效果：本发明的方案，实时采集未焊接的灰度图像、焊线灰度图像以及焊点灰度图像；通过获取未焊接的灰度图像中各圆与标准圆的匹配程度；根据每个圆的圆心和半径以及焊接规则，确定对应的焊接区域；确定焊线灰度图像中对应的焊接区域图像中的焊线，计算焊线质量评估指标；同时，计算各焊点图像与标准焊点模板图像的相似指标以及获取灯珠的变化程度；对匹配程度、焊线质量评估指标、相似指标以及变化程度进行加权求和，得到综合生产质量指标，判断miniled薄板是否合格；即本发明的方案能够对整个生产线的工艺流程的质量进行监测，从而实现miniled薄板的质量检测。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施
例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
12.图1是本发明的一种miniled薄板全自动连线的生产质量检测方法的方法流程图。
具体实施方式
13.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
14.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
15.本发明针对的场景为：工厂生产线上生产的miniled薄板的生产质量检测；由于miniled薄板的质量影响着显示器的亮度、对比度和色域以及用户的观影体验；故基于此，本发明通过图像处理技术实时采集生产过程的中的各个流程上的薄板图像，从而完成其最终生产质量的检测。
16.具体地，对本发明提供的一种miniled薄板全自动连线的生产质量检测方法进行介绍，请参阅图1所示，包括以下步骤：步骤1，实时获取未焊接的灰度图像、焊线灰度图像以及焊点灰度图像。
17.本实施例中通过高分辨率相机，固定光源的形式采集生产过程中miniled薄板的表面图像，采集的图像往往为rgb图像，采用加权灰度化的方法对其进行灰度化处理，得到对应的灰度图像。
18.需要说明的是，上述中采集的图像为全自动生产线中各个工艺流程对应的图像，如未焊接前的薄板的表面图像、自动布线后的焊线图像以及焊接好电子元件的焊接后的灰度图像。
19.步骤2，对所述未焊接的灰度图像进行边缘检测，获取边缘像素点，对所述边缘像素点进行霍夫圆检测，得到若干个圆的圆心以及对应的半径；计算每个圆的半径与标准圆的半径的差异，根据所述差异，确定各圆与标准圆的匹配程度；同时，根据每个圆的圆心和半径以及焊接规则，确定对应的焊接区域。
20.本实施例中，首先，提取各焊接区域的边缘像素点是对未进行焊接的图像进行canny算子检测，检测出边缘信息；其次，对边缘像素点进行霍夫圆检测，对得到的各个圆心，假设有n个记录（，，），而符合规格的薄板上应存在着m个焊接区域的圆心，坐标为（，）其圆半径为r。
21.之后，对检测出的n个圆心进行匹配，本发明中根据距离对圆心进行匹配，即将检测出的圆心(w)与标准模板上与其欧式距离最小的圆心()进行关联，计算检测出的圆心半径与关联圆心半径之间的相似性c：
其中，r为标准圆的半径，为检测出的第m个圆心，m=1,2,3，
…
，n。
22.本实施例中，确定对应的焊接区域的具体方法为：对检测出的每个圆心（此时假设为圆心w）连接水平竖直方向上相邻（与圆心w的水平或竖直方向上的投影长度最小）的圆心，获得线段l，选取线段中心e点，而生产需求中各焊接区域之间的距离为d，则从e点沿w点方向选取d/2长度的点为b点，则得到线段eb。则每个圆心可得到4条线段，4条线段组成的区域即为该圆心的焊接区域。
23.需要说明的是，上述中对各焊接区域的位置信息进行了获取，同时对生产的焊接区域的整体异常程度进行了检测，相似性c越大，则质量越好；至此，得到了各焊接区域的位置信息。
24.步骤3，将所述焊接区域与焊线灰度图像一一对应，确定焊线灰度图像中对应的焊接区域图像，提取所述焊接区域图像的边缘像素点，对所述边缘像素点进行霍夫直线检测，得到对应的k条直线；对所有直线进行分类，得到不同类别的直线组；计算直线上其中一像素点与其相邻像素点之间的差异；将所有像素点的差异的均值作为对应直线的置信度，当所述置信度大于设定阈值时，则对应直线组中的直线均为焊线；并根据各直线组的焊线的个数以及焊线区域的宽度，计算焊线质量评估指标。
25.本实施例中，焊线灰度图像中的焊接区域图像与步骤2中获取的焊接区域是一一对应的，其不同的是，焊接区域图像中包含了已经自动布线后的焊线，而焊接区域则是未进行布线的区域。
26.对每个焊接区域图像进行如下分析，即对焊接区域图像再次使用canny算子检测，获得边缘像素点，再对边缘像素点进行霍夫直线检测，检测出焊接区域图像内的直线，而由于焊接区域图像内部会存在干扰直线，故需对检测出的直线再进行判断是否为焊线，其具体过程为：假设通过霍夫直线检测，检测出了k条直线，获取各直线的方程为y=ax+b的长度l以及角度（与水平线的顺时针夹角）。
27.首先根据角度与l计算直线之间的相似性xs，进行初步聚类。
28.公式中的i表示第i条直线，j表示第j条直线，i=1，2,3
…
，k，j=1,2,3
…
，k，但。设置阈值t，对xs进行判断，若xs大于阈值t，则说明第i条直线与第j条直线属于同一类直线，否则为不同类直线。
29.计算每条直线置信度：首先，统计直线上的像素点个数为z，像素点的灰度值；其次，根据各像素点的灰度值a，计算每个像素点的lbp值；上述中的lbp值是已经转化成十进制后的值，由于lbp（局部二值模式）为公知技术，不再详述获取过程。
30.然后，将焊线灰度图像进行hsv空间转化，获取各像素点的色调值h；最后，计算直线上的某一像素点与其相邻像素点之间的差异从而表征出像素点为
焊线像素点的置信度y：其中，为第z个像素点的lbp值，为第z+1个像素点的lbp值，为第z-1个像素点的lbp值，为第z个像素点的色调值，为第z+1个像素点的色调值，为第z+1个像素点的色调值，其中，z=1,2,3,
…
,z。再计算直线整体的置信度：其中，为直线上第z个像素点的置信度。
31.进一步地，为了保证提高准确性，本发明还包括对获取的直线整体的置信度进行修正的步骤，如下：1）任取类别中的某一直线，其相邻直线为，；2）获取直线上的像素点，假设为s点，（，），计算距离d：则可得到，，分别代表s点到相邻两直线的距离；3）计算距离差异，差异越小，置信度应越大，基于此，对置信度进行调整。
32.对进行归一化处理，设置阈值，当直线的置信度大于时，可认为该直线为焊线，否则不为焊线。
33.基于上述中已经确定的焊线，本实施例对焊线的焊线质量评估指标的具体过程为：获取薄板上各焊线区域图像的宽度u，对焊线区域图像内的焊线进行生产质量的评估，获取各直线组的同类焊线的个数为f，其中，f小于等于k；计算任意两相邻焊线之间的距离d，若有f个焊线，即有f-1个d值,则该焊线区域图像的焊线质量评估pg：公式中u代表了宽度，表示所有焊线的平均距离。pg越大，则该焊接区域的质量越好。
34.上述中焊线质量评估指标是在判断出是否为焊线的前提下计算的，这样能够更准确地对该工艺下的焊线的质量进行准确的评估，避免其他因素的影响。
35.步骤4，提取焊点灰度图像中的焊点图像，计算各焊点图像与标准焊点模板图像的相似性，并得到焊点灰度图像的相似指标；对焊接后的miniled薄板进行通电，获取灯珠的变化程度。
36.本实施例中的焊点灰度图像为完成焊接后的图像，其中焊点灰度图像包括灯珠与焊点。
37.本实施例中，对焊点灰度图像中的焊点进行检测，具体为：对焊接后的焊点灰度图像首先进行中值滤波处理，减少噪声干扰，再通过otsu大津阈值的方法将焊点分割出来，对各焊点图像进行处理，假设得到了p个焊点。
38.对焊点图像与标准焊点模板图像进行模板匹配计算相似性v；则p个焊点得到了p个v，计算整体相似性：其中，为第p个焊点的相似性。其中相似性越大，则说明焊点质量越好，该焊接区域的质量越好。
39.对于灯珠的变化程度获取的过程为：对焊接完成后的薄板进行通电，获取通电前后的薄板表面灰度图像，对图像进行作差，当出现差异时，则证明该焊接区域中的led正常运行，否则说明该处焊接区域的质量不符合标准。
40.对于灯珠正常运行的区域，其通电前后，由于灯珠发亮，则图像灰度变化会很大，获取其变化程度作为生产质量评价指标py：其中，为通电前位置为的灯珠的灰度值，为通电后位置为后灯珠的灰度值，为灯珠的行数，为灯珠的列数。
41.步骤5，对所述匹配程度、焊线质量评估指标、相似指标以及变化程度进行加权求和，得到综合生产质量指标，当所述综合生产质量指标大于设定阈值，则miniled薄板合格。
42.本实施例中的综合生产质量指标为：其中，公式中，，，为权重，其中表征了板上第n个焊接区域与标准焊接区域的归一化的平均相似度，则表征了焊接区域内焊线的归一化的质量评估平均值，则表征了归一化的焊点的质量评价，表征了灯珠焊接过后的归一化的质量情况。
43.本发明中设置，，，=0.1，可根据具体需求进行修改。
44.对n个焊接区域都得到了四个指标，,，对这四个指标进行归一化处理，不能正常运行的已经说明该处焊接区域py=0。
45.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。