基于计算机视觉的LED背光异物缺陷检测方法与流程

基于计算机视觉的led背光异物缺陷检测方法
技术领域
1.本发明涉及材料的光学分析领域，具体涉及基于计算机视觉的led背光异物缺陷检测方法。


背景技术：

2.随着现在社会中人们对极致视觉体验的依赖，对显示器等显示类电子产品的需求和质量要求也越来越高，在显示器中背光板是一个重要的光学组件，用于给显示器提供光源，背光板中使用led灯条作为光源，然后背光板中还包含一些透明夹层，例如导光板、扩散板等，用于将led发射的光处理，使得光源均匀照射背光板前面的液晶模块，避免显示器出现色差或颜色显示异常。
3.在背光板生产过程中，例如导光板、反射板、扩散板等制造过程中，可能会沾染灰尘或异物，或者将导光板、反射板、扩散板等贴合在一起时，甚至存储管理不当时，也可能沾染灰尘或异物，这些灰尘或异物都会对显示器的显示效果造成不良影响，因此背光板在生产之后需要检测背光板夹层之间是否存在灰尘或异物，以及评估灰尘或异物存在的多少。
4.一般是利用图像识别的方法，例如边缘提取或阈值分割等方法，来检测灰尘或异物，但是当背光板表面在检测之前附着了一些灰尘或异物，这些灰尘或异物没有在背光板夹层中，可以被擦拭掉，但是现有的检测方法却很难检测出灰尘或异物是附着在表面还是沾染在夹层之中，尤其时一些轻微的、半透明不明显的灰尘或异物，导致错把附着在表面的灰尘或异物认为是存在夹层中的，导致错把一些无异物的背光板认为成有异物的而被销毁，进而造成一定的经济损失。本发明利用灰尘和背光板夹层的光学特性来识别出灰尘或异物是否存在夹层中的，进而提高背光板异物检测的准确性。


技术实现要素：

5.为了克服上述现有技术的缺点，本发明提供一种基于计算机视觉的led背光异物缺陷检测方法。
6.为达到上述目的，本发明采用如下技术方案，基于计算机视觉的led背光异物缺陷检测方法，包括以下步骤：构建光学检测装置，利用所述光学检测装置获得待检测背光板的第一反射光谱图以及标准背光板的第二反射光谱图，根据第一反射光谱图以及第二反射光谱图获得目标反射光谱图，将目标反射光谱图分割成子图像，根据子图像拟合高斯混合模型，所述高斯混合模型中子高斯模型数量设置为待更新参数m，初始化待更新参数m；对高斯混合模型进行更新操作，包括：根据子图像以及高斯混合模型获得亮斑分布图，根据亮斑分布图和高斯混合模型获得子图像的所有反射特征，根据所有反射特征获得所有折射偏移特征，对所有折射偏移特进行聚类得到所有类别，根据所有类别获得参考子模型以及高斯混合模型的模型误差，根据所有类别的数量更新待更新参数m，根据高斯混合模型的模型误差与待更新参数m计算
高斯混合模型的综合指标，根据参考子模型以及待更新参数m更新高斯混合模型得到新的高斯混合模型；重复对新的高斯混合模型进行更新操作，直至高斯混合模型的综合指标取极大值时得到最终的高斯混合模型；根据子图像以及最终的高斯混合模型获得子图像的所有最终反射特征，根据子图像的所有最终反射特征检测异物。
7.优选的，所述根据参考子模型以及待更新参数m更新高斯混合模型得到新的高斯混合模型的方法为：重新构建一个新的高斯混合模型，将待更新参数m作为所述新的高斯混合模型所包含的子高斯模型的个数；获取参考子模型的数量p，首先从新的高斯混合模型中的m个子高斯模型上选择p个子高斯模型，让所述p个子高斯模型的均值与p个参考子模型的均值分别相同，然后根据子图像以及待更新参数拟合高斯混合模型，根据子图像拟合新的高斯混合模型。
8.优选的，所述根据亮斑分布图和高斯混合模型获得子图像的所有反射特征，根据所有反射特征获得所有折射偏移特征的方法为：对亮斑分布图进行连通域分析获得所有连通域，记为m1个，计算每个连通域的质心，得到m1个连通域的质心；对于高斯混合模型上的m个子高斯模型，获取m个子高斯模型的均值，将得到的m1个连通域的质心与m个子高斯模型的均值进行匹配，得到所有点对，每个点对记为每个反射特征，进而得到子图像的所有反射特征；将每个点对中的欧式距离作为反射特征的折射偏移特征。
9.优选的，所述参考子模型的获取方法为：获取所有类别中包含折射偏移特征数量最多的类别，记为第一类别s，获取第一类别s中所有折射偏移特征对应的所有反射特征，将所有反射特征在高斯混合模型上对应的子高斯模型记为参考子模型。
10.优选的，所述高斯混合模型的模型误差的获取方法为：当所有类别的数量大于1时，分别计算第一类别s之外的其他所有类别的聚类中心与第一类别s的聚类中心的差值，得到的所有差值取绝对值，所有绝对值的均值记为高斯混合模型的模型误差；当所有类别的数量等于1时，将高斯混合模型的模型误差记为0。
11.优选的，所述根据所有类别的数量更新待更新参数m的方法为：当所有类别的数量大于1时，令m减一；当所有类别的数量等于1时，令m加一。
12.优选的，所述光学检测装置包括：一个暗室、一个激光光源、待检测的背光板、一个工业相机，所述激光光源能够扫描待检测的背光板上每个位置。
13.本发明的有益效果是：本发明通过分析异物和背光板对光的漫反射、镜面反射以及折射的光学特性，利用第一反射光谱图以及第二反射光谱图获得目标反射光谱图，并对目标反射光谱图进行处理来检测异物，能够区分出异物是否在背光板夹层中，避免错把背光板表面异物当成背光板夹层中异物的情况；另外通过构建高斯混合模型以及对高斯混合模型进行自适应的更新，保证所构建的模型能够准确的提取背光板上每个位置的漫反射区
域以及反射亮斑的反光特性，进一步提高了异物检测的准确性，避免错把背光板表面异物当成背光板夹层中异物的情况，减少背光板误检率。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
15.图1为本发明的基于计算机视觉的led背光异物缺陷检测方法的实施例的流程示意图。
16.图2为激光照射到背光板表面上异物时的光线反射示意图。
17.图3为激光照射到背光板夹层中异物时的光线反射示意图。
18.图4表示漫反射区域和反射亮斑一同出现时的图像。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明的基于计算机视觉的led背光异物缺陷检测方法的实施例，如图1所示，包括：步骤s001、构建光学检测装置，获得待检测背光板的反射光谱图；构建如图2的光学检测装置，包括：一个暗室、一个激光光源、待检测的背光板、一个工业相机。
21.其中暗室用于给整个检测装置提供一种无光环境，避免环境光的干扰，使得暗室内所有的光均是由激光光源发射出的；激光光源固定在一个位置处，能够朝背光板上的各个位置处发射激光束，本实施例考虑到异物或灰尘具有一定的漫反射特性，而背光板夹层都是透明介质，对光有较强的镜面反射和折射特征，因此异物和背光板夹层具有一些光学特性差异，本实施例所使用的激光光源发射波长相对较短的绿光，保证异物和背光板夹层的光学特性差异更加明显一点；待检测的背光板的夹层中可能会有灰尘或异物，背光板表面也可能沾染灰尘或异物，前者所说的灰尘或异物会影响显示器的显示质量，是本发明所要检测的对象，后者所说的灰尘或异物可以被擦拭掉，原则上不会影响的显示器的显示质量，本发明需要区分检测出的灰尘或异物是否是前者所述的灰尘或异物；工业相机上的感光单元能够获得每个位置反射的激光的强度，工业相机输出的高清图像是灰度图，本实施例中灰度图大小为2048
×
2048；需要说明的是背光板有上表面和下表面之分，本发明只以检测上表面为例进行叙述，检测下表面时可以将背光板翻转一下即可。
22.该光学检测装置的工作原理是：激光光源使用李萨如扫描的方式扫描待检测背光板的所有位置，在扫描过程中激光光源向每个位置发射一个光束，光束照射在待检测背光
板上，然后光束在经过背光板夹层和异物的镜面反射、折射、漫反射后被工业相机接收到，工业相机在激光光源扫描开始时开始曝光，当激光光源扫描结束时结束曝光。激光光源扫描结束时后工业相机输出一张灰度图，这个灰度图表示激光照射到某个位置时的反射光的强弱，将该灰度图称为待检测背光板的反射光谱图i。
23.本发明使用激光束对待检测背光板进行扫描，保证扫描到每个位置时只有该位置有激光束照射，避免其他位置的光的干扰，使得异物和背光板夹层的光学特性差异进一步明显一点。
24.需要说明的是本发明检测的灰尘或异物具有一定的半透明、不容易观察到的特性，因为对于那些不透明或者容易发现的异物在生产过程中可以轻易的被质检人员检测出来，而本发明针对的是不容易被人眼轻易检测出来的异物或灰尘。
25.步骤s002、根据待检测背光板的反射光谱图获得每个子图像的反射特征。
26.如图2所示，当异物在背光板表面时，即图2中a点，在激光光源扫描过程中，激光照射到该位置时发生漫反射，工业相机接收到这些漫反射光，这些漫反射光的光强由中心向四周逐渐变暗形成一个区域，记为漫反射区域；同时由于灰尘或异物并非是不透明的，因此部分激光会进入夹层，在夹层中经过镜面反射和折射后被工业相机接收到，由于没有发生漫反射，因此这些反射出的光呈现出一个亮的斑点，简称为反射亮斑。即由于某个位置存在灰尘或异物，导致该位置的反射光在工业相机上呈现出一个由中心向四周逐渐变暗的漫反射区域，且该区域中存在一个反射亮斑，同时根据如图2所示可知相对于激光光源，反射亮斑中心处于漫反射区域中心的右侧；同理，如图3所示，当异物不在背光板表面而在夹层中时，即图3中b点，此时该位置获得的反射光在工业相机上呈现出一个由中心向四周逐渐变暗的区域，且该区域中存在一个反射亮斑，但是相对于激光光源，亮斑处于区域中心的左侧；需要说明的是图2、图3中以待检测背光板只有一个层为例进行示意。
27.如图4所示表示漫反射区域和反射亮斑一同出现时的图像。
28.显而易见的是当某个位置不存在灰尘或异物时，该位置对激光束只有镜面反射和折射作用，该位置的反射光在工业相机上呈现出的只有亮斑。
29.因此有灰尘或异物的位置处，该位置的反射光呈现出漫反射区域和反射亮斑，那么所有位置的反射光统一曝光后得到的反射光谱图i表示的就是所有位置呈现出的漫反射区域和反射亮斑的叠加与融合。
30.（1）事实上背光板的夹层除了镜面反射和折射外，还有一些其他光学特性，例如扩散板会将射入其中的光束进行多次反射和折射，以保证背光板发出的光的均匀性，导致上述在实际情况中并非是简单的呈现出漫反射区域和反射亮斑。那么利用如下方法解决该问题，以消除背光板的夹层本身具有的一些光学特性：首先获取一个无灰尘以及异物的背光板，称为标准背光板，利用光学检测装置获得标准背光板的反射光谱图i0，然后将待检测背光板的反射光谱图i与标准背光板的反射光谱图对应像素做差，然后再取绝对值，将得到的结果记为目标反射光谱图i1：
其中表示反射光谱图i上像素坐标(x，y)处的灰度值，表示反射光谱图i0上像素坐标(x，y)处的灰度值，表示目标反射光谱图i1上像素坐标(x，y)处的灰度值。
31.此处获得的目标反射光谱图i1表示的是：在去除背光板的夹层本身具有的一些光学特性后，所有位置呈现出的漫反射区域和反射亮斑的叠加与融合结果。
32.（2）由于目标反射光谱图i1表示的是所有位置呈现出的漫反射区域和反射亮斑的叠加，那么本发明需要利用如下方法对这个叠加结果进行分解，获得每个位置的呈现出的漫反射区域和反射亮斑：将目标反射光谱图i1均等分割成多个n
×
n的子图像，本实施例中n=16。分割成子图像的目的是：由于每个位置的呈现出的漫反射区域和反射亮斑只是在局部范围内的，不需要考虑整个背光板区域所有区域的反射情况。
33.以其中一个子图像为例进行叙述，以该子图像上所有的像素坐标为自变量，以子图像上所有像素的灰度值为因变量，利用em算法拟合一个高斯混合模型，初始化一个待更新参数m，该参数的初始值设置为8，本实施例中将该高斯混合模型中子高斯模型个数设置为m。
34.拟合高斯混合模型的原因是考虑到每个位置的呈现出的漫反射区域是由中间向四周逐渐变暗的，而能够描述由中间向四周变小的数学模型是高斯模型，又考虑到在目标反射光谱图i1，局部区域内的像素灰度值是多个位置呈现出的漫反射区域和反射亮斑的叠加结果，因此此处使用的是高斯混合模型，该高斯混合模型中每个子高斯模型都代表一个漫反射区域；然而由于m设置的过大或过小都会导致“高斯混合模型中每个子高斯模型都代表一个漫反射区域”这个结论不准确，同时又因为存在反射亮斑，会影响高斯混合模型的拟合，或者说反射亮斑是一个小的亮点，对于拟合高斯混合模型来说是噪声数据，也会导致“高斯混合模型中每个子高斯模型都代表一个漫反射区域”这个结论不准确。因此需要重新设置一个m来更新高斯混合模型，使高斯混合模型中每个子高斯模型都代表一个漫反射区域。
35.（3）在更新高斯混合模型之前，根据高斯混合模型获得子图像的所有反射特征。具体方法为：子图像中的像素坐标表示为，那么高斯混合模型在坐标处的输出结果为，目标反射光谱图i1上该坐标处的灰度值表示为，那么计算获得：即表示的是子图像上每个像素位置处的灰度值与高斯混合模型对应的输出结果的差异，该值越大，说明像素点的灰度值越不符合高斯混合模型，进而说明像素点越不能处于漫反射区域内，反而越可能在反射亮斑上。以为像素坐标，以为灰度值，构建一个亮斑分布图。
36.接下来亮斑分布图进行连通域分割，获得多个连通域，每个连通域都可能是反射
亮斑，然后计算每个连通域的质心，假设共有m1个连通域共得到m1个质心，这些连通域的质心也可以说是反射亮斑的中心，需要说明的是此处的质心是一个二维空间的坐标点；同时对于高斯混合模型上的m个子高斯模型，分别对应m个子高斯模型的均值，需要说明的是此处的均值也是一个二维空间的坐标点，原因是高斯混合模型的自变量就是子图像上的坐标；由于每个子高斯模型对应一个漫反射区域，因此这些均值代表漫反射区域的中心；考虑到背光板可能存在多个夹层，每个夹层都可能会产生漫反射区域或反射亮斑，因此m和m1可能不相同，将得到的m个质心与m1个均值进行km匹配，得到所有点对，所述的km匹配算法使得这些点对之间的欧氏距离最小；每个点对就是每个反射特征。
37.至此通过目标反射光谱图i1上的子图像获得所有反射特征，记为子图像的所有反射特征。反射特征表示的是：每组漫反射区域、反射亮斑的分布情况。
38.步骤s003、对子图像的所有反射特征进行更新得到子图像的所有最终反射特征。
39.对于子图像的每个反射特征，实质上是每个点对，将每个点对中两个点之间的欧式距离记为每个点对的折射偏移特征。由于每个点对其中一个点表示漫反射区域中心，另一个点表示反射亮斑的中心，因此每个点对的折射偏移特征表示的就是漫反射区域中心与反射亮斑的中心的距离。
40.由图2和图3可知漫反射区域中心和反射亮斑中心之间的距离只与背光板中每个夹层的厚度有关，与异物分布情况无关，因此子图像的所有折射偏移特征应该是取值相似的，不可能分布的太过分散，不过由于夹层有多个，因此所有折射偏移特征也不一定完全相同；如果子图像的折射偏移特征取值相似、差别不大，那么步骤s002获得的高斯混合模型是正确且可信的，如果取值相差较大，说明步骤s002获得的高斯混合模型违反了光学规律，即步骤s002获得的高斯混合模型不正确，高斯混合模型中每个子高斯模型不能代表一个漫反射区域，需要修正或更新。
41.接下来给出具体的高斯混合模型的修正更新的方法：（1）对子图像的所有折射偏移特征进行均值漂移聚类，获得多个类别，每个类别中包含多个折射偏移特征，同一个类别中的折射偏移特征具有较大的相似性且最大折射偏移特征与最小折射偏移特征的差值不超过背光板中所有夹层的平均厚度，不同类别之间的折射偏移特征相差比较大，甚至可能比背光板的总厚度还大；本实施例中单独孤立的一个折射偏移特征也视为一个类别，将每个类别中所有折射偏移特征的均值记为每个类别的聚类中心；所有类别中包含折射偏移特征数量最多的类别记为第一类别s；由于折射偏移特征是根据反射特征计算的，由步骤s002可知反射特征是一个点对，而一个点对对应着一个子高斯模型，也就是说一个折射偏移特征对应高斯混合模型上的一个子高斯模型；由于第一类别s中包含多个折射偏移特征，因此第一类别s对应高斯混合模型上多个子高斯模型。又因为第一类别s包含着数量最多的折射偏移特征，且这些折射偏移特征还都近似一样，因此高斯混合模型中只有第一类别s对应的子高斯模型是可信的，其他子高斯模型可能不准确。本发明将第一类别s对应的多个子高斯模型记为参考子模型。
42.（2）当上述均值漂移聚类获得的类别数量大于1时，说明子图像的所有折射偏移特征并非是取值相同的。此条件下进行如下处理：分别计算第一类别s之外的其他所有类别的聚类中心与第一类别s的聚类中心的
差值，这些差值取绝对值，这些绝对值的均值记为高斯混合模型的模型误差。该模型误差越大说明子图像的所有折射偏移特征之间越不一样，说明高斯混合模型越不准确，反之模型误差越小说明子图像的所有折射偏移特征之间越一样，说明高斯混合模型越准确。
43.并且，令m减去1得到新的m。目的是因为高斯混合模型上有些子高斯模型不准确，需要减少高斯混合模型上子高斯模型的数量。
44.（3）当上述均值漂移聚类获得的类别数量等于1时，说明子图像的所有折射偏移特征取值是近似相同的。此条件下进行如下处理：将高斯混合模型的模型误差记为0，并且令m加1得到新的m取值。目的是此时高斯混合模型中的子高斯模型比较准确，因此尝试着增加高斯混合模型中子高斯模型数量，以增加高斯混合模型的数据拟合能力，有助于准确获得区域光学特性。
45.（4）上述根据（2）、（3）得到了高斯混合模型的模型误差以及对m进行了更新。接下来需要根据参考子模型和m更新步骤s002得到的高斯混合模型，具体方法为：重新构建一个新的高斯混合模型，该高斯混合模型的子高斯模型数量为m，假设参考子模型的个数为p，那么从新的高斯混合模型中的m个子高斯模型上选择p个子高斯模型，让这p个子高斯模型的均值与p个参考子模型的均值分别相同。然后利用子图像重新拟合这个新的高斯混合模型。将拟合得到的新的高斯混合模型视为步骤s002中所述的高斯混合模型的更新结果。
46.（5）利用更新后的高斯混合模型，重复执行步骤s002所述的（3）以及步骤s003步骤的所述（1）、（2）、（3）、（4）。在重复执行的过程中会对高斯混合模型不断更新，直至高斯混合模型的子高斯模型数量m与模型误差的差值g不再继续变大。
47.具体来说：每重复执行一次，就实现一次对高斯混合模型的更新，就计算一次高斯混合模型的子高斯模型数量m与模型误差的差值g；那么随着不断地重复执行，如果当前重复执行后获得的g比前一次重复执行后获得的g的差值处于第一预设区间内时，说明当前重复执行后更新得到的高斯混合模型的子高斯模型数量m取到了极大值，并且模型误差取到了极小值，那么说明当前重复执行后更新得到的高斯混合模型是最准确的。本实施例中第一预设区间设置为。
48.（6）对于步骤s003所述的（5）中重复执行完成后得到的高斯混合模型，根据该高斯混合模型利用步骤s002所述的（3）重新获得子图像的所有反射特征，记为子图像的所有最终反射特征；根据步骤s003所述可知：每个最终反射特征表示的是每组漫反射区域、反射亮斑的分布情况。
49.步骤s004、根据子图像的所有最终反射特征获得异物区域。
50.目标反射光谱图i1上，灰度值不为零的所有像素位置都具有灰尘。如果一个子图像中存在灰度值不为零的像素区域，那么这个子图像内是存在异物或灰尘的；否则不存在。
51.需要说明的是,本发明目的是检测出背光板上的异物或灰尘，根据实际情况可知，背光板是比较薄的透明材料，工业相机在检测背光板异物或灰尘时是俯视视角的，本发明所给出的图2、图3上的a、b其实在相机的俯视视角下是处于背光板的相同位置，只是分别处于背光板的中夹层的上下两个面上，或者说图3中的b在图2中a的正下方，图2、图3只是为了方便表达背光板夹层对激光的光学作用过程才区分出a、b进行表述的，但是在相机视野中a、b处于背光板同一位置。
52.对于存在异物或灰尘的子图像，获取该子图像的所有最终反射特征，可知每个最终反射特征是指一组漫反射区域中心a和反射亮斑的中心b。获取漫反射区域中心a与激光光源的水平距离la，以及反射亮斑的中心b与激光光源的水平距离lb，当la小于lb时，说明漫反射区域中心在反射亮斑的左侧，根据图2可知a处有异物或灰尘，且处于待检测背光板的表面；当la大于lb时，说明漫反射区域中心在反射亮斑的右侧，根据图3可知b处有异物或灰尘，且处于待检测背光板的夹层中。
53.由于背光板有多个夹层，因此不同的最终反射特征里，可能有的最终反射特征得出b处有异物或灰尘且处于待检测背光板的夹层中，也有可能有的最终反射特征得出位置a处有异物或灰尘且处于待检测背光板的表面，那么这种情况则最终判定背光板上表面的a处有异物或灰尘且处于待检测背光板的表面。
54.至此根据每个最终反射特征判断出某个位置的异物或灰尘是否处于夹层之中。进而获得了有异物或灰尘的位置以及区域，以及异物或灰尘是否处于夹层中。
55.最后获取夹层中所有异物或灰尘的所占区域的面积。根据面积大小评估待检测背光板是否合格，例如当所占面积大于背光板面积的百分之五时认为背光板不合格。
56.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。