一种级联分布式AOI缺陷检测系统及其检测方法与流程

本发明属于光学自动化缺陷检测领域，涉及利用光学自动化设备进行平板显示面板的缺陷检测系统，尤其涉及一种级联分布式AOI（Automatic Optic Inspection，自动光学检测）缺陷检测系统及其检测方法。

背景技术：

作为 FPD（Flat Panel Display，平板显示器）的主流器件，TFT-LCD面板产值高达几千亿美元，但由于 TFT-LCD 是属于高精密技术与高材料成本的产业，生产流程复杂，工艺要求极高，制备过程中容易产生各种各样的显示缺陷。单纯的人工检测的成本极高，且速度和稳定性都随着工作的时间延长而降低，故而基于AOI的自动化在线快速缺陷检测技术以及对应的设备显现的极为重要。

LCD的缺陷分为很多种，并且每一种缺陷的形成原因和表现形式都有差异。并且随着显示技术的发展，人们对显示技术的要求也越来越高，需要AOI设备进行检测的缺陷的需求也越来越多。这里从AOI角度，根据检测相机的类别，将常见的需要检测的一些缺陷进行如下区分。

表1 LCD缺陷分类表

从表1可以看出，为了检测出颜色Mura，需要正视和斜视两种彩色相机，而为了检测出精细的亮度缺陷，需要低噪声的工业相机，为了检测出LCD表面玻璃的缺陷，需要线阵相机。

另外，由于LCD的缺陷从观察角度又可以分为宏观缺陷和微观缺陷。基于此出发点，又可以对LCD的缺陷进行分类。

表2 LCD缺陷分类表

因此，对于微观缺陷的检测需要高分辨率的工业相机，使得检测相机的分辨率和LCD屏幕的分辨率呈现3:1或者N:1的关系。

由于在实际应用中，每个批次的LCD需要检测的缺陷都可能存在差异性。有些批次的LCD屏幕只需进行微观上的缺陷检测，有些只需要进行基于亮度空间的缺陷检测，有些只需要进行玻璃缺陷的检测。如何使得现有的产品方案能够满足厂商不同的缺陷种类检测需求，以及需求的变更成为需要解决的问题。

目前的厂商以及研究机构提出了各种缺陷检测方案与装置，并且根据LCD缺陷的不同，提出的方法也不尽相同。

专利号为201310379518.6的专利文献提出了一种缺陷检测方法和流程，包括点、线、Mura的检测方法。但是该方法主要是在灰度空间进行，并没有考虑颜色Mura以及LCD的玻璃表面划痕等。专利号为201410125777.0的专利文献提出了线阵相机下的LCD玻璃基板的缺陷检测方法以及流程，但是该方案没有考虑数据的融合。单纯依靠线阵相机是比较难以区分表面划痕和Particle以及一些污渍的。而这些内容在灰度空间的普通Mura检测时，可以分辨出来。另外在申请号为201310093140.3 、201610137450.4的专利申请文献中都提出了一些缺陷检测的方案，但是这些方案普遍存在如下问题：

A.检测缺陷种类相对单一，无法满足越来越多的缺陷检测类别的要求；

B.没有考虑根据系统的复杂性以及检测缺陷的需求，对检测系统进行模块化划分。故而无法满足后续的缺陷检测种类的随时变更的需求。

有鉴于此，有必要提供一种级联分布式AOI缺陷检测系统及其检测方法，以解决上述问题。

技术实现要素：

针对背景技术中所指出的问题及现有技术存在的不足，本发明的目的在于提供一种级联分布式AOI缺陷检测系统及其检测方法，根据系统的复杂性以及待检测缺陷的类别对整个大的AOI系统进行模块化划分，转换为一个级联的分布式系统。每个模块检测特定的缺陷，各个模块的检测结果和数据通过网络数据同步的方式进行共享，模块的级联排序上根据用户个性化需求进行。

为了实现上述目的，本发明所采用的技术方案是：一种级联分布式AOI缺陷检测系统，用于产线上LCD屏的缺陷检测，其特征在于，所述检测系统包括：

多个检测单元，该多个检测单元之间采取级联的方式，该多个检测单元的每一个检测单元均用于检测LCD屏的缺陷，并将检测结果传送至数据同步单元；检测结果不合格，由第一结果处理单元进行处理，否则由第二结果处理单元进行处理；

数据同步单元，用于接收该检测结果，并与该多个检测单元之间实现数据共享；

第一结果处理单元，用于对检测结果不合格的LCD屏进行处理；

第二结果处理单元，用于对检测结果合格的LCD屏进行处理。

作为进一步可选的技术方案，上述方案中，所述多个检测单元包括三个检测单元，分别是：亮度缺陷检测单元、颜色缺陷检测单元和表面缺陷检测单元，三者采用级联的方式，亮度缺陷检测单元检测结果合格，则进入颜色缺陷检测单元，颜色缺陷检测单元的检测结果合格，则进入表面缺陷检测单元。

作为进一步可选的技术方案，上述方案中，所述亮度缺陷检测单元采用工业相机，颜色缺陷检测单元采用彩色相机，表面缺陷检测单元采用线阵相机。

作为进一步可选的技术方案，上述方案中，所述数据同步单元采用LCD屏的设备ID作为Key进行数据的同步和共享。

作为进一步可选的技术方案，上述方案中，所述多个检测单元的每一个检测单元包括：

控制单元，用于实现相机组的运动及信号控制；

图像处理单元，用于对拍摄得到的图像进行处理，得到当前图像下的缺陷；

FPGA单元，用于进行相机图像的采集和传输，LCD屏图像的显示；

相机组，用于采集LCD屏的图像，包含多种类型相机或者多个数目的相机。

作为进一步可选的技术方案，上述方案中，所述多个检测单元的每一个检测单元还包括光源组，用于辅助相机组进行补光拍摄。

本发明还提供一种级联分布式AOI缺陷检测系统的检测方法，用于产线上LCD屏的缺陷检测，其特征在于，所述检测系统包括：亮度缺陷检测单元、颜色缺陷检测单元、表面缺陷检测单元、数据同步单元、第一结果处理单元以及第二结果处理单元；所述检测方法包括如下步骤：

1）使用亮度缺陷检测单元对LCD屏进行亮度缺陷检测，检测结果合格，则进入颜色缺陷检测单元，否则进入第一结果处理单元进行处理；；

2）使用颜色缺陷检测单元对LCD屏进行颜色缺陷检测，检测结果合格，则进入表面缺陷检测单元，否则进入第一结果处理单元进行处理；；

3）使用表面缺陷检测单元对LCD屏进行表面缺陷检测，检测结果合格，则进入第二结果处理单元，否则进入第一结果处理单元进行处理；

其中，所述亮度缺陷检测单元、颜色缺陷检测单元和表面缺陷检测单元的检测结果均传送至数据同步单元保存，并在这三个检测单元之间实现数据共享。

作为进一步可选的技术方案，上述方案中，所述三个检测单元的每个检测单元均会对其他检测单元已经得到的检测结果进行验证，从而确定该缺陷的置信度。

作为进一步可选的技术方案，上述方案中，所述三个检测单元的每个检测单元均会以LCD屏的设备ID编号为key将检测结果通过数据同步单元与其他检测单元进行共享。

作为进一步可选的技术方案，上述方案中，所述三个检测单元的图像处理算法的处理流程为：

1）获得相机的畸变参数；

2）分别对图像进行畸变校正、ROI区域分割以及图像对比度增强处理；

3）对图像进行缺陷检测，所有图像检测完毕后进行缺陷检测结果的合并；

4）根据表面灰尘图像，对表面灰尘误检导致的检测结果进行过滤。

与现有技术相比，本发明具有如下的有益效果：本发明提出的一种级联分布式AOI缺陷检测系统及其检测方法，该系统主要有如下优势：

A.AOI缺陷检测系统划分为若干个检测单元，一方面降低了整体系统的复杂性，降低了各类检测缺陷的耦合性，另外一方面也便于每个检测单元的单独升级和调试。

B.检测单元的分布式部署，使得每个单元都是独立的检测单元，某个检测单元的异常都不会影响其他检测单元的正常工作。

C.检测单元的数据共享，使得每个检测单元在检测时都有一定的参考，便于算法更好的检测，得出更加准确的结果。

D.便于满足用户的变更，在用户对检测缺陷种类发生变更后，只需要增加或者停止某个检测单元的运行即可。另外还可以根据用户的需求随机调整各个检测单元的级联顺序。

附图说明

图1为本发明的级联分布式AOI缺陷检测系统的组成结构示意图。

图2为本发明实施例提供的级联分布式AOI缺陷检测系统的组成结构示意图。

图3为单个检测单元的组成结构示意图。

图4为检测单元的缺陷检测处理流程图。

图5为图像处理算法的处理流程图。

具体实施方式

为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样在本申请所列权利要求书限定范围之内。

由于不同缺陷检测的构造条件存在差异，不同的缺陷也需要采用不同的相机才能有着比较好的检出效果。而不同相机进行缺陷检测的Pattern图案存在差异，曝光条件、工作距离、架设方式等都不同。如果将这些因素全部进行综合考虑，构建一个大的系统就会导致整个系统极其的复杂。故而将这整个系统进行拆分，形成多个独立的检测单元，并将各个独立的检测单元进行级联，形成级联分布式缺陷检测系统。

如图1所示，本发明提供的一种级联分布式AOI缺陷检测系统，数据同步单元、第一结果处理单元、第二结果处理单元以及多个检测单元。作为优选的方案，还包括一个数据中心。

数据同步单元，主要是一个数据同步模块。一方面将所有检测单元检测得到的结果上传到数据中心。另外可以实现各个检测单元之间的数据共享。数据在同步和共享的时候采用LCD的设备ID（具有唯一性）作为Key。

第一结果处理单元，主要是对检测结果不合格（NG，not agree）的LCD屏进行处理，具体的处理方式根据用户的需求来确定，一般是直接进入NG流水线。

第二结果处理单元，主要是对检测结果合格的LCD屏进行处理，具体的处理方式也是根据用户的需求来确定的，一般是根据用户设置的条件来确定当前LCD的等级。

数据中心是指用户所有生产线的总数据中心，可以在数据中心中实时查看所有LCD屏对应的缺陷情况。

多个检测单元之间采取级联的方式，每个检测单元均用于检测LCD屏的缺陷，并将检测结果传送至数据同步单元。检测结果不合格，由第一结果处理单元进行处理，否则由第二结果处理单元进行处理。

如图2所示，在本实施例中，根据表1的处理方式，系统包括三个检测单元，即：基于工业相机的亮度缺陷检测单元、基于彩色相机的颜色缺陷检测单元和基于线阵相机的表面缺陷检测单元。

所述基于工业相机的亮度缺陷检测单元主要负责一些比较精细的亮度缺陷，比如亮点、暗点、异物、亮线、暗线等。

所述基于彩色相机的颜色缺陷检测单元主要负责一些颜色空间的缺陷，比如黄斑，周边黄色、颜色分布不均匀、整体颜色泛黄等。

所述基于线阵相机的表面缺陷检测单元主要负责一些LCD表面的缺陷，比如表面的划痕、表面贴膜的气泡等。

亮度缺陷检测单元、颜色缺陷检测单元和表面缺陷检测单元三者采用级联的方式，亮度缺陷检测单元检测结果合格，则进入颜色缺陷检测单元，颜色缺陷检测单元的检测结果合格，则进入表面缺陷检测单元。

另外在每个检测单元的检测都存在一些不可容忍的缺陷，在检测到不可容忍的缺陷的时候，直接进行NG（not agree）操作，不再进行后续的检测。对于一些非严重的缺陷，都输出缺陷的置信度等相关信息。

本发明的级联分布式AOI缺陷检测系统，整个系统的处理流程如下：

1）LCD屏进入子系统的检测区域；

2）检测单元获取当前LCD屏的其他检测单元检测结果

获取失败则作为初次检测进行处理，其中检测单元优先从本地获取该LCD屏的检测结果，获取不到则向其他检测单元进行数据获取，最后向数据中心获取该LCD屏的检测结果，均获取不到则认为该LCD屏为初次检测；

3）检测单元进行LCD的缺陷检测

输出检测结果，判断是否NG，同时进行检测结果数据的本地数据库保存和数据的共享；

4）如果该LCD屏为被判断为NG，直接进入NG结果处理单元，否则依次通过所有的检测单元，循环进行2）和3），直到检测结束为止。

具体地，采用本实施例的检测系统的检测方法如下：

1）使用亮度缺陷检测单元对LCD屏进行亮度缺陷检测，检测结果合格，则进入颜色缺陷检测单元，否则进入第一结果处理单元进行处理；

2）使用颜色缺陷检测单元对LCD屏进行颜色缺陷检测，检测结果合格，则进入表面缺陷检测单元，否则进入第一结果处理单元进行处理；

3）使用表面缺陷检测单元对LCD屏进行表面缺陷检测，检测结果合格，则进入第二结果处理单元，否则进入第一结果处理单元进行处理；

其中，所述亮度缺陷检测单元、颜色缺陷检测单元和表面缺陷检测单元的检测结果均传送至数据同步单元保存，并在这三个检测单元之间实现数据共享。

其中，每个检测单元都会对其他检测单元已经检测到的结果进行验证，从而进一步确定该缺陷的置信度。

三个检测单元之间通过级联的方式组成一个AOI缺陷检测的级联系统。每个检测单元根据LCD的编号为key（具有唯一性）将检测的数据通过数据共享单元与其他检测单元进行共享，同时为了数据的安全性，检测的结果也存储在本地的数据库中。

由于各个检测单元相互独立，仅通过数据共享的方式获取其他检测单元的检测结果，从而辅助当前的算法检测，故而某一个检测单元的临时宕机都不影响整个级联系统的运行。另外如果需要增加或者减少某些缺陷检测的种类，只需增加或者停用某个检测单元即可。

本发明中，每个检测单元都是一个独立的检测系统，检测单元的系统结构图如图3所示。每个检测单元可以包含操作平台、控制柜、相机组和光源组。

操作平台是最为复杂的平台，所有的内部核心功能都在该平台内部。相对而言，其他的模块可以算是操作平台的外设。操作平台内部又包含了网络单元、控制单元、图像处理单元和FPGA单元。

网络单元用于当前的AOI系统与其他的系统或者单元进行通信。包括当前系统状态的上传、检测缺陷的同步等。某些情况下网络单元是可以省略的。

控制单元实现整个AOI系统的运动、信号控制等。主要控制电源的开关、电机的运动等。

图像处理单元对拍摄得到的Pattern进行处理，得到当前Pattern下的缺陷。

FPGA单元用于进行相机图像的高速采集和传输、LCD的各种Pattern的显示等。

相机组根据实际的需求包含了多种类型相机或者多个数目的相机。另外由于在实际使用的时候相机需要进行自动的定位对焦，故而每个相机都包含了对应的运动电机进行控制。

其中相机的数目与LCD屏的分辨率以及尺寸相关，为了达到比较好的效果，每种相机和分辨率和实际待检测的LCD屏的分辨率也是有一定的比例的，常见的比例是3:1，而常用的工业相机的分辨率为6576*4384，那么如果检测高分辨率的显示屏，就需要多个相机的组合。

另外相机的种类与需要检测缺陷的类别也相关。比如如果需要同时检测出颜色Mura以及亮度Mura、点线缺陷，那么就需要同时搭建高精度的工业相机、以及彩色相机（色度仪）。

光源组是由于LCD屏幕上的一些灰尘和污渍只有在特定外界光照条件下才能被拍摄出来，故而需要特定的光源组进行补光拍摄。在某些情况下可以省略光源组。

控制柜为控制单元的延伸，通过控制柜与光源、电机等运动控制模块相连。用于控制单元控制光源的亮暗、控制电机的运动等。在某些情况下控制柜也不是必须的。

检测单元的工作流程如图4所示。

1）操作平台通知FPGA单元LCD屏进入检测区域；

2）FPGA单元控制LCD显示定位对角Pattern，并将采集的图像传递给图像处理单元；

3）图像处理单元运算得到相机需要运动的位置，并通知控制单元，进行电机的运动，最后返回FPGA单元定位对焦成功，可以实现缺陷的检测；

4）FPGA单元控制LCD显示不同的Pattern，并控制相机的曝光参数，采集图像传给图像处理单元；

5）图像处理单元对每个Pattern进行分析处理，得到各个Pattern对应的缺陷，并上报给操作平台；

6）操作平台对结果进行界面的显示，并调用网络单元进行数据的同步和共享。

所述图像处理单元所采用的图像处理算法的处理流程如图5所示。在系统运行前，需要进行相机的调机，调机完毕后根据畸变校正的棋盘格图像得到相机的畸变参数，并保存到本地。在进行缺陷检测过程中，首先进行畸变校正，然后ROI（region of interest，感兴趣区域）区域分割得到LCD屏幕所在的ROI区域，进行图像对比度增强，缺陷的检测和识别，直到该所有的Pattern均处理完毕，再进行缺陷检测结果的合并，最后根据Particle图像进行一些Particle误检导致的检测结果进行过滤。

其中，图像处理单元中的算法处理模块针对每个检测缺陷都会输出以下信息：缺陷的类别、缺陷的置信度、缺陷的位置、缺陷所在的Pattern等一系列信息。如果在当前步骤检测到了置信度为100%的严重缺陷，则直接输出NG标志。

本发明提出的一种级联分布式AOI缺陷检测系统及其检测方法，可以依照用户的需求，根据缺陷的种类和识别需要的相机种类等因素将整个大的AOI缺陷检测系统分为多个缺陷检测单元。各个检测单元通过级联的方式组成一个大的系统，且各检测单元之间通过数据共享的方式进行数据同步，每个检测单元的检测都可以参考其他检测单元检测的结果。另外每个检测单元又是独立的检测系统，某个或者某些检测单元的异常或者宕机都不影响整体的检测结果。另外该级联系统可以通过任意增加或者减少检测单元来满足用户对于缺陷检测需求的更改。