一种基于机器视觉的玻璃瑕疵在线检测系统及方法与流程

本发明涉及玻璃生产加工领域，尤其是一种基于机器视觉的玻璃瑕疵的识别方法以及分类处理系统。

背景技术：

我国生产的民用平板玻璃居于全球首位，玻璃总生产量大概是世界总产量的五分之二。我国目前共有一百六十多个浮法玻璃生产厂家，玻璃产量的五分之四为浮法玻璃。依靠先进的玻璃工艺制造技术，玻璃的产量和质量有所增加，但是在成品玻璃中仍然会出现一些瑕疵，影响玻璃的性能和外观，例如划痕、气泡、锡点、墨点、光畸变等。在玻璃的生产销售过程中，必须保证玻璃的高质量、高性能才能争得市场地位，因此玻璃瑕疵检测是玻璃生产系统中不可缺少的环节，以此来避免不合格的玻璃流入市场，更可以对玻璃划分等级。在过去，由于技术有限，玻璃生产线运行速度缓慢，人工检测成为当时主要的检测方法。伴随着科学技术的发展，以及对玻璃的需求量不断提升，玻璃的生产线运行速度加快，人工检测的局限性凸显，已不能达到生产的要求。

人工检测存在的缺点主要有：生产车间现场灰尘多，噪声大，工人检测工作环境恶劣，无法直接使用目测，劳动强度大；正常人眼在不间断的观测运动物体一段时间会眼花，眼胀等不适，检测人员无法长期不间断工作，无法保证出厂合格率；而且玻璃瑕疵人眼很难准确判断，误差大，出错机会很多，无法保证检测质量，生产速度也会有极大限制。

因此，在玻璃生产加工行业中，急需一种利用电子系统和方法来代替人眼对玻璃瑕疵进行测量和判别。

技术实现要素：

本发明目的在于提供一种检测效果精确、稳定性强、快速方便的基于机器视觉的玻璃瑕疵在线检测系统及方法。

为实现上述目的，采用了以下技术方案：本发明所述系统包括线阵ccd摄像机、嵌入式处理器、电源模块、存储器模块以及显示模块；

线阵ccd摄像机与嵌入式处理器的信号输入端连接，线阵ccd摄像机逐行扫描待测玻璃，获取玻璃的图像信息并输入嵌入式处理器；嵌入式处理器的信号输出端与显示模块相连，嵌入式处理器另与存储器模块、电源模块相连；嵌入式处理器对线阵ccd摄像机获取的玻璃图像信息进行预处理后，嵌入式处理器将玻璃信息传输至显示模块进行结果显现，嵌入式处理器将玻璃信息传输至存储器模块进行储存；所述电源模块用于给系统提供电力。

进一步的，所述显示模块应用vga接口，包括adv7123kst140和外围电路。

进一步的，所述嵌入式处理器为tms320dm642处理器。

本发明所述的一种线检测方法，包括以下步骤：

步骤1，线阵ccd摄像机获取玻璃图像信息并传输至嵌入式处理器；

步骤2，嵌入式处理器首先对玻璃图像信息进行预处理；然后通过特征提取算法对玻璃瑕疵图像进行特征提取，计算其几何特征量及灰度特征值，依据几何特征量和灰度特征值对玻璃图像信息进行分类识别；

步骤3，嵌入式处理器将处理后的玻璃图像信息写入存储器模块进行储存，同时，嵌入式处理器将处理后的玻璃图像信息传输至显示模块进行结果显现。

其中，步骤2中，嵌入式处理器的预处理包括滤波去噪、阈值分割处理，在阈值分割处理后，再次使用中值滤波对图像进行滤波处理，也就是在阈值分割前后分别使用一次中值滤波进行去噪，获取准确无噪声的瑕疵核心图像；具体步骤如下：

步骤2-1，图像处理器接收图像信息，对获取的图像进行图像中值滤波，中值滤波可以保护边缘信息，计算复杂度较小，对椒盐噪声有很好的抑制作用，因此其适用于玻璃瑕疵检测系统。

步骤2-2，在去除图像噪声后，为提高识别效率，进行阈值分割。利用otsu进行阈值分割；

步骤2-3，对处理后得到的图像信息，为了提取准确的瑕疵核心，在阈值处理后，再次使用中值滤波对图像进行滤波处理，也就是在阈值分割前后分别使用一次中值滤波进行去噪，进行二次滤波；

步骤2-4，使用canny算子对玻璃瑕疵图像进行边缘提取处理，使图像边界分明，对目标区域识别、提取，理解分析打下基础。

步骤2中，所述特征提取算法用于获取有利于瑕疵分类的特征，包括图像不变矩的提取、几何特征的提取及灰度等图像特征的提取，采用无偏u-relieff特征选择算法。

步骤3中，嵌入式处理器以数字方式生成图像信息，经过转换器变为r、g、b三原色信号和行、场同步信号，信号通过电缆传输到显示模块中，完成检测结果图像信息的显示。

所述无偏u-relieff特征选择算法进行特征选择中，被选择的五个特征为：伸长度、矩形度、灰度标准差、阈值、圆形度。

与现有技术相比，本发明具有如下优点：

1、提高玻璃瑕疵在线检测的实时性，增强了可靠性。

2、提高relieff算法评估准确性，使得特征权重评价更加公平，解决了样本数量对特征权值的影响。

附图说明

图1是本发明系统的结构框图。

图2是本发明系统的整体工作流程图。

图3是图像处理程序流程图。

图4是图像预处理流程图。

图5是u-relieff算法流程图。

图6各特征对瑕疵的定性描述图。

图7特征值排序图。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1所示，本发明系统主要由三部分组成，分别是图像处理主控部分、图像采集部分以及结果显示部分。生产线总体结构图如1所示，线阵ccd摄像机与嵌入式处理器的信号输入端连接，线阵ccd摄像机逐行扫描待测玻璃，获取玻璃的图像信息并输入嵌入式处理器；嵌入式处理器的信号输出端与显示模块相连，嵌入式处理器另与存储器模块、电源模块相连；嵌入式处理器对线阵ccd摄像机获取的玻璃图像信息进行预处理后，嵌入式处理器将玻璃信息传输至显示模块进行结果显现，嵌入式处理器将玻璃信息传输至存储器模块进行储存；所述电源模块用于给系统提供电力。本系统以机器视觉为基础，依靠图像处理技术设计了一套玻璃瑕疵检测及类型识别系统，该检测系统通过线阵ccd摄像机来获取瑕疵图像数据，在通过传输线路把数据传输到主控检测系统；数据到达处理器时，首先把数据转换为数字信号，并采用图像处理技术对瑕疵图像进行预处理，得到清晰地可靠地图像；其次，对瑕疵图像进行特征提取，计算其几何特征量及灰度特征，依据这些特征参量来对其进行分类识别。

所述系统中的图像采集和图像处理模块，所述图像采集模块包括sg-14-04k80线阵相机、myutron的fv5026l-f镜头、620nm-750nm波长的led红色条形光源、采用背光式照射，以及外围电路，以此获得待处理的图像。图像处理模块采用嵌入式处理系统作为核心处理器，所搭建的系统整体工作流程如图2所示。

图像处理的dsp程序设计，由线阵ccd摄像机采集来的图像信息暂时存在系统的缓冲存储器中，并且按照dsp固有的时钟周期将图像数据传输到dsp内。其内部图像处理程序流程如图3所示。由于玻璃瑕疵图像数据量大，所以系统需要扩展外部大容量存储器来存储，所以dsp就需要和外部存储器保持数据通信，实现数据的实时读取、处理和发送。

图像预处理过程，生产线上采集过来的玻璃图像，需要对其进行图像预处理后才能够有效的进行特征提取及瑕疵识别。图像预处理的过程主要是完成以下几项任务：图像滤波、阈值分割、边缘检测等，如图4所示。

步骤一：图像处理器接收图像信息，对获取的图像进行图像中值滤波,中值滤波可以很好地保护边缘信息，计算复杂度较小，对椒盐噪声有很好的抑制作用，因此其适用于玻璃瑕疵检测系统。

步骤二：在去除图像噪声后，为提高识别效率，进行阈值分割。利用otsu进行阈值分割。

步骤三：对处理后得到的图像信息，为了提取准确的瑕疵核心，在阈值处理后，再次使用中值滤波对图像进行滤波处理。也就是在阈值分割前后分别使用一次中值滤波进行去噪，进行二次滤波。

步骤四：使用canny算子对玻璃瑕疵图像进行边缘提取处理，使图像边界分明，对目标区域识别、提取，理解分析打下基础。

获取到玻璃瑕疵感兴趣区域后，目标主体已明确，但是只有提取出具有良好区分度的特征，计算机才会见图识物。所谓特征指的是图像感兴趣区域拥有的共同性质，也是计算机识别的依据。瑕疵特征的提取是将玻璃瑕疵从图像的对象空间映射到特征空间，这种映射关系缩减了瑕疵图像的信息量，为后续的识别分类奠定基础。

探索出适合玻璃瑕疵分类的特征选择方法，提出一种无偏的特征选择算法模型u-relieff。算法流程图如图5。

步骤一：瑕疵图像的特征提取。玻璃瑕疵的几何特征是检测目标的显著特征。通常情况下，几何形状被看作是一个封闭的、连续的区域，这个区域的轮廓是一条曲线，因此图像几何特征的描述就是对这个封闭的、连续的区域描述；图6这些几何特征共同描述了图像的整体分布，因此避免了图像的局部特征带来的影响，有很好的容差性。

步骤二：瑕疵图像的特征选择。特征选择的目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant)的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取出真正相关的特征简化模型，协助理解数据产生的过程。

步骤三：relief算法探究。该算法的核心思想是：好的特征在同类样本之间的距离较小，而不同类的样本之间的距离较大；对于一个多类样本，其类内距离受同类样本的离散度影响，类内离散度高的样本，值就处于一个较高的水平。而类内比较紧致的样本，值处于一个较低的水平。用期望值来评估特征分类能力，得到的结果偏向于数量上占优的样本类。

步骤四：u-relief算法模型的建立。实际应用中，不能保证每个特征类的样本尽可能的多，样本的数量存在差异性。在此情况下，为提高relieff算法评估准确性，对其算法进行改进，如图5所示。

为了更加通俗的理解上述特征提取及选择步骤，下面结合实际例子进行说明：

针对实际生产现场所提取的瑕疵特征(包括：灰度标准差(1)、阈值(2)、圆形度(3)、矩形度(4)、伸长度(5)、倾斜度(6)、离心率(7)、长宽比(8)、填充度(9)、伸展度(10)等几何特征)，利用u-relieff算法进行评价选择，同时和relieff算法比较，验证改进算法对玻璃瑕疵特征选择的有效性。

为了验证对比算法，利用relieff和u-relieff算法对上述提取的瑕疵特征进行评价选择，计算各个特征的特征权值排序如图7所示。

由图7还可以看出，relieff算法进行特征选择中，前四个特征值较稳定，第五个特征值增长较高，如果以增幅超过20％作为阈值点的话，第五个以后的特征被选择，即倾斜度、伸长度、矩形度、灰度标准差、阈值、圆形度6个特征被选择作为分类的依据；同理可知，改进算法选择的特征为伸长度、倾斜度、圆形度、阈值、灰度标准差5个特征，把relieff算法中的矩形度特征剔除，这是由于此特征倾向于训练集中样本较多的锡点，对识别锡点起到积极作用，但是对于总体分类作用不明显，甚至导致错分，因此在改进算法中予以剔除。

依据两种算法选择出的特征，分别对训练样本集进行分类测试。其未经过特征选择时分类准确率为71.96％，经过relieff特征选择后准确率为82.83％，利用u-relieff算法准确率为85.69％。经过特征选择，总分类识别准确率提高了13.73％，其中改进后较改进前提高了2.86％，说明特征选择对玻璃瑕疵分类识别的必要性。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。