一种一站式智能缺陷检测系统的制作方法

本发明涉及一种一站式智能缺陷检测系统，属于智能缺陷检测技术领域。

背景技术：

目前缺陷检测的需求市场份额绝大部分分布在工业生产领域，工业生产领域的大部分行业的缺陷检测还停留在人工肉眼检测阶段，使得企业需要投入大量的人力、物力、财力来确保发货产品质量。目前市场主流视觉缺陷检测系统大都采用繁杂的缺陷检测工具实施组合、叠加式的检测手段；或者针对单一行业进行专用检测工具开发，其检测工具通用性差。

因此本专利提出一种一站式智能缺陷检测系统，可根据被检物料材质进行智能检测模式匹配，同时引入并行加速部分可轻松进行一站式在线、快速、实时缺陷检测。

技术实现要素：

本发明针对现有技术存在的不足，提供了一种一站式智能缺陷检测系统，具体技术方案如下：

一种一站式智能缺陷检测系统，包括：

图像采集部分，由相机、镜头、打光子系统构成，图像采集部分用来采集被检物料的原始图像；

智能模式自适应部分，由检测模式自适应算法实现，检测模式自适应算法通过构建缺陷检测结果质量评估函数实现闭环控制；

一站式缺陷检测部分，由一站式缺陷检测算法实现，一站式缺陷检测算法用来实现相机视野范围内涵盖的全部缺陷类型及缺陷位置信息；

并行加速部分，包括gpu或fpga芯片、并行加速算法模块；

缺陷存储、通信部分，由数据库和通信模块实现，用来实时存储缺陷检测结果；

控制部分，用来接收缺陷检测结果；

缺陷标识执行部分，用来接收控制部分发出的控制信号并做出相应的动作进行缺陷标识。

作为上述技术方案的改进，所述一站式智能缺陷检测系统的运行流程包括如下步骤：

步骤1、采集良品图像若干；

步骤2、采集不良品图像若干；

步骤3、在线部署缺陷检测启动，智能模式自适应部分通过良品图像和不良品图像智能匹配检测模式；

步骤4、一站式正常缺陷检测，并行计算加速；

步骤5、存储缺陷检测结果并给控制部分通信发送检测信息；

步骤6、控制部分接收检测信息，并发送相关控制信号；

步骤7、缺陷标识执行部分接收到来自于控制部分发出的控制信号，做出相应的执行动作。

作为上述技术方案的改进，在一站式缺陷检测算法中所涉及的图像分辨率必须一致，否则无法进行正常缺陷检测；如果实际应用中，采集的图像分辨率不一致，则通过先进性分辨率统一转换再进行缺陷检测，方法如下：

，

，

其中，为采集图像的高度；为采集图像的宽度；为获取图像高度；为获取图像宽度；为输入良品图像。

作为上述技术方案的改进，所述检测模式自适应算法包括如下步骤：

步骤1.1、采集n张被检物料的良品图像，n为正整数，对采集的良品图像进行加权融合得到良品模板图像，

采集m张被检物料的不良品图像，m为正整数，对采集的不良品图像进行加权融合得到不良品模板图像，

，

，

其中，i表示采集图像的个数；n为采集良品图像的总数；m为采集不良品图像的总数；为采集的不同良品图像；为采集的不同不良品图像；为加权融合得到的良品模板图像；为加权融合得到的不良品模板图像；g()为加权融合算子；

步骤1.2、选择一个检测模式，对良品模板图像按照模式进行特征提取运算，得到良品模板图像的特征图像；对不良品模板图像按照模式进行特征提取运算，得到不良品模板图像的特征图像；将被检测图像按照模式进行特征提取运算，得到被检测图像的特征图像；

，

，

，

其中，表示检测模式对应的特征提取算子；

步骤1.3、将检测模式下的特征图像,进行矩阵减法并求其绝对值，得到差值特征图像；对差值特征图像进行小核卷积运算获得缺陷位置，并将缺陷位置标识到被检测图像对应空间位置，得到检测标识图像；

，

，

其中，conv.()表示卷积标识算子，对差值特征进行卷积运算获取缺陷位置，并将缺陷位置信息还原到被检测图像上进行标识；

步骤1.3、穷尽所有检测模式，重复步骤1.1到步骤1.3，获得最优模式；

，

，

，

，

其中，为检测模式，表示最优质量评估值；f1()、f2()表示质量评估算子；、为加权系数，；表示正整数。

作为上述技术方案的改进，所述一站式缺陷检测算法包括如下步骤：

步骤2.1、在线部署实际检测，使用最优模式，计算良品模板图像的特征图像，对实时单张被检测图像按照最优模式进行特征提取，获得图像，

，

，

其中，为最优模式对应的特征提取描述子；

步骤2.2、将最优模式下的特征图像,进行矩阵减法并求其绝对值，得到差值特征图像；对差值特征图像进行小核卷积和标识运算得到缺陷检测结果图像；缺陷检测结果图像包含该张图像里所有的缺陷区域位置信息，并对缺陷位置进行了差别化颜色高亮标识；

，

。

作为上述技术方案的改进，所述并行加速算法模块在工控机环境下采用gpu硬件以及cuda加速算法库进行加速；所述并行加速算法模块在嵌入式系统环境下使用fpga芯片进行并行加速。

作为上述技术方案的改进，使用cuda加速算法库的步骤为：

步骤3.1、分配host内存，并进行数据初始化；

步骤3.2、分配device内存，并从host将数据拷贝到device上；

步骤3.3、调用cuda的核函数在device上完成指定的运算；

步骤3.4、将device上的运算结果拷贝到host上；

步骤3.5、释放device和host上分配的内存。

本发明的有益效果：

1）、一站式检测：本发明可一站式检测视野范围内涵盖的所有缺陷类型，并给出缺陷区域的位置信息；无需使用繁杂的缺陷检测工具进行组合、叠加式的缺陷检测手段。

2）、智能模式自适应：本发明可针对被检物料材质和检测需求进行自适应检测模式匹配，以达到最优的缺陷检测效果。用户也可进行二次开发，添加自定义检测模式，用户自定义检测模式也可支持自适应检测模式匹配。

3）、快速：该一站式缺陷检测算法，适用于并行加速计算，通过引入并行加速部分，可轻松进行一站式在线、快速、实时缺陷检测。

4）、高鲁棒性：一站式缺陷检测算法对光照条件等环境因素具备非常强的鲁棒性。工业视觉检测最疼点的环境问题就是光照。

附图说明

图1为本发明所述一站式智能缺陷检测系统的流程图；

图2为本发明所述一站式智能缺陷检测系统算法模块结构图；

图3为产品检测原图；

图4为高亮度光照条件缺陷检测效果图；

图5为低亮度光照条件检测效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，所述一站式智能缺陷检测系统，包括：

图像采集部分，由相机、镜头、打光子系统构成，图像采集部分用来采集被检物料的原始图像；可采集出高品质、高对比度的被检物料的原始图像。

智能模式自适应部分，由检测模式自适应算法实现，检测模式自适应算法通过构建缺陷检测结果质量评估函数实现闭环控制，针对不同被检测物料可实现智能选择、切换检测模式。

一站式缺陷检测部分，由一站式缺陷检测算法实现，一站式缺陷检测算法用来实现相机视野范围内涵盖的全部缺陷类型及缺陷位置信息；同时，一站式缺陷检测算法可智能选择不同的检测模式，包括用户二次开发添加的自定义检测模式。

并行加速部分，包括gpu或fpga芯片、并行加速算法模块；通过并行计算加速，可轻松解决高分辨率图像实时缺陷检测需求。

缺陷存储、通信部分，由数据库和通信模块实现，用来实时存储缺陷检测结果；也可将检测结果通信到控制部分。

控制部分，用来接收缺陷检测结果。

缺陷标识执行部分，用来接收控制部分发出的控制信号并做出相应的动作进行缺陷标识。

实施例2

所述一站式智能缺陷检测系统的运行流程包括如下步骤：

步骤1、采集良品图像若干；

步骤2、采集不良品图像若干；

步骤3、在线部署缺陷检测启动，智能模式自适应部分通过良品图像和不良品图像智能匹配检测模式；

步骤4、一站式正常缺陷检测，并行计算加速；

步骤5、存储缺陷检测结果并给控制部分通信发送检测信息；

步骤6、控制部分接收检测信息，并发送相关控制信号；

步骤7、缺陷标识执行部分接收到来自于控制部分发出的控制信号，做出相应的执行动作。

其中，缺陷标识执行部分，具体的可以为带有速干标记笔的气缸、喷码机、打码机等机构。执行的动作可以为：在缺陷的产品上标记出“ng”或者“不良品”，“不合格品”等字样。

实施例3

所述一站式缺陷检测算法的实现：

一站式缺陷检测算法可选择不同的检测模式，以适应不同材质的被检物料，检测模式自适应算法可自主选择最优的检测模式，并行加速算法模块给一站式缺陷检测算法提供了强大的算力支撑。

由于图像采集部分确定，因此采集的图像分辨率相一致，在一站式缺陷检测算法中所涉及的图像分辨率（高度、宽度）必须一致，否则无法进行正常缺陷检测；如果实际应用中，采集的图像分辨率不一致，则通过先进性分辨率统一转换再进行缺陷检测，方法如下：

，

，

其中，为采集图像的高度；为采集图像的宽度；为获取图像高度；为获取图像宽度；为输入良品图像。

实施例4

所述检测模式自适应算法，智能选择、切换被检测物料的最优检测模式。

如图2所示，所述检测模式自适应算法包括如下步骤：

步骤1.1、采集n张被检物料的良品图像，n为正整数，对采集的良品图像进行加权融合得到良品模板图像，

采集m张被检物料的不良品图像，m为正整数，对采集的不良品图像进行加权融合得到不良品模板图像，

，

，

其中，i表示采集图像的个数；n为采集良品图像的总数；m为采集不良品图像的总数；为采集的不同良品图像；为采集的不同不良品图像；为加权融合得到的良品模板图像；为加权融合得到的不良品模板图像；g()为加权融合算子；

步骤1.2、选择一个检测模式，对良品模板图像按照模式进行特征提取运算，得到良品模板图像的特征图像；对不良品模板图像按照模式进行特征提取运算，得到不良品模板图像的特征图像；将被检测图像按照模式进行特征提取运算，得到被检测图像的特征图像；

，

，

，

其中，表示检测模式对应的特征提取算子；

步骤1.3、将检测模式下的特征图像,进行矩阵减法并求其绝对值，得到差值特征图像；对差值特征图像进行小核卷积运算获得缺陷位置，并将缺陷位置标识到被检测图像对应空间位置，得到检测标识图像；

，

，

其中，conv.()表示卷积标识算子，对差值特征进行卷积运算获取缺陷位置，并将缺陷位置信息还原到被检测图像上进行标识；

步骤1.3、穷尽所有检测模式，重复步骤1.1到步骤1.3，获得最优模式；

，

，

，

，

其中，为检测模式，不同的检测模式对应不同的特征提取方法，此处可以等价为图像特征描述子提取函数，通过构造质量评估函数，意在从众多检测模式中选择最优的检测模式。

其中，表示最优质量评估值；f1()、f2()表示质量评估算子；、为加权系数，可取经验值；表示正整数。

实施例5

所述一站式缺陷检测算法包括如下步骤：

步骤2.1、在线部署实际检测，使用最优模式，计算良品模板图像的特征图像，对实时单张被检测图像按照最优模式进行特征提取，获得图像，

，

，

其中，为最优模式对应的特征提取描述子；

步骤2.2、将最优模式下的特征图像,进行矩阵减法并求其绝对值，得到差值特征图像；对差值特征图像进行小核卷积和标识运算得到缺陷检测结果图像；缺陷检测结果图像包含该张图像里所有的缺陷区域位置信息，并对缺陷位置进行了差别化颜色高亮标识；

，

。

由于算法是通过进行相同的检测模式进行特征提取，然后进行矩阵减法运算得到差值特征图像，因此该算法对光线等环境因素的干扰具备天然的高鲁棒性。

从图像处理的整体流程（pipeline）中可以看出算法对光照的鲁棒性。图3-5是提供环境光发生变化前后，该算法的检测效果的对比图；根据图3-5可知：证明该算法在不同光照条件都适用。

实施例6

由于一站式缺陷检测算法运用大量矩阵加减乘除运算，适用于并行加速计算。所述并行加速算法模块在工控机环境下采用gpu硬件以及cuda加速算法库进行加速；所述并行加速算法模块在嵌入式系统环境下使用fpga芯片进行并行加速。

使用cuda加速算法库的步骤为：

步骤3.1、分配host内存，并进行数据初始化；

步骤3.2、分配device内存，并从host将数据拷贝到device上；

步骤3.3、调用cuda的核函数在device上完成指定的运算；

步骤3.4、将device上的运算结果拷贝到host上；

步骤3.5、释放device和host上分配的内存。

其中，host可以认为是逻辑控制单元，通常为cpu；device可以认为是并行计算加速设备，一般指gpu。

在上述实施例中，本发明提出了一种一站式智能缺陷检测系统，该系统可以一站式检测视野范围内涵盖的全部缺陷类型及缺陷位置信息，无需再使用先前繁杂的缺陷检测工具进行组合、叠加式的检测手段。该系统可根据被检物料的材质属性及检测需求，智能切换检测模式，达到兼容不同材质缺陷检测的需求，同时也可支持用户进行二次开发，添加自定义的检测模式。该一站式缺陷检测方法适用于并行加速计算，通过加入并行计算部分，完美解决了高分辨率图像在线部署实时检测的速度瓶颈问题。例如：500万彩图，不加速情况下处理一幅图需要500ms，帧率2fps，假设产品跳距（一片产品的长度）160mm，运行速度为19.2m/min；加速的话200ms，5fps，假设产品跳距（一片产品的长度）160mm，运行速度48m/min。

本发明具有以下优点：

1）、一站式检测：本发明可一站式检测视野范围内涵盖的所有缺陷类型（缺陷类型包括：堵孔，排废不净，划伤，脏污，异物，缺胶，溢胶，气泡，褶皱，片重叠等；大部分缺陷类型具备位置随机，大小、形状各异等特点），并给出缺陷区域的位置信息。无需使用繁杂的缺陷检测工具进行组合、叠加式的缺陷检测手段。

本发明的核心检测思想是采用全幅特征图像比对的方式，将标准合格产品与被检测产品进行“全幅”比对，因此可一站式检测整副图像所涵盖的所有缺陷。（全幅比对：根据检测模式的不同，全幅特征图像的含义也不同，可以简单理解为特征图，不同模式下的特征抽取方法不同，开发者可加入自己的特征抽取方法，该方法可提供一个表面缺陷检测的全新图像处理流程：标准样品采集—定位—全幅特征图比对—小卷积核标识缺陷位置）。

2）、智能模式自适应：本发明可针对被检物料材质和检测需求进行自适应检测模式匹配，以达到最优的缺陷检测效果。用户也可进行二次开发，添加自定义检测模式，用户自定义检测模式也可支持自适应检测模式匹配。

3）、快速：该一站式缺陷检测算法，适用于并行加速计算，通过引入并行加速部分，可轻松进行一站式在线、快速、实时缺陷检测。

4）、高鲁棒性：一站式缺陷检测算法对光照条件等环境因素具备非常强的鲁棒性。工业视觉检测最疼点的环境问题就是光照。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。