一种用于缺陷检测的方法、装置和设备与流程

本发明涉及深度学习领域，尤其涉及用于缺陷检测的方法、装置和设备。

背景技术：

在例如芯片或计算机处理器(cpu)等的电子产品的生产线上，需要检测所生产出来的电子产品是否存在表面缺陷，例如，电子产品上是否有污渍、发丝裂纹和/或白点等。

目前的检测流程是将生产出来的各个电子产品依次通过检测设备，然后检测设备给每个通过的电子产品从不同的角度多个拍摄图像，并从给各个电子产品所拍摄的各个图像中筛选出其中所包含的电子产品非常有可能存在表面缺陷的嫌疑图像，最后由检查人员对所筛选出来的各个嫌疑图像进行肉眼检查以确定这些嫌疑图像所包含的电子产品是否存在表面缺陷。

在电子产品的产量很大的情况下，检测设备所筛选出来的嫌疑图像的数量也会很多，在这种情况下，由检测人员来检测海量嫌疑图像将会很费人力。而且，检测人员在工作一段时间之后容易疲劳，从而存在发生误检的可能性。因此，由检测人员来检测的总体缺陷检测效率不高、并且检测准确度也不够稳定。

技术实现要素：

鉴于以上问题，本发明的实施例提供一种用于缺陷检测的方法、装置和设备，其能够提高缺陷检测效率和准确度。

按照本发明的实施例的一种用于缺陷检测的方法，包括：当要检测指定图像所包含的电子产品是否存在表面缺陷时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的电子产品存在表面缺陷的问题图像还是属于其中所包含的电子产品不存在表面缺陷的正常图像；如果所述第一神经网络模型将所述指定图像分类为所述问题图像且其给出的所述指定图像属于所述问题图像的可信度值小于可信度阈值，则利用已训练的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于所述问题图像还是属于所述正常图像；以及，如果所述第二神经网络模型将所述指定图像分类为所述问题图像，则确定所述指定图像所包含的电子产品存在表面缺陷。

按照本发明的实施例的一种用于缺陷检测的装置，包括：第一分类模块，用于当要检测指定图像所包含的电子产品是否存在表面缺陷时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的电子产品存在表面缺陷的问题图像还是属于其中所包含的电子产品不存在表面缺陷的正常图像；第二分类模块，用于如果所述第一神经网络模型将所述指定图像分类为所述问题图像且其给出的所述指定图像属于所述问题图像的可信度值小于可信度阈值，则利用已训练的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于所述问题图像还是属于所述正常图像；以及，确定模块，用于如果所述第二神经网络模型将所述指定图像分类为所述问题图像，则确定所述指定图像所包含的电子产品存在表面缺陷。

按照本发明的实施例的一种用于缺陷检测的设备，包括：处理器；以及，存储器，其上存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行前述的方法。

按照本发明的实施例的一种机器可读介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得机器执行前述的方法。

从以上的描述可以看出，本发明的实施例的方案利用神经网络技术，而不是人，来检测图像所包含的电子产品是否存在表面缺陷，而且，与人相比，神经网络技术不会出现疲劳的情况，其能够持续地以较高的检测准确度来检测图像所包含的电子产品是否存在表面缺陷，因此，与现有技术相比，本发明的实施例的方案能够在基本上不费人力的情况下提高缺陷检测准确度。

附图说明

本发明的特征和优点通过以下结合附图的描述将变得更加显而易见。

图1示出了按照本发明的一个实施例的用于模型训练的方法的流程图；

图2示出了按照本发明的一个实施例的用于缺陷检测的方法的总体流程图；

图3示出了按照本发明的一个实施例的用于缺陷检测的方法的流程图；

图4示出了按照本发明的一个实施例的用于缺陷检测的装置的示意图；

图5示出了按照本发明的一个实施例的用于缺陷检测的设备的示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

本发明的实施例提供的方案利用神经网络技术来检测图像所包含的电子产品是否存在表面缺陷。由于利用神经网络技术而不是人工检查图像，因此，本发明的实施例的方案可以提高效率并节省人力。此外，与人相比，神经网络技术不会出现疲劳的情况，从而利用神经网络技术能够持续地以高检测准确度来检测图像所包含的电子产品是否存在表面缺陷，因此本发明的实施例的方案能够提高缺陷检测准确度。

本发明的实施例的方案包括模型训练阶段和实际检测阶段。

图1示出了按照本发明的一个实施例的用于模型训练的方法的流程图。图1所示的方法100对应于模型训练阶段，其利用训练数据训练得到卷积神经网络(cnn：convolutionalneuralnetwork)模型m1和基于区域的卷积神经网络(rcnn：regionbasedconvolutionalneuralnetwork)模型m2，其中，cnn模型m1和rcnn模型m2都用于检测所输入的包含例如芯片或cpu等的电子产品的图像是属于正常图像还是问题图像，其中，正常图像是指其中所包含的电子产品不存在表面缺陷的图像，而问题图像是指其中所包含的电子产品存在表面缺陷的图像。图1所示的方法100可以例如由计算机或其它合适的具有计算能力的电子设备来实现。

如图1所示，在方框102，接收多个原始拍摄的图像。其中，该多个原始拍摄的图像包括多个正常图像和多个问题图像。

在方框104，对该多个原始拍摄的图像执行图像标注(imageannotation)处理，以得到第一样本图像集sp1。其中，第一样本图像集sp1中的每一个样本图像是对该多个原始拍摄的图像的其中一个图像执行图像标注处理得到的。图像标注处理是已知的技术，在此省略对其的描述。

在方框106，对第一样本图像集sp1执行灰度化处理，以将第一样本图像集sp1中的各个样本图像转换为灰度图像。

在方框108，从已灰度化处理的第一样本图像集sp1中选取一些或全部样本图像作为种子图像。例如但不局限于，所选取的种子图像中包括更多的问题图像，因为通常情况下，第一样本图像集sp1包括更少的问题。

在方框110，对每一个种子图像执行一次或多次等角度旋转、镜像和/或其它合适的操作，以从每一个种子图像中衍生得到一个或多个图像。其中，已灰度化处理的第一样本图像集sp1中的样本图像和从各个种子图像中衍生得到的图像共同组合为第二样本图像集sp2。

通常情况下，问题样本图像要比正常样本图像少，例如问题样本图像与正常样本图像的比例可能是1：10～1：20，从而在第一样本图像集sp1中问题样本图像和正常样本图像的数量是不平衡的，而不平衡的样本在进行神经网络训练时会导致最后训练结果出现异常偏差。因此，在方框108选取种子图像时，选取的问题样本图像要比选取的正常样本图像要多，以便在经过方框110的等角度旋转、镜像等的操作之后得到的第二样本图像集sp2中，问题样本图像和正常样本图像的数量是平衡的，以避免训练结果出现异常偏差。此外，通过方框106和108的操作，能够增多训练样本的数量(例如，能够将2500张样本图像经过处理后得到超过50000张，甚至100000张的样本图像)，而随着训练样本的增多，最后训练得到的神经网络模型具有更高的图像分类准确度。

方框106-110构成了方法100的图像预处理过程(imagepreprocessing)。

在方框112，获取第二样本图像集sp2中的各个灰度图像的属性参数，其中，该属性参数包括但不局限于图像的高度、长度等。

在方框114，从第二样本图像集sp2中选取其属性参数满足第一组规则中的各个规则的多个图像，作为用于训练cnn模型的第三样本图像集sp3。其中，该第一组规则用于定义适用于训练cnn模型的样本图像需要满足的条件。例如，第一组规则定义适用于训练cnn模型的样本图像需要满足的高度限制、长度限制等。第三样本图像集sp3包括多个正常图像和多个问题图像。

在方框116，从第二样本图像集sp2中选取其属性参数满足第二组规则中的各个规则的多个图像，作为用于训练rcnn模型的第四样本图像集sp4。其中，该第二组规则用于定义适用于训练rcnn模型的样本图像需要满足的条件。例如，该第二组规则定义适用于训练rcnn模型的样本图像需要满足的高度限制、长度限制等。第四样本图像集sp4包括多个正常图像和多个问题图像。

这里，利用规则来选取适用于训练cnn模型和rcnn模型的样本图像，从而训练得到的cnn模型和rcnn模型能够具有更高的图像分类准确度。

在方框118，使用第三样本图像集sp3中的图像作为训练数据，在用于特征提取的卷积体系架构(caffe：convolutionarchitectureforfeatureextraction)上训练得到cnn模型m1。

在方框120，使用第四样本图像集sp3中的图像作为训练数据，在caffe上训练得到rcnn模型m2。

图2示出了按照本发明的一个实施例的用于缺陷检测的方法的总体流程图。图2所示的方法200对应于实际检测阶段，其使用利用方法100训练得到的cnn模型m1和rcnn模型m2来检测图像所包含的电子产品是否存在表面缺陷。图2所示的方法200可以例如由计算机或其它合适的具有计算能力的电子设备来实现。

如图2所示，在方框202，当要检测一个图像t是属于正常图像还是问题图像时，对图像t执行预处理，例如但不局限于，将图像t转换为灰度图像等。

在方框204，在caffe上利用已训练的cnn模型m1对已预处理的图像t进行分类。

在方框206，如果cnn模型m1将图像t分类为正常图像，则确定图像t所包含的电子产品不存在表面缺陷，然后流程结束。

在方框208，如果cnn模型m1将图像t分类为问题图像，则判断cnn模型m1给出的图像t属于问题图像的可信度值cf是否小于可信度阈值cfthreshold。

如果方框208的判断结果为否定，则表明图像t确实是属于问题图像，流程进行到方框212。

在方框210，如果方框208的判断结果为肯定，则在caffe上利用已训练的rcnn模型m2对已预处理的图像t进行分类。

如果rcnn模型m2将图像t分类为问题图像，则流程进行到方框212。

在方框212，确定图像t所包含的电子产品存在表面缺陷，然后流程结束。

在方框214，如果rcnn模型m2将图像t分类为正常图像，则输出表示图像t所包含的电子产品是否存在表面缺陷未定的信息，然后流程结束。在这种情况下，例如但不局限于，可以由检查人员或利用其它已训练的深度学习模型对图像t作进一步检测，以确定图像t所包含的电子产品是否存在表面缺陷。

其它变型

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对图像t执行预处理的方框202，然而，本发明并不局限于此。在本发明的其它一些实施例中，例如但不局限于，在图像t在初始状态下已适于利用模型来分类的情况下，方法200也可以不包括对图像t执行预处理的方框202。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括对所接收的图像执行图像标注处理的方框104，然而，本发明并不局限于此。在本发明的其它一些实施例中，例如但不局限于，在方框102所接收的图像已执行图像标注处理的情况下，方法100也可以不包括对所接收的图像执行图像标注处理的方框104。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框106-108以衍生更多的样本图像，然而，本发明并不局限于此。在本发明的其它一些实施例中，例如但不局限于，在已有样本图像的数量已经足够多的情况下，方法100也可以不包括方框106-108。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框108-110以平衡问题样本图像和正常样本图像的数量并且获得更多的样本图像，然而，本发明并不局限于此。在本发明的其它一些实施例中，例如但不局限于，在方框102所接收的图像中问题样本图像和正常样本图像的数量是平衡的且数量已足够多的情况下，方法100也可以不包括方框108-110。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框106以将样本图像转化为灰度图像，然而，本发明并不局限于此。在本发明的其它一些实施例中，例如但不局限于，在方框102所接收的图像已是灰度图像的情况下，方法100也可以不包括方框106。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框112-116以选取适用于训练cnn模型和rcnn模型的样本图像，然而，本发明并不局限于此。在本发明的其它一些实施例中，方法100也可以不包括方框112-116。

本领域技术人员将理解，虽然在上面的实施例中，对cnn模型和rcnn模型的训练和利用已训练的cnn模型和rcnn模型来检测图像属于正常图像还是问题图像是在caffe上进行的，然而，本发明并不局限于此。在本发明的其它一些实施例中，对cnn模型和rcnn模型的训练和利用已训练的cnn模型和rcnn模型来检测图像是属于正常图像还是问题图像也可以是在除了caffe之外的其它合适的架构或平台上进行。

本领域技术人员将理解，可以收集cnn模型m1和rcnn模型m2对其的检测结果不一致但实际上其中所包含的电子产品存在表面缺陷的问题图像并累积数量到一定程度之后，利用所收集得到的问题图像来进一步训练cnn模型m1和rcnn模型m2，以提高cnn模型m1和rcnn模型m2的图像分类准确度。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测图像是属于正常图像还是属于问题图像的神经网络模型是cnn模型和rcnn模型，然而，本发明并不局限于此。在本发明的其它一些实施例中，被训练用来检测图像是属于正常图像还是属于问题图像的神经网络模型也可以是以下的任意两种：cnn模型，rcnn模型，以及，一种或多种除了cnn模型和rcnn模型之外的其它类型的神经网络模型。

图3示出了按照本发明的一个实施例的一种用于缺陷检测的方法的流程图。图3所示的方法300可以例如由计算机或其它合适的具有计算能力的电子设备来实现。

如图3所示，方法300可以包括，在方框302，当要检测指定图像所包含的电子产品是否存在表面缺陷时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的电子产品存在表面缺陷的问题图像还是属于其中所包含的电子产品不存在表面缺陷的正常图像。

方法300还可以包括，在方框304，如果所述第一神经网络模型将所述指定图像分类为所述问题图像且其给出的所述指定图像属于所述问题图像的可信度值小于可信度阈值，则利用已训练的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于所述问题图像还是属于所述正常图像。

方法300还可以包括，在方框306，如果所述第二神经网络模型将所述指定图像分类为所述问题图像，确定所述指定图像所包含的电子产品存在表面缺陷。

在一个方面，所述第一神经网络模型是利用第一组样本图像训练得到的，以及，所述第二神经网络模型是利用第二组样本图像训练得到的，其中，所述第一组样本图像是基于第一规则集中的规则从包含多个所述正常图像和多个所述问题图像的多个样本图像中选取的，以及，所述第二组样本图像是基于第二规则集中的规则从所述多个样本图像中选取的。

在另一个方面，所述多个样本图像中的至少一部分是从一个或多个种子图像衍生得到的，其中，所述一个或多个种子图像是所述正常图像和/或所述问题图像。

在又一个方面，所述第一神经网络模型是卷积神经网络模型，以及，所述第二神经网络模型是基于区域的卷积神经网络模型。

图4示出了按照本发明的一个实施例的一种用于缺陷检测的装置的示意图。图4所示的装置400可以利用软件、硬件或软硬件结合的方式来实现。装置300例如可以安装在计算机或其它合适的具有计算能力的电子设备中。

如图4所示，装置400可以包括第一分类模块402、第二分类模块404和确定模块406。第一分类模块402用于当要检测指定图像所包含的电子产品是否存在表面缺陷时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的电子产品存在表面缺陷的问题图像还是属于其中所包含的电子产品不存在表面缺陷的正常图像。第二分类模块404用于如果所述第一神经网络模型将所述指定图像分类为所述问题图像且其给出的所述指定图像属于所述问题图像的可信度值小于可信度阈值，则利用已训练的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于所述问题图像还是属于所述正常图像。确定模块406用于如果所述第二神经网络模型将所述指定图像分类为所述问题图像，确定所述指定图像所包含的电子产品存在表面缺陷。

在一个方面，所述第一神经网络模型是利用第一组样本图像训练得到的，以及，所述第二神经网络模型是利用第二组样本图像训练得到的，其中，所述第一组样本图像是基于第一规则集中的规则从包含多个所述正常图像和多个所述问题图像的多个样本图像中选取的，以及，所述第二组样本图像是基于第二规则集中的规则从所述多个样本图像中选取的。

在另一个方面，所述多个样本图像中的至少一部分是从一个或多个种子图像衍生得到的，其中，所述一个或多个种子图像是所述正常图像和/或所述问题图像。

在又一个方面，所述第一神经网络模型是卷积神经网络模型，以及，所述第二神经网络模型是基于区域的卷积神经网络模型。

图5示出了按照本发明的一个实施例的一种用于缺陷检测的设备的示意图。如图5所示，设备500可以包括处理器502和存储器504，其中，存储器504上存储有可执行指令，其中，所述可执行指令当被执行时使得处理器502执行图1所示的方法100、图2所示的方法200或图3所示的方法300。

本发明的实施例还提供一种机器可读介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得机器执行图1所示的方法100、图2所示的方法200或图3所示的方法300。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。