基于机器视觉的标签缺陷检测方法与流程

本发明涉及图像数据处理，具体涉及基于机器视觉的标签缺陷检测方法。

背景技术：

1、随着科技的发展，标签已经广泛的应用于生活中的方方面面，比如，可以应用于贴标机轨道尾部边缘挡瓶板上，标签与物品之间已经变得密不可分。由于标签中记载了物品的各种信息，所以标签成为了物品主要信息的有效载体，标签的存在有利于相关质检部门对物品的质量定级，方便消费者对物品质量进行主观以及客观评价。然而，标签在生产过程中往往受到生产设备以及生产工艺等因素的影响，导致生产出来的标签可能存在缺陷，缺陷类型如：标签破损、文字或图案的错误印刷、划痕等。缺陷标签往往使得人们无法获取标签中正确的物品信息，因此对于标签的缺陷检测至关重要。目前，对标签进行缺陷检测时，通常采用的方式为：根据待检测标签的待检测图像和标准图像，采用图像匹配进行缺陷检测，其中，待检测图像是待检测标签的图像，标准图像可以是未发生缺陷的标签的图像，该未发生缺陷的标签可以是与待检测标签规格型号相同的标签。

2、然而，当采用上述方式时，经常会存在如下技术问题：

3、第一，当采用图像匹配，对标签进行缺陷检测时，由于图像匹配的局限性，往往需要待检测标签未发生缺陷时，待检测图像和标准图像相同，即往往需要调节相机的拍摄角度、待检测标签和未发生缺陷的标签的放置方向相同，往往导致对标签进行缺陷检测的效率低下。

4、第二，由于图像匹配，对噪声点往往反应灵敏，对局部较小的缺陷检测效果往往不好，所以直接通过图像匹配，往往导致对标签进行缺陷检测准确度低下。

技术实现思路

1、本发明的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本发明的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、为了解决对标签进行缺陷检测的效率和准确度低下的技术问题，本发明提出了基于机器视觉的标签缺陷检测方法。

3、本发明提供了基于机器视觉的标签缺陷检测方法，该方法包括：

4、获取待检测标签的标签图像，对所述标签图像进行预处理，得到目标标签图像；

5、分别对所述目标标签图像和预先获取的目标模板图像进行轮廓提取，得到待检测标签轮廓集合和模板标签轮廓集合；

6、对于所述待检测标签轮廓集合中的每个待检测标签轮廓，对所述待检测标签轮廓与所述模板标签轮廓集合中的各个模板标签轮廓进行初步匹配，得到所述待检测标签轮廓对应的待匹配轮廓集合；

7、根据所述待检测标签轮廓集合中的待检测标签轮廓对应的待匹配轮廓集合，对所述待检测标签轮廓集合中的待检测标签轮廓进行分类，得到缺陷标签轮廓集合和待细化匹配标签轮廓集合；

8、对于所述待细化匹配标签轮廓集合中的每个待细化匹配标签轮廓，对所述待细化匹配标签轮廓与所述待细化匹配标签轮廓对应的待匹配轮廓集合进行细化匹配，得到所述待细化匹配标签轮廓对应的目标匹配轮廓；

9、根据所述待细化匹配标签轮廓集合中的各个待细化匹配标签轮廓对应的目标匹配轮廓、所述缺陷标签轮廓集合和所述待细化匹配标签轮廓集合，生成所述待检测标签对应的标签缺陷信息。

10、进一步的，在所述分别对所述目标标签图像和预先获取的目标模板图像进行轮廓提取，得到待检测标签轮廓集合和模板标签轮廓集合之前，所述方法还包括：

11、获取样本标签图像集合，其中，所述样本标签图像集合中的样本标签图像是未发生缺陷的样本标签的图像，样本标签的规格型号与所述待检测标签的规格型号相同；

12、对所述样本标签图像集合中的每个样本标签图像进行边缘检测，得到所述样本标签图像对应的样本轮廓集合；

13、对于所述样本标签图像集合中的每个样本标签图像，对所述样本标签图像对应的样本轮廓集合中的样本轮廓进行合并，得到所述样本标签图像对应的合并轮廓集合；

14、对所述样本标签图像集合中的各个样本标签图像对应的合并轮廓集合进行匹配，得到样本匹配轮廓组集合；

15、对所述样本匹配轮廓组集合中样本匹配轮廓组进行异常值剔除，得到初步匹配轮廓组集合；

16、对所述初步匹配轮廓组集合中的初步匹配轮廓组进行标准化，得到目标模板图像。

17、进一步的，所述对所述待检测标签轮廓与所述模板标签轮廓集合中的各个模板标签轮廓进行初步匹配，包括：

18、从所述待检测标签轮廓中随机选取预设数目个轮廓像素点，得到所述待检测标签轮廓对应的轮廓像素点集合；

19、根据所述待检测标签轮廓对应的轮廓像素点集合，从模板标签轮廓中筛选出预设数目个模板轮廓像素点，得到模板标签轮廓对应的模板轮廓像素点集合；

20、根据所述待检测标签轮廓对应的轮廓像素点集合与模板标签轮廓对应的模板轮廓像素点集合，确定所述待检测标签轮廓与模板标签轮廓之间的第一轮廓差异度集合；

21、对所述待检测标签轮廓与模板标签轮廓之间的第一轮廓差异度集合中的第一轮廓差异度进行累加处理，当得到的和小于预先设置的第一差异阈值，并且累加次数等于预设数目时，将模板标签轮廓，确定为所述待检测标签轮廓对应的待匹配轮廓。

22、进一步的，所述根据所述待检测标签轮廓集合中的待检测标签轮廓对应的待匹配轮廓集合，对所述待检测标签轮廓集合中的待检测标签轮廓进行分类，得到缺陷标签轮廓集合和待细化匹配标签轮廓集合，包括：

23、当所述待检测标签轮廓集合中的待检测标签轮廓对应的待匹配轮廓集合中的待匹配轮廓的数量为0时，将待检测标签轮廓，确定为缺陷标签轮廓；

24、当所述待检测标签轮廓集合中的待检测标签轮廓对应的待匹配轮廓集合中的待匹配轮廓的数量大于0时，将待检测标签轮廓，确定为待细化匹配标签轮廓。

25、进一步的，所述对所述待细化匹配标签轮廓与所述待细化匹配标签轮廓对应的待匹配轮廓集合进行细化匹配，得到所述待细化匹配标签轮廓对应的目标匹配轮廓，包括：

26、分别确定所述待细化匹配标签轮廓与所述待细化匹配标签轮廓对应的待匹配轮廓集合中的待匹配轮廓的重心；

27、以所述待细化匹配标签轮廓的重心为圆心，作预先设置的目标数目个目标圆，得到所述待细化匹配标签轮廓对应的目标圆集合；

28、根据所述待细化匹配标签轮廓对应的待匹配轮廓集合中的待匹配轮廓的重心，确定待匹配轮廓对应的待匹配圆集合；

29、根据所述待细化匹配标签轮廓对应的目标圆集合和待匹配轮廓对应的待匹配圆集合，确定所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度；

30、根据所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度，确定所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓差异程度；

31、根据所述待细化匹配标签轮廓与待匹配轮廓，确定所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓形变度；

32、根据所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度、轮廓差异程度和轮廓形变度，确定所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓缺陷度指标；

33、从所述待细化匹配标签轮廓对应的待匹配轮廓集合中筛选出所述待细化匹配标签轮廓对应的目标匹配轮廓，其中，所述待细化匹配标签轮廓对应的目标匹配轮廓是所述待细化匹配标签轮廓对应的待匹配轮廓集合中与所述待细化匹配标签轮廓之间的轮廓缺陷度指标最小的待匹配轮廓。

34、进一步的，目标圆集合中的目标圆的数量和待匹配圆集合中的待匹配圆的数量相同；

35、所述根据所述待细化匹配标签轮廓对应的目标圆集合和待匹配轮廓对应的待匹配圆集合，确定所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度，包括：

36、按照目标圆和待匹配圆的大小，分别对所述待细化匹配标签轮廓对应的目标圆集合和待匹配轮廓对应的待匹配圆集合进行排序，得到所述待细化匹配标签轮廓对应的目标圆序列和待匹配轮廓对应的待匹配圆序列；

37、根据所述待细化匹配标签轮廓对应的目标圆序列中的目标圆和待匹配轮廓对应的待匹配圆序列中的待匹配圆，确定目标圆和待匹配圆之间的第三轮廓差异度；

38、对所述待细化匹配标签轮廓对应的目标圆序列中的目标圆和待匹配轮廓对应的待匹配圆序列中的待匹配圆之间的第三轮廓差异度进行累加，将得到的和，确定为所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度。

39、进一步的，所述根据所述待细化匹配标签轮廓对应的目标圆序列中的目标圆和待匹配轮廓对应的待匹配圆序列中的待匹配圆，确定目标圆和待匹配圆之间的第三轮廓差异度，包括：

40、按照像素点对应的像素值的大小，分别对目标圆中的轮廓像素点和待匹配圆中的模板轮廓像素点进行排序，得到目标圆对应的目标像素点序列和待匹配圆对应的待匹配像素点序列；

41、将目标圆对应的目标像素点序列中的目标像素点对应的像素值和待匹配圆对应的待匹配像素点序列中的待匹配像素点对应的像素值之间的差值的绝对值，确定为目标圆和待匹配圆之间的差值绝对值序列；

42、将目标圆和待匹配圆之间的差值绝对值序列中的各个差值绝对值的和，确定为目标圆和待匹配圆之间的第三轮廓差异度。

43、进一步的，所述根据所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度，确定所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓差异程度，包括：

44、将所述待细化匹配标签轮廓对应的目标圆序列中的各个目标圆与待匹配轮廓对应的待匹配圆序列中的各个待匹配圆之间的差值绝对值序列中的差值绝对值的总数，确定为所述待细化匹配标签轮廓与待匹配轮廓之间的目标数量；

45、将所述待细化匹配标签轮廓与待匹配轮廓之间的第二轮廓差异度与目标数量的比值，确定为所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓差异程度。

46、进一步的，所述根据所述待细化匹配标签轮廓与待匹配轮廓，确定所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓形变度，包括：

47、分别确定所述待细化匹配标签轮廓中的轮廓像素点与待匹配轮廓中的模板轮廓像素点对应的梯度方向；

48、当轮廓像素点对应的梯度方向大于预先设置的角点阈值时，将轮廓像素点，确定为目标角点；

49、当模板轮廓像素点对应的梯度方向大于角点阈值时，将模板轮廓像素点，确定为目标角点；

50、将所述待细化匹配标签轮廓的重心与所述待细化匹配标签轮廓中的各个目标角点之间的欧氏距离，确定为所述待细化匹配标签轮廓对应的欧式距离集合；

51、将待匹配轮廓的重心与待匹配轮廓中的各个目标角点之间的欧氏距离，确定为待匹配轮廓对应的欧式距离集合；

52、根据欧式距离的大小，分别对所述待细化匹配标签轮廓和待匹配轮廓对应的欧式距离集合中的欧式距离进行排序，得到所述待细化匹配标签轮廓和待匹配轮廓对应的欧式距离序列；

53、将所述待细化匹配标签轮廓对应的欧式距离序列中的欧式距离和待匹配轮廓对应的欧式距离序列中的欧式距离的差值的绝对值的和，确定为所述待细化匹配标签轮廓与待匹配轮廓之间的轮廓形变度。

54、进一步的，所述根据所述待细化匹配标签轮廓集合中的各个待细化匹配标签轮廓对应的目标匹配轮廓、所述缺陷标签轮廓集合和所述待细化匹配标签轮廓集合，生成所述待检测标签对应的标签缺陷信息，包括：

55、根据所述待细化匹配标签轮廓集合中的各个待细化匹配标签轮廓对应的目标匹配轮廓、所述缺陷标签轮廓集合和所述待细化匹配标签轮廓集合，确定所述待检测标签对应的标签缺陷度；

56、当所述标签缺陷度大于预先设置的标签缺陷阈值时，生成表征所述待检测标签发生影响正常使用的标签缺陷的标签缺陷信息；

57、当所述标签缺陷度小于或等于标签缺陷阈值时，生成表征所述待检测标签可以正常使用的标签缺陷信息。

58、本发明具有如下有益效果：

59、本发明的基于机器视觉的标签缺陷检测方法，通过对标签图像进行图像处理，解决了对标签进行缺陷检测的效率和准确度低下的技术问题，提高了对标签进行缺陷检测的效率和准确度。首先，获取待检测标签的标签图像，对上述标签图像进行预处理，得到目标标签图像。实际情况中，对标签图像进行预处理，可以消除标签图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，可以便于后续通过分析目标标签图像，对待检测标签进行缺陷检测。接着，分别对上述目标标签图像和预先获取的目标模板图像进行轮廓提取，得到待检测标签轮廓集合和模板标签轮廓集合。实际情况，待检测标签的作用主要是展示对应物品的信息，物品的信息主要体现在待检测标签包括的文字或图案。由于文字或图案往往由轮廓组成，因此通过轮廓提取，可以得到目标标签图像和目标模板图像包括的文字或图案，可以便于后续分析文字或图案上是否存在缺陷。并且标签缺陷往往也是由轮廓组成，如果待检测标签存在缺陷，通过轮廓提取，还可以得到目标标签图像包括的缺陷，可以提高对标签进行缺陷检测的准确度。其次，为了吸引更多的客户，商家有时会为相同物品的标签设置不同的背景色，对于这些只有背景色不同的标签，如果直接通过图像匹配，对标签进行缺陷检测，往往需要获取与该标签相同背景色的标准图像，往往导致对标签进行缺陷检测的效率低下，而本方案考虑组成文字、图案和缺陷的轮廓，可以不需获取各种背景色的背景颜色，可以提高对标签进行缺陷检测的效率。然后，对于上述待检测标签轮廓集合中的每个待检测标签轮廓，对上述待检测标签轮廓与上述模板标签轮廓集合中的各个模板标签轮廓进行初步匹配，得到上述待检测标签轮廓对应的待匹配轮廓集合。之后，根据上述待检测标签轮廓集合中的待检测标签轮廓对应的待匹配轮廓集合，对上述待检测标签轮廓集合中的待检测标签轮廓进行分类，得到缺陷标签轮廓集合和待细化匹配标签轮廓集合。可以通过初步匹配，分类出缺陷标签轮廓集合和待细化匹配标签轮廓集合，可以使后续只需对待细化匹配标签轮廓集合中的待细化匹配标签轮廓进行细化匹配，不再需要对缺陷标签轮廓集合中的缺陷标签轮廓进行细化匹配，减少了计算量，减少了计算资源的占用。而后，对于上述待细化匹配标签轮廓集合中的每个待细化匹配标签轮廓，对上述待细化匹配标签轮廓与上述待细化匹配标签轮廓对应的待匹配轮廓集合进行细化匹配，得到上述待细化匹配标签轮廓对应的目标匹配轮廓。对待细化匹配标签轮廓与待细化匹配标签轮廓对应的待匹配轮廓集合进行细化匹配，可以提高匹配的准确度。最后，根据上述待细化匹配标签轮廓集合中的各个待细化匹配标签轮廓对应的目标匹配轮廓、上述缺陷标签轮廓集合和上述待细化匹配标签轮廓集合，生成上述待检测标签对应的标签缺陷信息。综合考虑了待细化匹配标签轮廓集合中的各个待细化匹配标签轮廓对应的目标匹配轮廓、缺陷标签轮廓集合和待细化匹配标签轮廓集合，提高了生成的待检测标签对应的标签缺陷信息的准确度。因此，本发明通过对标签图像进行图像处理，解决了对标签进行缺陷检测的效率和准确度低下的技术问题，提高了对标签进行缺陷检测的效率和准确度。