一种车牌产品质量检测方法、系统及设备与流程

1.本公开涉及车牌产品质量检测技术领域，具体涉及一种车牌产品质量检测方法、系统及设备。


背景技术：

2.汽车车牌的制造过程是将铝板通过贴膜、刷漆、压字和擦字等步骤生产完成的。在车牌的制造过程中，会存在字符不完整、尺寸不合格，车牌表面还会存在诸如划痕、擦伤和污点等缺陷，这些缺陷会导致车牌产品的质量不合格。目前的汽车车牌在生产完成后出厂之前，通常由工人人工来观察和测量车牌的外观和尺寸，以此来评估车牌质量是否合格，人为评估的方式，一方面效率低下，影响车牌的整体生产效率，另一方面，人为评估的方式还存在较大的主观因素影响，不同工人之间的合格判断标准各不相同，导致车牌质量检测结果的可靠性、准确性和统一性均较差，影响车牌出厂质量。


技术实现要素：

3.为了解决上述现有技术存在的问题，本公开目的在于提供一种车牌产品质量检测方法、系统及设备。本公开可代替人工评估车牌质量，可提高车牌质量检测效率，节省人力，也可有效避免人为主观因素对检测结果影响，提高车牌质量检测结果的可靠性、准确性和统一性，有助于车牌质量的标准化和规范化，有利于提高车牌产品的出厂质量。
4.本公开所述的一种车牌产品质量检测方法，包括以下步骤：
5.s01、获取包含待测车牌的原始图像；
6.s02、提取所述原始图像中待测车牌区域的图像作为目标图像；
7.s03、对所述目标图像进行校正；
8.s04、识别所述目标图像中的唯一标签，获取该待测车牌的唯一识别信息；
9.s05、对所述目标图像分别进行字符及边框完整性检测、缺陷检测和关键尺寸检测；
10.s06、根据所述字符及边框完整性检测、所述缺陷检测、所述关键尺寸检测结论，输出检测结果。
11.优选地，在所述步骤s06之后还包括：
12.s07、构建用于存储检测数据的数据库。
13.优选地，所述步骤s02中，提取所述原始图像中待测车牌区域的图像作为目标图像具体包括：
14.将所述原始图像依次进行灰度变换、阈值分割、形态学变换和区域分割处理，得到roi区域作为目标图像。
15.优选地，所述步骤s03中，对所述目标图像进行校正具体包括：
16.s031、获取标准车牌图像中的车牌各顶点坐标，记为标准顶点坐标；
17.s032、获取目标图像中的车牌各顶点坐标，记为目标顶点坐标；
18.s033、将所述标准顶点坐标和所述目标顶点坐标依次进行矩阵变换运算和透视变换，根据所述标准顶点坐标和所述目标顶点坐标对所述目标图像进行校正。
19.优选地，所述步骤s04中，所述唯一标签为二维码。
20.优选地，所述步骤s05中，对所述目标图像进行字符及边框完整性检测包括：
21.s051 a、获取标准字符边框图像；
22.s052a、提取所述目标图像中的字符边框图像；
23.s053a、将所得字符边框图像与所述标准字符边框图像进行对比计算，获取字符边框图像差；
24.s054a、根据所述字符边框图像差计算字符边框完整度，将所得字符边框完整度与预设的完整度阈值进行比对，根据比对结果输出字符及边框完整性检测结果。
25.优选地，所述步骤s05中，对所述目标图像进行缺陷检测包括：
26.s051b、收集多张分别含有多种生产缺陷的车牌图像，构建缺陷数据集；
27.s052b、使用所述缺陷数据集对神经网络进行训练，构建关于车牌缺陷的分类模型；
28.s053b、预选所述目标图像中的缺陷区域，将预选后的目标图像输入到所述分类模型中进行缺陷分类，根据缺陷分类结果输出缺陷检测结果。
29.优选地，所述步骤s05中，对所述目标图像进行关键尺寸检测包括：
30.s051c、获取标准车牌图像中字符尺寸与车牌尺寸的比例值，记为标准比例值；
31.s052c、提取所述目标图像中的字符图像，对所述字符图像进行分割定位；
32.s053c、获取各个字符图像的像素点数，根据所述标准比例值，计算各个字符图像的字符高度、字符宽度和相邻字符间距，将所得字符高度、字符宽度和相邻字符间距与标准字符尺寸进行比对，根据比对结果输出关键尺寸检测结果。
33.本公开还提供一种车牌产品质量检测系统，包括：
34.图像获取模块，用于获取包含待测车牌的原始图像；
35.提取模块，用于提取所述原始图像中待测车牌区域的图像作为目标图像；
36.校正模块，用于对所述目标图像进行校正；
37.识别模块，用于识别所述目标图像中的唯一标签，获取该待测车牌的唯一识别信息；
38.检测模块，用于对所述目标图像分别进行字符及边框完整性检测、缺陷检测和关键尺寸检测；
39.输出模块，用于根据所述字符及边框完整性检测、所述缺陷检测、所述关键尺寸检测结论，输出检测结果。
40.本公开还提供一种计算机设备，包括处理器和存储器，其特征在于，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载时执行如上所述车牌产品质量检测方法。
41.本公开所述的一种车牌产品质量检测方法、系统及设备，其优点在于，本公开结合图像处理技术和机器学习技术，能自动对车牌产品进行识别入库和质量检测，解放了人力劳动，大大提高了车牌质量检测的效率，提高车牌生产过程中的自动化和智能化程度。同时，采用机器评估的方式还可有效避免人为主观因素对检测结果的影响，使得各个车牌产
品在同一检测标准下进行检测，可提高车牌质量检测结果的可靠性、准确性和统一性，有助于车牌质量的标准化和规范化，有利于提高车牌产品的出厂质量。
附图说明
42.图1是本公开所述一种车牌产品质量检测方法的步骤流程图；
43.图2是本公开的识别目标图像中的唯一标签的界面图；
44.图3是本公开的字符及边框完整性检测的界面图；
45.图4是本公开的缺陷检测的界面图；
46.图5是本公开的关键尺寸检测的界面图；
47.图6是本公开的数据库管理的界面图。
具体实施方式
48.如图1所示，本公开所述的一种车牌产品质量检测方法，包括以下步骤：
49.s01、获取包含待测车牌的原始图像；具体的，其检测工位通常被制作为视觉检测台的方式，其通过吸盘从背面吸附的方式来固定待测的车牌，在检测工位的上方设置高清相机以拍摄获取待测车牌的原始图像，通常还需配备辅助光源以使光照充足均匀，确保成像效果清晰。高清相机通常与一上位机，如pc(personal computer，个人计算机)通信连接，以将拍摄获得的包含待测车牌的原始图像传输至上位机处，由上位机进行处理运算。
50.s02、提取所述原始图像中待测车牌区域的图像作为目标图像；具体的，由于原始图像中包含视觉检测台等其他物体，这些物体不利于后续的车牌图像处理，因而需要将图像中的干扰物体去除，此处采用图像处理技术中常用的灰度变换、阈值分割(即二值化处理)、形态学变换、区域分割提取步骤，将原始图像中的待测车牌区域的图像提取出来，得到roi区域(region of interest，感兴趣区域)，该roi区域即为所需获取的目标图像。
51.s03、对所述目标图像进行校正；此步骤中，需要对目标图像的尺寸比例进行校正，以使后续的检测结果准确。具体为，首先先获取一标准车牌图像中的车牌图像，将该图像转换为灰度图，然后对所得灰度图进行边缘提取，细化并提取唯一边缘，由于车牌图像通常为一规则的长方形，这一过程很便于进行，完成唯一边缘提取后，遍历寻找图像的四个顶点的坐标(可以以图像的中心点为坐标轴原点，或是以左下角顶点为坐标原点)，记录所得的四个顶点坐标，记为标准顶点坐标，将标准顶点坐标储存在数据库中。
52.然后获取目标图像中的车牌各顶点坐标，具体的，同样通过边缘提取、遍历寻找的方式来获取目标图像中的车牌各顶点坐标，将该坐标记为目标顶点坐标。
53.调用预存的标准顶点坐标，结合所得的目标顶点坐标根据find homography函数进行矩阵变换运算，得到变换矩阵h，将变换矩阵h通过warp perspective函数完成透视变化，然后参照标准车牌图像完成对目标图像的校正。具体计算过程如下：
54.根据find homography函数得到仿射变化矩阵h(该矩阵可分解为线性变换部分和透视变换部分)warpaffine函数接受h矩阵对图像完成仿射变化，变换后的车牌roi区域可能与标准车牌像素比例会有所出入，所以需要结合标准车牌对变换后的图像进行进一步矫正(即根据resize函数将图片设定为特定像素比例4400*1400)。
55.具体透视变化运算过程和原理如下：
56.设原始图像一个坐标为(u，v)，经过透视变化后的坐标为(x，y)，则透视变化可表示为式：
[0057][0058]
在变化矩阵中表示线性变换，[a
31 a
32
]表示平移，产生透视。重写之前的变换公式可以得到透视变化后的坐标值为计算公式如式所示：
[0059][0060][0061]
通过上述计算过程，就可完成参照标准顶点坐标来对目标图像进行校正。
[0062]
s04、识别所述目标图像中的唯一标签，获取该待测车牌的唯一识别信息；车牌在生产时，每个车牌均对应有一个唯一识别标签，该识别标签可印制于车牌的正面上，用于在被识别时，指向该车牌对应的唯一识别信息。在具体的实施例中，唯一识别标签可以是条形码、二维码(qr code)、rfid(radio frequency identification，射频识别)标签或是其他可便于识别的电子标签，唯一识别信息通常是一串唯一的连续数字和/或字符，以常用的二维码为例，二维码图像印制于车牌的左上角处。获取二维码图像后，将二维码图像依次进行hsv(hue色调、saturation饱和度、value亮度)转换、hsv阈值分割、形态学变换、qr code detector(一种用于二维码识别的开源模块)识别，获取该二维码指向的唯一识别信息，用于记录该待测车牌的信息，并与后续检测结果对应匹配，如图2所示的，经过对图像中的二维码识别后，获得图示的数字和字母串作为唯一识别信息。具体的二维码识别过程如下所述：
[0063]
由于车牌二维码在蓝色漆底(车牌底色为蓝色)下，且比较小，所以在使用二维码定位和解码操作前需要对车牌图像进行预处理，使得二维码更加明显，利于二维码的定位和解码。
[0064]
主要预处理流程如下：
[0065]
将原始图像依次经过hsv转换、hsv阈值分割和形态学变换。其中，hsv颜色空间是将rgb中的值表示在一个倒圆锥中的一种颜色空间表示法。利用圆锥的母线表示色彩，水平轴表示颜色的纯度，垂直轴表示明暗。在处理车牌二维码图片过程中通过最大对比度和亮度可以得到以下效果图、再通过将饱和度设为0可以得到仅包含黑白两色的效果图。对于处理后的二维码图片中存在的毛边和少许杂质，可以通过形态学变化去除。
[0066]
在opencv4.0版本以后，加入了二维码定位解码的功能。其包含了和提供了二维码定位和解码模块(qrcodedetector类)有效解决二维码识别问题。qrcodedetector类结构主要包括detect()和decode()两个核心函数。其中detect()函数主要用于定位，而decode()完成对二维码进行解码，并返回包含二维码内容的字符串。车牌二维码定位与解码过程：
[0067]
图像分割得到的二维码区域图片
→
detect()二维码定位
→
decode()解码
→
得到识别结果
[0068]
其中二维码定定位原理为根据定位图案的黑白间隔固定比例：1:1:3:1:1来找到二维码的定位标示。即水平或垂直扫描得到五条具有近似比例的线段就将其视为定位图案的一部分。
[0069]
定位过程是先在通过垂直、水平扫描找到三个定位标示，然后通过定位标示相对位置来确定定位标示的顺序，得知顺序后就可以根据三个定位表示确定二维码的范围和方向。
[0070]
s05、对所述目标图像分别进行字符及边框完整性检测、缺陷检测和关键尺寸检测，具体的，上述的三个检测过程可以同步进行，也可以按任意顺序分步进行。
[0071]
对目标图像进行字符及边框完整性检测具体包括：
[0072]
s051a、获取标准字符边框图像；具体为，首先获取一标准车牌的图像，将图像依次经过灰度变换、阈值分割、形态学变换、区域分割提取，然后将字符和边框图像提取出来，具体的提取方式是，标准化车牌图片(4400*1400)中，单个字符所占面积在一定范围内，故通过字符区域面积可以筛选得到单个字符的图像，逐个提取各个字符的图像，就可以将车牌图像中的各个字符的图像单独提取出来。边框图像提取的方式与字符图像提取的方式类同。
[0073]
s052a、采用上一步骤中的方法，提取目标图像中的字符边框图像，
[0074]
s053a、将所得字符边框图像与所述标准字符边框图像进行对比计算，获取字符边框图像差；具体的计算过程为：
[0075]
在opencv中，absdiff函数提供了计算图像差分图的方法，它的原理是计算两幅图片中每个对应像素差的绝对值(因为此时输入图片为黑白二值图，完整边框图为黑色背景和白色边框，而有缺陷的边框会在缺陷处不连续，即可用此函数完成差别像素的检测)，像素点计算公式如下式所示：
[0076]
dst[i]＝|src1[i]-src2[i]|
[0077]
最后进行缺陷的评估，评估是通过统计差分图白色像素点个数(即差别像素)占同像素尺寸的标准字符边框图像素点(白色)的比例来完成(通过之前矫正resize之后的图片，统计的像素个数总数与该部分像素所占面积为线性关系，即统计像素个数和面积作用相同)。
[0078]
s054a、根据所述字符边框图像差计算字符边框完整度，将所得字符边框完整度与预设的完整度阈值，如95％进行比对，根据比对结果输出字符及边框完整性检测结果，即，字符边框完整度≧95％输出为字符及边框完整性检测结果合格，否则为不合格。
[0079]
对目标图像进行缺陷检测包括：
[0080]
s051b、收集多张分别含有多种生产缺陷的车牌图像，构建缺陷数据集；收集多张包含有不同生产缺陷，如划痕、擦伤、污点，且同种缺陷分布在车牌不同位置的车牌图像，将这些图像作为一个缺陷数据集。
[0081]
s052b、使用所述缺陷数据集对神经网络进行训练，构建关于车牌缺陷的分类模型；具体的，将缺陷数据集作为神经网络的输入，对神经网络进行训练，以构建一个关于车牌缺陷的分类模型，神经网络具体可以选用mobile net v3(一种轻量级网络)、resnet(一
种残差网络)、vggnet(一种卷积神经网络)或是其他具有训练学习能力的神经网络，通过不断地输入缺陷车牌图像，使得分类模型的输出结果不断趋近于真实缺陷分类，以使得分类模型的分类准确率不断提高。需要说明的是，采用神经网络训练获得具有图像分类能力的分类模型，属于现有的机器学习技术，本公开不对具体的模型训练方法做出改进。
[0082]
s053b、预选所述目标图像中的缺陷区域，将预选后的目标图像输入到所述分类模型中进行缺陷分类，根据缺陷分类结果输出缺陷检测结果，具体的，如图4所示，分类模型根据输入的目标图像，对目标图像进行处理后，输出该目标图像对应的缺陷类型及缺陷评估结果，根据缺陷评估结果输出缺陷检测结果是否合格。
[0083]
其中，预选目标图像的缺陷区域的方式为利用opencv进行预检测和筛选可能存在随机缺陷的车牌区域，具体过程为：
[0084]
随机缺陷主要包括划痕、污点和擦伤。其主要检测方式都是通过blob分析来实现的。
[0085]
其中划痕类缺陷主要检测方法为霍尔夫线变换，其主要原理是图像中的一条线可以用θ-r平面内交于一点的正弦曲线数量来检测，越多的正弦曲线交于一点，则可以说明这点所表示的直线存在于图像中，以此检测图像中的直线。
[0086]
污点类缺陷的主要检测方法是通过阈值分割，而后直接根据面积筛选得到。
[0087]
擦伤类缺陷的主要检测方法是在形态学变换中采用闭运算(morph_close)，将擦伤内部空白消除合并为单个区域，然后通过区域筛选提取擦伤。
[0088]
输出该目标图像对应的缺陷类型及缺陷评估结果具体为：
[0089]
缺陷种类由神经网络mobilenet v3分类所得，具体的在缺陷评估中，划痕类缺陷以划痕外接最小矩形的长边作为判断依据，大于标准字符i的宽度即为不合格，污点和擦伤评估以所占像素点为基准，在车牌矫正后像素点个数即和所占面积成正比。标准为出现单类缺陷面积大于车牌分隔符
·
的一半即为不合格。
[0090]
最终车牌质量以检测到存在缺陷的总面积占比作为输出，若出现不合格缺陷则直接输出不合格。
[0091]
对所述目标图像进行关键尺寸检测包括：
[0092]
s051c、获取标准车牌图像中字符尺寸与车牌尺寸的比例值，记为标准比例值；具体为：
[0093]
通过上述的图像处理过程，提取获得标准车牌的各个字符图像，计算获得标准字符的高度和宽度，分别将标准字符的高度与标准车牌高度、宽度与标准车牌宽度做比，得到标准的高度比例值和宽度比例值；
[0094]
s052c、提取所述目标图像中的字符图像，对所述字符图像进行分割定位；
[0095]
s053c、获取各个字符图像的像素点数，根据所述标准比例值，计算各个字符图像的字符高度、字符宽度和相邻字符间距，将所得字符高度、字符宽度和相邻字符间距与标准字符尺寸进行比对，根据比对结果输出关键尺寸检测结果。
[0096]
具体的，根据标准车牌尺寸和获得的图像像素尺寸得到比例值。在opencv中提供了boundingrect函数可以提取车牌字符的最小正矩形，利用boundingrect函数所得到的rect类型可以返回字符的宽高和中心点的位置(宽高和相对位置都为像素坐标值)，再结合所得到的比例，推算出字符实际宽高和位置坐标。
[0097]
例如，字符宽高实际尺寸计算公式如下：
[0098]
字符实际高(宽)＝(140*字符高(宽)的像素值)/车牌高(宽)的像素值(其中140mm是车牌标准高度)。
[0099]
其中字符宽高尺寸(转换后)和对应标准字符宽高尺寸相差小于5％即为合格，字符间距(转换后)误差小于2mm即为合格(标准字符间距为12mm)。
[0100]
s06、根据所述字符及边框完整性检测、所述缺陷检测、所述关键尺寸检测结论，输出检测结果，具体的，只有当字符及边框完整性检测、所述缺陷检测、所述关键尺寸检测均通过时，检测结果输出为合格，否则为不合格。
[0101]
本公开结合图像处理技术和机器学习技术，能自动对车牌产品进行识别入库和质量检测，解放了人力劳动，大大提高了车牌质量检测的效率，提高车牌生产过程中的自动化和智能化程度。同时，采用机器评估的方式还可有效避免人为主观因素对检测结果的影响，使得各个车牌产品在同一检测标准下进行检测，可提高车牌质量检测结果的可靠性、准确性和统一性，有助于车牌质量的标准化和规范化，有利于提高车牌产品的出厂质量。
[0102]
进一步的，本实施例中，在所述步骤s06之后还包括：
[0103]
s07、构建用于存储检测数据的数据库。在具体的实施例中，数据库可采用access数据库，通过c#的ole db data adapter数据库操作类来对数据库完成包括查询、修改、添加、删除等操作，以便于用户对数据库内的数据进行处理。
[0104]
本实施例还提供了一种车牌产品质量检测系统，包括：
[0105]
图像获取模块，用于获取包含待测车牌的原始图像；
[0106]
提取模块，用于提取所述原始图像中待测车牌区域的图像作为目标图像；
[0107]
校正模块，用于对所述目标图像进行校正；
[0108]
识别模块，用于识别所述目标图像中的唯一标签，获取该待测车牌的唯一识别信息；
[0109]
检测模块，用于对所述目标图像分别进行字符及边框完整性检测、缺陷检测和关键尺寸检测；
[0110]
输出模块，用于根据所述字符及边框完整性检测、所述缺陷检测、所述关键尺寸检测结论，输出检测结果。
[0111]
其中上述模块分别用于执行的操作与前述实施方式的车牌产品质量检测方法的步骤一一对应，可参照上文描述进行理解，在此不再赘述。
[0112]
本公开的一种车牌产品质量检测系统可代替人工评估车牌质量，可提高车牌质量检测效率，节省人力，也可有效避免人为主观因素对检测结果影响，提高车牌质量检测结果的可靠性、准确性和统一性，有助于车牌质量的标准化和规范化，有利于提高车牌产品的出厂质量。
[0113]
本公开实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载时执行如上所述车牌产品质量检测方法。存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机
存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
[0114]
本公开实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括计算机终端、服务器或者类似的运算装置。该计算机设备的内部结构可包括但不限于：处理器、网络接口及存储器。其中，计算机设备内的处理器、网络接口及存储器可通过总线或其他方式连接。
[0115]
其中，处理器(或称cpu(central processingunit，中央处理器))是计算机设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如wi-fi、移动通信接口等)。存储器(memory)是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器可以是高速ram存储设备，也可以是非不稳定的存储设备(non-volatile memory)，例如至少一个磁盘存储设备；可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间，该存储空间存储了电子设备的操作系统，可包括但不限于：windows系统(一种操作系统)，linux(一种操作系统)，android(安卓，一种移动操作系统)系统、ios(一种移动操作系统)系统等等，本公开对此并不作限定；并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中，处理器加载并执行存储器中存放的一条或一条以上指令，以实现上述方法实施例所述车牌产品质量检测方法。
[0116]
在本公开的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本公开保护范围的限制。
[0117]
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本公开权利要求的保护范围之内。