一种图形识别码调整方法及系统与流程

1.本发明涉及图形识别码的技术领域，尤其涉及一种图形识别码调整方法及系统。


背景技术：

2.在图形识别和扫描应用广泛普及的现今，图形识别码的使用越来越频繁，图形识别码技术成为当前研究的热门话题，特别是基于移动终端设备的图形识别码识别应用，通过将图形识别码作为通道来实现对应物品信息的识别与映射。
3.传统图形识别码视觉效果非常简单，大多为黑白色的编码模块；同时在实际应用中，受限于所处环境、承印物表面的影响，会出现噪声污染、局部高亮、扭曲等缺陷，导致图形识别码的识别率下降。
4.鉴于此，如何对图形识别码进行美化处理，提高图形识别码在不同环境下的识别效率，成为本领域技术人员亟待解决的问题。


技术实现要素：

5.本发明提供一种图形识别码调整方法，通过利用基于核函数的图形识别码美化算法对图形识别码进行美化处理，得到美化后的图形识别码，在识别过程中，使用图形识别码降噪模型对图形识别码进行降噪处理，并利用一种结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整，以及跟踪识别。
6.为实现上述目的，本发明提供的一种图形识别码调整方法，包括：
7.获取待调整的图形识别码，对图形识别码进行灰度图转换以及二值化操作；
8.对存在几何失真扭曲的图形识别码进行校正处理，得到预处理完成的图形识别码；
9.利用基于核函数的图形识别码美化算法对预处理后的图形识别码进行美化调整，得到美化后的图形识别码；
10.利用图形识别码降噪模型对美化后的图形识别码进行降噪处理，得到降噪后的图形识别码；
11.利用结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整。
12.可选地，所述利用灰度图转换方法将图形识别码转换为灰度图，包括：
13.所述图形识别码包括印在商品包装的一维码和二维码，以及商家付款码等；所述灰度图转换公式为：
14.gray
(i，j)
＝r
(i，j)
×
0.314+g
(i，j)
×
0.591+b
(i，j)
×
0.113
15.其中：
16.r
(i，j)
，g
(i，j)
，b
(i，j)
为图形识别码图像像素(i，j)在r，g，b三个颜色分量中的像素值；
17.gray
(i，j)
为像素(i，j)的灰度值。
18.可选地，所述对灰度图进行二值化处理，包括：
19.对于图形识别码的灰度图，求得灰度图四条边的中点，再用两条直线将四个中点连接起来，从而将图形识别码均分成四份，对于每一份图形识别码，若其像素点总数为n，通过分别设置阈值t，灰度图中像素点值比t小的像素点被设置为前景像素点，其个数为n0；灰度图中像素点值比t大的像素点被设置为背景像素点，其个数为n1；
20.计算每一份图形识别码得类间方差数值g：
21.g＝w0w1(u0‑
u1)222.其中：
23.w0为前景像素点所占得比例，w0＝n0/n；
24.w1为背景像素点所占得比例，w1＝n1/n；
25.u0为前景像素点的平均灰度值；
26.u1为背景像素点的平均灰度值；
27.对于每一份图形识别码，当g值达到最大时，所取t值是最佳的分割阈值，则将比t大的像素设为白色，比t小的像素值设为黑色，并将二值化处理后的每一份图形识别码进行合并。
28.可选地，所述对存在几何失真扭曲的图形识别码进行校正处理，包括：
29.所述校正处理的公式为：
[0030][0031]
其中：
[0032]
(x，y)为存在几何失真扭曲的图形识别码坐标；
[0033]
为校正处理矩阵；
[0034]
(u，v)为校正处理后图形识别码坐标。
[0035]
可选地，所述利用基于核函数的图形识别码美化算法对预处理后的图形识别码进行美化调整，包括：
[0036]
1)以像素大小为w的滑动窗口遍历图形识别码的编码区域，其中w为图形识别码编码区域的一个码块尺寸；删除滑动窗口中的多余像素，仅保留1/3w像素大小的中心部分；
[0037]
2)将美化图像同遍历后的图形识别码进行融合，所述融合公式为：
[0038][0039]
其中：
[0040]
q(i，j)为遍历删除后的图形识别码的(i，j)像素；
[0041]
p表示遍历删除后的图形识别码像素索引；
[0042]
i(i，j)表示美化图形i的(i，j)像素；
[0043]
q
′
(i，j)为融合后的图形识别码；
[0044]
3)利用特征网络对融合后的图形识别码进行重建，所述重建图形识别码的目标函数为：
[0045][0046]
其中：
[0047]
c
j
h
j
w
j
为特征网络第j层的特征图尺寸；
[0048]
ρ
j
表示特征网络ρ的第j层；
[0049]
为重建后图形识别码，y为融合后图形识别码；
[0050]
为特征网络第h层第j个卷积核k位置的特征值；
[0051]
σ为带宽，将其设置为0.0002；
[0052]
在本发明实施例中，通过最小化来保证重建前后图形识别码的语义差异最小，在保留图形识别码内容信息的同时，对图形识别码进行的处理，通过提取特征网络的相关性，使得重建后的图形识别码具有美化图形的风格特征，保留了美化图像的风格。
[0053]
可选地，所述利用图形识别码降噪模型对美化后的图形识别码进行降噪处理，包括：
[0054]
所述利用图形识别码降噪模型对美化后的图形识别码进行降噪处理的流程为：
[0055]
1)利用纠错目标函数对美化调整后的图形识别码进行亮度纠错，所述纠错目标函数为：
[0056][0057]
其中：
[0058]
c
j
h
j
w
j
为第j个美化调整后的图形识别码的样本尺寸；
[0059]
为美化调整后的图形识别码的编码块像素；
[0060]
q
i
为美化调整后的图形识别码的非编码块像素；
[0061]
i为进行亮度纠错后的图形识别码；
[0062]
2)构建图形识别码降噪目标函数：
[0063][0064]
其中：
[0065]
x
i，j
为进行亮度纠错后的图形识别码的(i，j)像素；
[0066]
σ为高斯核带宽，将其设置为0.0003；
[0067]
x
′
为降噪后的图形识别码。
[0068]
在本发明一个实施例中，通过建立降噪目标函数，在模型迭代过程中加入正则项的方法，对于图形识别码，进行像素邻域全变分最小化处理，减小图形识别码相邻像素之间
的差异，增强图形识别码的平滑程度。
[0069]
可选地，所述利用结合光流法以及位置信息的图形识别码位置跟踪算法进行图形识别码的位置调整，包括：
[0070]
1)获取图像识别码的两帧连续图像i1，i2，提取第一张图像的点集为p＝{p
i
}，其中p
i
＝[x
i
，y
i
]
t
为图像识别码的像素坐标值，对于所提取的第i个像素坐标点，需要满足如下函数的限制：
[0071][0072]
其中：
[0073]
w为窗口，将其设置为6
×
6像素大小的窗口；
[0074]
用i1(x
i
，y
i
)处的梯度作为i2(x
i
+δx
i
，y
i
+δy
i
)处的梯度，从而利用光流法计算两帧连续图像的角点；
[0075]
2)通过最小化光流误差，估计拍摄相机的平移值t
ref
，所述估计平移值t
ref
的目标函数为：
[0076][0077]
其中：
[0078]
π为拍摄相机的投影函数；
[0079]
π
‑1为拍摄相机的反投影函数；
[0080]
i
ref
(p
i
)为像素点p
i
的光流平移误差；
[0081]
3)根据拍摄相机的平移曲线，将图像识别码的位置进行实时调整，使得拍摄相机始终能拍摄道图像识别码。
[0082]
此外，为实现上述目的，本发明还提供一种图形识别码调整系统，所述系统包括：
[0083]
图形识别码获取装置，用于获取待调整的图形识别码；
[0084]
图形识别码处理器，用于对图形识别码进行灰度图转换以及二值化操作，并对存在几何失真扭曲的图形识别码进行校正处理；
[0085]
图形识别码调整装置，用于利用基于核函数的图形识别码美化算法对预处理后的图形识别码进行美化调整，利用图形识别码降噪模型对美化后的图形识别码进行降噪处理，并利用结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整。
[0086]
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图形识别码调整程序指令，所述图形识别码调整程序指令可被一个或者多个处理器执行，以实现如上所述的图形识别码调整的实现方法的步骤。
[0087]
相对于现有技术，本发明提出一种图形识别码调整方法，该技术具有以下优势：
[0088]
首先，由于传统图形识别码视觉效果非常简单，大多为黑白色的编码模块，因此本发明提出一种基于核函数的图形识别码美化算法对图形识别码进行美化调整，其算法流程为：以像素大小为w的滑动窗口遍历图形识别码的编码区域，其中w为图形识别码编码区域的一个码块尺寸；删除滑动窗口中的多余像素，仅保留1/3w像素大小的中心部分；将美化图
像同遍历后的图形识别码进行融合，所述融合公式为：
[0089][0090]
其中：q(i，j)为遍历删除后的图形识别码的(i，j)像素；p表示遍历删除后的图形识别码像素索引；i(i，j)表示美化图形i的(i，j)像素；q
′
(i，j)为融合后的图形识别码；并利用特征网络对融合后的图形识别码进行重建，所述重建图形识别码的目标函数为：
[0091][0092]
其中：c
j
h
j
w
j
为特征网络第j层的特征图尺寸；ρ
j
表示特征网络ρ的第j层；为重建后图形识别码，y为融合后图形识别码；为特征网络第h层第j个卷积核k位置的特征值；σ为带宽，将其设置为0.0002；对于分发吗所述算法，通过最小化来保证重建前后图形识别码的语义差异最小，在保留图形识别码内容信息的同时，对图形识别码进行的处理，通过提取特征网络的相关性，使得重建后的图形识别码具有美化图形的风格特征，保留了美化图像的风格。
[0093]
同时由于融合后得到的图形识别码可能存在大量噪声，因此本发明提出一种图形识别码降噪模型对图形识别码进行降噪处理，首先本发明利用纠错目标函数对美化调整后的图形识别码进行亮度纠错，所述纠错目标函数为：
[0094][0095]
其中：c
j
h
j
w
j
为第j个美化调整后的图形识别码的样本尺寸；为美化调整后的图形识别码的编码块像素；q
i
为美化调整后的图形识别码的非编码块像素；i为进行亮度纠错后的图形识别码；其次本发明构建图形识别码降噪目标函数：
[0096][0097]
其中：x
i，j
为进行亮度纠错后的图形识别码的(i，j)像素；σ为高斯核带宽，将其设置为0.0003；x
′
为降噪后的图形识别码。本发明所述算法通过建立降噪目标函数，在模型迭代过程中加入正则项的方法，对于图形识别码，进行像素邻域全变分最小化处理，减小图形识别码相邻像素之间的差异，增强图形识别码的平滑程度，从而完成图形识别码的降噪处理。
附图说明
[0098]
图1为本发明一实施例提供的一种图形识别码调整方法的流程示意图；
[0099]
图2为本发明一实施例提供的一种图形识别码调整系统的结构示意图；
[0100]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0101]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0102]
通过利用基于核函数的图形识别码美化算法对图形识别码进行美化处理，得到美化后的图形识别码，在识别过程中，使用图形识别码降噪模型对图形识别码进行降噪处理，并利用一种结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整，以及跟踪识别。参照图1所示，为本发明一实施例提供的图形识别码调整方法示意图。
[0103]
在本实施例中，图形识别码调整方法包括：
[0104]
s1、获取待调整的图形识别码，对图形识别码进行灰度图转换以及二值化操作。
[0105]
首先，本发明获取待调整的图形识别码，所述图形识别码包括印在商品包装的一维码和二维码，以及商家付款码等；本发明利用灰度图转换方法将图形识别码转换为灰度图，所述灰度图转换公式为：
[0106]
gray
(i，j)
＝r
(i，j)
×
0.314+g
(i，j)
×
0.591+b
(i，j)
×
0.113
[0107]
其中：
[0108]
r
(i，j)
，g
(i，j)
，b
(i，j)
为图形识别码图像像素(i，j)在r，g，b三个颜色分量中的像素值；
[0109]
gray
(i，j)
为像素(i，j)的灰度值；
[0110]
进一步地，对于图形识别码的灰度图，求得灰度图四条边的中点，再用两条直线将四个中点连接起来，从而将图形识别码均分成四份，对于每一份图形识别码，若其像素点总数为n，通过分别设置阈值t，灰度图中像素点值比t小的像素点被设置为前景像素点，其个数为n0；灰度图中像素点值比t大的像素点被设置为背景像素点，其个数为n1；
[0111]
计算每一份图形识别码得类间方差数值g：
[0112]
g＝w0w1(u0‑
u1)2[0113]
其中：
[0114]
w0为前景像素点所占得比例，w0＝n0/n；
[0115]
w1为背景像素点所占得比例，w1＝n1/n；
[0116]
u0为前景像素点的平均灰度值；
[0117]
u1为背景像素点的平均灰度值；
[0118]
对于每一份图形识别码，当g值达到最大时，所取t值是最佳的分割阈值，则将比t大的像素设为白色，比t小的像素值设为黑色，并将二值化处理后的每一份图形识别码进行合并。
[0119]
s2、对存在几何失真扭曲的图形识别码进行校正处理，得到预处理完成的图形识别码。
[0120]
进一步地，本发明对存在几何失真扭曲的图形识别码进行校正处理，所述校正处理的公式为：
[0121]
[0122]
其中：
[0123]
(x，y)为存在几何失真扭曲的图形识别码坐标；
[0124]
为校正处理矩阵；
[0125]
(u，v)为校正处理后图形识别码坐标。
[0126]
s3、利用基于核函数的图形识别码美化算法对预处理后的图形识别码进行美化调整，得到美化后的图形识别码。
[0127]
进一步地，本发明利用基于核函数的图形识别码美化算法对预处理后的图形识别码进行美化调整，所述基于核函数的图形识别码美化算法流程为：
[0128]
1)以像素大小为w的滑动窗口遍历图形识别码的编码区域，其中w为图形识别码编码区域的一个码块尺寸；删除滑动窗口中的多余像素，仅保留1/3w像素大小的中心部分；
[0129]
2)将美化图像同遍历后的图形识别码进行融合，所述融合公式为：
[0130][0131]
其中：
[0132]
q(i，j)为遍历删除后的图形识别码的(i，j)像素；
[0133]
p表示遍历删除后的图形识别码像素索引；
[0134]
i(i，j)表示美化图形i的(i，j)像素；
[0135]
q
′
(i，j)为融合后的图形识别码；
[0136]
3)利用特征网络对融合后的图形识别码进行重建，所述重建图形识别码的目标函数为：
[0137][0138]
其中：
[0139]
c
j
h
j
w
j
为特征网络第j层的特征图尺寸；
[0140]
ρ
j
表示特征网络ρ的第j层；
[0141]
为重建后图形识别码，y为融合后图形识别码；
[0142]
为特征网络第h层第j个卷积核k位置的特征值；
[0143]
σ为带宽，将其设置为0.0002；
[0144]
在本发明实施例中，通过最小化来保证重建前后图形识别码的语义差异最小，在保留图形识别码内容信息的同时，对图形识别码进行的处理，通过提取特征网络的相关性，使得重建后的图形识别码具有美化图形的风格特征，保留了美化图像的风格。
[0145]
s4、利用图形识别码降噪模型对美化后的图形识别码进行降噪处理，得到降噪后的图形识别码。
[0146]
进一步地，本发明利用图形识别码降噪模型对美化后的图形识别码进行降噪处理，所述利用图形识别码降噪模型对美化后的图形识别码进行降噪处理的流程为：
[0147]
1)利用纠错目标函数对美化调整后的图形识别码进行亮度纠错，所述纠错目标函数为：
[0148][0149]
其中：
[0150]
c
j
h
j
w
j
为第j个美化调整后的图形识别码的样本尺寸；
[0151]
为美化调整后的图形识别码的编码块像素；
[0152]
q
i
为美化调整后的图形识别码的非编码块像素；
[0153]
i为进行亮度纠错后的图形识别码；
[0154]
2)构建图形识别码降噪目标函数：
[0155][0156]
其中：
[0157]
x
i，j
为进行亮度纠错后的图形识别码的(i，j)像素；
[0158]
σ为高斯核带宽，将其设置为0.0003；
[0159]
x
′
为降噪后的图形识别码。
[0160]
在本发明一个实施例中，通过建立降噪目标函数，在模型迭代过程中加入正则项的方法，对于图形识别码，进行像素邻域全变分最小化处理，减小图形识别码相邻像素之间的差异，增强图形识别码的平滑程度。
[0161]
s5、利用结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整。
[0162]
进一步地，本发明利用结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整，所述结合光流法以及位置信息的图形识别码位置跟踪算法流程为：
[0163]
1)获取图像识别码的两帧连续图像i1，i2，提取第一张图像的点集为p＝{p
i
}，其中p
i
＝[x
i
，y
i
]
t
为图像识别码的像素坐标值，对于所提取的第i个像素坐标点，需要满足如下函数的限制：
[0164][0165]
其中：
[0166]
w为窗口，将其设置为6
×
6像素大小的窗口；
[0167]
用i1(x
i
，y
i
)处的梯度作为i2(x
i
+δx
i
，y
i
+δy
i
)处的梯度，从而利用光流法计算两帧连续图像的角点；
[0168]
2)通过最小化光流误差，估计拍摄相机的平移值t
ref
，所述估计平移值t
ref
的目标
函数为：
[0169][0170]
其中：
[0171]
π为拍摄相机的投影函数；
[0172]
π
‑1为拍摄相机的反投影函数；
[0173]
i
ref
(p
i
)为像素点p
i
的光流平移误差；
[0174]
3)根据拍摄相机的平移曲线，将图像识别码的位置进行实时调整，使得拍摄相机始终能拍摄道图像识别码。
[0175]
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：inter(r)core(tm)i7
‑
6700k cpu，内存为8g,软件为matlab；对比方法为基于神经网络的图形识别码调整方法以及基于仿射变换的图形识别码调整方法。
[0176]
在本发明所述算法实验中，数据集为5000张扭曲失真的图形识别码。本实验通过将图形识别码数据输入到图形识别码调整方法中，将调整后图形识别码的识别准确率作为方法可行性的评价指标。
[0177]
根据实验结果，基于神经网络的图形识别码调整方法的图形识别码识别准确率为81.61％，基基于仿射变换的图形识别码调整方法的图形识别码识别准确率为82.34％，本发明所述方法的图形识别码识别准确率为85.18％，相较于对比算法，本发明所提出的图形识别码调整方法能使得调整后的图形识别码具有更高的图形识别码识别准确率。
[0178]
发明还提供一种图形识别码调整系统。参照图2所示，为本发明一实施例提供的图形识别码调整系统的内部结构示意图。
[0179]
在本实施例中，所述图形识别码调整系统1至少包括图形识别码获取装置11、图形识别码处理器12、图形识别码调整装置13，通信总线14，以及网络接口15。
[0180]
其中，图形识别码获取装置11可以是pc(personal computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
[0181]
图形识别码处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。图形识别码处理器12在一些实施例中可以是图形识别码调整系统1的内部存储单元，例如该图形识别码调整系统1的硬盘。图形识别码处理器12在另一些实施例中也可以是图形识别码调整系统1的外部存储设备，例如图形识别码调整系统1上配备的插接式硬盘，智能存储卡(smartmedia card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，图形识别码处理器12还可以既包括图形识别码调整系统1的内部存储单元也包括外部存储设备。图形识别码处理器12不仅可以用于存储安装于智能道路交通追踪管理系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0182]
图形识别码调整装置13在一些实施例中可以是一中央处理器(central processingunit,cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行图形识别码处理器12中存储的程序代码或处理数据，例如图形识别码调整程序指令等。
[0183]
通信总线14用于实现这些组件之间的连接通信。
[0184]
网络接口15可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)，通常用于在该系统1与其他电子设备之间建立通信连接。
[0185]
可选地，该系统1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在图形识别码调整系统1中处理的信息以及用于显示可视化的用户界面。
[0186]
图2仅示出了具有组件11
‑
15以及图形识别码调整系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对图形识别码调整系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0187]
在图2所示的装置1实施例中，图形识别码处理器12中存储有图形识别码调整程序指令；图形识别码调整装置13执行图形识别码处理器12中存储的图形识别码调整程序指令的步骤，与图形识别码调整方法的实现方法相同，在此不作类述。
[0188]
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图形识别码调整程序指令，所述图形识别码调整程序指令可被一个或多个处理器执行，以实现如下操作：
[0189]
获取待调整的图形识别码，对图形识别码进行灰度图转换以及二值化操作；
[0190]
对存在几何失真扭曲的图形识别码进行校正处理，得到预处理完成的图形识别码；
[0191]
利用基于核函数的图形识别码美化算法对预处理后的图形识别码进行美化调整，得到美化后的图形识别码；
[0192]
利用图形识别码降噪模型对美化后的图形识别码进行降噪处理，得到降噪后的图形识别码；
[0193]
利用结合光流法以及位置信息的图形识别码位置跟踪算法实现图形识别码的位置调整。
[0194]
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0195]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0196]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发
明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。