一种手写体数字识别方法、装置及计算机存储介质

本发明涉及图像识别，特别是涉及一种手写体数字识别方法、装置及计算机存储介质。

背景技术：

1、线性判别分析方法（linear discriminant analysis，lda）是经典的有监督学习算法，主要用于降维和分类。它的主要思想是将数据投影到新的空间，使得同类的数据尽可能的靠近，不同类的数据尽可能的远离。该方法可以用于解决图像分类问题，例如手写体数字识别等问题。线性判别分析方法通过将数据投影到最佳线性判别方向上，可以提高分类准确率。但是对于多分类问题，lda并不是一个最优的选择。在同方差高斯假设下，lda的投影是通过最大化不同类别之间的kullback-leibler (kl)散度的加权算术平均值得到的，其投影方向是由具有大kl散度的类对主导的，这导致了kl散度小的类对在投影空间中会发生重叠现象，从而使得分类的准确性也在显著退化。针对lda在多分类问题中类分离的问题，许多研究人员提出各种构造权重的方案来优化lda。这类有监督的判别分析方法主要分成两大类，一类是替代不同类对间kl散度的算术平均值，对kl散度不同的类对赋予不同的权重；另一类是关注相近类对的分离，强调kl散度小的类对。但这些方法都是有监督的，需要足够的标签数据才能训练出模型，而且容易产生过拟合问题。

2、随着科学技术的发展，收集数据的技术与工具在不断进步，大量的数据可以被使用，但是标签数据的标记工作还需要大量的人力和物力，所以如何利用无标签数据帮助提升已有算法的性能成为当前的研究热点。半监督学习就是利用大量的无标签数据来辅助少量的标签数据提升学习性能，从而得到泛化能力更强的学习模型。如何将有监督的判别分析方法扩展至半监督学习中得到更有效的分类模型成为亟待解决的任务之一。

技术实现思路

1、针对上述现有技术的缺陷，本发明提供了一种手写体数字识别方法，将有监督的判别分析方法扩展至半监督学习，解决多分类任务中标签数据少，采用传统判别分析方法存在的类分离问题。本发明的另一目的是提供一种手写体数字识别装置及相应的计算机存储介质。

2、本发明技术方案如下：一种手写体数字识别方法，包括以下步骤：

3、步骤s1、收集到的样本进行归一化处理得到训练数据，所述训练数据包括标签数据和无标签数据；

4、步骤s2、由训练数据中的标签数据计算类内散度矩阵和类间散度矩阵；

5、步骤s3、由训练数据中的标签数据和无标签数据构建近邻图计算流形正则项；

6、步骤s4、利用训练数据通过拉普拉斯自适应权重判别分析方法学习得到最优投影矩阵，包括将拉普拉斯自适应权重判别分析方法的优化目标设置为

7、，

8、，

9、其中为类内散度矩阵，为类间散度矩阵，为投影矩阵的l2,1范数，m为特征个数，d为投影空间的维度，为流形正则项，为权衡参数，为单位矩阵，为训练数据中标签信息的类别数；采用迭代优化的方法求解投影矩阵和权重向量，得到最优投影矩阵；

10、步骤s5、将待识别样本进行归一化处理，再通过最优投影矩阵得到投影后的数据，然后采用最近邻分类器得到识别标签。

11、本发明还提供一种手写体数字识别装置，包括：

12、预处理模块：收集到的样本进行归一化处理得到训练数据，所述训练数据包括标签数据和无标签数据；

13、第一计算模块：由训练数据中的标签数据计算类内散度矩阵和类间散度矩阵；

14、第二计算模块：由训练数据中的标签数据和无标签数据构建近邻图计算流形正则项；

15、最优投影矩阵求解模块：利用训练数据通过拉普拉斯自适应权重判别分析方法学习得到最优投影矩阵，包括将拉普拉斯自适应权重判别分析方法的优化目标设置为

16、，

17、，

18、其中为类内散度矩阵，为类间散度矩阵，为投影矩阵的l2,1范数，m为特征个数，d为投影空间的维度，为流形正则项，为权衡参数，为单位矩阵，为训练数据中标签信息的类别数；采用迭代优化的方法求解投影矩阵和权重向量，得到最优投影矩阵；

19、识别模块：将待识别样本进行归一化处理，再通过最优投影矩阵得到投影后的数据，然后采用最近邻分类器得到识别标签。

20、进一步地，所述步骤s3以及第二计算模块包括计算步骤：

21、步骤s3.1、利用训练数据构造近邻图得到近邻矩阵，标签数据，无标签数据，标签数据个数为，无标签数据个数为，近邻矩阵的构造方式如下：

22、，

23、其中表示为的近邻集合；

24、步骤s3.2、计算流形正则项中的拉普拉斯矩阵，其中为对角矩阵，对角元素，在投影空间中的得到流形正则项为

25、，

26、其中为l2范数，表示为在低维投影空间中的像，，。

27、进一步地，所述采用迭代优化的方法求解投影矩阵和权重向量，得到最优投影矩阵，包括步骤：

28、步骤s4.1、初始化权重，求解投影矩阵，lapawda的优化函数转变成

29、，

30、，

31、其中为常数，0为权衡系数, ，

32、首先计算矩阵，得到优化目标为

33、，

34、应用拉格朗日乘子法，将优化问题转换成特征分解问题：

35、，

36、其中是对角矩阵，对角元素，为的第行向量，为特征值，最优的投影矩阵是由前个最大特征值对应的个特征向量组成，其中；

37、步骤s4.2、固定投影矩阵，求解权重向量，此时lapawda的目标函数变为

38、，

39、，

40、根据柯西不等式，得到权重向量的解为

41、；

42、步骤s4.3、更新权重向量，根据步骤s4.1继续求解投影矩阵；得到本轮最优投影矩阵后，进行下一轮交替迭代求解，即，固定投影矩阵，根据步骤s4.2更新权重向量，重复步骤s4.3直至满足停止条件得到最优投影矩阵。

43、由于拉普拉斯自适应权重判别分析方法的优化问题并不是一个经典的二次优化问题，所以在求解过程中采用了一种快速有效的迭代优化算法，并可以在理论上证明它是收敛的。

44、进一步地，所述步骤s4.3中停止条件为。

45、进一步地，所述类内散度矩阵计算方式如下：

46、，

47、其中表示第类中的第个样本，表示第类的均值向量；

48、所述类间散度矩阵计算方式如下：

49、。

50、本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现上述手写体数字识别方法。

51、与现有技术相比，本发明所提供的技术方案的优点在于：

52、本发明通过流形正则项引入无标签数据的结构信息，同时采用一个自适应权重的方法均衡每个类对间的kl散度，避免kl散度小的类对在投影空间中消失。此外对于投影矩阵施加了l2,1范数约束，目的是得到一个稀疏判别的投影矩阵，进一步提升分类精度，从而更适用于多分类任务。lapawda的优化问题得到的最优解是可以提取到有用信息有利于后续的分类任务。

53、通过判别分析方法和流形正则项的结合，本发明的半监督特征提取方法与最近邻分类结合得到多分类模型，可以用于解决标签数据少的半监督多分类问题，提高了数据的利用率，并提升了分类性能。