融合数据增强和深度学习的印章识别方法及系统

本发明属于复杂情境下图像识别的，具体涉及一种融合数据增强和深度学习的印章识别方法及系统。

背景技术：

1、我国印章文化源远流长，印章文化不但展示了中华民族独特的审美特质和情怀，还能传承和弘扬中华文化的精神内涵。印章通常可以分为官印和私章两种，作为一种身份凭证，被广泛应用于权利和身份认证、财物封存和文书递送等场景。随着时间的推移，公章作为官印延续下来，依然在机关、团体和企事业单位发挥着重要作用。然而，随着技术的进步，指纹和面容等个人生物信息逐渐取代了私人印章的作用。目前，印章文化更多的是一种文化传承，用于寄托主人的志趣。由于书法绘画作品通常具有极高的鉴赏价值和收藏价值，历代藏家都会悉心保存作品，作品上的印章也就因此得以保留和传承。因此，学习和了解印章知识有助于人们提升对作品背景的了解，更容易感知到作品的悠久传承和历史积淀。此外，学习和了解印章知识还可以提高人们的审美修养和艺术鉴赏能力。

2、篆书是一种具有结构规整、笔画长短精确、字形简洁美观等特点的字体。它通过篆刻技艺应用于印章上，能够确保印文的清晰、准确和规范。然而，与简体字相比，篆书的使用场景较为有限，不再被人们所熟知。此外，印章作为主人的一种精神寄托，通常体现着主人的巧思和独特性。因此，在印章内容和布局的设计上，人们更加注重创新和个性化。因此，印章的样式千差万别，每个印章都有其独特的魅力。此外，还演变出了象形印章，但这些情况也增加了人们理解印章的难度。许多人对印章文化产生兴趣，但是由于无从下手或难以理解等问题，往往无法深入学习和领略印章文化的美感，阻碍了印章文化的发展。因此，运用神经网络等技术识别印章，可以降低人们查询和学习印章的难度，提高印章文化的传播能力。

3、由于印章识别任务的类别数目较多且每一类样本数量少，因此直接使用深度学习模型进行训练会导致模型识别效果不佳。即使通过细致的调参使其勉强拟合，但是却无法提取印章深层语义信息，难以识别处于复杂情境下的印章图像。因此面对上述困境通常需要更大的数据集，但是印章图像数据本身较为稀缺，同时对标注人员本身印章知识的要求较高，导致印章识别领域缺少大规模的标注数据集。为了降低用户查询和识别印章的难度并提升印章文化的推广水平，亟需一种可以快速准确识别出印章图像内容的方法。

技术实现思路

1、本发明的一个目的在于针对现有技术的不足之处，提供一种融合数据增强和深度学习的印章识别方法，该方法通过使用数据增强技术对有限的数据进行变换以产生新的数据，从而在保证标签不变的前提下对数据集进行扩展，以实现对印章图像的准确识别。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种融合数据增强和深度学习的印章识别方法，包括如下步骤：

4、步骤1、获取印章图像，并对印章图像进行识别与标注；

5、步骤2、对标注的印章图像进行数据增强，得到增强后的图像数据并将其划分为训练集、验证集和测试集；

6、步骤3、构建基于vision transformer模型的vit深度学习模型，vit深度学习模型用于对印章图像进行识别，采用训练集训练vit深度学习模型并采用验证集进行验证得到训练后的vit深度学习模型，最后采用测试集对训练后的vit深度学习模型的性能进行评价选出性能符合要求的vit深度学习模型；

7、步骤4、采用步骤3得到的vit深度学习模型对待识别的印章图像进行识别。

8、进一步地，步骤1中对印章图像进行标注的方法为：

9、采用人物-内容-样式-编号的格式对印章图像进行标注，其中，人物为印章的所有人，内容为印章所包含的内容，样式使用字母进行区分；

10、同一枚印章在采集过程中出现多次的情况下，为每个印章赋予一个编号。

11、进一步地，步骤2中数据增强包括对印章图像进行图像缩小、图像裁剪、图像亮度调整、图像对比度调整、图像掩盖、图像旋转、图像翻转、图像字迹覆盖、图像纹理覆盖、图像随机噪声和图像边缘膨胀。

12、进一步地，图像裁剪的方法为：

13、设置两个随机小数 r1∈[0, 1]和 r2∈[0.1, 0.6]，当 r1<0.5时，进行横向裁剪；当 r1≥0.5时，进行纵向裁剪；

14、在裁剪过程中，当 r1的第二位数字为偶数时，选择从上到下或从左向右裁剪；当 r1的第二位数字为奇数时，选择从右向左或从下到上裁剪， r2为裁剪比例；

15、图像亮度调整的方法为：

16、设置一个随机小数 r3∈[0.2, 4]，并将图像的gamma值设置为 r3，当 r3<1时，增加图像亮度，当 r3>1时，降低图像亮度；

17、图像对比度调整的方法为：

18、设置一个随机小数 r4∈[0.2, 1.2]，并将图像的contrast参数值设置为 r4，当 r4<1时，增加图像对比度，而当 r4>1时，降低图像的对比度。

19、进一步地，图像掩盖的方法为：

20、从随机整数 r5∈[1, 10]中选取覆盖区域的个数，然后从随机整数 r6∈[5, 50]中选取覆盖区域的边长，接着从随机整数 w∈[1, a]、 h∈[1, b]中分别选取该区域的左上角的横纵坐标，其中 a和 b分别表示印章图像的宽和高，最后，将该区域填充为黑色；

21、图像字迹覆盖的方法为：

22、首先使用python image library引入手写字体库，然后从印章所在作品的内容中随机选取一个字，其次从随机数 r8∈[5, 30]中选取该文字的字号；再次，从随机数 w∈[1, a]、h∈[1, b]中分别选取一个整数作为该区域的左上角坐标，其中 a和 b分别表示印章图像的宽和高；最后，按照原始印章图像的大小对覆盖后的图像进行裁剪；

23、图像边缘膨胀方法：

24、首先需要将印章图像转换到hsv颜色空间，该色彩空间使用色调hue、饱和度saturation和亮度value三个分量来表示颜色，通过将色调的取值范围限定在[0, 36]∪[216, 300]之间，以提取印章图像中的红色区域；接着，使用skimage中的morphology模块对红色区域进行膨胀操作，并在水平和垂直方向扩大 r9像素， r9∈[5,15]，最后将扩大的区域填充为红色区域内的平均颜色。

25、进一步地，vit深度学习模型包括输入层、编码层和输出层；

26、其中，输入层接收数据增强后的图像，并对图像进行预处理生成供编码层学习的数据；

27、编码层包括多层叠加的transformer编码器，其用于识别印章图像的全局特征信息；

28、输出层包括分类头，分类头包括全连接层，全连接层的输出维度等同于数据集中的类别数量，分类头用于将由transformer编码器生成的特征表示映射到类别概率分布上，经由全连接层进行线性变换和非线性变换后，其将transformer编码器的输出通过softmax激活函数转换成概率分布，最终输出每个类别的概率，从而实现对印章图像的识别。

29、进一步地，输入层对图像进行处理的方法包括：

30、增强后的图像输入到输入层后，输入层调整图像大小，再将其分割为多个正方形图像块，并通过图像块嵌入模块将其从三维降至一维得到维度转换后的图像块；再加入位置信息，该位置信息为维度与图像块嵌入相同的可训练矩阵，最后将图像块嵌入和位置嵌入相加，得到适于transformer编码器学习的的矩阵。

31、进一步地，transformer编码器包括多头自注意力机制、注意力加权和残差连接、前馈神经网络以及正则化；

32、其中，多头自注意力机制通过对输入序列进行线性变换得到查询query、键key和值value三个表示，然后计算注意力权重来获得自注意力编码，注意力权重表示了输入序列中每个位置与其他位置的相关性；

33、在注意力加权和残差连接中，将自注意力编码的结果与输入序列进行加权相加，并添加残差连接，并允许注意力机制有选择地融合不同位置的信息；

34、在前馈神经网络中，通过一个具有两个全连接层的前馈神经网络对自注意力编码后的结果进行非线性变换；正则化操作是在每个子层的输入和输出之间进行层归一化。

35、进一步地，步骤3中，采用评价指标为精确率 p、召回率 r和 f1值对vit深度学习模型性能进行评价；具体地，首先单独计算每个类别的 p、 r、 f1，然后求所有类别的平均值，当计算某一类别样本时，该类样本为正样本，其余样本为负样本，其定义为：

36、

37、

38、

39、其中， n表示类别总数， tpi表示识别为第 i类的样本中，识别正确的样本数； fpi表示负样本被识别为正样本的个数， fni是正样本被识别为负样本的个数。 p表示被正确识别为第 i类的样本数和所有被识别为第 i类的样本数的比值，即被正确识别为第 i类的占比； r表示被正确识别为第 i类的样本数和实际为第 i类的样本数的比值； f1值是 p和 r的等权调和平均值，综合了 p和 r对模型性能的评价。

40、本发明的另一个目的是提供一种用于实现上述的融合数据增强和深度学习的印章识别方法的系统，包括：

41、图像采集模块，用于获取印章图像，并对印章图像进行识别与标注；

42、数据增强模块，用于对图像采集模块中的印章图像进行数据增强，得到增强后的图像数据；

43、数据集划分模块，将增强后的图像数据划分训练集、验证集和测试集；

44、模型构建与优化模块，用于构建基于vision transformer模型的vit深度学习模型，并采用训练集训练vit深度学习模型并采用验证集进行验证得到训练后的vit深度学习模型，再采用测试集对训练后的vit深度学习模型的性能进行评价选出性能符合要求的vit深度学习模型，最后将得到的vit深度学习模型用于对待识别的印章图像进行识别。

45、与现有技术相比，本发明的有益效果为：本发明针对目前现有技术存在的训练集数据缺乏的情况下难以对神经网络模型进行充分训练的问题，通过分析印章图像的特征，针对性的为出现的场景进行数据增强，有效提升了神经网络模型在印章识别任务中的泛化能力，同时使用特征提取能力优秀且扩展性较强的vit模型作为印章识别任务的特征提取器，能取得较好的印章识别结果；因此，本发明对于印章文化的传播具有一定应用价值，为快速准确识别复杂情境下的印章图像提供了新的研究思路，同时针对印章数据的数据增强模式可以为后续印章识别研究提供研究基础。