基于深度学习的自动签名方法及装置与流程

本发明涉及图像识别，尤其涉及一种基于深度学习的自动签名方法及装置。

背景技术：

1、由于图纸签名具有明显的个性特征和可识别性，能够确保图纸的真实性和有效性的优点，其被应用在很多领域。因此，为了提高图纸签名的准确性，有必要先准确识别出其签名位置。

2、目前，签名位置的识别方式一般是：根据签名位置在图纸数据库中进行查询处理，以获取与签名位置相对应的单元格。然而，实践发现，每次查询均需从图纸数据库中检测是否存在标题栏或图框块，由于图纸种类多、数量大，检测效率低且容易漏检，影响签名效果。可见，通过数据库查询签名位置无法实现签名位置快速准确查找，进而导致无法实现精准签名。因此，有必要提出一种提高签名位置的识别准确性，以提高图纸签名的准确性的技术方案显得尤为重要。

技术实现思路

1、本发明提供了一种基于深度学习的自动签名方法及装置，能够提高签名位置的识别准确性，以提高图纸签名的准确性。

2、为了解决上述技术问题，本发明第一方面公开了一种基于深度学习的自动签名方法，所述方法包括：

3、根据待签名的目标图纸的标识信息，在图纸数据库中，查询与所述目标图纸相匹配的图纸信息及电子签名；

4、按照预设格式，将所述目标图纸对应的图纸信息及电子签名，生成所述预设格式的文件，所述文件包含所述目标图纸对应的图纸信息及电子签名；

5、在得到所述预设格式的文件后，根据所述目标图纸对应的图纸信息，对所述目标图纸执行预处理操作，得到预处理的所述目标图纸；

6、基于预先训练出的签名位置识别模型识别所述目标图纸的签名位置；

7、根据预处理后的所述目标图纸及所述目标图纸对应的图纸信息，将所述签名位置的坐标执行还原操作，得到还原后的所述签名位置，并将所述电子签名插入还原后的所述签名位置。

8、作为一种可选的实施方式，在本发明第一方面中，所述基于预先训练出的签名位置识别模型识别所述目标图纸的签名位置，包括：

9、将所述目标图纸，输入预先训练出的第一特征提取模型中进行特征提取，得到所述目标图纸的高层次特征图；

10、将所述目标图纸的高层次特征图输入预先训练出的候选区域分析模型中进行分析，得到所述目标图纸的多个候选签名区域；

11、对于任一所述候选签名区域，通过预先训练出的第二特征提取模型，提取所述候选签名区域的局部特征，并将所述候选签名区域的局部特征输入到预先训练出的参数分析模型进行分析，得到所述候选签名区域所属类别的概率及预测边界框；

12、根据每个所述候选签名区域的预测边界框，确定每个所述候选签名区域的预测边界框的置信度；

13、将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果；

14、根据所述比较结果，将其所属类别的概率大于等于所述预设概率或者其预测边界框的置信度大于等于所述第一预设置信度的所有所述候选签名区域，确定为所述目标图纸的签名位置。

15、作为一种可选的实施方式，在本发明第一方面中，所述将所述候选签名区域的局部特征输入到预先训练出的参数分析模型进行分析，得到所述候选签名区域所属类别的概率及预测边界框，包括：

16、将所述候选签名区域的局部特征输入到预先训练出的第一参数分析模型进行分析，得到所述候选签名区域所属类别的概率；

17、将所述候选签名区域的局部特征输入到预先训练出的第二参数分析模型进行分析，得到所述候选签名区域的预测边界框。

18、作为一种可选的实施方式，在本发明第一方面中，所述将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果之前，所述方法还包括：

19、根据每个所述候选签名区域的预测边界框，确定所有所述候选签名区域的预测边界框的重叠度；

20、根据所有所述候选签名区域的预测边界框的置信度和重叠度，判断所有所述候选签名区域中是否存在其置信度小于等于第二预设置信度或者重叠度大于等于预设重叠度的候选签名区域，当判断出不存在时，触发执行所述的将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果的操作；

21、当判断出存在时，根据所有所述候选签名区域的预测边界框的置信度和重叠度，从所有所述候选签名区域中，删除其置信度小于等于所述第二预设置信度或者重叠度大于等于所述预设重叠度的候选签名区域，得到所有剩余的目标候选签名区域，并触发执行所述的将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果的操作，该所有候选签名区域为所有剩余的所述目标候选签名区域。

22、作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：

23、获取图纸训练集和图纸验证集，所述图纸训练集由多张训练图纸及该训练图纸对应的签名位置组成，所述图纸验证集由多张验证图纸及该验证图纸对应的签名位置组成；

24、基于预先确定出的目标识别模型对所述图纸训练集进行训练；

25、在对所述目标识别模型训练过程中，基于预先确定出的损失函数，将所述图纸验证集输入所述目标识别模型，计算所述目标识别模型的损失结果；

26、根据所述目标识别模型的损失结果，优化所述目标识别模型的参数，得到优化后的所述目标识别模型，并将优化后的所述目标识别模型，确定为预先训练出的所述签名位置识别模型。

27、作为一种可选的实施方式，在本发明第一方面中，所述损失函数的计算公式如下：

28、；

29、；

30、；

31、；

32、；

33、；

34、；

35、；

36、式中，表示所述目标识别模型的损失结果，表示所述图纸验证集中验证图纸的签名位置的实际边界框与对应预测边界框的损失偏差项，表示所述图纸验证集中验证图纸的签名位置的实际边界框，分别表示所述图纸验证集中验证图纸的签名位置的实际边界框中心点横坐标和纵坐标，分别表示所述图纸验证集中验证图纸的签名位置的实际边界框的宽和高，表示所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框，分别为所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框中心点横坐标和纵坐标；分别为所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框的宽和高，为正则项系数，为所述图纸验证集中验证图纸的签名位置的实际边界框所需满足的参量；表示所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框的宽与对应实际边界框的宽之间的梯度；表示所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框的高与对应实际边界框的高之间的梯度；，分别为梯度处理后的宽和高；表示取和的最小值；表示取和的最小值；表示所述图纸验证集中验证图纸的签名位置的实际边界框所需满足的参数。

37、作为一种可选的实施方式，在本发明第一方面中，所述获取到图纸训练集和图纸验证集之后，所述方法还包括：

38、根据目标图纸集合中每张图纸的数据，判断目标图纸集合中是否存在不满足所述目标识别模型的识别要求的图纸，所述目标图纸集合包括所述图纸训练集和所述图纸验证集；当判断出不存在时，触发执行所述的基于预先确定出的目标识别模型对所述图纸训练集进行训练的操作；

39、当判断出存在时，根据所述识别要求对不满足所述识别要求的所述目标图纸集合中的图纸执行调整操作，得到满足所述识别要求的所述目标图纸集合，并触发执行所述的基于预先确定出的目标识别模型对所述图纸训练集进行训练的操作；

40、其中，所述识别要求包括图纸质量大于等于预设图纸质量、图纸中签名无错别字、图纸中签名未超出签名位置、图纸像素尺寸在预设图纸像素尺寸范围内中的一种或多种。

41、本发明第二方面公开了一种基于深度学习的自动签名装置，所述装置包括：

42、查询模块，用于根据待签名的目标图纸的标识信息，在图纸数据库中，查询与所述目标图纸相匹配的图纸信息及电子签名；

43、生成模块，用于按照预设格式，将所述目标图纸对应的图纸信息及电子签名，生成所述预设格式的文件，所述文件包含所述目标图纸对应的图纸信息及电子签名；

44、预处理模块，用于在得到所述预设格式的文件后，根据所述目标图纸对应的图纸信息，对所述目标图纸执行预处理操作，得到预处理的所述目标图纸；

45、检测模块，用于基于预先训练出的签名位置识别模型识别所述目标图纸的签名位置；

46、还原模块，用于根据预处理后的所述目标图纸及所述目标图纸对应的图纸信息，将所述签名位置的坐标执行还原操作，得到还原后的所述签名位置；

47、签名模块，用于将所述电子签名插入还原后的所述签名位置。

48、作为一种可选的实施方式，在本发明第二方面中，所述检测模块基于预先训练出的签名位置识别模型识别所述目标图纸的签名位置的具体方式包括：

49、将所述目标图纸，输入预先训练出的第一特征提取模型中进行特征提取，得到所述目标图纸的高层次特征图；

50、将所述目标图纸的高层次特征图输入预先训练出的候选区域分析模型中进行分析，得到所述目标图纸的多个候选签名区域；

51、对于任一所述候选签名区域，通过预先训练出的第二特征提取模型，提取所述候选签名区域的局部特征，并将所述候选签名区域的局部特征输入到预先训练出的参数分析模型进行分析，得到所述候选签名区域所属类别的概率及预测边界框；

52、根据每个所述候选签名区域的预测边界框，确定每个所述候选签名区域的预测边界框的置信度；

53、将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果；

54、根据所述比较结果，将其所属类别的概率大于等于所述预设概率或者其预测边界框的置信度大于等于所述第一预设置信度的所有所述候选签名区域，确定为所述目标图纸的签名位置。

55、作为一种可选的实施方式，在本发明第二方面中，所述检测模块将所述候选签名区域的局部特征输入到预先训练出的参数分析模型进行分析，得到所述候选签名区域所属类别的概率及预测边界框的具体方式包括：

56、将所述候选签名区域的局部特征输入到预先训练出的第一参数分析模型进行分析，得到所述候选签名区域所属类别的概率；

57、将所述候选签名区域的局部特征输入到预先训练出的第二参数分析模型进行分析，得到所述候选签名区域的预测边界框。

58、作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

59、第一确定模块，用于在所述检测模块将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果之前，根据每个所述候选签名区域的预测边界框，确定所有所述候选签名区域的预测边界框的重叠度；

60、第一判断模块，用于根据所有所述候选签名区域的预测边界框的置信度和重叠度，判断所有所述候选签名区域中是否存在其置信度小于等于第二预设置信度或者重叠度大于等于预设重叠度的候选签名区域，当判断出不存在时，触发所述检测模块执行所述的将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果的操作；

61、所述第一确定模块，还用于当判断出存在时，根据所有所述候选签名区域的预测边界框的置信度和重叠度，从所有所述候选签名区域中，删除其置信度小于等于所述第二预设置信度或者重叠度大于等于所述预设重叠度的候选签名区域，得到所有剩余的目标候选签名区域，并触发所述检测模块执行所述的将所有所述候选签名区域中每个所述候选签名区域所属类别的概率、预测边界框的置信度与对应的预设概率及第一预设置信度进行比较，得到比较结果的操作，该所有候选签名区域为所有剩余的所述目标候选签名区域。

62、作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

63、第二确定模块，用于获取图纸训练集和图纸验证集，所述图纸训练集由多张训练图纸及该训练图纸对应的签名位置组成，所述图纸验证集由多张验证图纸及该验证图纸对应的签名位置组成；

64、训练模块，用于基于预先确定出的目标识别模型对所述图纸训练集进行训练；

65、计算模块，用于在对所述目标识别模型训练过程中，基于预先确定出的损失函数，将所述图纸验证集输入所述目标识别模型，计算所述目标识别模型的损失结果；

66、优化模块，用于根据所述目标识别模型的损失结果，优化所述目标识别模型的参数，得到优化后的所述目标识别模型，并将优化后的所述目标识别模型，确定为预先训练出的所述签名位置识别模型。

67、作为一种可选的实施方式，在本发明第二方面中，所述损失函数的计算公式如下：

68、；

69、；

70、；

71、；

72、；

73、；

74、；

75、；

76、式中，表示所述目标识别模型的损失结果，表示所述图纸验证集中验证图纸的签名位置的实际边界框与对应预测边界框的损失偏差项，表示所述图纸验证集中验证图纸的签名位置的实际边界框，分别表示所述图纸验证集中验证图纸的签名位置的实际边界框中心点横坐标和纵坐标，分别表示所述图纸验证集中验证图纸的签名位置的实际边界框的宽和高，表示所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框，分别为所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框中心点横坐标和纵坐标；分别为所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框的宽和高，为正则项系数，为所述图纸验证集中验证图纸的签名位置的实际边界框所需满足的参量；表示所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框的宽与对应实际边界框的宽之间的梯度；表示所述图纸验证集中验证图纸输入所述目标识别模型后得到的签名位置的预测边界框的高与对应实际边界框的高之间的梯度；，分别为梯度处理后的宽和高；表示取和的最小值；表示取和的最小值；表示所述图纸验证集中验证图纸的签名位置的实际边界框所需满足的参数。

77、作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：

78、第二判断模块，用于在第二确定模块获取到图纸训练集和图纸验证集之后，根据目标图纸集合中每张图纸的数据，判断目标图纸集合中是否存在不满足所述目标识别模型的识别要求的图纸，所述目标图纸集合包括所述图纸训练集和所述图纸验证集；当判断出不存在时，触发所述训练模块执行所述的基于预先确定出的目标识别模型对所述图纸训练集进行训练的操作；

79、调整模块，用于当判断出存在时，根据所述识别要求对不满足所述识别要求的所述目标图纸集合中的图纸执行调整操作，得到满足所述识别要求的所述目标图纸集合，并触发所述训练模块执行所述的基于预先确定出的目标识别模型对所述图纸训练集进行训练的操作；

80、其中，所述识别要求包括图纸质量大于等于预设图纸质量、图纸中签名无错别字、图纸中签名未超出签名位置、图纸像素尺寸在预设图纸像素尺寸范围内中的一种或多种。

81、本发明第三方面公开了另一种基于深度学习的自动签名装置，所述装置包括：

82、存储有可执行程序代码的存储器；

83、与所述存储器耦合的处理器；

84、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的任意一种基于深度学习的自动签名方法中的部分或全部步骤。

85、本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的任意一种基于深度学习的自动签名方法中的部分或全部步骤。

86、与现有技术相比，本发明实施例具有以下有益效果：

87、本发明实施例中，根据待签名的目标图纸的标识信息，在图纸数据库中，查询与目标图纸相匹配的图纸信息及电子签名；按照预设格式，将目标图纸对应的图纸信息及电子签名，生成预设格式的文件，该文件包含目标图纸对应的图纸信息及电子签名；在得到预设格式的文件后，根据目标图纸对应的图纸信息，对目标图纸执行预处理操作，得到预处理的目标图纸；基于预先训练出的签名位置识别模型识别目标图纸的签名位置，实现签名位置的精准定位，减少签名位置漏检的发生情况，提高签名位置的识别准确性及全面性，并根据预处理后的目标图纸及目标图纸对应的图纸信息，将签名位置的坐标执行还原操作，得到还原后的签名位置，以及将电子签名自动插入还原后的签名位置，实现自动签名，提高了图纸签名的准确性、规范性、方便性及一致性，从而给用户带来更好的签名体验。