一种基于可辨识单字字符的在线笔迹验证系统及方法与流程

本发明涉及在线手写电子笔迹领域，特别涉及一种基于可辨识单字字符的在线笔迹验证方法、系统和装置。

背景技术：

1、现阶段，无纸化进程的推进以及触摸移动端和电子书写设备的普及，在线手写电子笔迹出现在人们生活的方方面面，基于在线笔迹的验证、识别也受到专业人士的广泛关注。尤其随着人工智能和深度学习技术的发展，通过搭建卷积神经网络对在线笔迹图像建模或者通过循环神经网络对在线时序数据建模，一方面，可以通过表征学习方法学习每个用户特有的个性化笔迹表征，再利用表征相似度进行笔迹验证。另一方面，可以通过构建比对样本对进行对比学习，学习正负样本对的差异进行笔迹验证。但是，上述方案基本上均是将整个笔迹数据作为输入，比如，在进行手写电子签名验证时，将整个手写电子签名作为建模对象。这种情况往往存在签字差异导致字符与字符之间难以对齐的问题，同时，在实际业务应用中，只对笔迹相似度进行了限制，而未对各字符做可辨识的限制，往往存在艺术字体、乱涂乱画等多种情况造成无法辨识的问题，影响签署内容的质量和有效性。本发明针对上述问题提出一种基于可辨识单字字符的在线笔迹验证技术，目的在于规范在线手写汉字的可辨识性，并在此基础上进行单个字符的笔迹验证，最后通过多个字符综合判断得到最终笔迹身份认证结果。

2、公开号cn201310405207.2，发明名称“一种基于字符的在线笔迹认证的模板扩充方法”，公开了一种在线测试笔迹与注册笔迹比对和模板自动扩充机制，当注册笔迹与测试笔迹比对通过时，将书写的未注册字符进行自动注册，完全依赖于算法比对结果，也没有对书写的未注册字符进行内容校验，存在注册数据混入与内容不匹配的汉字字符，从而导致注册数据被污染的风险。公开号cn202111540184.7，名称“基于通道注意力机制的签名鉴别系统及方法”通过直接将整个签名图片像素反转并拼接为多通道网络输入，利用通道注意力机制模型结合交叉熵损失函数进行二分类。由于签名笔迹图像过于稀疏，背景占据比例非常大，多通道笔迹很难进行对齐，卷积运算难以学到对应笔画的细粒度信息。公开号cn200710096215.8，名称“一种手写字符预测识别的方法和装置”公开了一种在线手写字符识别的方法和装置。用户手写输入字符一定数量的笔迹点；手写字符识别器对所述字符与写入的笔迹点进行识别，得到相应的一组识别结果；利用得到的识别结果信息以及包括在信息预测字符库中的多个预测字符集进行预测识别，得到一组候选字符，并显示所述候选字符。发明只针对手写字符内容进行识别，提供识别出的候选字符集，并未针对签字符笔迹进行书写者身份识别。

技术实现思路

1、本发明针对现有技术对在线手写字符验证没有完整校验，不能有效对齐，不能进行笔迹的有效验证，使得对电子签名的识别验证准确性不高等问题，提出一种基于可辨识单字字符的在线笔迹验证方法，包括，单字字符采集，可以有效提取签署过程中的连笔、简写、艺术签等情况，通过引入字符识别模块规范在线手写内容，实现签署字符内容可辨识，基于可辨识字符的在线手写字符笔迹比对。为了实现手写笔迹内容的可辨识性，并对手写笔迹进行比对验证，进而进行身份识别。本发明提供一种基于可辨识单字字符的在线笔迹验证方法，通过对在线签署采集形式的限定，如单屏单字符书写、可拆分区域签署等，以及对签署内容的可识别约束，一方面可以保证签署内容的可辨识性和有效性；另一方面，基于字符笔迹比对，消除了背景干扰和笔迹稀疏的问题，通过综合单字字符笔迹比对结果，可以有效提升整体在线签署的笔迹比对效果。

2、本发明解决上述技术问题的技术方案是，提出一种基于可辨识单字字符的在线笔迹验证系统，包括：笔迹注册单元、笔迹识别单元、数据校验单元、数据预处理单元、内容校验单元、特征提取单元、相似度计算单元，笔迹注册单元，用于获取在线书写字符及笔迹关联用户进行注册；笔迹识别单元，用于提取待验证字符及笔迹，对注册字符及笔迹、待验证字符及笔迹进行数据校验；数据预处理，用于以不同书写者书写的不同字符划分类别构建数据集，根据类别将在线手写字符数据集划分为训练集、验证集和测试集；内容校验单元，用于根据在线签署文本字符完成内容校验后提取特征；特征提取单元，用于利用训练集和验证集对深度学习神经网络模型训练和验证，训练基于图像的单字笔迹分类或表征网络模型，优化分类损失，更新网络权重，使同人同字的样本在向量空间聚合，其它样本拉远，优化深度学习网络模型构建单字字符笔迹识别模型，单字字符笔迹识别模型根据注册字符及笔迹特征、在线获取待验证字符及笔迹特征提取字符表征；相似度计算单元，用于对比注册留样字符和验证字符的表征向量相似度。

3、进一步优选，笔迹注册单元根据标准字符提示在线手写签署页面书写各个字符，采集文本字符进行内容校验，识别是否为与数据库中预设字符一致，提交经过校验的文本字符和用户唯一标识到数据库进行笔迹注册，并获取字符在线笔迹信息，其中，在线手写签署页面为可采集单个手写字符或字符可拆分的形式。

4、进一步优选，深度学习神经网络模型包括：笔迹时序特征提取分支、笔迹空间特征提取分支、特征合并单元，笔迹时序特征提取分支通过lstm结合注意力机制和dropout层进行时序特征学习，提取具备时间依赖的深层用户笔迹差异或者共性特征；笔迹空间特征提取分支通过包含卷积层、标准化层和激活函数层的卷积模块进行局部空间域特征提取，卷积模块对多维输入特征矩阵进行卷积运算，提取在线手写字符局部信息和在线手写字符笔迹特征之间的相互依赖信息，得到笔迹空间特征，特征合并单元融合笔迹时序特征和笔迹空间特征，对字符数据进行分类，学习在线手写字符笔迹表征信息，度量学习优化字符对的特征向量距离，得到在线手写字符的特征向量矩阵。

5、进一步优选，采用软动态时间规整soft-dtw损失函数优化分类损失进行网络优化，基于优化网络模型构建单字字符笔迹识别模型，根据公式：

6、dtwγ(x,y)＝minγ{<a,δ(x,y)>,a∈al,m}

7、计算损失函数dtwγ(x,y)，其中，al,m表示特征向量矩阵a中从(1,1)到(l,m)的路径，内积<a,δ(x,y)>为这条路径下的代价和，δ(x,y)为通过欧氏距离计算特征矩阵a中向量x与y的距离。

8、进一步优选，利用验证集对单字字符笔迹识别模型进行验证，通过验证集构建样本对，计算样本对之间签名或者文本和的特征相似度p，统计并拟合每个字符不同相似度下对应的准确率，提供不同字符的权重值，根据公式：计算特征相似度p，其中，auci表示第i个单字字符对应的auc评价指标，n表示注册的电子签名或者文本行个数，prob(ai,bi)表示第i个字符对(ai,bi)的相似度对应拟合的概率值。

9、进一步优选，通过对验证集取最佳结果对应的阈值获得每个字符对应的阈值threshold，根据公式：

10、

11、计算第i个字符对(ai,bi)的相似度对应拟合的概率值，其中，similarity表示字符对(ai,bi)的相似度。

12、本发明还提吃一种基于可辨识单字字符的在线笔迹验证方法，采集预设内容的单个手写字符或可拆分字符，根据字符识别判断签署内容是否为预设字符，关联用户进行注册；提取待验证字符及笔迹，对注册字符及笔迹、待验证字符及笔迹进行数据校验；以不同书写者书写的不同字符划分类别构建数据集，根据类别将在线手写字符数据集划分为训练集、验证集和测试集；根据在线签署文本字符完成内容校验后提取特征；利用训练集和验证集对深度学习神经网络模型训练和验证，利用与预设字符内容相同的字符训练基于图像的单字笔迹分类或表征网络模型，优化分类损失，更新网络权重，使同人同字的样本在向量空间聚合，其它样本拉远，利用训练集和损失函数优化深度学习网络模型构建单字字符笔迹识别模型，单字字符笔迹识别模型根据注册字符及笔迹特征，融合笔迹时序特征和笔迹空间特征，在线获取待验证字符及笔迹特征提取字符表征，对比注册留样字符和验证字符的表征向量相似度，判断该字符是否为同一个人书写。

13、进一步优选，对签字字符数据进行有效性清洗，对签字字符数据进行预处理并提取用户习惯特征，建立训练集，训练集中同一个人在同一书写设备书写的相同字符互为正样本，其它的字符为负样本，所述清洗异常数据包括：去除轨迹坐标越界、时间戳倒流、点位长度过短、签署时间过短、签署方向异常、重复点位、野点、离群点；所述提取用户习惯特征包括：修复笔触状态和压力值，统一笔迹采样率，获取在线手写字符笔画的x速度、y速度、速度、加速度、角速度、压力、切角、对数曲率、向心加速度，提取用户习惯特征。

14、进一步优选，通过lstm结合注意力机制和dropout层进行时序特征学习，提取具备时间依赖的深层用户笔迹差异或者共性特征；通过包含卷积层、标准化层和激活函数层的卷积模块进行局部空间域特征提取，卷积模块对多维输入特征矩阵进行卷积运算，提取在线手写字符局部信息和在线手写字符笔迹特征之间的相互依赖信息，得到笔迹空间特征；融合笔迹时序特征和笔迹空间特征，对字符数据进行分类，学习在线手写字符笔迹表征信息，度量学习优化字符对的特征向量距离，得到在线手写字符的特征向量矩阵。

15、进一步优选，所述构建单字字符笔迹识别模型具体包括，采用软动态时间规整soft-dtw损失函数优化分类损失进行网络优化，基于优化网络模型构建单字字符笔迹识别模型，根据公式：

16、dtwγ((x,y)＝minγ{<a,δ(x,y)>,a∈al,m}

17、计算损失函数dtwγ(x,y)，其中，al,m表示特征向量矩阵a中从(1,1)到

18、(l,m)的路径，内积<a,δ(x,y)＞为这条路径下的代价和，δ(x,y)为通过欧氏距离计算特征矩阵a中向量x与y的距离。

19、本发明通过以采集单个手写字符的形式，并结合字符ocr算法，规范用户输入，保证字符的可辨识性。利用与预设字符内容相同的字符训练基于图像的单字笔迹分类或表征网络模型，使同人同字的样本在向量空间聚合，其它样本拉远，获得每个字符对应的阈值，融合笔迹时序特征和笔迹空间特征，在线获取待验证字符及笔迹特征提取字符表征。在线手写签署页面为可采集单个手写字符或字符可拆分的形式，可分区域签署或切字，并且知晓手写字符内容。解决了整个签名或者多个签字无法进行中心对齐，容易受到字符间间隔背景干扰，负样本难以收集等问题，有效地提升整体签名或签署内容的笔迹比对精度。