一种原笔迹还原编码信息的方法及系统与流程

所属的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

背景技术：

1、由于手写原笔迹技术在电子产品应用很广泛，主要是采用电磁板技术和电容屏技术，电磁板技术通过电磁场的变化来获取笔迹轨迹，电容屏通过电容的变化获取笔迹轨迹。这些技术在普通纸张应用，尤其是教学应用出现了难以克服的缺陷，常规教学主要基于纸、笔，且纸笔的规格型号很多，电磁板受限于书写板的尺寸不能适应各种规格的纸张，电容屏依耐与平板、手机等终端设备，存在价格高昂不能普及，且因为影响学生视力被教育部定为受限使用，总之，基于以下背景：一是教育部基于学生视力保护的原则，提倡基于纸笔互动教学，带来了纸笔互动技术的飞速发展；二是在线教育的蓬勃发展，有强烈的师生远程互动教学的需求。以及基于手写原笔迹还原技术长期使用电磁板或者电容笔技术，在纸笔教学中因为硬件限制或者技术本身的限制不能得到广泛的应用。国外也有一些类似的技术，但一般都是采用电磁板或者电容触摸屏实现手写原笔迹数据采集，通过相对坐标的方式采集手写原笔迹的原始点坐标数据，这样就必须有配套的平板或者手机显示纸张背景信息，这样对于普及性有很大的影响，而且也不符合教育部保护学生视力，限制手机、平板在学校使用的要求。现有的原笔迹还原技术通过密集的采集书写过程中笔锋经过的点，记录下笔画中各个点坐标位置以及压感系数，还原原笔迹，但会明显出现函接痕迹，导致局部线条失真，通过数码笔实现笔迹的数字化存储，在实际的信息书写记录过程中，通常只是能够识别出用户书写的字迹，但并不能再现与用户书写完全一致的笔迹，原笔迹的复杂性和数量庞大，需要较长的时间和大量的计算资源才能完成还原过程，限制了该技术在实际应用中的可行性和效率。

2、如申请公开号为cn110263636a的中国专利提供一无损笔迹还原方法及系统，其特征在于，该方法包括：s10，对基于书写装置书写的笔迹图像数据进行采集，其中采集的图像数据为采集点的坐标、压感系数及距离上一点的时间；s20，将笔迹图像数据中的每个笔画的数据进行分组；s30，基于每个笔画采集点的坐标数据及压感系数计算对应的第一边缘衍生点及第二边缘衍生点，并将每个组多个边缘衍生点进行连接，生成笔迹文件；s40，将笔迹文件中每相邻的两个边缘衍生点使用贝塞尔算法进行处理，得到最终笔迹。该发明的有益效果为：提高了笔迹识别的准确率以及生成的笔迹更加逼真。

3、如申请公开号为cn112541377a的中国专利提供一种笔迹还原方法，包括：图像拾取单元采集对书写介质进行图像采集，得到位置基准图像，同时获取处理装置的书写端在书写介质上的位置坐标；根据位置基准图像的中心点的位置坐标和书写端在书写介质上的位置坐标确定第一偏移量；图像拾取单元采集所经过的铺有码点的介质区域的图像数据，记录时间信息和压力传感值；对图像数据进行边界划分和图像截取；提取第二编码图像数据中的编码信息；根据编码信息生成目标点的坐标信息；根据第一偏移量对目标点的坐标信息进行修正，得到修正坐标信息；根据多个目标点的修正坐标信息和相对应的压力传感值生成数据包；上位机对数据包解析得到书写端的书写笔迹。

4、以上专利均存在本背景技术提出的问题：现有的原笔迹还原技术通过密集的采集书写过程中笔锋经过的点，记录下笔画中各个点坐标位置以及压感系数，还原原笔迹，但会明显出现函接痕迹，导致局部线条失真，通过数码笔实现笔迹的数字化存储，在实际的信息书写记录过程中，通常只是能够识别出用户书写的字迹，但并不能再现与用户书写完全一致的笔迹，原笔迹的复杂性和数量庞大，需要较长的时间和大量的计算资源才能完成还原过程，限制了该技术在实际应用中的可行性和效率，为了解决这些问题，本技术设计了一种原笔迹还原编码信息的方法及系统。

技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足，提供了一种原笔迹还原编码信息的方法，首先根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理，其次根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列，最后将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数，通过原笔迹还原，生成原笔迹仿真图像。

2、为实现上述目的，本发明提供如下技术方案：

3、一种原笔迹还原编码信息的方法，包括以下步骤；

4、s1：根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理；

5、s2：根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列；

6、s3：将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原的输入参数，通过原笔迹还原，生成原笔迹仿真图像；

7、具体的，所述s1中所述预处理具体步骤如下：

8、s1.1：根据原笔迹图像，对原笔迹图像进行缩放和裁剪；

9、s1.2：对缩放和裁剪后的原笔迹图像噪声进行去噪处理，所述噪声包括行笔状态噪声和行笔方向噪声，所述行笔状态噪声包括行笔快导致的稀疏笔迹噪声和行笔慢导致的重叠笔记噪声；

10、s1.3：检测去噪后原笔迹图像的特征点，获得原笔迹图像中重心的位置，具体原笔迹图像重心的计算公式为：

11、，

12、其中，表示原笔迹图像重心的坐标，n为总像素，和分别是像素i的横坐标和纵坐标，是像素i的显著值；

13、具体的，所述s2中所述原笔迹提取策略具体步骤如下：

14、s2.1：根据原笔迹图像中重心的位置，确定原笔迹图像的行笔特征，所述原笔迹图像的行笔特征包括原笔迹图像的水平中心矩、竖直中心距和重心偏移度，原笔迹图像的水平中心矩的计算公式为：

15、，

16、其中，表示原笔迹图像的水平中心矩，w表示原笔迹图像的宽度，h表示原笔迹图像的高度，j表示原笔迹图像横向像素，k表示原笔迹图像纵向像素，f(•)表示原笔迹图像，如果大于零，对应笔迹向左倾斜，如果小于零，对应笔迹向右倾斜，如果等于零，对应笔迹未倾斜，原笔迹图像的竖直中心距的计算公式为：

17、，

18、其中，表示原笔迹图像的竖直中心矩，如果大于零，对应笔迹向上倾斜，如果小于零，对应笔迹向下倾斜，如果等于零，对应笔迹未倾斜，原笔迹图像的重心偏移度的计算公式为：

19、，

20、其中，表示原笔迹图像的重心偏移度，如果大于零，对应笔迹水平偏左，重心偏上，如果小于零，对应笔迹水平偏右，重心偏下，如果等于零，对应笔迹水平居中，重心未偏移；

21、s2.2：对原笔迹图像的笔划像素点进行检测，以原笔迹图像的重心为起始点，根据原笔迹图像的行笔特征，对原笔迹图像的重心局部梯度信息进行像素提取，获得笔划像素点集合；

22、s2.3：根据笔划像素点集合，对笔划像素点集合中每一个像素点计算与原笔迹图像重心之间的欧氏距离，确定笔划的起始位置和结束位置，进行原笔迹提取；

23、具体的，所述s2中所述笔段编码包括笔段提取、笔段划分和编码转换，所述笔段提取通过确认笔划起始点、笔划拐点和笔划终点，获得横、竖、撇、捺提和钩六个笔段，所述笔段划分用于根据笔段的方向判断笔段的空间区域，所述编码转换用于根据笔段的空间区域，对笔段进行编码，转换为观察值序列；

24、具体的，所述s3中所述原笔迹还原网络包括输入层、判别层和生成层；

25、具体的，所述s3中具体步骤如下：

26、s3.1：将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数输入到原笔迹网络的输入层中，根据提取的原笔迹和笔段编码的观察值序列生成初始原笔迹仿真图像，初始原笔迹仿真图像的计算公式为：

27、，

28、其中，io表示初始原笔迹仿真图像，n表示提取的原笔迹总数，表示单个提取的原笔迹，和表示原笔迹还原网络参数，s表示笔段编码的观察值总数，表示单个笔段编码的观察值；

29、s3.2：设置原笔迹图像为x域图像，初始原笔迹仿真图像为y域图像，将x域图像和y域图像相互重构，计算重构误差得到损失值，将损失值与判别层设置的损失阈值进行对比，如果小于判别层设置的损失阈值，表示生成的初始原笔迹仿真图像达到还原原笔迹的要求；

30、s2.3：当x域图像和y域图像通过重构误差的损失值小于判别层设置的损失阈值时，将初始原笔迹仿真图像作为生成层的输入，对初始原笔迹仿真图像进行加权求和，最后输出原笔迹仿真图像，原笔迹仿真图像的计算公式为：

31、，

32、其中，o表示原笔迹仿真图像，表示生成层的比例系数，表示初始原笔迹仿真图像单个像素，表示初始原笔迹仿真图像单个像素的权重值，p表示初始原笔迹仿真图像像素总数。

33、一种原笔迹还原编码信息的系统，所述系统包括原笔迹图像预处理模块、原笔迹提取与编码模块和原笔迹仿真图像生成模块；

34、所述原笔迹图像预处理模块，用于根据图像传感器获取原笔迹图像，对原笔迹图像进行预处理，所述预处理包括对原笔迹图像进行缩放、裁剪、去噪和计算重心位置；

35、所述原笔迹提取与编码模块，用于根据原笔迹提取策略，对预处理后的原笔迹图像进行原笔迹提取，对提取的笔迹进行笔段编码，生成观察值序列；

36、所述原笔迹仿真图像生成模块，用于将提取的原笔迹和笔段编码的观察值序列作为原笔迹还原网络的输入参数，通过原笔迹还原网络训练，生成原笔迹仿真图像；

37、具体的，所述原笔迹图像预处理模块包括：

38、图像传感器单元，用于根据图像传感器获取原笔迹图像；

39、原笔迹图像预处理单元，用于对原笔迹图像进行缩放、裁剪、去噪和计算重心位置；

40、具体的，所述原笔迹提取与编码模块包括：

41、行笔特征计算单元，用于根据原笔迹图像中重心的位置，确定原笔迹图像的行笔特征；

42、笔划像素点集合提取单元，用于对原笔迹图像的笔划像素点进行检测，以原笔迹图像的重心为起始点，根据原笔迹图像的行笔特征，对原笔迹图像的重心局部梯度信息进行像素提取；

43、原笔迹提取单元，用于根据笔划像素点集合，确定笔划的起始位置和结束位置，提取原笔迹图像中的笔迹；

44、笔段编码单元，用于通过确认笔划起始点、笔划拐点和笔划终点获取笔段，根据笔段的方向判断笔段的空间区域，对笔段进行编码，转换为观察值序列。

45、与现有技术相比，本发明的有益效果是：

46、1.本发明综合原笔迹还原相关技术，设计的原笔迹还原网络包括输入层、判别层和生成层，训练过程中将原笔迹图像和初始原笔迹仿真图像相互重构，小于损失阈值后训练完成，通过加权平均生成原笔迹仿真图像，提高原笔迹还原的有效性和效率性；

47、2.本发明考虑在书写过程中行笔过快、过慢和抖动的情况，分为行笔状态噪声和行笔方向噪声，通过对噪声的去噪处理，提高原笔迹还原的精确性；

48、3.本发明将原笔迹图像的行笔特征和笔段编码进行结合，通过计算行笔特征提取原笔迹，根据笔段的空间区域，对笔段进行编码，转换为观察值序列，将原笔迹和观察值序列作为原笔迹还原网络的输入参数，避免出现原笔迹图像失真的情况。