带汉字纠错功能智能笔书写方法、装置及存储介质与流程

1.本发明涉及互联网技术领域，具体涉及一种带汉字纠错功能智能笔书写方法、装置及存储介质。


背景技术：

2.汉字是汉语的记录符号，属于表意文字的词素音节文字。世界上最古老的文字之一，已有六千多年的历史。在形体上逐渐由图形变为笔画，象形变为象征，复杂变为简单；在造字原则上从表形、表意到形声。现代汉字是指楷化后的汉字正楷字形，包括繁体字和简体字。为了规范汉字的编码，信息产业部提出了国家标准gb13000.1，该标准中记录对应汉字的笔顺规范。
3.同时采用点阵纸和红外摄像头配合时现有经常性丢笔画；原因分析：印刷时点阵纸上的码点印刷不全或者局部破损，导致无法准确识别；同事由于握笔姿势的变化导致识别异常。
4.如cn113191309a《一种手写汉字的识别、评分、纠错方法及系统》是采用纠错模型对手写汉字图片ocr识别，并定位和标记存在书写错误的汉字及出错部位，无法给学生以规范笔画顺序的教导；同时该方法是对汉字整体的分析，对每个笔画动作的纠错效果较差。


技术实现要素：

5.针对上述问题，本发明旨在提供一种带汉字纠错功能智能笔书写方法、装置及存储介质。
6.为实现该技术目的，本发明的方案是：一种带汉字纠错功能智能笔书写方法，包括：
7.使用智能笔在点阵纸上书写时，智能笔连续记录笔尖在点阵纸上移动的书写轨迹，同时通过辅助模块记录握笔姿势；
8.按书写时间顺序及停顿动作逐一提取出书写轨迹中的书写笔画，利用第一分析模块将书写笔画的笔形特征与标准笔形进行匹配，分析辨认出书写笔画对应的标准笔形；
9.将获取的笔形和书写时间顺序与gb13000.1笔顺规范进行匹配输出汉字。
10.作为优选，其特征在于：第一分析模块处理书写笔画前，将书写笔画按照整字的空间分布特征进行划分，获得单一汉字的书写笔画；
11.若笔形和书写时间顺序与gb13000.1笔顺规范完全匹配时，直接输出对应汉字；若笔形组合相同、但是书写时间顺序，则输出对应汉字，并提醒学生注意笔画顺序；若笔形组合中对应两个或两个以上的备选汉字时，则通过第一分析模块分析书写笔迹特征区域，所述特征区域为书写笔画之间的交叉位置关系，再输出对应的汉字。
12.作为优选，当辅助模块检测到有书写动作姿势且第一分析模未获取到书写笔画信号时，启动第二分析模块分析汉字图像；
13.则将汉字图像进行灰度化处理，获得单通道灰度值的灰度图像，并采用腐蚀膨胀
法消除背景图片中的噪声，并通过归一法对灰度图像进行标准化校正，最后采用弹性网格法了提取汉字图像的局部密度特征，采用预先构建的基于神经网络的纠错模型，采用ocr识别技术获取汉字，然后与已知的笔形进行比较，获取完整的汉字。
14.作为优选，智能笔在按压书写时启动，同时连接启动辅助模块，当智能笔从初始笔画轨迹对应的点阵纸位置为该书写笔画的初始坐标位置，当出现压力消失的停顿动作时此时对应的点阵纸位置为该书写笔画的终止坐标位置，上传并显示该书写笔画，当书写完成后显示完整的汉字，如果没有对应汉字，则通过第二分析模块分析书写的汉字图像，分析完成后在显示区域替换成正确的汉字。
15.作为优选，在书写过程中如果有漏笔或错笔，则通过第二分析模块检查后输出错漏笔信息；第一分析模块识别按该笔顺无对应汉字则，发出提醒，提醒笔顺存在异常。
16.作为优选，所述第一分析模块基于书写轨迹数据分析该学生的书写笔画风格，根据书写笔画风格建立笔画风格数据库；
17.作为优选，将笔画风格数据库内的同一笔形的贝塞尔特征、路径签名特征、关键点间的距离、曲率、笔画走向特征，给出对应笔形书写练习的建议。
18.根据书写轨迹数据分析获得笔迹像素在点阵纸上的像素点分布位置，并形成网格特征向量，记为p＝(p
11
,p
12
…
p
ij
…
p
mn
)，其中m、n为汉字占点阵纸构成网络结构的长和宽，p
ij
为笔迹像素所在的网格位置；获取智能笔书写过程，分析智能笔每个笔画的落笔点、起笔点和转折点的特征像素q＝(q
11
,q
12
…qij
…qkh
)，q
ij
为特征像素所在的网格位置，k、h为落笔点、起笔点之间的水平距离和垂直距离；
19.当第一分析模块判定出现断笔情况且无法获得对应汉字时，然后根据设定筛选指定的特征像素q
ij
的连线与原笔迹进行融合，获得融合笔迹，将融合笔迹输入第二分析模块进行识别，获得至少一个融合汉字；
20.将融合汉字代入原语句中，根据nlp自然语言处理技术对组成的短句和短词进行分析处理，获得置信度最高的汉字并输出该汉字。
21.一种智能书写装置，包括：智能笔，用于获取点阵纸上的定位点和笔迹；
22.辅助模块，用于记录握笔姿势和提取书写完整的汉字图像；
23.第一分析模块，用于将书写过程中的笔顺与gb13000.1笔顺规范进行比对，同时分析书写过程中每一笔画的书写规范；
24.第二分析模块，通过ocr识别技术分析汉字图像，获取实际书写的汉字。
25.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法。
26.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法。
27.本发明的有益效果，本技术采用辅助模块的摄像模块记录握笔姿势，避免握笔姿势不正确无法获取准确的书写轨迹，既能起到监督作用，又能有效提高识别效果。由于采用gb13000.1笔顺规范对书写的笔形顺序进行甄别，能够有效发现笔顺错误或者漏笔的情况，而且字的笔画越多识别率越高，能够大大减少传统仅识别书写轨迹对复杂字造成的误判。通过笔画轨迹与orc技术的结合，能够有效解决印刷时点阵纸上的码点印刷不全或者局部破损，导致无法准确识别而产生的丢笔画现象。
附图说明
28.图1为本发明的实施例一的流程图；
29.图2为本发明的实施例二的流程图；
30.图3为本发明的实施例二的流程判定示意图。
具体实施方式
31.下面结合附图1-3和具体实施例对本发明做进一步详细说明。下面所列举的具体实施例为是示例性的而非限制性的，以下具体实施例中的术语“包括”和“具有”以及它们的常规变形表达方式，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。凡是依据本技术的技术实质对以下具体实施例所作的任何细微修改、等同替换和改进，均应包含在本技术技术方案的保护范围之内。
32.实施例一
33.一种带汉字纠错功能智能笔书写方法，具体步骤如下：
34.s101、使用智能笔在点阵纸上书写时，智能笔的红外模块连续记录笔尖在点阵纸上移动的书写轨迹，同时通过辅助模块的摄像模块记录握笔姿势；点阵纸构成网络结构，笔迹像素在点阵纸上的像素点分布位置，并形成网格特征向量，记为p＝(p
11
,p
12
…
p
ij
…
p
mn
)，其中m、n为汉字占点阵纸构成网络结构的长和宽，p
ij
为笔迹像素所在的网格位置；
35.s102、按书写时间顺序及停顿动作逐一提取出书写轨迹中的书写笔画，利用第一分析模块将书写笔画的笔形特征与标准笔形进行匹配，分析辨认出书写笔画对应的标准笔形；第一分析模块处理书写笔画前，将书写笔画按照整字的空间分布特征进行划分，获得单一汉字的书写笔画；
36.s103、若笔形和书写时间顺序与gb13000.1笔顺规范完全匹配时，输出对应汉字；若笔形组合相同、但是书写时间顺序与笔顺规则不符合，则输出对应汉字，并提醒学生注意笔画顺序；若笔形组合中对应两个或两个以上的备选汉字时，则通过第一分析模块分析书写笔迹特征区域，所述特征区域为书写笔画之间的交叉位置关系，再输出对应的汉字。
37.如果书写过程中出现无法识别的汉字，则可能是出现漏笔或者断笔，如果是漏笔，则漏笔一般是完整的一个笔画，可以根据gb13000.1笔顺规范组合获得该汉字。但是而出现了断笔，笔画不完整则无法使用判断。获取智能笔书写过程，分析智能笔每个笔画的落笔点、起笔点和转折点的特征像素q＝(q
11
,q
12
…qij
…qkh
)，q
ij
为特征像素所在的网格位置，k、h为落笔点、起笔点之间的水平距离和垂直距离；
38.当第一分析模块判定出现断笔情况且无法获得对应汉字时，然后根据设定筛选指定的特征像素q
ij
的连线(根据笔画特征选择全部连线或者部分连线，让特征像素点通过连线组合成一个较为完整的笔画)与原笔迹进行融合，获得融合笔迹，将融合笔迹输入第二分析模块进行识别，获得至少一个融合汉字；
39.将融合汉字代入原语句中，根据nlp自然语言处理技术(natural language processing)对组成的短句和短词进行分析处理，获得置信度最高的汉字并输出该汉字。
40.本技术采用辅助模块的摄像模块记录握笔姿势，避免握笔姿势不正确无法获取准
确的书写轨迹，既能起到监督作用，又能有效提高识别效果。由于采用gb13000.1笔顺规范对书写的笔形顺序进行甄别，能够有效发现笔顺错误或者漏笔的情况，而且字的笔画越多识别率越高，能够大大减少传统仅识别书写轨迹对复杂字造成的误判，由于部分汉字如“力”和“刀”、“夫”和“天”笔画和笔画顺序均相同但是结构特征有区别，是完全不同的汉字，采用特征区域识别能快速输出对应汉字。
41.实施例二
42.一种带汉字纠错功能智能笔书写方法，具体步骤如下：
43.s201、使用智能笔在点阵纸上书写时，智能笔的红外模块连续记录笔尖在点阵纸上移动的书写轨迹，若笔形组合中对应两个或两个以上的备选汉字时，则通过第一分析模块分析书写笔迹特征区域，所述特征区域为书写笔画之间的交叉位置关系，再输出对应的汉字；
44.s202、当辅助模块检测到有书写动作姿势且第一分析模未获取到书写笔画信号时，启动第二分析模块分析汉字图像；
45.则将汉字图像进行灰度化处理，获得单通道灰度值的灰度图像，并采用腐蚀膨胀法消除背景图片中的噪声，并通过归一法对灰度图像进行标准化校正，最后采用弹性网格法了提取汉字图像的局部密度特征，采用预先构建的基于神经网络的纠错模型，采用ocr识别技术获取汉字，然后与已知的笔形进行比较，获取完整的汉字；进而解决局部断笔划无法通过笔顺规则识别的问题。
46.s203、智能笔在按压书写时启动，同时连接启动辅助模块，当智能笔从初始笔画轨迹对应的点阵纸位置为该书写笔画的初始坐标位置，当出现压力消失的停顿动作时此时对应的点阵纸位置为该书写笔画的终止坐标位置，上传并显示该书写笔画，当书写完成后显示完整的汉字，如果没有对应汉字，则通过第二分析模块分析书写的汉字图像，分析完成后在显示区域替换成正确的汉字。
47.s204、在书写过程中如果有漏笔或错笔，则通过第二分析模块检查后输出错漏笔信息；第一分析模块识别按该笔顺无对应汉字则，发出提醒，提醒笔顺存在异常。
48.s205、所述第一分析模块基于书写轨迹数据分析该学生的书写笔画风格，根据书写笔画风格建立笔画风格数据库；
49.将笔画风格数据库内的同一笔形的贝塞尔特征、路径签名特征、关键点间的距离、曲率、笔画走向特征，给出对应笔形书写练习的建议。
50.当书写完成后手掌通常不会遮挡汉字，如果通过笔画轨迹识别存在异常，则可以通过辅助模块上的摄像头拍摄书写的汉字，通过orc识别技术进行辅助识别。传统的orc识别需要对全局进行文字识别，识别率较低，而本技术中orc只需要对异常汉字进行识别，能够结合上下文通过大数据预测识别的汉字，识别准确率更高，能够有效解决印刷时点阵纸上的码点印刷不全或者局部破损，导致无法准确识别而产生的丢笔画现象。
51.一种智能书写装置，包括：智能笔，用于获取点阵纸上的定位点和笔迹；
52.辅助模块，用于记录握笔姿势和提取书写完整的汉字图像；
53.第一分析模块，用于将书写过程中的笔顺与gb13000.1笔顺规范进行比对，同时分析书写过程中每一笔画的书写规范；
54.第二分析模块，通过ocr识别技术分析汉字图像，获取实际书写的汉字。
55.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的方法。
56.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法。
57.在本技术的具体实施例中，各个过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
58.在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
59.上述功能单元可以软件形式实现并作为独立的产品销售或使用时，可以存储在一个计算机设备可获取的存储器中。故本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备执本技术的各个实施例上述方法的部分或全部步骤。