一种书写识别设备

1.本发明涉及一种书写识别设备，属于书写设备技术领域。


背景技术：

2.手写输入作为一种目前流行的人机交互方式，它明显提高了用户的体验感与便捷性，目前被运用在各个领域中，如人机交互、密码识别、游戏娱乐等。
3.但现有的手写识别技术是在用户书写的同时，按手写方向(时间先后顺序)记录象素点的坐标，以及手写方向的向量值，按笔画(又称为笔划)将其分割为不同的序列集合，并对这些记录进行处理使各序列集合内的各象素点标准化，最后将手写字体序列集合与标准字库内的标准字体序列集合进行比较，取相似度最高的汉字，作为识别结果返回给用户；还有的是直接使用图像识别的方式，对用户书写后的笔记图像进行识别，将图片的分类结果和识别到的汉字进行映射，从而达到识别的目的。
4.从以上现有技术可以看出,目前的手写识别技术以整体手写汉字的手写序列集合相似度作为识别汉字的标准，而不考虑各笔画类型固有的特性和每个人书写习惯的不同而造成的差异。而且，该方式的识别需要依托固定的设备，例如触摸屏，而本发明可以作为空间手写的输入设备，脱离了纸，显示屏等传统的书写载体，它只需要一只笔，显示设备可以是手机，电脑等能实现深度学习运算且能进行显示的设备，而且本发明符合目前人们手写习惯的识别方式。同时，本发明还具备普通笔的使用方式，不进行识别的时候可以当做普通的手写设备。
5.本发明主要采用mems传感器来进行工作，mems传感器在使用时不受光线影响，同时具有便捷、小型化，成本低等特点，这些原因都使得我们把注意力放到基于mems的手写识别系统上。


技术实现要素：

6.本发明要解决的技术问题是：本发明提供一种书写识别设备，进行识别用户书写的笔画或者字符，最后达到能识别用户所书写的汉字、字母的效果。
7.本发明技术方案是：一种书写识别设备，包括手写笔、识别显示终端；
8.所述手写笔包括电池、控制电路、姿态采集模块、电池管理模块、实现笔的基本功能的书写装置、落笔检测模块；
9.所述电池用于供电；
10.所述控制电路、姿态采集模块、电池管理模块、落笔检测模块集成在电路板14；落笔检测模块、姿态采集模块与控制电路连接，电池管理模块与电池连接；电路板14设置在实现笔的基本功能的书写装置上；
11.所述控制电路包括射频电路、主控芯片；控制电路通过其上的射频电路与上位机中的信息接收模块连接；
12.所述识别显示终端采用上位机，上位机包括信息接收模块、预处理模块、神经网络
模块、显示输出模块；信息接收模块、预处理模块、神经网络模块、显示输出模块依次相连接。
13.作为本发明的进一步方案，所述主控芯片采用mcu，mcu采用esp32 s3、soc或单片机。
14.作为本发明的进一步方案，所述预处理模块用于对姿态采集模块采集到的姿态数据进行数据增强和去噪；
15.所述神经网络模块用于识别书写过程中由预处理模块处理后的姿态数据，通过机器学习的方式，学习并识别用户书写的笔画或字符，并通过显示输出模块进行显示；
16.作为本发明的进一步方案，所述实现笔的基本功能的书写装置包括笔盖11、笔中管12、笔后管15、笔后盖16、笔芯；笔中管12与笔后管15螺纹连接，电池13、电路板14设置在笔后管15内，笔后盖16盖在笔后管15上。
17.作为本发明的进一步方案，所述笔盖11上套有金属环，笔中管12上设有两个触点，两个触点均与主控芯片的使能端连接，当笔盖11套在笔中管12上时，金属环把两个触点连接起来，从而使主控芯片的使能端失能使得控制电路不工作；当笔盖11取下后，两个触点断开连接，控制电路工作。
18.作为本发明的进一步方案，所述笔后管15末尾的内部附有一铜箔，其连接控制电路中的单片机的电容测量引脚，通过检测铜箔的对地电容来切换控制电路的工作状态，手指与笔后管15末尾接触时，改变铜箔的对地电容，从而给单片机传递开关按下的信号；
19.通过这一按下的信号，控制电路可以对笔的工作模式进行控制，比如：长按进入识别模式，再次长按进入普通工作模式作为普通笔使用。
20.作为本发明的进一步方案，所述笔中管12上设有一刨面，用于更好的定位握笔时姿态采集模块的方向，姿态采集模块在笔中的位置固定，因为大拇指按到刨面上，那么大拇指与姿态采集模块的位置相对固定，那么整个手与姿态采集模块的位置相对固定，从而减少数据处理的复杂程度，也有助于提升握笔的舒适度。
21.作为本发明的进一步方案，所述落笔检测模块包括一个电容检测探头，电容检测探头与金属制的笔尖相连，当笔尖悬空或落笔于纸上时，探头测量到的对地电容值将会有所不同，通过这一特性，检测是否落笔。连接电路板上的电容探测触点和金属笔尖的导线需要使用接地的金属导线做好屏蔽，保证不受其他因素的影响,如手指的靠近而影响测量到的电容；
22.作为本发明的进一步方案，所述电路板14上的主控芯片使用带有wifi蓝牙功能的soc，主控soc通过iic通讯采集姿态传感器输出姿态信号，然后通过无线网络进行发送，主控soc使用嵌入式操作系统freertos来进行任务调度，建立有两个任务，读取任务和发送任务，并通过操作系统来设置任务的执行周期，使用的姿态采集模块采用姿态传感器用于测量三轴加速度、三轴角速度和三轴磁场，主控芯片计算三个欧拉角roll，pitch，yaw，从而计算相对位移、姿态变换的信息，通过对加速度数据的积分，姿态传感器采集传感器在空间中的速度信息、位置信息，这些姿态传感器采集的信息序列，构成了上传给上位机的信息矩阵，信息传输后，上位机将信息进行预处理，并送入神经网络进行识别。上位机识别到的汉字根据用户的需要显示，也可以作为输入信息作为联想模型的输入来进行汉字联想。
23.本发明的有益效果是：本发明使用神经网络来识别书写过程中由姿态采集模块采
集到的姿态时间序列，通过机器学习的方式，来识别用户书写的笔画或者字符，最后达到能识别用户所书写的汉字、字母的效果。
附图说明
24.图1是本发明部分结构分解示意图；
25.图2是本发明部分结构框图；
26.图3是本发明电源模块电路结构示意图；
27.图4是本发明姿态采集模块电路结构示意图；
28.图5是本发明部分控制电路结构示意图；
29.图6是本发明控制带路外围电路结构示意图。
30.图1中各标号：11-笔盖，12-笔中管，13-电池，14-电路板，15-笔后管，16-笔后盖。
具体实施方式
31.下面结合附图和具体实施例，对本发明作进一步说明。
32.实施例1：如图1-图6所示，一种书写识别设备，包括手写笔、识别显示终端；所述手写笔包括电池、控制电路、姿态采集模块、电池管理模块、实现笔的基本功能的书写装置、落笔检测模块；所述电池用于供电；
33.所述控制电路、姿态采集模块、电池管理模块、落笔检测模块集成在电路板14；落笔检测模块、姿态采集模块与控制电路连接，电池管理模块与电池连接；电路板14设置在实现笔的基本功能的书写装置上；
34.所述控制电路包括射频电路、主控芯片；控制电路通过其上的射频电路与上位机中的信息接收模块连接；
35.所述识别显示终端采用上位机，上位机包括信息接收模块、预处理模块、神经网络模块、显示输出模块；信息接收模块、预处理模块、神经网络模块、显示输出模块依次相连接。
36.作为本发明的进一步方案，所述主控芯片采用mcu，mcu采用esp32 s3、或单片机。
37.作为本发明的进一步方案，所述预处理模块用于对姿态采集模块采集到的姿态数据进行数据增强和去噪；
38.所述神经网络模块用于识别书写过程中由预处理模块处理后的姿态数据，通过机器学习的方式，学习并识别用户书写的笔画或字符，并通过显示输出模块进行显示；
39.作为本发明的进一步方案，所述实现笔的基本功能的书写装置包括笔盖11、笔中管12、笔后管15、笔后盖16、笔芯；笔中管12与笔后管15螺纹连接，电池13、电路板14设置在笔后管15内，笔后盖16盖在笔后管15上。
40.作为本发明的进一步方案，所述笔盖11上套有金属环，笔中管12上设有两个触点，两个触点均与主控芯片的使能端连接，当笔盖11套在笔中管12上时，金属环把两个触点连接起来，从而使主控芯片的使能端失能使得控制电路不工作；当笔盖11取下后，两个触点断开连接，控制电路工作。
41.作为本发明的进一步方案，所述笔后管15末尾的内部附有一铜箔，其连接控制电路中的单片机的电容测量引脚，通过检测铜箔的对地电容来切换控制电路的工作状态，手
指与笔后管15末尾接触时，改变铜箔的对地电容，从而给单片机传递开关按下的信号；
42.通过这一按下的信号，控制电路可以对笔的工作模式进行控制，比如：长按进入识别模式，再次长按进入普通工作模式作为普通笔使用。
43.作为本发明的进一步方案，所述笔中管12上设有一刨面，用于更好的定位握笔时姿态采集模块的方向，姿态采集模块在笔中的位置固定，因为大拇指按到刨面上，那么大拇指与姿态采集模块的位置相对固定，那么整个手与姿态采集模块的位置相对固定，从而减少数据处理的复杂程度，也有助于提升握笔的舒适度。
44.作为本发明的进一步方案，所述落笔检测模块包括一个电容检测探头，电容检测探头与金属制的笔尖相连，当笔尖悬空或落笔于纸上时，探头测量到的对地电容值将会有所不同，通过这一特性，检测是否落笔。
45.作为本发明的进一步方案，所述电路板14上的主控芯片使用带有wifi蓝牙功能的soc，使用的姿态采集模块采用姿态传感器用于测量三轴加速度、三轴角速度和三轴磁场，主控芯片计算三个欧拉角roll，pitch，yaw，从而计算相对位移、姿态变换的信息，通过对加速度数据的积分，姿态传感器采集传感器在空间中的速度信息、位置信息，这些姿态传感器采集的信息序列，构成了上传给上位机的信息矩阵，信息传输后，上位机将信息进行预处理，并送入神经网络进行识别。上位机识别到的汉字根据用户的需要显示，也可以作为输入信息作为联想模型的输入来进行汉字联想。
46.本发明笔中管在握笔处设有一个宽3.74mm，深0.3mm的小刨面，有助于使用对象在握笔时稳固其的握笔状态，同时方便姿态传感器定位书写姿态；笔后管15的中后端有两个卡槽，一个用于固定电池13，另一个用于固定电路板14；笔中管12的下端与笔盖11接触的位置还设有两个半圆的小凹槽用于放置金属薄片作为触点，当笔盖11盖在笔尖处时，主控芯片处于失能状态，控制电路不工作；取下笔盖11后，控制电路工作，然后由用户通过设在笔后管15末尾的触摸感应开关(铜箔所在位置)选择笔的工作模式。普通模式下，本发明可作为普通笔使用，本发明重点描述的产品功能主要是在识别工作模式下具有的。
47.图1笔的各个部分的组成，本发明的笔盖11，外径20.16mm，内径17.96mm，整体长100.82mm，一面有笔盖基本都具备的一个固定结构，主要用于固定于书本，它与笔中管的配合为常规配合方式，笔盖内部距末端1.5mm处有半径0.74mm的半球体，四个呈圆周线性分布，它们可以与笔中管卡紧配合，笔中管12，长88.72mm，外径14.61mm，内径12.41mm，笔中管握笔出设有一个深0.37mm的小刨面，用于定位握笔时姿态传感器的大概方向，也有助于提升握笔的舒适度，便于固定写字时的握笔方式，笔中管和笔后管的连接方式为螺纹连接。笔中管与笔盖接触部位有两个触点，笔盖上的金属环在会短接触点，失能主控芯片，笔盖取下后，两个触点断开连接，系统开机。电池13(尺寸:厚6mm，宽12mm，长30mm)，笔后管15，其内部前半部分有一个用于隔离笔芯和其他内部零部件的厚5mm隔板，隔板中间处直径4mm，深2.5mm的凹槽便于固定笔芯的末端，其内部还有电池卡槽以及电路板卡槽方便将电池和电路板固定于笔中管中后端，笔后盖16，它与笔后管的配合为塞盖配合，笔后盖后半部分处有一圈突出部分，可以靠它更加方便地将后盖从后管取下，可以打开笔后管的后端，方便对电池进行充电。图3为本发明电源模块电路结构示意图，通过使用电池管理芯片tp4056对电池充电，并使用ams1117-3.3把电池电压温度到3.3伏，为电路供电。图4为姿态采集模块采用方向传感器且为方向传感器mpu6050，使其对方向和加速度等信息收集并通过iic协议发送
到mcu，图5为主控芯片esp-s3，在接收到mpu6050的数据后通过wifi发送到上位机里进行处理。图6为esp32-s3的外围功能电路原理图。
48.手写笔笔后管15内部设有卡槽，用于固定电路板14、电池13等可以拆卸的原件，以及固定笔芯。
49.笔后盖16可以拆卸，拆卸后电路板14上的type-c接口可以连接充电器给电池充电。
50.工作在普通模式下，其功能和普通的笔没有差异，可以正常地书写与更换替芯，使用的替芯在市场上可以购买。此时笔内部的电路工作在超低功耗模式，可以使用笔后管15末尾的按键来切换模式。
51.通过长按笔末端的触摸感应开关后，开始尝试和上位机连接，此时由相应的指示灯给出信号，连接成功后，指示灯给出另一种信号，表示连接成功，然后开始姿态信息的采集和传输。
52.通过长按笔末端的触摸感应开关后，开始尝试和上位机连接，此时由控制电路上的指示灯给出信号，(初期产品在指示灯处所设计的笔管厚度较薄，可较为明显的看见指示信号)连接成功后，指示灯给出另一种信号，表示连接成功，然后通过感知笔尖的电容变化来检测落笔。
53.本发明使用市面上可以买到的短款替芯，如晨光文具公司生产的mg0097中性笔笔芯，笔尖和控制单片机的电容测量引脚与有屏蔽的导线相连接，然后使带有屏蔽层的导线与屏蔽层接地，用以屏蔽无关电场对电容测量的影响。
54.笔的电磁信息部分由控制电路、姿态采集模块、电池管理模块、落笔检测模块，控制电路可以是一块乐鑫公司生产的低功耗wifi蓝牙soc－－esp32 s3，具有蓝牙5.0，wifi等功能，同时具有丰富的外设接口，方便进一步拓展功能。
55.将主控芯片固定到电路板前，第一次程序使用串口烧录，之后的程序烧录使用ota给esp32 s3下载编译好的固件，方便以后的功能更新升级。
56.姿态采集模块可以使用invensense公司生产的六轴加速度角速度传感器，包含三轴加速度和三轴角速度，通过iic接口连接控制电路，控制电路则对读取到的数据进行低通滤波，从而过滤掉姿态信号中的高频噪声，然后使用kalman滤波算法融合加速度和角速度数据，获得用欧拉角表示的模块姿态，包含俯仰角pitch，横滚角roll，偏航角yaw，然后将三轴加速度归一化，这部分采集到的数据和计算得到的数据共同构成一帧要发送的数据。
57.发送数据时，先发送数据头，然后再将字节形式的数据帧发送至上位机，一个数据包包含以上所述的采集和计算出的数据，还包含通过校验和计算得出的校验码，上位机接收数据时，先接收数据头，接收到数据头后，再接收一定长度的数据，最后计算这段数据的校验和，如果该数据的校验和与数据包里的校验和数据相同，则保留数据，否则丢弃数据。
58.检测到落笔后开始传输笔的姿态数据，抬起笔后停止数据的发送，上位机将落笔这段时间的姿态数据序列进行归一化、缩放、插值等预处理后送入神经网络，并进行学习分类。
59.神经网络使用基于谷歌的机器学习框架tensorflow搭建，包含全连接层，池化层，卷积层，relu层。神经网络包括以下特点：
60.a,局部感知,在进行卷积时，每次卷积核所覆盖的数据区域只是一小部分，是局部
特征，所以说是局部感知。cnn是一个从局部到整体的过程(局部到整体的实现是在全连通层)，而传统的神经网络只是整体的过程。b，权重共享，传统神经网络的参数量非常巨大，而cnn除全连接层外，卷积层的参数完全取决于滤波器的设置大小，与传统的神经网络相比，新神经网络的参数量小、计算量小，整个数据矩阵共享一组滤波器的参数。c，多卷积核，一种卷积核代表的是一种特征，为获得更多不同的特征集合，卷积层会有多个卷积核，生成不同的特征。
61.模型的完成包括数据集的制作，制作数据集时，使用上文所述的笔逐一制作数据集，先根据需要分类的标签数和标签名称来建立文件夹，例如模型如果需要识别撇这一笔画，则需要建立一个文件夹，使用汉语拼音命名为pie，然后在文件夹中大量写入放有书写这一笔画时上位机收到的笔的姿态序列，并以csv的文件格式保存，一个csv文件放入一条数据，从而让大量存放csv文件的文件夹构成了书写分类的数据集。
62.数据集包括噪声数据集，即除了正常的数据类别之外，还添加了没有对应笔画或字符的空白数据，用以划分有效书写和无效书写。
63.上位机接收到数据后，对数据进行预处理，进一步提取数据特征，上位机将数据增强后，送入训练好的卷积神经网络模型，获得输出的分类数据，从而识别用户所书写的字符；
64.上位机的程序对收到的程序进一步分析，提取书写时产生的其他数据，如最大加速度，最大角速度，平均加速度，平均角速度，以及各个时刻的姿态数据和平均值的差值，然后将数据组合成矩阵，并对数据进行归一化，中心化等数据预处理后，数据将被送入搭建好的深度学习网络进行学习或者预测；
65.神经网络模型使用的卷积神经网络，使用开源机器学习框架tensorflow搭建，模型的隐藏层包括卷积层，池化层，全连接层，relu层，输出分类的数据对应数字对应相关的笔画、字符；
66.当上位机识别到汉字字符或英文字符，会将连续识别到的字符组成笔画序列，然后将识别到的笔画序列和汉字字库中的笔画序列比对，根据笔画序列的相似度来推测概率最大的汉字，并将识别概率最大汉字作为识别结果；
67.上位机的神经网络利用数据集训练模型时，先将文件路径和文件所属的字符、笔画建立对应关系，以矩阵、标签相对应的格式读取到内存中。设定随机数种子，划分数据集、验证集和测试集，然后便可对神经网络进行训练。根据模型准确率来调整模型参数，最后获得理想的字符、笔画和分类模型。
68.上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。