一种基于深度学习的手写轨迹异常检测方法与流程

本发明涉及计算机视觉以及深度学习技术领域，特别涉及一种基于深度学习的手写轨迹异常检测方法。

背景技术：

当人们精神紧张、情绪激动或极度劳累时，手会不由自主的抖动，除此之外，有些病理性诱因也会影响手部不自主的抖动，医学上称为震颤，指身体表现为不随意的有节律性的颤动，可将其细分为静止性震颤、运动性震颤、姿势性震颤、回跳性震颤以及震动性震颤等。在某些需要精密操作的场合，如雕刻，手术等，无论人们因心里原因还是生理原因发生手部震颤时，都不应执行当前的工作。在执行精密操作前应对操作者进行手写轨迹的测试，将测试结果进行分类并判断测试者是否有微弱的异常抖动。

图像分类是要解决图片中是否包含某类物体或特征的问题，对图像进行特征描述是物体分类的主要研究内容。一般说来，物体分类算法通过手工特征或者特征学习方法对整个图像进行全局描述，然后使用分类器判断是否存在某类物体。应用比较广泛的图像特征有sift，hog，surf等。这些对图像分类的研究中，大多数特征提取过程是人工设计的，通过浅层学习获得图像底层特征。而深度学习利用设定好的网络结构，完全从训练数据中学习图像的层级结构性特征，能够提取更加接近图像高级语义的抽象特征。

2006年,深度学习以机器学习领域的一个分支呈现给人们,它采用多层复杂结构或者采用多重非线性变换构成的多个层进行数据处理。到目前为止,深度学习在自然语言处理、语音识别特别是计算机视觉方面取得了突破性进展。深度学习的优点在于应用分层的高效特征提取方法来代替手工获取特征,这有效的解决了大批量的人工标注工作。深度学习的基本思想是通过构建多层次神经网络,从底层向高层逐步学习提取特征,最终通过大批量数据的训练学习,构建对应的网络模型,学习训练对象的相关特征。

虽然深度学习在图像识别问题上取得了巨大的进步，但针对相似度很高的图片分类问题深度学习往往不能很好的发挥稳定的效果。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于深度学习的手写轨迹异常检测方法，本发明对基于深度学习的图像识别问题做了充分调查研究,采用测试者的手部描绘图以及传感器信号作为cnn的数据集，把相似的两类图像数据集变得易于区分，并采用多网络训练交叉验证的方法，实际效果证实了实验可行性。

本发明实施例提供了一种基于深度学习的手写轨迹异常检测方法，包括：

采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，所述手写数据集包括手写图像数据集；

训练手写图像数据集形成第一识别网络；

通过第一识别网络识别测试者手写轨迹是否异常抖动。

可选的，所述手写数据集还包括传感器信号数据集；

将传感器信号数据映射为时序图像；

训练时序图像数据集形成第二识别网络；

通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动。

可选的，第一识别网络和第二识别网络采用cnn网络结构。

可选的，使用具有多种传感器的smartpen完成手写测试，分别记录每位测试者的手写图像数据以及测试中smartpen的各传感器采集的信号信息。

可选的，所述信号信息包括麦克风、手指握力、墨水补充的轴向压力、x方向的倾斜和加速度、y方向的倾斜和加速度、及z方向的倾斜和加速度。

可选的，所述测试包括：

测试一、在纸上同一位置画圆12次；

测试二、在空中画圆12次；

测试三、由内而外描绘4条螺旋曲线；

测试四、由内而外描绘4条方形螺旋线；

测试五、伸直右手臂，握住笔在空中转动手腕；

测试六、伸直左手臂，握住笔在空中转动手腕。

可选的，手写图像数据集包括测试一、测试三和测试四中测试者的笔迹图像，传感器信号数据集包括所有测试获取的传感器信号映射的时序图像；

可选的，识别测试者手写轨迹是否异常抖动包括：通过第一识别网络网络输出测试者手写轨迹异常的概率。

可选的，第二识别网络为多个cnn网络，验证测试者手写轨迹是否轻微的异常抖动包括，分别得出多项测试中每个cnn网络的输出结果，并采用多数投票制确定最终结果。

可选的，每项测试所得传感器信号都重新设置为平方矩阵并归一化为灰度图像。

本发明提供的一种基于深度学习的手写轨迹异常检测方法，包括：

采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，所述手写数据集包括手写图像数据集；训练手写图像数据集形成第一识别网络；通过第一识别网络识别测试者手写轨迹是否异常抖动，可识别出明显的异常抖动。

一些测试者由于异常抖动不明显，其相关手写图像数据与正常的测试者十分相似的情况，进一步的，所述手写数据集还包括传感器信号数据集；将传感器信号数据映射为时序图像；训练时序图像数据集形成第二识别网络；通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动，能够识别出测试者轻微的异常抖动。

实施例中第一识别网络和第二识别网络优选采用cnn网络结构。cnn训练时，卷积核一般以随机数矩阵的形式初始化，在网络训练过程中卷积核将学习得到合理的权值。cnn(卷积神经网络)仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习，有稳定的效果且对数据没有额外的特征工程要求。

该方法收集大量测试者的多种手写测试图像和传感器信号数据集；将每组信号映射成相应的图像，并统一所有图像规格；将所有图像按照测试内容和测试过程中测试者手写轨迹是否存在异常进行分类；通过卷积神经网络训练手写图像使网络能识别测试者手写轨迹是否抖动；通过对cnn网络训练信号映射的图像交叉验证测试者是否在测试中发生微弱的抖动。本发明步骤简单，实现了对测试者异常的手写轨迹进行高效准确鉴别。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明方法实施例的流程示意图；

图2为测试一的异常手写轨迹和正常手写轨迹对比图像((1)、(2)正常，(3)、(4)异常)；

图3为测试三的异常手写轨迹和正常手写轨迹对比图像((1)、(2)正常，(3)、(4)异常)；

图4为测试四的异常手写轨迹和正常手写轨迹对比图像((1)、(2)正常，(3)、(4)异常)；

图5为绘制螺旋曲线时手写轨迹异常的测试者的smartpen记录的信号；

图6为绘制螺旋曲线时手写轨迹正常的测试者的smartpen记录的信号；

图7为在测试中发生轻微异常抖动的测试者绘制的螺旋曲线与弯道曲线；

图8为测试一中信号的映射时序图像((1)正常，(2)异常)。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明实施例提供了一种基于深度学习的手写轨迹异常检测方法，包括：

采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，手写数据集包括手写图像数据集；

训练手写图像数据集形成第一识别网络；

通过第一识别网络识别测试者手写轨迹是否异常抖动，可识别出明显的异常抖动。

一些测试者由于异常抖动不明显，其相关手写图像数据与正常的测试者十分相似的情况，进一步的，手写数据集还包括传感器信号数据集；

将传感器信号数据映射为时序图像；

训练时序图像数据集形成第二识别网络；

通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动，可识别出轻微的异常抖动。

优选的，第一识别网络和第二识别网络采用cnn网络结构。

cnn(convolutionalneuralnetworks)网络，即卷积神经网络，卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习，有稳定的效果且对数据没有额外的特征工程要求。

cnn神经网络和普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在cnn的一个卷积层中，通常包含若干个特征平面，每个特征平面有一些矩阵排列的神经元组成，同一特征平面的神经元共享权值，即卷积核。

具体地，卷积核一般以随机小数矩阵的形式初始化，在网络训练过程中卷积核将学习得到合理的权值。共享权值(卷积核)带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫池化，是一种特殊的卷积过程，卷积和子采样大大简化了模型复杂度，减少了模型的参数。

实施例中使用具有多种传感器的smartpen完成手写测试，分别记录每位测试者的手写图像数据以及测试中smartpen的各传感器采集的信号信息。

smartpen包含六个传感器，采集到的信号分别对应6个通道，ch1：麦克风；ch2：手指握力；ch3：墨水补充的轴向压力；ch4：x方向的倾斜和加速度；ch5：y方向的倾斜和加速度；ch6：z方向的倾斜和加速度。即，信号信息包括麦克风、手指握力、墨水补充的轴向压力、x方向的倾斜和加速度、y方向的倾斜和加速度、及z方向的倾斜和加速度。

此外，由于每个传感器输出在检查期间获得的整个信号，这些数据可以以时间序列表示出来，每项测试所得的传感器信号由c行和l列组成，l代表传感器的信号通道个数，c代表测试时间，单位为毫秒。在此测试中，l＝6。因为一个人可能比另一个人花费更长的时间来执行测试，每个测试的c行数都不相同，每项测试所得图像都需重新设置为平方矩阵以满足要求并将其归一化为灰度图像处理。

具体的，上述手写测试包括以下六项内容：

测试一、在纸上同一位置画圆12次；

测试二、在空中画圆12次；

测试三、由内而外描绘4条螺旋曲线；

测试四、由内而外描绘4条方形螺旋线；

测试五、伸直右手臂，握住笔在空中转动手腕；

测试六、伸直左手臂，握住笔在空中转动手腕。

也就是说，可以将所有处理后的数据集分为两类，一类为手写图像数据集，另一类为传感器数据集。手写图像数据集包括测试一、测试三和测试四中测试者的笔迹图像，传感器信号数据集包括所有测试获取的传感器信号映射的时序图像。每种测试单独分类，分别分成手写轨迹异常的训练集和测试集以及手写轨迹正常的训练集和测试集。

在实际应用中，还可以根据检测需求设计其他测试项目，此处仅是最典型的测试举例。

实施例中，对于异常抖动明显的测试者，识别测试者手写轨迹是否异常抖动包括：可以通过cnn网络(第一识别网络)输出测试者手写轨迹异常的概率。

但是，一些测试者由于异常抖动不明显，其相关手写数据图像与正常的测试者十分相似，就需要进一步验证测试者手写轨迹是否轻微的异常抖动，就要需要多网络(即六种传感器数据训练构建六个cnn网络)训练传感器数据集交叉验证测试者手写轨迹是否存在轻微异常抖动，即分别得出第二识别网络的输出结果，即多项测试中每个cnn网络的输出结果，并采用多数投票制确定最终结果。

如图1所示，实施例中基于深度学习的手写轨迹异常检测方法具体步骤为：

1、准备数据集：

理论上测试者数量越多检测越精确，但在实际应用中，本发明提供的数据集数量是符合训练标准的。本发明数据集中共有34个个体，其中包括14名手写测试异常的个体和20名手写测试正常的个体，手写测试异常的个体中有10名男性和4名女性，手写测试正常的个体中有10名男性和10名女性，数据集使用smartpen分别进行以下六项手写测试内容，在测试期间，测试者相关的手写数据会被smartpen上的六个传感器记录下来。测试包含的六项内容如下：

(i)：在纸上同一位置画圆12次，如图2为异常手写轨迹和正常手写轨迹的图像对比，其中(1)、(2)为正常手写轨迹，(3)、(4)为异常手写轨迹；

(ii)：在空中画圆12次；

(iii)：由内而外描绘4条螺旋曲线；异常手写轨迹和正常手写轨迹的对比图像如图3所示，其中(1)、(2)为正常手写轨迹，(3)、(4)为异常手写轨迹

(iv)：由内而外描绘4条弯道曲线；异常手写轨迹和正常手写轨迹的对比图像如图4所示，其中(1)、(2)为正常手写轨迹，(3)、(4)为异常手写轨迹；

(v)：伸直右手臂，握住笔在空中转动手腕；

(vi)：伸直左手臂，握住笔在空中转动手腕。

设置smartpen上的六个传感器，其采集到的信号分别对应6个通道，通道1：麦克风，通道2：手指握力，通道3：墨水补充的轴向压力，通道4：x方向的倾斜和加速度，通道5：y方向的倾斜和加速度，通道6：z方向的倾斜和加速度。由于每个传感器输出在检查期间获得的整个信号，这些数据可以以时间序列表示出来，每项测试所得的传感器信号由c行和l列组成，l代表传感器的信号通道个数，c代表测试时间，单位为毫秒。在此测试中，l＝6。因为一个人可能比另一个人花费更长的时间来执行测试，每个测试的c行数都不相同。图5和图6分别为由smartpen记录的手写测试异常的个体和手写测试正常的个体在进行测试3时六个传感器所记录的信号。

其中，所有处理后的数据集被分为两类，一类为手写图像数据集，另一类为传感器数据集。手写图像数据集包括测试一、测试三和测试四中测试者的笔迹图像，传感器数据集包括所有测试获取的6个通道信号映射的图像。每种测试单独分类，分别分成手写轨迹异常的训练集和测试集以及手写轨迹正常的训练集和测试集。

2、通过卷积神经网络对手写图像数据集进行训练并输出测试者手写轨迹异常的概率。

cnn神经网络和普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在cnn的一个卷积层中，通常包含若干个特征平面，每个特征平面有一些矩阵排列的神经元组成，同一特征平面的神经元共享权值，即卷积核。

此实施例对cnn建模时，网络包括5个卷积层，5个池化层和2个归一化层，此外，它还由卷积单元中的5个relu层，2个隐藏层，2个dropout层，1个softmax层和1个用于测试结果的输出层构成。第一个卷积层使用11×11的内核，步长为4，第二个卷积层使用5×5的卷积核，步长为5，接下来的卷积层用3×3的卷积核，步长为1。此外，测试一、测试二、测试五和测试六的数据集各包含76个图像，包括56个来自手写测试异常的个体和来自对照组的20个手写测试正常的个体，测试三和测试四各包含304个图像，包括224个来自手写测试异常的个体和来自对照组的80个手写测试正常的个体，图像个数差异是由于测试三、四中螺旋曲线和弯道曲线依次描绘了四条。

cnn训练时，卷积核一般以随机数矩阵的形式初始化，在网络训练过程中卷积核将学习得到合理的权值。

该cnn的输出为输入图像是异常手写轨迹以及正常手写轨迹的概率，概率大于50％的一方系统将自动判别为最终结果。

3、通过多网络训练传感器数据集交叉验证测试者手写轨迹是否存在轻微异常抖动。

一些测试者由于异常抖动不明显，其相关手写数据图像与正常的测试者十分相似，测试中发生轻微异常抖动的测试者绘制的螺旋曲线与弯道曲线如图7所示。因此难以通过分析其手写数据图像给出有效判断。但smartpen可以捕捉到测试过程中细微的动作，这在使用目视检查的手写测试中是无法观察到的，即用传感器信号映射的图像更能捕捉测试者在测试时细微的抖动。基于此，此实施例将smartpen采集到的信号数据映射为时序图像，测试一中信号的映射时序图像如图8所示，其中(1)为正常手写轨迹映射的时序图像，(2)为异常手写轨迹映射的时序图像。由于有六项不同的测试内容，所以将每个cnn的输出(每个人都经过所有的测试)使用多数投票来获得最终结果。

也就是说，每个测试者都做了六种测试，提供了六种数据集，这六种测试集分别构建卷积神经网络得到六种判断结果，最终结果以这六个结果中占比最多的为准。

至此，对异常的手写轨迹全面判定已完成。

本发明最典型的应用为判断测试者是否患有帕金森，或判断测试者是否是早期帕金森患者。

在实际应用中，可通过本发明技术方案采集多个正常测试者和多个异常测试者根据预设规则完成的手写数据集，手写数据集包括手写图像数据集；训练手写图像数据集形成第一识别网络；通过第一识别网络识别测试者手写轨迹是否异常抖动，可识别出明显的异常抖动，可初步判断出具有明显的异常抖动的测试者为帕金森患者。

而一些测试者由于异常抖动不明显，其相关手写图像数据与正常的测试者十分相似的情况，进一步的，手写数据集还包括传感器信号数据集；将传感器信号数据映射为时序图像；训练时序图像数据集形成第二识别网络；通过第二识别网络交叉验证测试者手写轨迹是否轻微的异常抖动，可识别出轻微的异常抖动，从而初步判断出具有轻微的异常抖动的测试者为早期帕金森患者。

本发明提供了一种基于深度学习的手写轨迹异常检测方法，通过收集大量测试者的多种手写测试图像和传感器信号数据集；将每组信号映射成相应的图像，并统一所有图像规格；将所有图像按照测试内容和测试过程中测试者手写轨迹是否存在异常进行分类；通过卷积神经网络训练手写图像使网络能识别测试者手写轨迹是否抖动；通过对cnn网络训练信号映射的图像交叉验证测试者是否在测试中发生微弱的抖动。本发明步骤简单，实现了对测试者异常的手写轨迹进行高效准确鉴别。

本发明通过构建了一个完善统一的卷积神经网络框架用于对异常手写轨迹的判定，实现了对异常手写轨迹的高效的自动鉴别。该方法提高了异常手写轨迹的鉴别效率，解决了手写测试中测试者异常抖动不明显，手写测试图片与正常人相似等问题，该方法成本低，正确率高，适用范围广。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的基于本发明装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。