具有触摸屏的电子设备及其触摸解锁方法与流程

1.本技术涉及人工智能领域，且更为具体地，涉及一种具有触摸屏的电子设备及其触摸解锁方法。


背景技术：

2.目前，在具有触摸屏的电子设备的屏幕解锁方法中，无论是滑动解锁，还是输入密码等其它解锁方式都相对繁琐，很多用户可能希望能够简单地通过触摸方式来对屏幕进行解锁。但是，在应用基于触摸的解锁方式时，一个困难之处在于不容易判断该触摸是用户有意进行的触摸解锁操作还是仅仅是用户的误触。
3.因此，期望提供一种能够对用户的触摸操作进行判断的方法。
4.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
5.近年来，深度学习以及神经网络的发展为用户的触摸操作检测提供了新的解决思路和方案。


技术实现要素：

6.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种具有触摸屏的电子设备和电子设备的触摸解锁方法，其基于深度学习的神经网络模型对用户施加于电子设备的显示屏的触摸操作的触摸数据进行特征提取和分类，以获得基于检测到的触摸操作是否执行屏幕的解锁操作的分类结果。具体地，在用于触摸解锁方法的神经网络的训练过程中，首先基于自监督学习的思想，利用高维特征空间中电子设备的显示屏的训练用触摸数据数据自身的结构特性，来对卷积神经网络进行预训练，从而使得卷积神经网络针对不同类型的触摸模式数据提取出来的特征数据相对收敛，再基于分类损失函数值进行训练，以提高分类的准确性。
7.根据本技术的一个方面，提供了一种具有触摸屏的电子设备，其包括：训练模块，包括：训练数据单元，用于获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值；数据结构化单元，用于将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值；训练特征图生成单元，用于将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度；隐向量挖掘单元，用于对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量；
第一交叉熵值计算单元，用于将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值；第二交叉熵值计算单元，用于分别计算所述训练特征图中的法向量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值；交叉熵值损失函数计算单元，用于计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值；分类损失函数值计算单元，用于将所述带标签的训练特征图通过分类器以获得分类损失函数值；及参数更新单元，用于基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数；及预测模块：触摸操作单元，用于获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值；分类特征图生成单元，用于将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图；以及解锁预测单元，用于将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。
8.在上述具有触摸屏的电子设备中，所述隐向量挖掘单元，进一步用于对所述训练特征图在宽度维度*高度维度上进行全局最大值池化处理，以获得所述训练特征图的隐向量。
9.在上述具有触摸屏的电子设备中，所述隐向量挖掘单元，进一步用于对所述训练特征图在宽度维度*高度维度上进行全局平均值池化处理，以获得所述训练特征图的隐向量。
10.在上述具有触摸屏的电子设备中，所述第一交叉熵值和所述第二交叉熵值的权重作为超参数参与训练。
11.在上述具有触摸屏的电子设备中，所述分类损失函数值计算单元，进一步用于：以如下公式计算所述带标签的训练特征图归属于分类标签的概率值以获得分类结果，所述分类结果用于表示是否执行解锁操作，其中，所述公式为：p=exp(li*xi)/ ∑
i
exp(li*xi)，li为所述训练特征图中每个位置的标签值，且xi为所述训练特征图中每个位置的特征值；以及，计算所述分类结果与真实值之间的损失函数值以获得所述分类损失函数值。
12.在上述具有触摸屏的电子设备中，所述参数更新单元，进一步用于：先以所述分类损失函数值更新所述卷积神经网络的参数；以及，后以所述交叉熵损失函数值更新所述卷积神经网络的参数。
13.在上述具有触摸屏的电子设备中，所述卷积神经网络为深度残差网络。
14.根据本技术的另一方面，提供了一种电子设备的触摸解锁方法，其包括：训练阶段，包括：
获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值；将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值；将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度；对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量；将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值；分别计算所述训练特征图中的法向量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值；计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值；将所述带标签的训练特征图通过分类器以获得分类损失函数值；及基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数；及预测阶段：获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值；将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图；以及将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。
15.在上述电子设备的触摸解锁方法中，所述对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量，包括：对所述训练特征图在宽度维度*高度维度上进行全局最大值池化处理，以获得所述训练特征图的隐向量。
16.在上述电子设备的触摸解锁方法中，所述对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量，包括：对所述训练特征图在宽度维度*高度维度上进行全局平均值池化处理，以获得所述训练特征图的隐向量。
17.在上述电子设备的触摸解锁方法中，所述第一交叉熵值和所述第二交叉熵值的权重作为超参数参与训练。
18.在上述电子设备的触摸解锁方法中，所述将所述带标签的训练特征图通过分类器以获得分类损失函数值，包括：以如下公式计算所述带标签的训练特征图归属于分类标签的概率值以获得分类结果，所述分类结果用于表示是否执行解锁操作，其中，所述公式为：p=exp(li*xi)/ ∑
i
exp(li*xi)，li为所述训练特征图中每个位置的标签值，且xi为所述训练特征图中每个位置的特征值；以及，计算所述分类结果与真实值之间的损失函数值以获得所述分类损失函数值。。
19.在上述电子设备的触摸解锁方法中，所述基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数，包括：先以所述分类损失函数值更新所述卷积神经网络的参数；以及，后以所述交叉熵损失函数值更新所述卷积神经网络的参数。
20.在上述电子设备的触摸解锁方法中，所述卷积神经网络为深度残差网络。
21.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的具有触摸屏的电子设备。
22.根据本技术提供的具有触摸屏的电子设备和电子设备的触摸解锁方法，其基于深度学习的神经网络模型对用户施加于电子设备的显示屏的触摸操作的触摸数据进行特征提取和分类，以获得基于检测到的触摸操作是否执行屏幕的解锁操作的分类结果。具体地，在用于触摸解锁方法的神经网络的训练过程中，首先基于自监督学习的思想，利用高维特征空间中电子设备的显示屏的训练用触摸数据数据自身的结构特性，来对卷积神经网络进行预训练，从而使得卷积神经网络针对不同类型的触摸模式数据提取出来的特征数据相对收敛，再基于分类损失函数值进行训练，以提高分类的准确性。
23.附图说明
24.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
25.图1图示了根据本技术实施例的具有触摸屏的电子设备的场景示意图。
26.图2图示了根据本技术实施例的具有触摸屏的电子设备的框图。
27.图3a图示了根据本技术实施例的电子设备的触摸解锁方法中训练阶段的流程图。
28.图3b图示了根据本技术实施例的电子设备的触摸解锁方法中预测阶段的流程图。
29.图4a图示了根据本技术实施例的电子设备的触摸解锁方法中训练阶段的架构示意图。
30.图4b图示了根据本技术实施例的电子设备的触摸解锁方法中预测阶段的架构示意图。
31.具体实施方式
32.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
33.场景概述如前所述，在应用基于触摸的解锁方式时，一个困难之处在于不容易判断该触摸是用户有意进行的触摸解锁操作还是仅仅是用户的误触。
34.本技术的发明人考虑到，当用户意在进行触摸解锁操作而进行触摸时，其触摸必
然具有内在模式，从而可以与用户的误触区分开，但是，由于这种内在模式难以以经验公式来进行描述，因此需要采用基于深度学习的神经网络模型技术来挖掘其潜在的统计模式，从而将这种触摸模式与其它的触摸区分开。
35.并且，本技术的发明人在实践过程中发现，当通过深度神经网络对于触摸数据进行特征提取时，由于触摸解锁操作的模式数据和误触的模式数据在特征空间中均呈现出较为离散的分布，这时以基于有监督学习的分类损失函数值训练卷积神经网络时收敛效果不佳，且也影响最终分类结果的正确性。因此，本技术的发明人考虑首先基于自监督学习的思想，利用高维特征空间中的特征数据自身的结构特性来对卷积神经网络进行预训练，从而使得卷积神经网络针对不同类型的触摸模式数据提取出来的特征数据相对收敛，再来基于分类损失函数值进行训练。
36.因此，在本技术的技术方案中，首先获得显示屏上的触摸数据，并且，在获取触摸数据时，除了将屏幕上的触摸位置标注为1，未触摸位置标注为0之外，还采集每个触摸位置对应的时间值，从而作为标签数据。然后，将该触摸数据初始数值矩阵输入卷积神经网络以获得特征图，该特征图可以表示为宽度维度*高度维度*通道维度，因此，该特征图沿通道的每个向量对应于自监督学习中的法向量，而该特征图在宽度维度*高度维度上进行全局池化后得到的特征向量对应于自监督学习中的隐向量。然后，针对与初始数值矩阵中具有标签值的位置对应的法向量，计算标签值与法向量之间的交叉熵数值并进行加权平均，以获得第一交叉熵值，用于表示法向量与其固有的标签信息之间的一致性，然后，再计算所有法向量与隐向量之间的交叉熵数值并进行加权平均，以获得第二交叉熵值，用于表达特征图中的内在数据结构中的一致性关系。
37.然后，通过第一交叉熵值和第二交叉熵值的加权和获得交叉熵损失函数值，并以此来训练该卷积神经网络，其中两个交叉熵值的权重作为超参数参与训练。此外，将带标签的特征矩阵通过分类器得到分类损失函数值来训练卷积神经网络，注意到，基于交叉熵损失函数值的训练和基于分类损失函数值的训练可以交替地迭代进行。
38.这样，在推断过程当中，可以将特征图通过分类器得到分类结果，注意这里分类器的标签不是上述代表时间的标签值，而是代表触摸是否是屏幕解锁操作的标签值，因此，分类结果用于表示基于检测到的触摸操作是否执行屏幕的解锁操作。
39.基于此，本技术提出了一种具有触摸屏的电子设备，其包括训练模块，包括：训练数据单元，用于获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值；数据结构化单元，用于将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值；训练特征图生成单元，用于将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度；隐向量挖掘单元，用于对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量；第一交叉熵值计算单元，用于将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值；第二交叉熵值计算单元，用于分别计算所述训练特征图中的法向
量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值；交叉熵值损失函数计算单元，用于计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值；分类损失函数值计算单元，用于将所述带标签的训练特征图通过分类器以获得分类损失函数值；及，参数更新单元，用于基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数；及，预测模块：触摸操作单元，用于获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值；分类特征图生成单元，用于将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图；以及，解锁预测单元，用于将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。
40.图1图示了根据本技术实施例的具有触摸屏的电子设备的场景示意图。如图1所示，在该应用场景中，在训练模块中，从电子设备的触摸数据存储单元中获取电子设备（例如，如图1中所示意的t）的显示屏（例如，如图1中所示意的s）的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值；然后，将所述训练用触摸数据输入至部署有电子设备的触摸解锁算法的服务器（例如，如图1中所示意的s）中，其中，所述服务器能够基于的电子设备的触摸解锁算法以所述训练用触摸数据对用于具有触摸屏的电子设备的触摸操作检测的卷积神经网络进行训练。
41.在训练完成后，在训练模块中，获取用户施加于电子设备（例如，如图1中所示意的t）的显示屏（例如，如图1中所示意的s）的触摸操作的触摸数据；然后，将所述触摸数据输入部署有用于电子设备的触摸解锁算法的服务器（例如，如图1中所示意的s），其中，所述服务器能够基于电子设备的触摸解锁算法对所述触摸数据进行处理，以生成表基于检测到的触摸操作是否执行屏幕的解锁操作的分类结果。
42.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
43.示例性装置图2图示了根据本技术实施例的具有触摸屏的电子设备的框图。如图2所示，根据本技术实施例的具有触摸屏的电子设备200，包括：训练模块300，包括：训练数据单元310，用于获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值；数据结构化单元320，用于将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值；训练特征图生成单元330，用于将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度；隐向量挖掘单元340，用于对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量；第一交叉熵值计算单元350，用于将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值；第二交叉熵值计算单元360，用于分别计算所述训练特征图中的法
向量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值；交叉熵值损失函数计算单元370，用于计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值；分类损失函数值计算单元380，用于将所述带标签的训练特征图通过分类器以获得分类损失函数值；及参数更新单元390，用于基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数；及，预测模块400：触摸操作单元410，用于获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值；分类特征图生成单元420，用于将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图；以及，解锁预测单元430，用于将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。
44.相应地，在根据本技术实施例的所述具有触摸屏的电子设备200的训练模块300中，所述训练数据单元310，用于获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值。在具体实施中，可通过传感器等设备采集电子设备的显示屏的训练用触摸数据。其中，所述电子设备可以是具有触摸屏的手机、平板等设备。
45.在本技术实施例中，所述数据结构化单元320，用于将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值。也就是，在获取触摸数据时，除了将屏幕上的触摸位置标注为1，未触摸位置标注为0之外，还采集每个触摸位置对应的时间值，从而作为标签数据，以获得带有标签的初始数值矩阵。
46.在本技术实施例中，所述训练特征图生成单元330，用于将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度。也就是，以卷积神经网络提取出所述初始数值矩阵中触摸数据的高维空间特征。
47.特别地，在本技术实施例中，所述卷积神经网络为深度残差网络。例如，resnet 50。本领域普通技术人员应知晓，由于梯度消失，深层网络很难训练，因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小，结果就是，随着网络的层数更深，其性能趋于饱和，甚至迅速下降。而残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块引入一个恒等快捷键（也称之为跳跃连接线），直接跳过一个或者多个层，在网络上堆叠这样的结构，就算梯度消失，至少把原来的输出恒等映射了过去，相当于在浅层网络上堆叠了“复制层”，缓解了在深度神经网络中增加深度带来的梯度消失问题。
48.在本技术实施例中，所述隐向量挖掘单元340，用于对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量。也就是，所述训练特征图的每个特征矩阵进行全局池化后，可以获得沿通道的特征向量，该特征向量即是该训练特征图的隐向量。
49.更具体地，在本技术实施例中，所述隐向量挖掘单元，进一步用于对所述训练特征图在宽度维度*高度维度上进行全局最大值池化处理，以获得所述训练特征图的隐向量。也就是，对所述训练特征图的在通道维度上的各个特征矩阵中的特征值取最大值，赋予输出
相应的位置，以获得所述训练特征图的隐向量。
50.值得一提的是，在本技术的另一实施例中，还可以通过其他方式对所述训练特征图的在宽度维度*高度维度上进行全局池化处理。例如，在该另一示例中，对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量的过程，包括：对所述训练特征图在宽度维度*高度维度上进行全局平均值池化处理，以获得所述训练特征图的隐向量。也就是，将训练特征图的在通道维度上的各个特征矩阵中的特征值取平均，赋予输出的相应位置。通过对所述训练特征图进行通道维度上的平均值池化，可保留所述训练特征图中表征图像的背景部分的信息。
51.在本技术实施例中，所述第一交叉熵值计算单元350，用于将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值。具体地，在本技术中，可以通过如下公式计算所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，其中，所述公式为：pij=∑
i,j
[xi*log(yj)
‑
(1
‑
xi)log(1
‑
yj)]，其中xi为法向量的各个位置的特征值，yj为法向量中各个位置的标签值，然后，将所有位置的交叉熵值进行加权平均，获得的第一交叉熵值用于表示法向量与其固有的标签信息之间的一致性。
[0052]
在本技术实施例中，所述第二交叉熵值计算单元360，用于分别计算所述训练特征图中的法向量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值。具体地，在本技术中，可以通过如下公式计算所述法向量中各个位置的特征值与所述该隐向量各个位置的特征值之间的交叉熵值，其中，所述公式为：pij=∑
i,j
[xi*log(zj)
‑
(1
‑
xi)log(1
‑
zj)]，其中xi为法向量的各个位置的特征值，zj为隐向量的各个位置的特征值，然后，将所有位置的交叉熵值进行加权平均，获得的第二交叉熵值，用于表达特征图中的内在数据结构中的一致性关系。
[0053]
在本技术实施例中，所述交叉熵值损失函数计算单元370，用于计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值。更具体地，在本技术实施例中，所述第一交叉熵值和所述第二交叉熵值的权重作为超参数参与训练。应可以理解，权重作为超参数，可提高训练效率，降低计算量。
[0054]
在本技术实施例中，所述分类损失函数值计算单元380，用于将所述带标签的训练特征图通过分类器以获得分类损失函数值。也就是，通过带分类标签的分类器对带标签的训练特征图进行分类，以获得的分类结果，这里分类器的标签不是上述代表时间的标签值，而是代表触摸是否是屏幕解锁操作的标签值，然后计算其与真实值之间的分类损失函数值。
[0055]
更具体地，在本技术实施例中，所述分类损失函数值计算单元，进一步用于：以如下公式计算所述带标签的训练特征图归属于分类标签的概率值以获得分类结果，所述分类结果用于表示是否执行解锁操作，其中，所述公式为：p=exp(li*xi)/ ∑
i
exp(li*xi)，li为所述训练特征图中每个位置的标签值，且xi为所述训练特征图中每个位置的特征值；以及，计算所述分类结果与真实值之间的损失函数值以获得所述分类损失函数值。
[0056]
在本技术实施例中，所述参数更新单元390，用于基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数。
[0057]
更具体地，在本技术实施例中，所述参数更新单元，进一步用于：先以所述分类损失函数值更新所述卷积神经网络的参数。也就是，通过最小化分类损失函数，反向传播更新卷积神经网络的参数。以及，后以所述交叉熵损失函数值更新所述卷积神经网络的参数。也就是，通过最小化交叉熵损失函数，并反向传播更新卷积神经网络的参数。在具体训练过程中，基于交叉熵损失函数值的训练和基于分类损失函数值的训练可以交替地迭代进行。
[0058]
在训练模块完成后，进入预测模块。
[0059]
更具体地，在预测模块400中，所述触摸操作单元410，用于获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值。在具体实施中，可通过传感器等设备获取用户施加于电子设备的显示屏的触摸操作的触摸数据。其中，所述电子设备可以是具有触摸屏的手机、平板等设备。
[0060]
更具体地，在本技术实施例中，所述分类特征图生成单元420，用于将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图。
[0061]
也就是，在触摸操作单元410获取触摸数据后，将屏幕上的触摸位置标注为1，未触摸位置标注为0，并将每个触摸位置对应的时间值作为标签数据，以将所述触摸操作的触摸数据转化为带有标签的数值矩阵。然后以训练完成的卷积神经网络提取出所述带有标签的数值矩阵中的高维特征，以获得带有标签的分类特征图。应可以理解，经上述训练过程，所述卷积神经网络能够提取出带有标签的数值矩阵中具有辨别能力的特征且该具有辨别度的特征具有一定的类间相似性，以避免过拟合的发生。
[0062]
更具体地，在本技术实施例中，所述解锁预测单元430，用于将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。也就是，将所述带有标签的分类特征图通过分类器得到分类结果，这里分类器的标签不是上述代表时间的标签值，而是代表触摸是否是屏幕解锁操作的标签值，因此，分类结果用于表示基于检测到的触摸操作是否执行屏幕的解锁操作。
[0063]
示例性方法根据本技术的另一方面，还提供了一种电子设备的触摸解锁方法。
[0064]
图3a图示了根据本技术实施例的电子设备的触摸解锁方法中训练阶段的流程图。图3b图示了根据本技术实施例的电子设备的触摸解锁方法中预测阶段的流程图。如图3a所示，根据本技术实施例的电子设备的触摸解锁方法，包括：训练阶段，包括：s110，获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值；s120，将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值；s130，将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度；s140，对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量；s150，将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值；s160，分别计算所述训练特征图中的法向量与所述隐向量之间的交叉熵值，并
将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值；s170，计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值；s180，将所述带标签的训练特征图通过分类器以获得分类损失函数值；以及，s190，基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数。
[0065]
如图3b所示，根据本技术实施例的电子设备的触摸解锁方法，还包括：预测阶段，包括：s210，获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值；s220，将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图；以及，s230，将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。
[0066]
图4a图示了根据本技术实施例的电子设备的触摸解锁方法中训练阶段的架构示意图。如图4a所示，在训练阶段中，在该网络架构中，首先将获取的电子设备的显示屏的训练用触摸数据转化为带有标签的初始数值矩阵（例如，如图4中所示意的in1）；接着，将所述初始数值矩阵输入卷积神经网络（例如，如图4a中所示意的cnn）以获得带标签的训练特征图（例如，如图4a中所示意的f1），所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度；接着，对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量（例如，如图4a中所示意的v1）。接着，将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量（例如，如图4a中所示意的v2）并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值（例如，如图4a中所示意的k1）；接着，分别计算所述训练特征图中的法向量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值（例如，如图4a中所示意的第一k2）；接着，计算所述第一交叉熵值和所述第二交叉熵值的加权和以获得交叉熵损失函数值；接着，将所述带标签的训练特征图通过分类器（例如，如图4a中所示意的分类器）以获得分类损失函数值；然后，基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数。
[0067]
图4b图示了根据本技术实施例的电子设备的触摸解锁方法中预测阶段的架构示意图。如图4b所示，在预测阶段中，在该网络结构中，首先将获取的用户施加于电子设备的显示屏的触摸操作的触摸数据（例如，如图4中所示意的in1）转化为带有标签的数值矩阵（例如，如图4中所示意的m1）后通过经训练模块训练完成的所述卷积神经网络（例如，如图4b中所示意的cnn）以获得带有标签的分类特征图（例如，如图4b中所示意的fc）。然后，将所述带有标签的分类特征图通过分类器（例如，如图4b中所示意的分类器）以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。
[0068]
更具体地，在训练阶段中，在步骤s110中，获取电子设备的显示屏的训练用触摸数据，所述训练用触摸数据包括触摸位置和每个触摸位置对应的时间值。在具体实施中，可通过传感器等设备获取用户施加于电子设备的显示屏的触摸操作的触摸数据。其中，所述电子设备可以是具有触摸屏的手机、平板等设备。
[0069]
更具体地，在训练阶段中，在步骤s120中，将所述训练用触摸数据转化为带有标签的初始数值矩阵，其中，所述初始数据矩阵中特征值为1的位置表示该位置为触摸位置，特
征值为0的位置表示该位置为未触摸位置，所述标签为触摸位置对应的时间值。也就是，在获取触摸数据时，除了将屏幕上的触摸位置标注为1，未触摸位置标注为0之外，还采集每个触摸位置对应的时间值，从而作为标签数据，以获得带有标签的初始数值矩阵。
[0070]
更具体地，在训练阶段中，在步骤s130中，将所述初始数值矩阵输入卷积神经网络以获得带标签的训练特征图，所述训练特征图的尺寸表示为宽度维度*高度维度*通道维度。也就是，以卷积神经网络提取出所述初始数值矩阵中触摸数据的高维空间特征。
[0071]
更具体地，在训练阶段中，在步骤s140中，对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量。也就是，所述训练特征图的每个特征矩阵进行全局池化后，可以获得沿通道的特征向量，该特征向量即是该训练特征图的隐向量。
[0072]
更具体地，在本技术实施例中，对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量的过程，包括：对所述训练特征图在宽度维度*高度维度上进行全局最大值池化处理，以获得所述训练特征图的隐向量。也就是，对所述训练特征图的在通道维度上的各个特征矩阵中的特征值取最大值，赋予输出相应的位置，以获得所述训练特征图的隐向量。
[0073]
具体地，在本技术另一实施例中，对所述训练特征图在宽度维度*高度维度上进行全局池化处理，以获得所述训练特征图的隐向量的过程，包括：对所述训练特征图在宽度维度*高度维度上进行全局平均值池化处理，以获得所述训练特征图的隐向量。也就是，将训练特征图的在通道维度上的各个特征矩阵中的特征值取平均，赋予输出的相应位置。通过对所述训练特征图进行通道维度上的平均值池化，可保留所述训练特征图中表征图像的背景部分的信息。
[0074]
更具体地，在训练阶段中，在步骤s150中，将所述训练特征图中与所述初始数据矩阵中具有标签值的位置对应的位置的沿通道的向量设定为该位置的法向量并计算该位置的所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，并将所有位置的交叉熵值进行加权平均以获得第一交叉熵值。
[0075]
具体地，在本技术中，可以通过如下公式计算所述法向量中各个位置的特征值与所述标签值之间的交叉熵值，其中，所述公式为：pij=∑
i,j
[xi*log(yj)
‑
(1
‑
xi)log(1
‑
yj)]，其中xi为法向量的各个位置的特征值，yj为法向量中各个位置的标签值，然后，将所有位置的交叉熵值进行加权平均，获得的第一交叉熵值用于表示法向量与其固有的标签信息之间的一致性。
[0076]
更具体地，在训练阶段中，在步骤s160中，分别计算所述训练特征图中的法向量与所述隐向量之间的交叉熵值，并将所述法向量与所述隐向量之间的交叉熵值进行加权平均以获得第二交叉熵值。
[0077]
具体地，在本技术中，可以通过如下公式计算所述法向量中各个位置的特征值与所述该隐向量各个位置的特征值之间的交叉熵值，其中，所述公式为：pij=∑
i,j
[xi*log(zj)
‑
(1
‑
xi)log(1
‑
zj)]，其中xi为法向量的各个位置的特征值，zj为隐向量的各个位置的特征值，然后，将所有位置的交叉熵值进行加权平均，获得的第二交叉熵值，用于表达特征图中的内在数据结构中的一致性关系。
[0078]
更具体地，在训练阶段中，在步骤s170中，计算所述第一交叉熵值和所述第二交叉
熵值的加权和以获得交叉熵损失函数值。更具体地，在本技术实施例中，所述第一交叉熵值和所述第二交叉熵值的权重作为超参数参与训练。应可以理解，权重作为超参数，可提高训练效率，降低计算量。
[0079]
更具体地，在训练阶段中，在步骤s180中，将所述带标签的训练特征图通过分类器以获得分类损失函数值。也就是，通过带分类标签的分类器对带标签的训练特征图进行分类，以获得的分类结果，这里分类器的标签不是上述代表时间的标签值，而是代表触摸是否是屏幕解锁操作的标签值，然后计算其与真实值之间的分类损失函数值。
[0080]
更具体地，在本技术实施例中，将所述带标签的训练特征图通过分类器以获得分类损失函数值的过程，包括：以如下公式计算所述带标签的训练特征图归属于分类标签的概率值以获得分类结果，所述分类结果用于表示是否执行解锁操作，其中，所述公式为：p=exp(li*xi)/ ∑
i
exp(li*xi)，li为所述训练特征图中每个位置的标签值，且xi为所述训练特征图中每个位置的特征值；以及，计算所述分类结果与真实值之间的损失函数值以获得所述分类损失函数值。
[0081]
更具体地，在训练阶段中，在步骤s190中，基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数。
[0082]
更具体地，在本技术实施例中，基于所述分类损失函数值和所述交叉熵损失函数值，更新所述卷积神经网络的参数的过程，包括：先以所述分类损失函数值更新所述卷积神经网络的参数，也就是，通过最小化分类损失函数，反向传播更新卷积神经网络的参数。以及，后以所述交叉熵损失函数值更新所述卷积神经网络的参数，也就是，通过最小化交叉熵损失函数，并反向传播更新卷积神经网络的参数。在具体训练过程中，基于交叉熵损失函数值的训练和基于分类损失函数值的训练可以交替地迭代进行。
[0083]
在训练完成后，进入预测阶段。
[0084]
更具体地，在预测阶段中，在步骤s210中，获取用户施加于电子设备的显示屏的触摸操作的触摸数据，所述触摸数据包括触摸位置和在触摸位置的时间值。在具体实施中，可通过传感器等设备获取用户施加于电子设备的显示屏的触摸操作的触摸数据。其中，所述电子设备可以是具有触摸屏的手机、平板等设备。
[0085]
更具体地，在预测阶段中，在步骤s220中，将所述触摸操作的触摸数据转化为带有标签的数值矩阵后通过经训练模块训练完成的所述卷积神经网络以获得带有标签的分类特征图。也就是，在触摸操作单元410获取触摸数据后，将屏幕上的触摸位置标注为1，未触摸位置标注为0，并将每个触摸位置对应的时间值作为标签数据，以将所述触摸操作的触摸数据转化为带有标签的数值矩阵。然后以训练完成的卷积神经网络提取出所述带有标签的数值矩阵中的高维特征，以获得带有标签的分类特征图。应可以理解，经上述训练过程，所述卷积神经网络能够提取出带有标签的数值矩阵中具有辨别能力的特征且该具有辨别度的特征具有一定的类间相似性，以避免过拟合的发生。
[0086]
更具体地，在预测阶段中，在步骤s230中，将所述带有标签的分类特征图通过分类器以获得分类结果，其中，所述分类结果为基于检测到的触摸操作是否执行屏幕的解锁操作。也就是，将所述带有标签的分类特征图通过分类器得到分类结果，这里分类器的标签不是上述代表时间的标签值，而是代表触摸是否是屏幕解锁操作的标签值，因此，分类结果用于表示基于检测到的触摸操作是否执行屏幕的解锁操作。
[0087]
综上，基于本技术实施例的具有触摸屏的电子设备被阐明，其基于深度学习的神经网络模型对用户施加于电子设备的显示屏的触摸操作的触摸数据进行特征提取和分类，以获得基于检测到的触摸操作是否执行屏幕的解锁操作的分类结果。具体地，在用于触摸解锁方法的神经网络的训练过程中，首先基于自监督学习的思想，利用高维特征空间中电子设备的显示屏的训练用触摸数据数据自身的结构特性，来对卷积神经网络进行预训练，从而使得卷积神经网络针对不同类型的触摸模式数据提取出来的特征数据相对收敛，再基于分类损失函数值进行训练，以提高分类的准确性。
[0088]
示例性计算机程序产品和计算机可读存储介质除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的电子设备的触摸解锁方法中的步骤。
[0089]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0090]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的电子设备的触摸解锁方法中的步骤。
[0091]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0092]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0093]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0094]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0095]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本
申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0096]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。