基于使用习惯的移动智能终端隐私持续保护系统及方法

1.本发明属于智能终端隐私保护技术领域，特别是涉及基于使用习惯的移动智能终端隐私持续保护系统及方法。


背景技术：

2.随着互联网时代的高速发展，移动智能终端已经成为了人们生活中不可或缺的组成部分。在用户使用移动智能终端的过程中，各种社交类应用储存了用户的私人信息，支付类软件还涉及到用户财产信息。因此，移动智能终端上的数据十分敏感，找到适合的身份认证方式、保护移动智能终端用户的隐私安全非常重要。本发明从研究持续的、隐形的认证方式出发，解决新时代信息安全领域的身份识别问题。
3.目前，市场上传统的身份认证方式，大多为显式认证方式，如pin码、数字密码等，密码信息可能泄露。利用人体生理特征的认证方式会受到成本因素和环境因素的限制，如虹膜识别关键部件造价高、不适合应用于移动智能终端；人脸识别受光线因素影响等。且以上显式认证方式只会在设备解锁时进行认证，不会在后续打开软件或浏览信息时再次认证，这种机制增加了隐私泄露的风险。
4.一些人在移动设备上基于用户身份认证进行了研究。如：利用智能设备触摸屏数据进行身份认证。他们提取触摸屏数据的相关特征，采集键盘或屏幕特定位置的信息，利用svm、knn和pso-rbfn等分类器进行身份认证。上述方法利用隐式认证方式，但是由于只利用了屏幕部分位置的数据，方法实施起来限制较高，且准确率较低。而且，固定位置的屏幕信息(如键盘上的信息)会包含用户的私密信息(如密码)，可能会通过上述方法中的数据暴露，增加了隐私泄露的风险。利用移动智能终端内置传感器进行身份认证，包括陀螺仪，加速度传感器，磁力仪等。他们的方法只使用传感器进行认证，精度虽然高于只使用屏幕数据的认证方式，但由于数据维度过少，导致认证时间较长，很难做到实时性，且实用起来不方便。利用可穿戴设备辅助进行身份认证，认证时间短，准确度高。但是可穿戴设备应用并不广泛，如果可穿戴设备远离移动智能终端，可能影响数据传输，导致结果异常或延迟。利用特定的手势下传感器的数据和屏幕信息数据结合，进行身份认证，获得的特征数量增加，拒绝率降低。但是由于采用特定手势下的数据，导致模型无法自动更新，可能产生模型滞后带来的检测准确率下降等问题。采用基于触摸屏的身份验证和基于传感器的身份验证相结合的方法，先分辨用户的动作，再进行用户身份的认证，可以做到模型的实时更新。但是这种方法没有用户的数据补充机制。用户随意的动作可能产生不均匀的数据量(如用户行走的数据量会多于上下楼的数据量)，导致模型构建和更新的过程中，训练集中不同动作的数据量不同，可能导致模型的准确率下降。


技术实现要素：

5.本发明为了解决现有技术的问题，提出了基于使用习惯的移动智能终端隐私持续保护系统及方法。该系统有效地实现了一种隐式、连续的认证模式，有效地保护了用户的隐
私。与显示认证相比，在安全性、准确性、稳定性和总成本控制等方面具有明显优势。
6.本发明是通过以下技术方案实现的，本发明提出基于使用习惯的移动智能终端隐私持续保护系统，所述系统包括：
7.数据记录模块：记录用户在使用移动智能终端过程中的屏幕数据、加速度传感器以及陀螺仪数据；
8.加密模块：对记录的用户的数据进行加密，加密后发送到云服务器端；
9.模型构建模块：在云服务器端整合数据后进行降噪处理，然后利用lstm算法判断行为类型，利用cnn-lstm算法提取特征并构建用户身份认证模型，并将模型加密后下载至移动智能终端，在移动智能终端进行快速持续的身份识别；
10.模型更新和数据补全模块：用户自行选择在一个时间来更新模型，在构建新模型的过程中，如果某种行为类型的数据量少，系统会提示用户采集相关行为类型的数据，保证数据集的平衡，利用新的数据集构建的新的模型会代替旧的模型进行测试，如果测试没有问题，系统则会自动删除旧的模型。
11.进一步地，所述系统还包括非法用户检测模块，
12.如果检测到非法用户，会快速响应，切断数据传输，锁定移动智能终端，需要用户输入提前在app中预设的多重密码形式，并将验证失败的信息传至云服务器端，同时也会同步到机主同账号的其他设备中；如用户输入密码错误超过两次，则会调用前置摄像头拍摄非法用户照片，与移动智能终端的位置信息一同发送到云服务器中，也会同步到机主同账号的其他设备中，查看非法用户，使用地点和使用时间。
13.进一步地，在模型构建模块中，已经将用户在走路、跑步、上楼、下楼、拿起手机、躺着和静止使用手机七种状态下的七个认证模型下载到本地等待验证；该系统同步采集用户使用屏幕信息数据、加速度传感器和陀螺仪数据，根据数据判断动作行为类型，选择相应的认证模型对用户的身份进行验证，判断是否本人在使用移动智能终端。
14.进一步地，对记录的屏幕数据、加速度传感器以及陀螺仪数据进行预处理：对于采集的屏幕、陀螺仪与加速度传感器数据序列a＝{a1,a2,a3,
……
,an}，ai表示对应第i个采集的数据，i＝1,2,3
……
，n；设置长度为n的滤波窗口，通过将[i-n+1,i]之间的数据求平均，得到对应第i个数据的预测值具体求解公式如下：
[0015][0016]
将滑动步长设置为1，对整个行为的数据序列进行一次滑动滤波，滤波窗口的大小为3。
[0017]
进一步地，所述cnn-lstm算法的网络结构为：
[0018]
(1)输入层：将进行预处理之后的加速度传感器数据、去重力的加速度传感器数据和陀螺仪数据输入；其中每个数据构建为1
×
128
×
9的张量，1表示输入层的通道数，128为数据序列长度，9表示加速度传感器数据、去重力的加速度传感器数据和陀螺仪数据三轴的数据；
[0019]
(2)lstm层：设置lstm状态向量长度为32；
[0020]
(3)全连接层：用全连接层转化到最终结果，输出认证结果，判断合法性；
[0021]
优化器选择adam，学习率设置为0.001，batch设置为64，输出为1
×
2的张量；根据合法非法性的数值比较，得到最终结果；
[0022]
通过cnn-lstm模型的训练，不断更改相关参数，寻找合适的模型参数，最后得到训练结束的依据动作行为的用户身份认证模型。
[0023]
本发明还提出基于使用习惯的移动智能终端隐私持续保护方法，所述方法具体为：
[0024]
记录用户在使用移动智能终端过程中的屏幕数据、加速度传感器以及陀螺仪数据；对记录的用户的数据进行加密，加密后发送到云服务器端；在云服务器端整合后进行降噪处理，然后利用lstm算法判断行为类型，利用cnn-lstm算法提取特征并构建用户身份认证模型，并将模型加密后下载至移动智能终端，在移动智能终端进行快速持续的身份识别；在身份识别过程中需要更新模型，用户自行选择在一个时间来更新模型，在构建新模型的过程中，如果某种行为类型的数据量少，系统会提示用户采集相关行为类型的数据，保证数据集的平衡，利用新的数据集构建的新的模型会代替旧的模型进行测试，如果测试没有问题，系统则会自动删除旧的模型。
[0025]
进一步地，所述方法还包括非法用户检测步骤：
[0026]
如果检测到非法用户，会快速响应，切断数据传输，锁定移动智能终端，需要用户输入提前在app中预设的多重密码形式，并将验证失败的信息传至云服务器端，同时也会同步到机主同账号的其他设备中；如用户输入密码错误超过两次，则会调用前置摄像头拍摄非法用户照片，与移动智能终端的位置信息一同发送到云服务器中，也会同步到机主同账号的其他设备中，查看非法用户，使用地点和使用时间。
[0027]
本发明提出了一种基于用户使用习惯的隐私持续保护系统。利用移动智能终端中的触摸屏和传感器数据，区分移动智能终端合法用户和非法用户。本系统通过在移动智能终端上安装应用，获取相关数据上传至云服务器中，利用lstm算法判断行为类型，利用cnn-lstm算法提取特征并构建用户身份认证模型，再将模型下载至本地，并会定期更新模型。在用户使用移动智能终端的过程中，如检测到非法用户，会采取相应措施保护用户隐私。该系统有效地实现了一种隐式、连续的认证模式，有效地保护了用户的隐私。与显示认证相比，在安全性、准确性、稳定性和总成本控制等方面具有明显优势。
附图说明
[0028]
图1为本发明所述基于使用习惯的移动智能终端隐私持续保护系统框图；
[0029]
图2为本发明所述基于使用习惯的移动智能终端隐私持续保护方法流程图；
[0030]
图3为滤波窗口大小效果对比图；其中(a)为滤波窗口大小10，(b)为滤波窗口大小3，(c)为滤波窗口大小2，横坐标为时间，纵坐标为速度；
[0031]
图4为基于cnn-lstm的用户身份认证模型结构图；
[0032]
图5为准确率随训练epoch的变化示意图；
[0033]
图6为损失随训练epoch的变化示意图；
[0034]
图7为走的模型中准确率随训练epoch的变化示意图；
[0035]
图8为走的模型中损失随训练epoch的变化示意图。
具体实施方式
[0036]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
结合图1-8，本发明针对移动智能终端显性验证存在容易被窃取或学习、无法持续认证的问题，提出基于使用习惯的移动智能终端隐私持续保护系统，所述系统利用触摸屏信息和传感器(陀螺仪，加速度传感器)信息，构建基于智能设备使用习惯的隐私持续保护系统，所述系统利用深度学习算法，提取用户在使用移动智能终端过程中的行为特征，构建用户的身份认证模型，对用户进行持续的身份认证。这是一种隐式认证方法，将软件放置在后台运行，通过监测触摸屏、移动智能终端内置陀螺仪、加速度传感器等传感器的数据，分析用户特征，判断是否是机主本人在使用移动智能终端，并可以做到持续认证。
[0038]
本发明提出基于使用习惯的移动智能终端隐私持续保护系统，该系统以android应用程序为载体，所述系统具体包括：
[0039]
数据记录模块：记录用户在使用移动智能终端过程中的屏幕数据、加速度传感器以及陀螺仪数据；
[0040]
加密模块：对记录的用户的数据经过rsa算法进行加密，加密后发送到云服务器端；
[0041]
模型构建模块：在云服务器端整合数据后进行降噪处理，然后利用lstm算法判断行为类型，利用cnn-lstm算法提取特征并构建用户身份认证模型，并将模型加密后下载至移动智能终端，在移动智能终端进行快速持续的身份识别；
[0042]
模型更新和数据补全模块：针对用户使用智能设备的习惯可能随着时间发生潜移默化的改变，本系统还设置了模型更新机制，用以保证识别的准确性，用户自行选择在一个时间来更新模型(假如用户设定每月更新一次模型，则在设定时间的最后两天开始利用数据构建新的模型，可以做到保护手机的同时构建新的模型)，以应对由于使用习惯潜移默化的变化带来的识别准确率降低等问题，在构建新模型的过程中，如果某种行为类型(如下楼)的数据量少，系统会提示用户采集相关行为类型的数据，保证数据集的平衡，利用新的数据集构建的新的模型会代替旧的模型进行测试，如果测试没有问题，系统则会自动删除旧的模型。
[0043]
所述系统还包括非法用户检测模块，
[0044]
如果检测到非法用户，会快速响应，切断数据传输，锁定移动智能终端，需要用户输入提前在app中预设的多重密码形式，并将验证失败的信息传至云服务器端，同时也会同步到机主同账号的其他设备中；如用户输入密码错误超过两次，则会调用前置摄像头拍摄非法用户照片，与移动智能终端的位置信息一同发送到云服务器中，也会同步到机主同账号的其他设备中，查看非法用户，使用地点和使用时间。
[0045]
云服务器端存储有人群的行为模型(走，跑，上楼等)，在识别阶段，云服务器在接收到用户数据后，判断行为类型，并返回给移动智能终端。移动智能终端端利用对应行为类型的用户身份认证模型进行判断，是否本人在使用移动智能终端。在模型构建模块中，已经将用户在走路、跑步、上楼、下楼、拿起手机、躺着和静止使用手机七种状态下的七个认证模
型下载到本地等待验证；该系统同步采集用户使用屏幕信息数据、加速度传感器和陀螺仪数据，根据数据判断动作行为类型，选择相应的认证模型对用户的身份进行验证，判断是否本人在使用移动智能终端。
[0046]
如图1所示，本系统包括移动终端、应用层、云服务器端。一个云服务器可以为多个用户，多台设备同时提供服务。用户只需要在自己的app中进行操作，即可采集上传数据，构建模型，下载到本地，对智能设备进行持续的保护。用户也可以在app中查看自己账号中所有智能设备的信息，包括非法用户的位置和照片，习惯模型更新时间。应用层包括数据采集模块，数据加密模块，数据发送模块，操作模块组，用户模型模块组。云服务器层包括收发数据模块，系统数据库。
[0047]
在采集屏幕、加速度传感器和陀螺仪数据时，由于环境因素、用户使用不稳等因素的影响，采集到数据会存在噪声误差。为了消除噪声对后续行为识别和身份认证的影响，选择移动平均滤波的方法进行降噪，来去除因噪声而产生的细微数据抖动。对记录的屏幕数据、加速度传感器以及陀螺仪数据进行预处理：对于采集的屏幕、陀螺仪与加速度传感器数据序列a＝{a1,a2,a3,
……
,an}，ai表示对应第i个采集的数据，i＝1,2,3
……
，n；设置长度为n的滤波窗口，通过将[i-n+1,i]之间的数据求平均，得到对应第i个数据的预测值具体求解公式如下：
[0048][0049]
将滑动步长设置为1，对整个行为的数据序列进行一次滑动滤波，滤波窗口的大小如果选择过大，可能会删去一定有价值的细节；如果选择过小，可能起不到降噪的效果。经过多次尝试与波形图分析，确定当滤波窗口大小为3时，数据分类与认证的效果最好。如图3所示。
[0050]
使用特定行为的cnn-lstm结构进行身份认证。为了保证模型的准确性，采集1名合法用户数据与30名非法用户数据进行训练，然后采集1名合法与30名非法用户用于检测。这30名用户与训练用的用户没有交集。在训练时，可将问题视为二分类问题。
[0051]
使用cnn(卷积神经网络)作为特征提取器，再用lstm结构进行二分类，实现身份认证。其中特征提取的cnn模型如表1所示：
[0052]
表1
[0053]
层卷积核大小卷积核数量步长结果图形状input///1
×
128
×
9conv1d1
×
96411
×
128
×
64maxpool1d1
×
2/21
×
64
×
64conv1d1
×
312811
×
64
×
128maxpool1d1
×
2/21
×
32
×
128conv1d1
×
325611
×
32
×
256
[0054]
所述cnn-lstm算法的网络结构的其他部分细节特征为：
[0055]
(1)输入层：将进行预处理之后的加速度传感器数据、去重力的加速度传感器数据和陀螺仪数据输入；其中每个数据构建为1
×
128
×
9的张量，1表示输入层的通道数，128为
数据序列长度，9表示加速度传感器数据、去重力的加速度传感器数据和陀螺仪数据三轴的数据；
[0056]
(2)lstm层：设置lstm状态向量长度为32；
[0057]
(3)全连接层：用全连接层转化到最终结果，输出认证结果，判断合法性；
[0058]
优化器选择adam，学习率设置为0.001，batch设置为64，输出为1
×
2的张量；根据合法非法性的数值比较，得到最终结果；
[0059]
通过cnn-lstm模型的训练，不断更改相关参数，寻找合适的模型参数，最后得到训练结束的依据动作行为的用户身份认证模型。
[0060]
本发明还提出基于使用习惯的移动智能终端隐私持续保护方法，该方法以android应用程序为载体，所述方法具体为：
[0061]
记录用户在使用移动智能终端过程中的屏幕数据、加速度传感器以及陀螺仪数据；对记录的用户的数据进行加密，加密后发送到云服务器端；在云服务器端整合后利用平均滤波、深度学习等算法进行降噪处理，然后利用lstm算法判断行为类型，利用cnn-lstm算法提取特征并构建用户身份认证模型，并将模型加密后下载至移动智能终端，在移动智能终端进行快速持续的身份识别；在身份识别过程中需要更新模型，用户自行选择在一个时间来更新模型，在构建新模型的过程中，如果某种行为类型的数据量少，系统会提示用户采集相关行为类型的数据，保证数据集的平衡，利用新的数据集构建的新的模型会代替旧的模型进行测试，如果测试没有问题，系统则会自动删除旧的模型。
[0062]
所述方法还包括非法用户检测步骤：
[0063]
如果检测到非法用户，会快速响应，切断数据传输，锁定移动智能终端，需要用户输入提前在app中预设的多重密码形式，并将验证失败的信息传至云服务器端，同时也会同步到机主同账号的其他设备中；如用户输入密码错误超过两次，则会调用前置摄像头拍摄非法用户照片，与移动智能终端的位置信息一同发送到云服务器中，也会同步到机主同账号的其他设备中，查看非法用户，使用地点和使用时间。
[0064]
实例测试
[0065]
对于使用陀螺仪、加速度传感器测试和使用屏幕进行测试，首先针对动作和手势识别模型，做出对应的动作(手势)进行测试。针对身份认证模型，会对应每种动作分别测试认证身份的准确性。
[0066]
在训练过程中，调取训练过程中准确率和损失随训练次数epoch的变化关系，并可视化。调取训练集数据与检测集数据代入模型，得到对训练本身的准确率。通过实际演示，读取云端数据，代入模型，比对实际与模型预测结果，通过大量重复实验，计算对实际演示的准确率。
[0067]
lstm动作识别模型性能分析
[0068]
以动作行为识别模型为例，在第一个隐藏层定义128个神经元，设置btach为64，循环epoch为50。输出为1
×
6的矩阵。最后通过在fit()函数中跟踪训练过程中的数据计算准确率和损失，得到图5和图6所示关系。
[0069]
模型拟合后，通过将训练集与检测集数据结合，代入模型直接进行计算，得到总的准确率为99.64％。
[0070]
使用30人进行实际测试，其中男女各一半，惯用手为右手25人，惯用手左手5人。测
试与实际比较之后，得到实际使用的准确性为：97.78％。
[0071]
cnn-lstm身份认证模型分析
[0072]
模型先定义一个卷积神经网络层，进行特征提取。在第二个lstm层定义32个神经元，设置batch为64，循环epoch为50。输出为1
×
2的矩阵。最后通过在fit()函数中跟踪训练过程中的数据计算准确率和损失。以走的模型为例，得到图7和图8所示的关系。
[0073]
模型拟合后，通过将训练集与检测集数据结合，代入模型直接进行计算，得到总的准确率为97.83％。
[0074]
通过实际测试，采取手机拥有者本人使用手机和其他人使用手机做不同动作的形式，每种动作做20次。读取云端数据，调用相关模型，得到预测结果，并与实际结果进行比较，得到的结果如表2所示。表2中数据为检测正确次数，即本人识别为本人，其他同学显示非法用户。
[0075]
表2
[0076]
检测正确(次)走跑上楼下楼躺抬手本人192020201920其他同学201920202020
[0077]
最终经实验验证，系统准确率为97.83％，错误拒绝率为2.31％，错误接受率为5.32％。
[0078]
本发明针对一种新的隐私保护系统，提出一种新的身份认证方式，提高了智能设备的安全性。本发明根据用户对于智能设备的使用习惯，利用深度学习算法构建用户身份认证模型，进行持续的身份认证。经过实验验证，该系统有较高的验证精度和检测速度，且对于非法用户，有完善安全的处理机制。该系统的数据传递经过rsa算法加密处理，用户认证模型下载至本地，保证用户的数据安全。该系统只需要后台的一个轻量级app，数据处理、模型构建等部分都在云端实现了，本系统开销可以忽略不计。
[0079]
以上对本发明所提出的基于使用习惯的移动智能终端隐私持续保护系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。