一种基于多场景表情识别的加密解锁系统及方法

1.本发明涉及表情识别的研究领域，特别涉及一种基于多场景表情识别的加密解锁系统及方法。


背景技术：

2.现有的人脸识别系统
3.现有的人脸识别系统已被广泛应用于出入管理、门禁考勤、监控管理、照片搜索。现今人脸识别技术较为成熟，通过摄像仪器采集实时影像，在其中进行人脸检测截取得到人脸图像，然后进行预处理，并采用人工神经网络进行人脸检测，提取特征，通过特征匹配与检索，最终输出某一类表情的分类结果。
4.现有的密码解锁系统
5.出于对电脑、手机、甚至是软件隐私的保护，各种形式的密码解锁方式被研发并应用，解锁也变得更加快捷、个性、人性化。最初的数字密码解锁，仅仅是设置简单数字的排列组合，再到手势解锁,其本质就是根据绘制的路径,记录连线的按扭。随着技术发展，解锁程序日益多元化，发展出了多种较数字、图形密码更具趣味性的解锁功能，如指纹解锁、人脸解锁、声音解锁、虹膜解锁等。然而这些识别方式的安全性都是相对的，没有绝对安全的识别方式。在安全性与便捷性之间进行取舍，不仅要看技术的发展水平，还要考虑消费者的接受程度。
6.现有的云服务器技术
7.云服务器是由cpu、内存、操作系统、云硬盘组成的基础的计算组件，并通过将耗费计算单元资源的软件部署在对应的云服务上，面向用户的各类需求，提供计算、存储、网络等服务。如今云服务器因其安全可靠、可弹性伸缩的计算服务，用户可以迅速创建组件云服务器，无需购买硬件，高效运维，管理及扩展比物理服务器更简单方便的优势，可以满足不同的使用场景及用户的多重需求，被互联网行业种中小企业、个人用户广泛应用。
8.现有面部表情识别的设备及技术
9.通过面部摄像提取面部表情特征，并使用经过训练的分类器识别不同的面部表情。面部表情是指通过脸部肌肉、眼部肌肉和口部肌肉的变换而表现出各种情绪状态。人类的七种主要感情：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然都由与其相对应的面部表情以公式化方式来体现。通过人脸检测、人脸配准、特征提取、表情分类这四个步骤实现对表情的识别后分析图片主角当前的心情。
10.现有人脸活体检测的设备及技术
11.为攻击人脸识别系统，不法分子通过收集合法用户的人脸图像并制作照片、视频、面具等多种假体人脸的方式对系统进行破解。活体检测技术通过辨别获取的人脸图像是来自活体人脸还是假体人来提高了人脸识别系统的安全性。目前的活体检测主要分两类：一类为依靠图片分类模型的活体检测；另一类为配合式活体检测，需要用户配合完成转头、眨眼等动作。
12.现有的人脸识别解锁、支付系统对抗不同类型的攻击技术的能力不足，对安全漏洞的研究不完善，入侵者使用某种伪像模仿真实用户，或令算法无法识别正确的用户人脸等方法攻击系统；现有的数字密码过于简单，针对单一的数字密码现今已有众多的低成本、易实现的破解方法，存在形式简单、不安全性高等问题，越来越无法满足用户的需求；现有的密码系统很少通过人脸表情进行解锁，尽管近几年人脸识别的技术方面有了飞速的发展，可是进一步利用人脸表情解锁的技术发展却尚未成熟，未被广泛应用；现有的人脸表情密码系统仅以单一的面部表情为解码，复杂程度较低，内容形式不够丰富；(6)现有的人脸识别的活体检测技术大多需要用户配合完成抬头、眨眼、闭眼、甚至朗读文字等行为，花费时间较长，用户体验较差；或者是需要高昂的仪器如红外摄像头、多光谱摄像头来检测，虽然准确率高，但是成本过高，无法广泛普及。


技术实现要素：

13.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于多场景表情识别的加密解锁系统及方法。
14.本发明的第一目的在于提供一种基于表情识别的多场景加密解锁系统；
15.本发明的第二目的在于提供一种基于表情识别的多场景加密解锁方法本发明的第一目的通过以下的技术方案实现：
16.一种基于表情识别的多场景加密解锁系统，包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块；
17.所述数据采集模块通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
18.所述数据存储模块存储数据采集模块所采集的人脸图像、身份信息以及对应用户的表情密码；
19.所述数据处理模块对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和人脸识别，比对数据存储模块中的身份信息，进而对人脸图像进行表情识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
20.解锁应用模块通过比对结果完成加密和解锁，并进行后续不同场景下系统的应用。
21.进一步地，所述摄像模块为终端摄像模块，能及时采集用户的人脸图像。
22.进一步地，所述数据采集模块通过摄像模块获取人脸图像，利用用户的人脸图像在数据存储模块建立身份信息并保存，建立身份信息后按密码序列对用户进行表情图片的采集，进而设置表情密码。
23.进一步地，所述数据处理模块包括活体检测模块、人脸识别模块、面部表情识别模块；
24.所述活体检测模块对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
25.所述人脸识别模块对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入系统；
26.所述面部表情识别模块对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入cnn，输出表情分类结果，并将表情分类结果转换为数字指令。
27.进一步地，所述解锁应用模块根据数据处理模块和数据存储模块的身份信息和表情密码的比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
28.本发明的第二目的通过以下的技术方案实现：
29.一种基于表情识别的多场景加密解锁方法，包括以下步骤：
30.通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
31.对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和识别，比对数据存储模块中的身份信息，进而对人脸图像进行识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
32.通过比对结果完成加密和解锁，并进行后续不同场景下系统的应用。
33.进一步地，所述表情序列的表情包括：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然，设定密码长度与表情相应标识，通过其相应标识设定密码。
34.进一步地，所述通过其相应标识设定密码，具体为对表情设定数字或字母指令，通过数字或字母指令设定密码和密码长度。
35.进一步地，所述对整体图像中为活体的人脸图像部分进行特征提取和识别，包括活体检测、人脸识别、面部表情识别；
36.所述活体检测具体为：对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
37.所述人脸识别具体为：对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提
取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入系统；
38.所述面部表情识别具体为：对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入cnn，输出表情分类结果，并将表情分类结果转换为数字指令。
39.进一步地，所述通过比对结果完成加密和解锁，并进行后续不同场景下系统的应用，具体为：根据数据处理模块和数据存储模块的身份信息和表情密码的比对比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
40.本发明与现有技术相比，具有如下优点和有益效果：
41.1、本发明便捷易实施，能够满足多种场合的需求。本发明可通过识别电脑、手机、门禁等终端的摄像头拍摄用户的面部表情图像并转换成密码，复用性高，简单方便。
42.2、本发明可通过摄像头拍摄人体的面部图像，识别面部表情并转换成数字指令,实时在线识别用户的面部表情，增加了密码的复杂度，降低了密码被破解的风险，同时则增添了趣味性。
43.3、本发明利用活体检测对面部表情图片中背景以及人脸进行检测，防止各种2d,3d方式的假体攻击，保证在各种场景下用户信息的安全，提高系统整体的安全性。
44.4、本发明数据处理和相应的算法模块均为可执行的程序代码进行描述再通过云服务器后台读出并执行，无需复杂硬件设备处理数据，节省产品所占空间，数据处理高效，提高用户使用体验。
45.5、本发明整个系统支持无线通信，可将数据无线传输到存储模块，方便实现数据存储、处理和数据分析操作，有数据保存快，不会丢失，增强了数据存储的安全性和可靠性。可后续对数据进行修改，处理等操作。
46.6、本发明可用于门禁、电脑、手机解锁，员工日常考勤打卡，网上支付等场景，系统的可复用性强，并且可以有效应对不同的场景下可能存在的攻击，保证用户的信息安全与体验
附图说明
47.图1是本发明所述一种基于多场景表情识别的加密解锁系统的系统结构框图；
48.图2是本发明所述实施例1中数据处理模块结构框图；
49.图3是一种基于多场景表情识别的加密解锁方法的流程图。
具体实施方式
50.下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
51.实施例1：
52.一种基于多场景表情识别的加密解锁系统，如图1所示，包括摄像模块、数据采集模块、数据存储模块、数据处理模块、解锁应用模块；
53.所述数据采集模块通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
54.所述数据存储模块存储数据采集模块所采集的人脸图像、身份信息以及对应用户的表情密码；
55.所述数据处理模块对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和人脸识别，比对数据存储模块中的身份信息，进而对人脸图像进行表情识别，得到数字或字母指令，通过比对该指令与数据存储模块中用户的表情密码，得到比对结果；
56.解锁应用模块通过比对结果完成加密和解锁，并进行后续不同场景下系统的应用。
57.具体如下：
58.数据采集模块：
59.数据采集模块是用来采集用户的身份、人脸图像数据、面部表情密码数据信息，传输到数据存储模块中，方便计算模块对这些数据进行分析处理。用户通过利用终端如电脑、手机、软件、门禁的摄像头拍摄人脸图像，数据采集模块采集用户人脸图片，并将其传输到数据存储模块建立身份信息档案。档案建立完成后采集模块再按密码序列对用户进行表情图片的采集，再将表情图片数据传输到计算模块进行识别。
60.数据存储模块：
61.数据存储模块接收数据采集模块采集的用户身份信息、人脸图像数据，以及计算模块识别用户设置的表情密码得到的密码指令，并为后续用户解锁提供与计算模块的识别结果比对数据，以判断身份、密码是否正确。
62.数据处理模块：
63.数据处理模块主要由人脸识别模块、面部表情识别模块和活体检测模块三大部分组成，如图2所示，在通过算法识别出人脸及表情后，确认不是非法假体攻击后，负责完成从获取的人脸图像与数据存储模块中的人脸图像进行特征比对和检索，以及密码是否匹配等关键功能。
64.人脸识别模块
65.该模块负责从静态图片进行预处理，采用人工神经网络进行人脸检测，根据人脸检测出人脸定位点(landmark)进行人脸对齐，数据增强后，对图像进行灰度和几何归一化。预处理后提取出图像中的人脸特征，并对人脸数据进行建模和分析，抽取出相应的人脸特征，进而对特征进行检索匹配与对比，判断该图片上的用户是否录入系统；具体为：所述人脸识别模块对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，包括眼角、瞳孔、嘴巴、鼻子，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化，所述一系列数据增强操作包括滤波、平移、翻转、旋转；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息
判断人脸图像对应的用户是否录入系统。
66.面部表情识别模块
67.面部表情识别模块接收来采集模块的面部表情图片后，首先对表情图像进行预处理，同样经过人脸定位点对齐，数据增强后，对图像进行灰度和几何归一化。预处理过后进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部图像输入cnn，输出某一类表情的分类结果。7种不同的情绪：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然其中情绪分别代表数字1-7，也可以使用其他标识代表，将分类结果转换成数字指令；
68.活体检测模块
69.活体检测模块首先对图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行特征提取，根据其特征进行分类，并判断整体图像中的人脸是否来自活体，所述判断为检测整体图像中是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常。
70.解锁应用模块：
71.应用模块根据计算模块与存储模块的身份及密码比对结果来控制终端是否解锁，若身份不正确，通过终端提示用户，身份信息不存在，请先设置身份信息；若身份证确密码不正确，提示用户重新输入；身份、密码均正确则根据场景完成相应的应用。如门禁、电脑、手机、软件等是否可以被打开；网上支付是否成功；考勤系统是否记录打卡信息。
72.实施例2
73.一种基于多场景表情识别的加密解锁方法，如图3所示，包括以下步骤：
74.通过摄像模块对用户进行拍摄，获取人脸图像并利用用户的人脸图像建立身份信息，并提示用户按顺序采集用户的表情序列设置表情密码；
75.对表情序列进行分析，对人脸图像中为活体人脸的人脸图像进行特征提取和识别，比对数据存储模块中的身份信息，进而对人脸图像进行识别，得到数字指令，通过数字指令比对数据存储模块中用户的表情密码，得到比对结果；
76.通过比对结果完成加密和解锁，并进行后续不同场景下系统的应用。
77.进一步地，所述表情序列的表情包括：愤怒、高兴、悲伤、惊讶、厌恶、恐惧、自然，设定密码长度与表情相应标识，通过其相应标识设定密码。
78.进一步地，所述对表情设定相应标识，具体为对表情设定数字或字母指令，通过数字或字母指令设定密码和密码长度。
79.进一步地，所述对人脸图像中为活体人脸的人脸图像进行特征提取和识别，包括人脸识别、面部表情识别、活体检测；
80.所述活体检测具体为：对整体图像进行预处理，整体图像包含背景图像和人脸图像，所述预处理为：对整体图像进行裁剪、对齐、分割，并对整体图像的空间进行变换和叠加，通过从时域到频域、空域或者改变其颜色空间来进行操作；预处理后利用神经网络对整体图像进行深度特征提取，根据其特征判断整体图像中的人脸是否来自活体，所述判断检测整体图像是否出现光影异常、手机边框、纸张、显示器、塑料材质反光、皮肤纹路异常；
81.所述人脸识别具体为：对静态的人脸图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行
人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后通过网络模型提取人脸图像中人脸的深度特征，即对人脸图片数据进行建模和分析过程，提取的人脸图像的特征数据与数据存储模块中存储的特征模板进行搜索匹配与对比，根据相似程度对人脸的身份信息判断人脸图像对应的用户是否录入系统；
82.所述面部表情识别具体为：对数据采集模块获取的人脸图像的面部表情图像进行预处理，所述预处理为：采用人工神经网络进行人脸检测，确定人脸位置、大小、位姿，并准确识别人脸不同特征的位置，并进行人脸对齐，再经过一系列数据增强操作后对人脸图像进行灰度和几何归一化；预处理后对面部表情图像进行帧聚合，利用深度学习算法提取人脸表情深度特征，联合多帧，将面部表情图像输入cnn，输出表情分类结果，并将表情分类结果转换为数字指令。
83.进一步地，所述通过比对结果完成加密和解锁，并进行后续不同场景下系统的应用，具体为：根据数据处理模块和数据存储模块的身份信息和表情密码的比对比对结果来控制终端是否解锁，若身份信息不匹配，则通过终端提示用户，身份信息不存在，请先设置身份信息；若表情密码不正确，提示用户重新输入；身份信息、表情密码均正确则根据场景完成相应的应用。
84.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。