一种基于VR眼镜的手势识别系统及方法与流程

一种基于vr眼镜的手势识别系统及方法
技术领域
1.本发明涉及虚拟现实技术领域，具体涉及一种基于vr眼镜的手势识别系统及方法。


背景技术：

2.虚拟现实(virtual reality，vr)交互技术是一门新兴的综合信息技术，使用以计算机技术为核心的现代高科技，生成逼真的视觉、听觉、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自己的方式与虚拟环境中的对象进行交互作用、互相影响，从而产生与亲临等同真实环境的感受和体验。它融合了数字图像处理、多媒体技术、计算机图形学、传感器技术等多方面信息技术。它通过计算机图形学构成三维数字模型，在视觉上给用户一种立体的虚拟环境。
3.vr手势交互是指用户可以通过在手势对虚拟现实眼镜的显示界面上显示的内容或者与虚拟现实眼镜的其他终端进行控制。vr手势交互需要终端设备对用户手势进行识别，然而在现有的手势识别方法中，存在识别速度不快、识别结果不准确的问题。


技术实现要素：

4.本发明正是基于上述问题，提出了一种基于vr眼镜的手势识别系统及方法，通过将获取到的第一视频数据进行处理后，再进行分割、提取得到第一手部区域，然后利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果，不仅识别手势的速度快，而且能保证高标准的识别率。
5.有鉴于此，本发明的一方面提出了一种基于vr眼镜的手势识别系统，包括：用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块；其中，
6.所述数据获取模块被配置为：获取背景图像数据，建立包含背景样本像素值的背景像素库；
7.所述数据处理模块被配置为：
8.从所述第一视频数据中提取第一视频图像序列；
9.对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；
10.确定所述第一分割图像中的连通域并对所述连通域进行标识；
11.根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；
12.所述指纹识别模块被配置为：从所述第一手部区域中提取第一指纹图像信息；
13.所述手势识别模块被配置为：
14.根据所述第一指纹图像信息确定第一手势识别模型；
15.利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
16.可选地，在所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到
第一分割图像的步骤，所述数据处理模块具体被配置为：
17.从所述第一视频图像序列中按预设的顺序中提取当前像素点；
18.将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；
19.确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；
20.若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；
21.重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；
22.根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；
23.将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分割，得到所述第一分割图像。
24.可选地，所述确定所述第一分割图像中的连通域并对所述连通域进行标识的步骤之后、所述根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域的步骤之前，所述数据处理模块被配置为：
25.将所述第一分割图像压缩成像素值为64*64的图像并进行灰度化处理；
26.将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域；
27.将所述人脸图像区域从所述连通域中删除。
28.可选地，所述从所述第一手部区域中提取第一指纹图像信息的步骤，所述指纹识别模块具体被配置为：
29.从所述第一手部区域中提取第一指头图像；
30.从所述第一指头图像中检测并提取第一指纹图像；
31.对所述第一指纹图像进行灰度化、归一化处理得到第二指纹图像；
32.对所述第二指纹图像进行二值化处理得到第三指纹图像；
33.对所述第三指纹图像进行增强和细化处理得到第四指纹图像；
34.从所述第四指纹图像中提取特征点；
35.将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；
36.当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
37.可选地，还包括控制模块；所述利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果的步骤之后，所述控制模块被配置为：
38.根据所述第一识别结果生成第一控制指令；
39.将所述第一控制指令发送至待控制终端；
40.控制显示所述待控制终端执行所述第一控制指令的执行状态。
41.本发明的另一方面提供一种基于vr眼镜的手势识别方法，包括：
42.获取背景图像数据，建立包含背景样本像素值的背景像素库；
43.获取第一视频数据；
44.从所述第一视频数据中提取第一视频图像序列；
45.对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；
46.确定所述第一分割图像中的连通域并对所述连通域进行标识；
47.根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；
48.从所述第一手部区域中提取第一指纹图像信息；
49.根据所述第一指纹图像信息确定第一手势识别模型；
50.利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
51.可选地，所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像的步骤，包括：
52.从所述第一视频图像序列中按预设的顺序中提取当前像素点；
53.将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；
54.确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；
55.若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；
56.重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；
57.根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；
58.将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分割，得到所述第一分割图像。
59.可选地，所述确定所述第一分割图像中的连通域并对所述连通域进行标识的步骤之后、所述根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域的步骤之前，包括：
60.将所述第一分割图像压缩成像素值为64*64的图像并进行灰度化处理；
61.将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域；
62.将所述人脸图像区域从所述连通域中删除。
63.可选地，所述从所述第一手部区域中提取第一指纹图像信息的步骤，包括：
64.从所述第一手部区域中提取第一指头图像；
65.从所述第一指头图像中检测并提取第一指纹图像；
66.对所述第一指纹图像进行灰度化、归一化处理得到第二指纹图像；
67.对所述第二指纹图像进行二值化处理得到第三指纹图像；
68.对所述第三指纹图像进行增强和细化处理得到第四指纹图像；
69.从所述第四指纹图像中提取特征点；
70.将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；
71.当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
72.可选地，所述利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果的步骤之后，包括：
73.根据所述第一识别结果生成第一控制指令；
74.将所述第一控制指令发送至待控制终端；
75.显示所述待控制终端执行所述第一控制指令的执行状态。
76.采用本发明的技术方案，所述手势识别系统包括用于获取第一视频数据的数据获
取模块、数据处理模块、指纹识别模块和手势识别模块。通过将获取到的第一视频数据进行处理后，再进行分割、提取得到第一手部区域，然后利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果，不仅识别手势的速度快，而且能保证高标准的识别率。
附图说明
77.图1是本发明一个实施例提供的基于vr眼镜的手势识别系统的示意框图；
78.图2是本发明另一个实施例提供的基于vr眼镜的手势识别方法流程图。
具体实施方式
79.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
80.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
81.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
82.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
83.下面参照图1至图2来描述根据本发明一些实施方式提供的一种基于vr眼镜的手势识别系统及方法。
84.如图1所示，本发明一个实施例提供一种基于vr眼镜的手势识别系统，包括：用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块；其中，
85.所述数据获取模块被配置为：获取背景图像数据，建立包含背景样本像素值的背景像素库；
86.所述数据处理模块被配置为：
87.从所述第一视频数据中提取第一视频图像序列；
88.对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；
89.确定所述第一分割图像中的连通域并对所述连通域进行标识；
90.根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；
91.所述指纹识别模块被配置为：从所述第一手部区域中提取第一指纹图像信息；
92.所述手势识别模块被配置为：
93.根据所述第一指纹图像信息确定第一手势识别模型；
94.利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
95.可以理解的是，本发明实施例中的vr眼镜，可以包括数据获取模块，如摄像头，摄像头可为多个，利用多个摄像头可以获得具有更多参数信息的、更优质的图像数据；所述数据获取模块还可以包括触摸屏等。
96.所述数据处理模块可以是处理芯片，如cpu、gpu等。
97.所述指纹识别模块用于从已获取的图像数据中提取指纹数据并进行指纹识别。
98.所述手势识别模块利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
99.采用该实施例的技术方案，所述手势识别系统包括用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块。通过将获取到的第一视频数据进行处理后，再进行分割、提取得到第一手部区域，然后利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果，不仅识别手势的速度快，而且能保证高标准的识别率。
100.应当知道的是，图1所示的基于vr眼镜的手势识别系统的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。
101.在本发明一些可能的实施方式中，在所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像的步骤，所述数据处理模块具体被配置为：
102.从所述第一视频图像序列中按预设的顺序中提取当前像素点；
103.将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；
104.确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；
105.若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；
106.重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；
107.根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；
108.将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分割，得到所述第一分割图像。
109.可以理解的是，为了将手部准确而又高效地从图像中识别出来，本发明的实施例中采取先将图像背景进行删除的方法，通过提取当前像素点，并将当前像素点的像素值与所有背景样本像素值进行比较，当与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量在于第一预设阈值，则确定所述当前像素点属于背景点；将所述有背景点找出形成当前背景点集，由此得到背景图像区域，将背景图像区域删除，可得到只保留人体区域的第一分割图像。
110.在本发明一些可能的实施方式中，所述确定所述第一分割图像中的连通域并对所述连通域进行标识的步骤之后、所述根据预设的手部区域大小范围值，从所述连通域中确
定第一手部区域的步骤之前，所述数据处理模块被配置为：
111.将所述第一分割图像压缩成像素值为64*64的图像并进行灰度化处理；
112.将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域；
113.将所述人脸图像区域从所述连通域中删除。
114.可以理解的是，在实际应用中，每一张所述第一分割图像的图片大小都不一样，为了后续操作的方便需要将所述第一分割图像补成正方形之后压缩为像素值为64*64的，并将其进行灰度化处理。
115.在本发明的实施例中，训练卷积神经网络模型的步骤包括：第一步，需要先把数据加载到内存即将图片预处理之后的图片集，以多维数组的形式，加载到内存，并且要为每一类样本数据标注标签值；第二步，划分数据集即按照交叉验证的原则划分数据集、验证集、训练集。第三步，根据卷积神经网络的输入顺序改变图片的维度；第四步，归一化图像数据即数据集先让它浮点化之后又归一化的目的是提升网络收敛速度，减少模型的训练实践，同时适应值域在(0,1)之间的激活函数，增大区分度；归一化有一个特别重要的原因是确保特征值权重一致；第五步，确定优化器；第六步，构建一个卷积神经网络，并对这个卷积神经网络进行训练，得到卷积神经网络模型。
116.通过将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域，并将所述人脸图像区域从所述连通域中删除，可以排除其他因素的干扰，提高手势识别的效率和准确度。
117.在本发明一些可能的实施方式中，所述从所述第一手部区域中提取第一指纹图像信息的步骤，所述指纹识别模块具体被配置为：
118.从所述第一手部区域中提取第一指头图像；
119.从所述第一指头图像中检测并提取第一指纹图像；
120.对所述第一指纹图像进行灰度化、归一化处理得到第二指纹图像；
121.对所述第二指纹图像进行二值化处理得到第三指纹图像；
122.对所述第三指纹图像进行增强和细化处理得到第四指纹图像；
123.从所述第四指纹图像中提取特征点；
124.将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；
125.当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
126.可以理解的是，为了更准确地提取指纹信息，在本发明的实施例中，可以根据预先训练好的指头识别模型，提取出第一指头图像，再从第一指头图像中检测并识别出第一指纹图像；再对第一指纹图像进行灰度处理和归一化处理，得到第二指纹图像。其中，灰度处理是为了简化图像信息，一幅彩色图像，经过灰度处理后只剩下一个灰度值，去除了彩色信息；对第一指纹图像进行归一化处理的原因是采集到的指纹图像会因为光线、角度等原因导致图像中的嵴线和谷线变化大，容易出现误差。然后，对第二指纹图像进行二值化得到第三指纹图像，将第二指纹图像变成只有0和1两个像素值的第三指纹图像。具体是将第二指纹图像中并非是嵴线区域的像素点全部置为0，嵴线所在部分的像素点全部置为1。接着对第三指纹图像进行增强处理，分离粘连的纹线，平滑纹线的边缘等等，以保证指纹特征提取的可靠性。再进行细化处理，提取指纹图像中嵴线的框架，突出纹线的有效特征，得到第四
指纹图像，为后面的特征提取做准备。
127.在本发明的实施例中，从所述第四指纹图像中提取特征点方法可以是：首先，根据所述第四指纹图像建立一个3
×
3的模板，中心的p是待测像素点，而p1～p8是待测像素点p的8个邻域像素点，记cnf为8个邻域像素点的灰度值从0变到1或者是从1变到0的次数，计算公式下式所示：
128.其中，p9＝p1。
129.记snf为8个邻域像素点中灰度值为1的像素点的个数，计算公式如下式所示：
[0130][0131]
通过计算cnf和snf的大小，来分析像素点p的状态，一般分为以下几种情况：(1)如果像素点p是嵴线上的一个点，并根据计算出cnf＝2和snf＝1可知，像素点p是嵴线上的一个端点；(2)如果像素点p是嵴线上的一个点，并根据计算出cnf＝4和snf＝1、2或者4可知，像素点p是嵴线上的一个连续点；(3)如果像素点p是嵴线上的一个点，并根据计算出cnf＝6和snf＝3可知，像素点p是嵴线上的一个分叉点。
[0132]
检测处理完成所述第四指纹图像，并按照上述方法算出所有检测出的端点和分叉点，作为特征点提取的结果。将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
[0133]
在本发明一些可能的实施方式中，还包括控制模块；所述利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果的步骤之后，所述控制模块被配置为：
[0134]
根据所述第一识别结果生成第一控制指令；
[0135]
将所述第一控制指令发送至待控制终端；
[0136]
控制显示所述待控制终端执行所述第一控制指令的执行状态。
[0137]
可以理解的是，本发明实施例中的vr眼镜还可以包括无线通信模块，在获取到用户的手势动作并识别出手势动作所表示的意思，得到第一手势识别结果后，控制模块根据所述第一识别结果生成第一控制指令，将所述第一控制指令发送至待控制终端(待控制终端可以无人机、机器人、电脑等，也可以是vr眼镜本身)，在待控制终端接收到第一控制指令并执行后，控制模块控制显示所述待控制终端执行所述第一控制指令的执行状态，以使用户可以根据执行状态调整控制手势，达到随心所欲地、准确地控制待控制终端的目的。
[0138]
请参见图2，本发明的另一实施例提供一种基于vr眼镜的手势识别方法，包括：
[0139]
获取背景图像数据，建立包含背景样本像素值的背景像素库；
[0140]
获取第一视频数据；
[0141]
从所述第一视频数据中提取第一视频图像序列；
[0142]
对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像；
[0143]
确定所述第一分割图像中的连通域并对所述连通域进行标识；
[0144]
根据预设的手部区域大小范围值，从所述连通域中确定第一手部区域；
[0145]
从所述第一手部区域中提取第一指纹图像信息；
[0146]
根据所述第一指纹图像信息确定第一手势识别模型；
[0147]
利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
[0148]
可以理解的是，本发明实施例中的vr眼镜，可以包括数据获取模块，如摄像头，摄像头可为多个，利用多个摄像头可以获得具有更多参数信息的、更优质的图像数据；所述数据获取模块还可以包括触摸屏等。
[0149]
本发明实施例中的vr眼镜数据处理模块，所述数据处理模块可以是处理芯片，如cpu、gpu等。
[0150]
本发明实施例中的vr眼镜还可以包括指纹识别模块，所述指纹识别模块用于从已获取的图像数据中提取指纹数据并进行指纹识别。
[0151]
本发明实施例中的vr眼镜还可以包括手势识别模块，所述手势识别模块利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果。
[0152]
采用该实施例的技术方案，所述手势识别系统包括用于获取第一视频数据的数据获取模块、数据处理模块、指纹识别模块和手势识别模块。通过将获取到的第一视频数据进行处理后，再进行分割、提取得到第一手部区域，然后利用指纹与手势识别模型间的对应关系，根据所述第一指纹图像信息确定第一手势识别模型，再利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果，不仅识别手势的速度快，而且能保证高标准的识别率。
[0153]
在本发明一些可能的实施方式中，所述对所述第一视频图像序列进行处理，将背景与人体进行分割，得到第一分割图像的步骤，包括：
[0154]
从所述第一视频图像序列中按预设的顺序中提取当前像素点；
[0155]
将所述当前像素点的像素值与所述背景像素库中的所有所述背景样本像素值进行比较；
[0156]
确定与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量；
[0157]
若所述第一数量大于第一预设阈值，则确定所述当前像素点属于背景点；
[0158]
重复上述步骤，直到将所述第一视频图像序列比较完成，得到当前背景点集；
[0159]
根据所述当前背景点集，确定所述第一视频图像序列中的背景图像区域；
[0160]
将所述背景图像区域从所述第一视频图像序列中提取出来，实现背景与人体的分割，得到所述第一分割图像。
[0161]
可以理解的是，为了将手部准确而又高效地从图像中识别出来，本发明的实施例中采取先将图像背景进行删除的方法，通过提取当前像素点，并将当前像素点的像素值与所有背景样本像素值进行比较，当与所述当前像素点的像素值的差值在第一预设范围内的所述背景样本像素值的第一数量在于第一预设阈值，则确定所述当前像素点属于背景点；将所述有背景点找出形成当前背景点集，由此得到背景图像区域，将背景图像区域删除，可得到只保留人体区域的第一分割图像。
[0162]
在本发明一些可能的实施方式中，所述确定所述第一分割图像中的连通域并对所述连通域进行标识的步骤之后、所述根据预设的手部区域大小范围值，从所述连通域中确
定第一手部区域的步骤之前，包括：
[0163]
将所述第一分割图像压缩成像素值为64*64的图像并进行灰度化处理；
[0164]
将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域；
[0165]
将所述人脸图像区域从所述连通域中删除。
[0166]
可以理解的是，在实际应用中，每一张所述第一分割图像的图片大小都不一样，为了后续操作的方便需要将所述第一分割图像补成正方形之后压缩为像素值为64*64的，并将其进行灰度化处理。
[0167]
在本发明的实施例中，训练卷积神经网络模型的步骤包括：第一步，需要先把数据加载到内存即将图片预处理之后的图片集，以多维数组的形式，加载到内存，并且要为每一类样本数据标注标签值；第二步，划分数据集即按照交叉验证的原则划分数据集、验证集、训练集。第三步，根据卷积神经网络的输入顺序改变图片的维度；第四步，归一化图像数据即数据集先让它浮点化之后又归一化的目的是提升网络收敛速度，减少模型的训练实践，同时适应值域在(0,1)之间的激活函数，增大区分度；归一化有一个特别重要的原因是确保特征值权重一致；第五步，确定优化器；第六步，构建一个卷积神经网络，并对这个卷积神经网络进行训练，得到卷积神经网络模型。
[0168]
通过将处理后的图像输入训练好的卷积神经网络模型得到人脸图像区域，并将所述人脸图像区域从所述连通域中删除，可以排除其他因素的干扰，提高手势识别的效率和准确度。
[0169]
在本发明一些可能的实施方式中，所述从所述第一手部区域中提取第一指纹图像信息的步骤，包括：
[0170]
从所述第一手部区域中提取第一指头图像；
[0171]
从所述第一指头图像中检测并提取第一指纹图像；
[0172]
对所述第一指纹图像进行灰度化、归一化处理得到第二指纹图像；
[0173]
对所述第二指纹图像进行二值化处理得到第三指纹图像；
[0174]
对所述第三指纹图像进行增强和细化处理得到第四指纹图像；
[0175]
从所述第四指纹图像中提取特征点；
[0176]
将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；
[0177]
当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
[0178]
可以理解的是，为了更准确地提取指纹信息，在本发明的实施例中，可以根据预先训练好的指头识别模型，提取出第一指头图像，再从第一指头图像中检测并识别出第一指纹图像；再对第一指纹图像进行灰度处理和归一化处理，得到第二指纹图像。其中，灰度处理是为了简化图像信息，一幅彩色图像，经过灰度处理后只剩下一个灰度值，去除了彩色信息；对第一指纹图像进行归一化处理的原因是采集到的指纹图像会因为光线、角度等原因导致图像中的嵴线和谷线变化大，容易出现误差。然后，对第二指纹图像进行二值化得到第三指纹图像，将第二指纹图像变成只有0和1两个像素值的第三指纹图像。具体是将第二指纹图像中并非是嵴线区域的像素点全部置为0，嵴线所在部分的像素点全部置为1。接着对第三指纹图像进行增强处理，分离粘连的纹线，平滑纹线的边缘等等，以保证指纹特征提取的可靠性。再进行细化处理，提取指纹图像中嵴线的框架，突出纹线的有效特征，得到第四
指纹图像，为后面的特征提取做准备。
[0179]
在本发明的实施例中，从所述第四指纹图像中提取特征点方法可以是：首先，根据所述第四指纹图像建立一个3
×
3的模板，中心的p是待测像素点，而p1～p8是待测像素点p的8个邻域像素点，记cnf为8个邻域像素点的灰度值从0变到1或者是从1变到0的次数，计算公式下式所示：
[0180]
其中，p9＝p1。
[0181]
记snf为8个邻域像素点中灰度值为1的像素点的个数，计算公式如下式所示：
[0182][0183]
通过计算cnf和snf的大小，来分析像素点p的状态，一般分为以下几种情况：(1)如果像素点p是嵴线上的一个点，并根据计算出cnf＝2和snf＝1可知，像素点p是嵴线上的一个端点；(2)如果像素点p是嵴线上的一个点，并根据计算出cnf＝4和snf＝1、2或者4可知，像素点p是嵴线上的一个连续点；(3)如果像素点p是嵴线上的一个点，并根据计算出cnf＝6和snf＝3可知，像素点p是嵴线上的一个分叉点。
[0184]
检测处理完成所述第四指纹图像，并按照上述方法算出所有检测出的端点和分叉点，作为特征点提取的结果。将所述特征点与预先存储的指纹数据库中的指纹样本的进行特征点匹配；当匹配值达到预设匹配值时，确定对应的指纹样本的信息为所述第一指纹图像信息。
[0185]
在本发明一些可能的实施方式中，所述利用所述第一手势识别模型对所述第一手部区域进行手势识别，得到第一手势识别结果的步骤之后，包括：
[0186]
根据所述第一识别结果生成第一控制指令；
[0187]
将所述第一控制指令发送至待控制终端；
[0188]
显示所述待控制终端执行所述第一控制指令的执行状态。
[0189]
可以理解的是，本发明实施例中的vr眼镜还可以包括无线通信模块，在获取到用户的手势动作并识别出手势动作所表示的意思，得到第一手势识别结果后，根据所述第一识别结果生成第一控制指令，将所述第一控制指令发送至待控制终端(待控制终端可以无人机、机器人、电脑等，也可以是vr眼镜本身)，在待控制终端接收到第一控制指令并执行后，控制显示所述待控制终端执行所述第一控制指令的执行状态，以使用户可以根据执行状态调整控制手势，达到随心所欲地、准确地控制待控制终端的目的。
[0190]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0191]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0192]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种
逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0193]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0194]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0195]
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0196]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
[0197]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。
[0198]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。