手势识别方法、装置及电子设备与流程

1.本发明涉及图像分析技术领域，尤其涉及一种手势识别方法、装置及电子设备。


背景技术：

2.手势识别方法是根据输入的包含手势的图像，自动运用算法图像进行识别，检测出手部的动作。用户可以通过使用简单的手势来控制设备或与设备进行交互，让终端设备理解人类的行为。
3.相关技术中，应用在智能眼镜上的手势识别方法有两种主流方案，一种是在眼镜芯片上完成手势识别，但该种方案的计算能力受到眼镜芯片的体积、功耗限制；一种是眼镜芯片将采集的数据发送至智能设备，在智能制备上完成手势识别，这种方案具有一定的延迟性，同时受到智能设备功耗限制，用户体验感差。


技术实现要素：

4.本发明提供一种手势识别方法、装置及电子设备，用以解决现有技术中手势识别过程中传输数据不稳定、延迟和能耗大的缺陷，实现手势的快速识别。
5.本发明提供一种手势识别方法，应用于第一电子设备，包括：获取所述第一电子设备的摄像头采集的待识别图像；基于所述待识别图像，得到目标特征；将所述目标特征发送至第二电子设备，以供所述第二电子设备基于所述目标特征得到手势识别结果。
6.根据本发明提供一种手势识别方法，应用于第一电子设备，所述基于所述待识别图像，得到目标特征，包括：将所述待识别图像输入至第一子网络，得到所述第一子网络输出的目标特征；所述将所述目标特征发送至第二电子设备，以供所述第二电子设备基于所述目标特征得到手势识别结果，包括：将所述目标特征发送至第二电子设备，以供所述第二电子设备通过第二子网络对所述目标特征进行处理，得到手势识别结果；其中，目标手势识别网络包括加载于所述第一电子设备的所述第一子网络和加载于所述第二电子设备的所述第二子网络。
7.根据本发明提供一种手势识别方法，应用于第一电子设备，所述第一子网络包括卷积层，所述将所述待识别图像输入至第一子网络，得到所述第一子网络输出的目标特征，包括：将所述待识别图像输入至卷积层，得到所述卷积层输出的目标特征图，所述目标特征图为所述目标特征；在所述将所述目标特征发送至第二电子设备之后，所述方法还包括：接收所述第二电子设备返回的目标识别结果，所述目标识别结果为所述第二电子设备基于所述目标特征图确定的；基于所述目标识别结果对所述待识别图像进行裁剪，得到目标子图；
将所述目标子图发送至所述第二电子设备。
8.根据本发明提供一种手势识别方法，应用于第一电子设备，所述第一子网络包括目标识别模块，所述将所述待识别图像输入至第一子网络，得到所述第一子网络输出的目标特征，包括：将所述待识别图像输入至所述目标识别模块，得到所述目标识别模块输出的目标识别结果；基于所述目标识别结果对所述待识别图像进行裁剪，得到目标子图，所述目标子图为所述目标特征。
9.本发明提供一种手势识别方法，应用于第二电子设备，包括：接收第一电子设备发送的目标特征，所述目标特征为所述第一电子设备基于待识别图像确定的；基于所述目标特征得到手势识别结果。
10.根据本发明提供的一种手势识别方法，应用于第二电子设备，所述基于所述目标特征得到手势识别结果，包括：通过第二子网络对所述目标特征进行处理，得到手势识别结果；其中，目标手势识别网络包括加载于所述第一电子设备的第一子网络和加载于所述第二电子设备的所述第二子网络。
11.根据本发明提供的一种手势识别方法，应用于第二电子设备，所述目标特征为对所述待识别图像进行卷积得到的目标特征图；所述基于所述目标特征得到手势识别结果，包括：对所述目标特征图进行目标识别，得到目标识别结果；将所述目标识别结果发送至所述第一电子设备；接收所述第一电子设备返回的目标子图，所述目标子图为所述第一电子设备基于所述目标识别结果对所述待识别图像进行裁剪得到；基于所述目标子图中的关键点，得到手势识别结果。
12.根据本发明提供的一种手势识别方法，应用于第二电子设备，所述目标特征为对所述待识别图像进行目标识别及图形裁剪得到的目标子图；所述基于所述目标特征得到手势识别结果，包括：基于所述目标子图中的关键点，得到手势识别结果。
13.本发明还提供一种手势识别装置，应用于第一电子设备，包括：第一接收模块，用于获取所述第一电子设备的摄像头采集的待识别图像；第一处理模块，用于基于所述待识别图像，得到目标特征；第一发送模块，用于将所述目标特征发送至第二电子设备，以供所述第二电子设备基于所述目标特征得到手势识别结果。
14.本发明还提供一种手势识别装置，应用于第二电子设备，包括：第二接收模块，用于接收第一电子设备发送的目标特征，所述目标特征为所述第一电子设备基于待识别图像确定的；第二处理模块，用于基于所述目标特征得到手势识别结果。
15.本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在
所述处理器上运行的计算机程序，所述处理器执行所述程序时实现应用于第一电子设备的手势识别方法的步骤。
16.本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现应用于第一电子设备的手势识别方法的步骤。
17.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述手势识别方法的步骤。
18.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现所述手势识别方法的步骤。
19.本发明提供的手势识别方法、装置及电子设备，应用于第一电子设备和第二电子设备，通过在第一电子设备上对待识别图像进行预处理，将预处理后的目标特征发送至第二电子设备继续执行手势识别计算。本技术的手机识别方法减少第一电子设备和第二电子设间信息传输的数据量，实现了数据传输的稳定性，并由于第一电子设备分担了部分计算量，降低了第二电子设备的能耗，同时提升了手势与电子设备间互动的实时性。
附图说明
20.为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明提供的应用于第一电子设备的手势识别方法的流程示意图之一；图2是本发明提供的应用于第一电子设备的手势识别方法的流程示意图之二；图3是本发明提供的手势识别方法的展示图之一；图4是本发明提供的手势识别方法的展示图之二；图5是本发明提供的手势识别方法的展示图之三；图6是本发明提供的手势识别方法的展示图之四；图7是本发明提供的应用于第二电子设备的手势识别方法的流程示意图之一；图8是本发明提供的应用于第二电子设备的手势识别方法的流程示意图之二；图9是本发明提供的手势识别方法的流程示意图；图10是本发明提供的应用于第一电子设备的手势识别装置的结构示意图之一；图11是本发明提供的应用于第二电子设备的手势识别装置的结构示意图之二；图12是本技术提供的第一电子设备的结构示意图；图13是本技术提供的第二电子设备的结构示意图。
具体实施方式
22.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对
象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
24.下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的手势识别方法、装置及电子设备进行详细地说明。
25.其中，手势识别方法可应用于终端，具体可由，终端中的硬件或软件执行。该手势识别方法的执行主体可以为终端，或者终端的控制装置等。
26.该终端包括但不限于具有图像采集功能的智能眼镜和具有图像识别功能的智能手机等其它电子设备。还应当理解的是，在某些实施例中，该终端可以不是智能眼镜和智能手机等可穿戴和便携的电子设备，而是具有图像采集功能和图像识别功能的台式计算机。
27.本发明实施例提供的手势识别方法，具有多个执行主体，多个执行主体互联配合完成该手势识别方法，执行主体可以为电子设备或者电子设备中能够实现图像采集和手势识别的功能模块或功能实体，本发明实施例提及的电子设备包括但不限于手机、平板电脑、电脑、可穿戴设备等，下面以电子设备作为执行主体为例对本发明实施例提供的手势识别方法进行说明。
28.本发明实施例提供的手势识别方法为多个电子设备互联完成整个目标手势识别网络的部署方案，进行手势识别操作。用户可以使用简单的手势来控制或与设备交互。
29.如图1所示，该手势识别方法包括：步骤110、步骤120和步骤130。
30.本实施例中的手势为手的姿势，具体是手的具体的动作，包括手指和手掌的相对位置，以及手的方向。
31.步骤110、获取第一电子设备的摄像头采集的待识别图像；在该步骤中，第一电子设备在摄像头采集到待识别图像的情况下，获取摄像头采集的待识别图像。
32.其中，待识别图像为安装在第一电子设备中的摄像头所采集到的含有待识别手势的原始图像数据。
33.其中，第一电子设备为包括图像采集和图像处理的人工智能电子设备。
34.在一些实施例中，第一电子设备可以为穿戴式智能设备，比如智能眼镜。
35.步骤120、基于待识别图像，得到目标特征；在该步骤中，第一电子设备基于摄像头采集的待识别图像，得到目标特征。
36.其中，目标特征是第一电子设备对待识别图像，即原始图像数据，进行图像处理后所得到的中间结果，该中间结果用于第一电子设备输出。
37.第一电子设备对获取的原始图像数据进行预处理后的得到目标特征。
38.需要说明的是，待识别图像经过第一电子设备预处理后得到目标特征，目标特征的数据量要小于原始图像，设备间传输时占用时间短，且传输稳定。
39.步骤130、将目标特征发送至第二电子设备，以供第二电子设备基于目标特征得到手势识别结果。
40.在该步骤中，第一电子设备将目标特征发送至第二电子设备，以供第二电子设备基于目标特征得到手势识别结果。
41.其中，第二电子设备是包括图像处理和图像识别功能的人工智能电子设备。
42.在一些实施例中，第二电子设备可以是便携式智能设备，比如智能手机。
43.其中，手势识别结果是第二电子设备对待识别图像中的手部动作进行识别所得到的结果。
44.第二电子设备接收第一电子设备发送的目标特征，并对目标特征进行处理，得到手势识别结果。
45.需要说明的是，第一电子设备将预处理后得到的目标特征发送至第二电子设备，目标特征的数据量要小于待识别图像。也就是说，本发明中第一电子设备与第二电子设备间传输目标特征的数据量要小于传输待识别图像的数据量。
46.需要说明的是，第二电子设备基于目标特征得到手势识别结果，目标特征是第一电子设备对待识别图像预处理后得到的，也就是说，手势识别方法中的手势识别结果，是由第二电子设备和第一电子设备共同计算得到的。
47.相关技术中，在第一电子设备作为图像采集设备的情况下，第一电子设备采集到待识别图像后，直接将待识别图像的原始数据传输到第二电子设备，在第二电子设备上运行手势识别的整个算法。
48.这种手势识别方法中，一方面由于第二电子设备执行的运算量非常大，会造成第二电子设备能耗过大，另一方面由于从第一电子设备到第二电子设备传输的数据量较多，易出现传输不稳定和延迟的问题。
49.在本发明中，通过第一电子设备和第二电子设备共同完成手势识别的计算，可以减少第二电子端的能耗，并且由于传输数据量减少，可以极大的降低手势识别过程中的延迟，提高手势识别的灵敏度。
50.在一些实施例中，步骤120、基于待识别图像，得到目标特征，包括：将待识别图像输入至第一子网络，得到第一子网络输出的目标特征。
51.在该步骤中，第一电子设备将待识别图像输入至第一子网络，得到第一子网络输出的目标特征。
52.其中，第一子网络可以是加载于第一电子设备的目标手势识别网络的网络子集。
53.第一子网络可以是以样本图像为样本，以预先确定的与样本图像对应的样本特征为样本标签训练得到。
54.第一子网络对输入的待识别图像进行预处理，得到目标特征，即第一电子设备对原始图像数据处理后的中间结果。
55.目标特征用于第一电子设备的输出。
56.需要说明的是，待识别图像经过第一子网络预处理后得到目标特征，目标特征的数据量要小于待识别图像。
57.也就是说，第一子网络将待识别图像处理成具有较小数据量的目标特征，在输出时仅需输出相对较小的数据量。传输小数据量相对于传输大数据量来说，可以提高手势识别的稳定性和灵敏性。
58.本发明中，第一子网络对输入的待识别图像进行预处理时，可以包括以下方式：一些实施方式中，第一子网络可以包括卷积层，将待识别图像输入至第一子网络，得到第一子网络输出的目标特征，包括：将待识别图像输入至卷积层，得到卷积层输出的目
标特征图，目标特征图为目标特征。
59.在步骤130、将目标特征发送至第二电子设备之后，该手势识别方法还可以包括：接收第二电子设备返回的目标识别结果，目标识别结果为第二电子设备基于目标特征图确定的；基于目标识别结果对待识别图像进行裁剪，得到目标子图；将目标子图发送至第二电子设备。在该实施方式中，第一电子设备将待识别图像输入至卷积层，得到卷积层输出的目标特征图，目标特征图为目标特征。
60.第一电子设备将目标特征发送至第二电子设备，由第二电子设备进行目标识别。由于目标特征的大小远小于待识别图像，因此该步骤中数据的传输占用时间短。
61.第二电子设备将目标识别结果返回至第一电子设备，第一电子设备基于目标识别结果对待识别图像进行裁剪，得到目标子图。
62.第一电子设备将目标子图发送至第二电子设备，进行手势识别。
63.其中，卷积层能够对待识别图像进行图像分析，提取待识别图像中手部的特征信息。
64.其中，目标特征图为第一电子设备对待识别图像卷积处理后得到的具有少量数据的特征图。
65.其中，待识别图像经过卷积处理后得到的目标特征图为目标特征。目标特征用于第一电子设备的输出。
66.其中，目标识别结果是第二电子设备基于目标特征图进行目标识别，并进行标记后输出的包括目标的大小和坐标等信息的数据图像。
67.其中，目标子图是第一电子设备基于目标识别结果，对待识别图像进行裁剪后得到的合适尺寸的图像。
68.目标子图具有较小数据量，在输出时仅需输出相对较小的数据量。传输小数据量相对于传输大数据量来说，可以提高手势识别的稳定性和灵敏性。
69.在一些实施例中，第一电子设备运行backbone结构，将待识别图像处理成featuremap特征图。
70.例如，待识别图像大小为1080x1080，经过卷积层处理后数据量减少，待识别图像变为大小为28x28的目标特征图。目标特征图为待识别图像经过卷积处理后得到的中间结果。
71.第一电子设备将目标特征发送至第二电子设备，由第二电子设备进行目标识别，得到目标识别结果。目标识别结果包括目标的大小和坐标等信息的数据图像。
72.如图4所示，图中的手部被检测框标记。
73.第一电子设备可以根据目标识别结果中检测框的大小和坐标位置对待识别图像进行裁剪，获得如图5所示的目标子图。
74.目标子图显示完整的手部图像及相对较少的其他元素。目标特征的数据量要小于待识别图像。
75.需要说明的是，第一电子设备基于检测框对目标特征图进行裁剪，裁剪尺寸可以为检测框等比例放大的图像区域，比如200%。
76.在该实施方式中，通过第一子网络对待识别图像进行卷积处理，并将处理结果发送至第二电子设备进行目标识别，基于目标识别结果对待识别图像进行裁剪，将裁剪后的
目标子图发送至第二电子设备。整个过程传输的数据量减少，可以增加手势识别过程中数据传输的稳定性，提高手势识别的灵敏度。
77.一些实施方式中，第一子网络可以包括目标识别模块。如图2所示，将待识别图像输入至第一子网络，得到第一子网络输出的目标特征，包括：步骤121和步骤122。
78.目标识别模块是第一电子设备芯片中的基础模块，目标识别模块能够对第一电子设备输入的待识别图像进行手部目标识别和标记，并将处理后的待识别图像进行输出至第一电子设备。
79.下面结合图3-5对该实施方式进行详细说明。
80.步骤121、将待识别图像输入至目标识别模块，得到目标识别模块输出的目标识别结果。
81.在该步骤中，第一电子设备将摄像头采集的待识别图像输入至目标识别模块，得到目标识别模块输出的目标识别结果。
82.其中，目标识别结果可以为目标识别模块对待识别图像的图像内容进行手部识别后，输出的识别结果。
83.具体的，第一电子设备将摄像头采集的如图3所示的待识别图像输入至目标识别模块，目标识别模块执行手部识别算法，目标识别模块对待识别图像中的手部位置进行识别并对手部进行标记后输出如图4所示的目标识别结果。
84.如图4所示，图中的手部被检测框标记。
85.步骤122、基于目标识别结果对待识别图像进行裁剪，得到目标子图，目标子图可以为目标特征。
86.在该步骤中，第一电子设备基于目标识别模块输出的目标识别结果对待识别图像进行裁剪，得到目标子图，目标子图为目标特征。
87.其中，目标子图可以是第一电子设备基于目标识别结果，对待识别图像中的手部部分进行裁剪后得到合适尺寸的图像。
88.需要说明的是，第二子网络基于检测框对目标特征图进行裁剪，裁剪尺寸可以以检测框等比例放大的图像区域，比如200%。
89.其中，目标特征可以为待识别图像经过裁剪处理的中间结果，该中间结果用于第一电子设备输出。
90.其中，待识别图像经过第一电子设备剪裁处理后得到的目标子图为目标特征，目标特征用于第一电子设备输出。
91.在本实施例中，第一电子设备可以基于目标识别结果对待识别图像进行剪裁后形成的目标子图。
92.如图5所示，在目标子图中，图3所示的待识别图像中出现的其它无用元素被剪裁，目标子图显示完整的手部图像及相对较少的其他元素。
93.需要说明的是，目标子图是经过第一电子设备裁剪处理后得到目标特征，目标特征的数据量要小于待识别图像。
94.在该实施方式中，通过第一电子设备对待识别图像进行剪裁处理，仅留下目标手部特征和少量其他元素，形成相对较小的数据量，进一步减少第一电子设备需要输出的数据量，可以极大的降低手势识别过程中的延迟，增加第一电子设备数据传输的稳定性，提高
手势识别的灵敏度。
95.对于第一子网络提供多种方式的图像处理的实施例中，图像处理只能选择一种。
96.需要说明的是，本技术实施例提供的应用于第一电子设备的手势识别方法，执行主体可以为手势识别装置，或者该手势识别装置中的用于执行加载手势识别方法的控制模块。本技术实施例中以手势识别装置执行手势识别处理方法为例，说明本技术实施例提供的应用于第一电子设备的手势识别方法。
97.本发明实施例还提供一种应用于第一电子设备的手势识别装置。
98.如图10所示，该应用于第二电子设备的手势识别装置包括：第一接收模块1010、第一处理模块1020以及第一发送模块1030。
99.第一接收模块1010，用于获取第一电子设备的摄像头采集的待识别图像。
100.第一处理模块1020，用于基于待识别图像，得到目标特征。
101.第一发送模块1030，用于将目标特征发送至第二电子设备，以供第二电子设备基于目标特征得到手势识别结果。
102.在一些实施例中，第一处理模块1020还用于将待识别图像输入至第一子网络，得到第一子网络输出的目标特征。
103.其中，第一子网络可以是目标手势识别网络加载于第一电子设备的网络子集。第一子网络可以用于第一电子设备输入待识别图像后，对待识别图像进行处理。
104.第一发送模块1030还用于将目标特征发送至第二电子设备，以供第二电子设备通过第二子网络对目标特征进行处理，得到手势识别结果；其中，目标手势识别网络包括加载于第一电子设备的第一子网络和加载于第二电子设备的第二子网络。
105.在本实施例提供的应用于第一电子设备的手势识别装置中，第一电子设备可以进行部分手势识别算法，承担部分计算量，可以降低第二设备的能耗。并且，由于第一电子设备传输出至第二电子设备的是部分计算量，可以极大的降低手势识别过程中的延迟，增加第一电子设备数据传输的稳定性，提高手势识别的灵敏度。
106.本发明实施例中的应用于第一电子设备的手势识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以是非移动电子设备。示例性的，移动电子设备可以是手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机（ultra-mobilepersonalcomputer，umpc）、上网本或者个人数字助理（personaldigitalassistant，pda）等，非移动电子设备可以是服务器、网络附属存储器（networkattachedstorage，nas）、个人计算机（personalcomputer，pc）、电视机（television，tv）、柜员机或者自助机等，本发明实施例不作具体限定。
107.本发明实施例提供的应用于第一电子设备的手势识别装置能够实现上述实施例中应用于第一电子设备的手势识别方法的各个过程，为避免重复，这里不再赘述。
108.本发明实施例还提供一种应用于第二电子设备的手势识别方法。
109.该手势识别方法的执行主体可以是终端，包括但不限于移动终端、平板电脑，或者终端的控制装置等。
110.如图7所示，该应用于第二电子设备的手势识别方法包括：步骤710和步骤720。
111.本实施例中的应用于第二电子设备的手势识别方法与上述应用于第一电子设备
的手势识别方法相对应。
112.本实施例中的手势是手的姿势，具体是手的具体的动作，包括手指和手掌的相对位置。
113.步骤710、接收第一电子设备发送的目标特征，目标特征为第一电子设备基于待识别图像确定的；在该步骤中，第二电子设备在第一电子设备发送基于待识别图像确定的目标特征的情况下，接收第一电子设备发送的目标特征。
114.其中，目标特征是第一电子设备对待识别图像进行处理并发送至第二电子设备的中间结果。
115.其中，第二电子设备是包括图像处理和图像识别功能的人工智能电子设备。第二电子设备与第一电子设备电连接。
116.步骤720、基于目标特征得到手势识别结果。
117.在该步骤中，第二电子设备基于第一电子设备输出的目标特征得到手势识别结果。
118.其中，手势识别结果是第二电子设备对目标特征中的手部动作进行识别所得到的结果。
119.需要说明的是，第一电子设备对待识别图像进行处理，将处理得到的中间结果发送至第二电子设备，第二电子设备对该中间结果进行后续的处理，得到手势识别结果。
120.也就是说，第二电子设备执行的是手部识别算法中的部分计算量。由于第一电子设备承担了第二电子设备对手势识别的部分运算，可以降低第二电子设备进行手势识别过程中的能耗。
121.在一些实施例中，第二电子设备基于目标特征得到手势识别结果，可以包括：通过第二子网络对目标特征进行处理，得到手势识别结果；在该实施例中，第二电子设备可以通过第二子网络对第一电子设备输出的目标特征进行处理，得到手势识别结果。
122.其中，第二子网络可以为目标手势识别网络加载于第二电子设备的网络子集，能够对目标特征执行部分检测模型。
123.第二子网络可以是以样本图像为样本，以预先确定的与样本图像对应的样本特征为样本标签训练得到。
124.在该实施例中，第二子网络可以对第二电子设备接收到目标特征执行手部关键点检测算法，得到如图6所示的手部关键点检测结果，进而得到手势识别结果。
125.需要说明的是，本实施例中第二子网络可以对目标特征进行手部关节21点进行检测，通过对检测到的手部关键点之间的角度计算便可得知手指是否弯曲，然后便可以实现简单的手势识别，同时也实现了手势方向(上下左右)判断。
126.本实施例中，目标手势识别网络包括加载于第一电子设备的第一子网络和加载于第二电子设备的第二子网络。
127.目标手势识别网络是对手势进行识别的整个ai部署方案。
128.相关技术中，在第一电子设备作为图像采集设备的情况下，第二电子设备接收待识别图像的原始数据，在第二电子设备上运行手势识别的整个算法。
129.这种手势识别方法中，一方面由于第二电子设备执行的运算量非常大，会造成第二电子设备能耗过大，另一方面由于从眼镜端到手机端传输的数据量较多，易出现传输不稳定和延迟的问题。
130.在本发明中，第二电子设备仅执行手势识别的部分计算量，可以减少第二电子设备的能耗，并且由于传输数据量减少，可以极大的降低手势识别过程中的延迟，提高手势识别的稳定性和灵敏度。
131.对应上述应用于第一电子设备的手势识别方法中，第一子网络对输入的待识别图像进行预处理时两种方式，第二电子设备接收到的目标特征至少包括以下两种形式：在一些实施例中，目标特征可以为对待识别图像进行卷积得到的目标特征图。如图8所示，步骤720、基于目标特征得到手势识别结果，包括：步骤821、步骤822、步骤823和步骤824。
132.在该实施中，第二电子设备接收的目标特征为第一子网络对待识别图像进行卷积得到的目标特征图。
133.卷积处理可以是第一电子设备的第一子网络对待识别图像进行图像分析，提取待识别图像中手部的特征信息。
134.目标特征图可以为第一电子设备的第一子网络对待识别图像卷积处理后得到的具有少量数据的中间结果。
135.目标特征为第一电子设备输出的中间结果。
136.步骤821、对目标特征图进行目标识别，得到目标识别结果；该步骤中，第二电子设备的第二子网络可以对目标特征图进行目标识别，得到目标识别结果。
137.目标识别可以是第二电子设备的第二子网络对待识别图像中手部位置进行检测。
138.目标识别结果可以为第二电子设备的第二子网络对待识别图像进行卷积得到的目标特征图进行目标识别，识别待识别图像中手部大小和位置，并进行标记。
139.如图4所示，第二子网络将待识别图像中的手部位置采用检测框标记。
140.步骤822、将目标识别结果发送至第一电子设备。
141.在该步骤中，第二电子设备对目标特征图进行目标识别，将目标识别结果发送至第一电子设备。
142.步骤823、接收第一电子设备返回的目标子图，目标子图为第一电子设备基于目标识别结果对待识别图像进行裁剪得到。
143.在该步骤中，第二电子设备接收第一电子设备对待识别图像进行裁剪得到的目标子图。
144.其中，目标子图为第一电子设备基于目标识别结果中的检测框大小和位置对待识别图像进行裁剪得到的图像。
145.目标子图的图像数据小于待识别图像。
146.具体的，第一电子设备基于目标识别结果中的检测框大小和位置对待识别图像进行裁剪得到目标子图，并将目标子图发送至第二电子设备，第二电子设备接收第一电子设备返回的目标子图。
147.步骤824、基于目标子图中的关键点，得到手势识别结果。
148.在该步骤中，第二电子设备的第二子网络基于目标子图中的关键点，得到手势识别结果。
149.其中，关键点可以是目标子图中手部关节21点。
150.其中，手势识别结果可以是第二子网络通过对目标子图中检测到的手部关键点之间的角度计算，得到手指是否弯曲，实现手势识别，也实现了手势方向(上下左右)判断。
151.第二子网络对第二电子设备接收到目标子图执行手部关键点检测算法，得到手部关键点检测结果。
152.需要说明的是，本实施例中通过第二子网络对目标子图进行手部关节21点进行检测。
153.第二电子设备的第二子网络可以通过对目标子图中检测到的手部关节关键点之间的角度进行计算，得到手指是否弯曲的信息，实现手势识别，也实现了手势方向(上下左右)判断。
154.在一些实施例中，目标特征可以为对待识别图像进行目标识别及图形裁剪得到的目标子图；在该实施中，第一电子设备输出的目标特征可以是第一子网络对待识别图像进行目标识别及图形裁剪得到的目标子图。
155.在该实施例中，基于目标特征得到手势识别结果，包括：基于目标子图中的关键点，得到手势识别结果。
156.其中，关键点是指目标子图中手部关节21点。
157.其中，手势识别结果可以是第二子网络通过对目标子图中检测到的手部关键点之间的角度计算，得到手指是否弯曲，实现手势识别，也实现了手势方向(上下左右)判断。
158.相关技术中，在第一电子设备作为图像采集设备的情况下，第二电子设备接收待识别图像的原始数据，在第二电子设备上运行手势识别的整个算法。这种手势识别方法中会造成第二电子设备能耗过大，易出现传输不稳定和延迟的问题。
159.在本发明中，第二电子设备仅接收第一电子设备进行预处理后的数据，第二电子设备仅执行手势识别的部分计算量，可以减少第二电子端的能耗，并且由于传输数据量减少，可以极大的降低手势识别过程中的延迟，提高手势识别的灵敏度。
160.需要说明的是，本技术实施例提供的应用于第二电子设备的手势识别方法，执行主体可以为手势识别装置，或者该手势识别装置中的用于执行加载手势识别方法的控制模块。本技术实施例中以手势识别装置执行手势识别处理方法为例，说明本技术实施例提供的应用于第二电子设备的手势识别方法。
161.以下将结合附图9对本发明提供的应用于第一电子设备和第二电子设备的手势识别方法进行完整说明。
162.在一些实施例中，第一电子设备的摄像头采集待识别图像，第一电子设备基于待识别图像运行检测算法，检测第一电子设备是否需要定制输出结果。检测结果分为两种情况，以下具体说明两种情况第一电子设备和第二电子设备的执行过程。
163.其一、在第一电子设备需要输出定制结果的情况下，第一电子设备选择合适的网络子集，对待识别图像进行卷积处理，得到目标特征图，该目标特征图为目标特征。
164.目标特征的图像数据量小于待识别图像，传输数据小，可以实现传输稳定且无延
迟。
165.第一电子设备将目标特征发送至第二电子设备，第二电子设备对目标特征图进行目标识别，得到目标识别结果。
166.第二电子设备将目标识别结果推送至第一电子设备，第一电子设备基于目标识别结果对待识别图像进行裁剪，得到目标子图。
167.其二、在第一电子设备不需输出定制结果的情况下，第一电子设备的目标识别模块对待识别图像进行目标识别，第一电子设备基于目标识别结果对待识别图像进行裁剪，得到目标子图。
168.目标子图的数据量远远小于待识别图像，传输过程中占用时间少，可以实现传输稳定无延迟。
169.两种执行方法都可得到目标子图，第一电子设备将目标子图输出至第二电子设备。
170.第二电子设备进行后续手势识别计算，进行手部关键21点检测，第二电子设备输出手部关键点检测结果。
171.第二电子设备基于手部关键点检测结果进行项目后续逻辑功能，输出手部识别结果。
172.程序结束。
173.在该实施方式中，第一电子设备和第二电子设间信息传输的数据量减少，实现了数据传输的稳定性，并由于第一电子设备分担了部分计算量，降低了第二电子设备的能耗，同时提升了手势与电子设备间互动的实时性。
174.本发明实施例还提供一种应用于第二电子设备的手势识别装置。
175.如图11所示，该应用于第二电子设备的手势识别装置包括：第二接收模块1110和第二处理模块1120。
176.第二接收模块1110，用于接收第一电子设备发送的目标特征，目标特征为第一电子设备基于待识别图像确定的；第二处理模块1120，用于基于目标特征得到手势识别结果。
177.在一些实施例中，第二处理模块1120用于通过第二子网络对目标特征进行处理，得到手势识别结果；其中，目标手势识别网络包括加载于第一电子设备的第一子网络和加载于第二电子设备的第二子网络。
178.在一些实施例中，目标特征为对待识别图像进行卷积得到的目标特征图。在该实施例中，第二处理模块1120用于对目标特征图进行目标识别，得到目标识别结果；将目标识别结果发送至第一电子设备；接收第一电子设备返回的目标子图，目标子图为第一电子设备基于目标识别结果对待识别图像进行裁剪得到；基于目标子图中的关键点，得到手势识别结果。
179.在一些实施例中，目标特征为对待识别图像进行目标识别及图形裁剪得到的目标子图。在该实施例中，第二处理模块1120用于基于目标子图中的关键点，得到手势识别结果。
180.在本实施例提供的应用于第二电子设备的手势识别装置中，能够与第一设备配
合，进行手势识别，降低了第二电子设备的能耗。
181.本发明实施例中的应用于第二电子设备的手势识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以是非移动电子设备。示例性的，移动电子设备可以是手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机（ultra-mobilepersonalcomputer，umpc）、上网本或者个人数字助理（personaldigitalassistant，pda）等，非移动电子设备可以是服务器、网络附属存储器（networkattachedstorage，nas）、个人计算机（personalcomputer，pc）、电视机（television，tv）、柜员机或者自助机等，本发明实施例不作具体限定。
182.本发明实施例提供的应用于第二电子设备的手势识别装置能够实现应用于第二电子设备的手势识别方法实施例实现的各个过程，为避免重复，这里不再赘述。
183.图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(communicationsinterface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行应用于第一电子设备的手势识别方法，该方法包括：获取第一电子设备的摄像头采集的待识别图像；基于待识别图像，得到目标特征；将目标特征发送至第二电子设备，以供第二电子设备基于目标特征得到手势识别结果。
184.图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor1310、通信接口(communicationsinterface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行应用于第二电子设备的手势识别方法，该方法包括：接收第一电子设备发送的目标特征，目标特征为第一电子设备基于待识别图像确定的；基于目标特征得到手势识别结果。
185.此外，上述的存储器1230和存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
186.本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的应用于第一电子设备的手势识别方法和应用于第二电子设备的手势识别方法。
187.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的应用于第一电子设备的手势识别方法和应用于第二电子设备的手势识别方法。
188.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是
或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
189.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
190.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。