虚拟内容的控制方法、装置、电子设备及计算机可读介质与流程

本申请涉及显示技术领域，更具体地，涉及一种虚拟内容的控制方法、装置、电子设备及计算机可读介质。

背景技术：

随着技术的发展，手势识别越来越多地在电子设备中使用。尤其是增强现实(augmentedreality，ar)和虚拟现实(virtualreality，vr)等设备，使用手势识别来对虚拟内容进行交互操作，更符合用户逻辑习惯，交互操作更加便捷，可以增加用户使用的沉浸感。但是，目前在用户通过手势控制虚拟内容的交互方式准确性不足。

技术实现要素：

本申请提出了一种虚拟内容的控制方法、装置、电子设备及计算机可读介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种虚拟内容的控制方法。所述方法包括：获取脑电波检测装置采集的用户身体动作对应的脑电波信息；获取手势检测装置采集的手势信息；根据所述脑电波信息和手势信息确定操作手势；根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

第二方面，本申请实施例还提供了一种虚拟内容的控制装置。所述装置包括：第一获取单元、第二获取单元、确定单元和控制单元。第一获取单元，用于获取脑电波检测装置采集的用户身体动作对应的脑电波信息。第二获取单元，用于获取手势检测装置采集的手势信息。确定单元，用于根据所述脑电波信息和手势信息确定操作手势。控制单元，用于根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用应用程序配置用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读介质，所述可读存储介质存储有处理器可执行的程序代码，所述程序代码被所述处理器执行时使所述处理器执行上述方法。

本申请提供的虚拟内容的控制方法、装置、电子设备及计算机可读介质，脑电波检测装置能够采集用户身体动作对应的脑电波信息，手势检测装置能够采集用户的手势信息。脑电波信息能够反映用户的身体动作，进而能够确定用户的手部是否在动或者具体的动作，然后，根据所述脑电波信息和所述手势信息确定操作手势。因此，本申请能够不仅仅将手势检测装置采集的手势信息作为操作手势，而是能够结合脑电波信息和手势信息确定操作手势，使得操作手势的确定能够考虑到脑电波信息所反映的用户身体动作，进而使操作手势更加准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的虚拟内容的控制方法的应用场景的示意图；

图2示出了本申请实施例提供到的头戴显示设备的示意图；

图3示出了本申请实施例提供到的脑电波检测装置的模块框图；

图4示出了本申请一实施例提供到的虚拟内容的控制方法的方法流程图；

图5示出了本申请另一实施例提供到的虚拟内容的控制方法的方法流程图；

图6示出了图5中的s550的流程图；

图7示出了本申请实施例提供的采集的多个第一手势的场景的示意图；

图8示出了本申请实施例提供的手部在相机坐标系内的示意图；

图9示出了本申请又一实施例提供到的虚拟内容的控制方法的方法流程图；

图10示出了本申请一实施例提供到的虚拟内容的控制装置的模块框图；

图11示出了本申请另一实施例提供到的虚拟内容的控制装置的模块框图；

图12示出了本申请又一实施例提供到的虚拟内容的控制装置的模块框图；

图13示出了本申请实施例提供的电子设备的模块框图；

图14示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

增强现实(ar，augmentedreality)是通过计算机系统提供的信息增加用户对现实世界感知的技术，其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中，来增强或修改对现实世界环境或表示现实世界环境的数据的感知。虚拟现实(virtualreality，vr)是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。

随着科技水平的发展，手势识别越来越多地在电子设备中使用。尤其是ar、vr等设备，使用手势识别来对显示的虚拟物体进行交互操作，更符合用户逻辑习惯，交互操作更加便捷，可以增加用户使用的沉浸感。

在ar、vr场景中利用手势与显示的虚拟内容进行交互，需要对手势进行识别。作为一种方式，可以通过深度摄像头对手部动作x、y、z三轴上的运动轨迹进行捕捉识别，并且不同的动作可以与不同的交互操作命令对应，然后可以根据这些动作来触发不同的交互操作命令；作为另一种方式，可以采用单个普通摄像头来实现，使用单个普通摄像头也可以检测手势的骨骼节点，进行手势的跟踪识别，具体地，可以简单地通过获取到的手势图像的增大和缩小来判断手势的靠近和原理；作为又一种方式，可以通过超声波手势识别、结构光手势识别、毫米波手势识别、红外手势识别等方式进行手势识别，这些识别方式通过发射设备向手部发射特定信号(例如超声波信号、毫米波信号灯)，再通过接受设备接收从手部反射回的信号，对接收到的信号进行分析和处理，从而可以获得手部做出的手势动作。

发明人经过长时间的研究发现，目前的手势识别方案的越来越多，随着技术的发展，手势识别的速度和准确率等方面都得到了很大改善。但是进行手势识别时，有时候会受到其他人手的影响从而造成误操作或者识别准确率下降。尤其是在ar、vr场景时，当处于人多或者多用户进行协同游戏时，很容易识别到其他用户的手势。

请参阅图1，示出了本申请实施例提供的虚拟内容的控制方法的应用场景的一种示意图。该交互系统包括第一电子设备100和第二电子设备200。

于本申请实施例中，第一电子设备100和第二电子设备200均可以是头戴显示装置，也可以是手机、平板等移动设备。第一电子设备100和第二电子设备200为头戴显示装置时，头戴显示装置可以为一体式头戴显示装置。第一电子设备100和第二电子设备200也可以是与外接式头戴显示装置连接的手机等智能终端，即第一电子设备100和第二电子设备200可作为头戴显示装置的处理和存储设备，插入或者接入外接式头戴显示装置，在头戴显示装置中对虚拟内容进行显示功能。

于本申请实施例中，第一电子设备100可以包括第一显示屏和第一摄像头。作为一种实施方式，当第一电子设备100是移动设备的时候，第一显示屏为该移动设备的显示屏，第一摄像头为该移动设备的摄像头。作为另一种实施方式，第一电子设备100可以是头戴显示装置，则该第一显示屏可以是该头戴显示装置的镜片，且该镜片能够作为显示屏从而显示图像，并且该镜片还可以透光，用户在佩戴该镜片的时候，当该镜片上显示图像的时候，用户能够看到该镜片上所显示的图像同时还可以透过该镜片看到周围环境中现实世界中的物体。则通过该半透半反的镜片，用户能够将镜片上所显示的图像与周围环境相叠加，从而实现增强显示的视觉效果。如图1所示，该虚拟内容300为用户在佩戴第一电子设备100的时候，所观察到叠加在真实世界的图像。作为又一种实施方式，该第一电子设备100为移动设备的时候，用户可以通过移动设备的屏幕实现增强显示的视觉效果。移动终端的显示屏上所显示的真实场景的画面，由移动终端的摄像头采集，该显示屏上所显示的虚拟内容300是由移动终端在显示屏上所显示的图像，用户手持该移动终端的时候，通过该显示屏能够观察到虚拟内容300叠加到真实场景上。

另外，第二电子设备200的实施方式可以参考第一电子设备100的实施方式。

由此，第一用户通过第一电子设备100实现与佩戴第二电子设备200的第二用户实现交互，并且，第一用户和第二用户均能够通过输入手势的方式对上述虚拟内容300进行控制。作为一种实施方式，该电子设备上安装有手势检测装置，该手势检测装置可以采用上述的手势识别方法进行手势识别，该手势识别方法包括摄像头识别、超声波手势识别、结构光手势识别、毫米波手势识别、红外手势识别等方式。

而为了避免第一用户输入手势的时候，被第二电子设备上的手势检测装置采集并且被误认为是第二用户输入的手势，上述电子设备上可以安装脑电波检测装置，脑电波检测装置能够采集用户身体动作对应的脑电波信息，手势检测装置能够采集用户的手势信息。脑电波信息能够反映用户的身体动作，进而能够确定用户的手部是否在动或者具体的动作，然后，根据所述脑电波信息和所述手势信息确定操作手势。因此，本申请能够不仅仅将手势检测装置采集的手势信息作为操作手势，而是能够结合脑电波信息和手势信息确定操作手势，使得操作手势的确定能够考虑到脑电波信息所反映的用户身体动作，进而使操作手势更加准确。

如图2所示，本申请实施例提供了一种电子设备，该电子设备包括显示屏110、手势检测装置120、成像装置130、脑电波检测装置140和处理器(图中未示出)。

作为一种实施方式，该显示屏110可以是该ar眼镜的镜片，并且该显示屏110还可以透光，即该显示屏110可以是半透半反的镜片，用户在佩戴该电子设备的时候，当该显示屏110上显示图像的时候，用户能够看到该显示屏110上所显示的图像同时还可以透过该显示屏110看到周围环境中现实世界中的物体。则通过该半透半反的镜片，用户能够将镜片上所显示的图像与周围环境相叠加，从而实现增强现实的视觉效果。

成像装置130能够将虚拟对象的图像显示在显示屏110上。例如，该成像装置130可以是衍射光波导，能够将图像投影到显示屏上。

脑电波检测装置140可以采集用户的脑电波(electroencephalogram，eeg)。人体大脑是人体各个肢体器官的控制中心。脑电波是一种记录大脑活动的电生理指标，大脑在活动时，大量神经元同步发生的突触后电位经求和后形成的。脑电波记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。

人体的运动，是由大脑发出的生物电信号，经过神经系统的传导，到达需要作运动的肌肉组织，以此生物电信号来控制肌肉组织的放松(松弛)或紧张(收缩)的程度，来完成相应的动作的。因此，通过检测脑电波的生物电信号，可以判断人体肢体是否在运动。

作为一种实施方式，该脑电波检测装置140可以是脑电波采集器，具体地，如图3所示，该脑电波检测装置140可以包括采集前端141、小信号处理模块142和模数转换模块143。采集前端141用于采集脑电波的电信号，例如，该采集前端141可以是电极。小信号处理模块142用于获取该电信号并对该电信号执行滤波和信号处理。其中，滤波处理的实施方式可以是滤除该电信号中的干扰信号，信号处理可以是将所采集的电信号放大。模数转换模块143用于将经过小信号处理模块142输出的电信号转换为数字信号，以得到脑电波信息。

处理器用于控制手势检测装置120、成像装置130和脑电波检测装置140执行指定操作，以及获取手势检测装置120采集的手势信息和脑电波检测装置140采集的脑电波信息，并且对手势信息和脑电波信息处理。

作为一种实施方式，该电子设备可以是头戴显示设备，例如，该电子设备是ar眼镜。该处理器、手势检测装置120和脑电波检测装置140安装在头戴显示设备上。在另一些实施例中，处理器、手势检测装置和脑电波检测装置可以是与该电子设备分立的，即手势检测装置和脑电波检测装置相对该电子设备是一个独立的设备。

请参阅图4，图4示出了本申请实施例提供的一种虚拟内容的控制方法，该控制方法的执行主体可以是上述的处理器，该方法包括：s401至s404。

s401：获取脑电波检测装置采集的用户身体动作对应的脑电波信息。

其中，脑电波检测装置采集用户的脑电波信息的实施方式可以参考上述的描述，在此不再赘述。

用户在执行不同的动作、思考不同的内容或者在身体的不同部位在动作的时候，大脑所释放的生物电信号是不同的，因此所采集的脑电波信号也是不同的。作为一种实施方式，大脑的不同活动所对应的脑电波信号不同，且可以预先获取脑电波信号与大脑活动的对应关系。其中，该大脑活动包括大脑冥想、大脑控制身体执行动作以及情绪等，因此，通过该对应关系能够确定脑电波检测装置所采集的脑电波信息是否对应用户手部动作。

其中，脑电波信息对应用户身体动作，可以是指大脑正在控制用户身体动作，还可以是，大脑冥想的时候所想的内容与用户身体动作相关的单词、词汇或短语等内容。例如，以脑电波信息对应用户手部动作为例，用户正在鼓掌的时候，所检测的用户的脑电波信息与用户手部动作相关，在用户冥想“我双手鼓掌”的时候，脑电波信息也与用户手部动作相关。

因此，脑电波检测装置采集的用户身体动作对应的脑电波信息，可以是用户身体正在动作的时候采集的脑电波信息，也可以是用户冥想身体动作相关的内容的时候所采集的脑电波信息。

s402：获取手势检测装置采集的手势信息。

其中，手势检测装置可以根据上述手势识别方法进行手势识别，以得到手势信息。其中，手势信息包括手势动作的描述信息和手势身份的信息。其中，手势动作的描述信息可以是用于描述手部的各个部位的动作的信息。例如，该手势动作的描述信息可以是“手部旋转之后握紧拳头”，当然也可以是预先为手部的不同动作设定一个标识，每个标识对应一个手部的动作，例如，id1对应手掌张开的情况下，手部由左向右平移，id2对应食指的连续敲击，手部动作的描述信息可以是多个标识构成的手部动作组合。

s403：根据所述脑电波信息和所述手势信息确定操作手势。

脑电波信息能够反映用户当前作动作的身体部位以及所作的动作，因此，在采集到脑电波信息的时候，根据预设的脑电波信息和身体各个部位标识的对应关系，能够确定当前所采集的脑电波信息是否对应用户的手部动作，从而能够确定当前采集的脑电波信息对应的身体部位标识和身体动作信息。

作为一种实施方式，根据所述脑电波信息和所述手势信息确定操作手势的实施方式可以是，确定脑电波信息对应的身体部位标识，并根据脑电波信息对应的身体部位标识和手势信息确定操作手势。由此，可以确定手势采集装置所采集的手势信息是否对应脑电波信息对应的用户，以避免其他用户的手势的干扰，具体地，请参阅后续实施例。

作为另一种实施方式，脑电波信息能够反映用户的手部动作，即通过分析脑电波信息能够确定脑电波信息对应的手势，手势采集装置能够通过上述手势识别方法采集到用户的手势，则两种不同的方式采集的手势都能够反映用户的手部动作，而将这两种手势结合能够得到更精确的手势识别结果，并根据该结果确定操作手势。由此，可以提高手势识别的准确度，具体的实施方式，可以参考后续的实施例。

s404：根据所述操作手势对在虚拟空间虚拟空间中显示的所述虚拟内容控制。

其中，虚拟空间是指完全或部分人工环境，其可以是三维的；虚拟场景是指从虚拟空间内的特定视点观看的虚拟空间的表示。与虚拟空间相对的真实空间，则是指指真实环境，其可以是三维的；而真实场景是指从真实空间内的特定视点观看的真实空间的表示。其中，虚拟场景可以为ar场景、vr场景、或者mr场景等，以上虚拟空间即指的是ar场景、vr场景、或者mr场景中的虚拟空间。

在本申请实施例中，电子设备的处理器根据操作手势，对ar场景或者vr场景中的虚拟内容进行相应的控制，可以包括：对显示的虚拟内容进行移动、旋转、内容选取、内容添加、内容交互以及缩放比例调整中的至少一种。当然，对ar场景或者vr场景中的虚拟内容的控制并不局限于以上控制，例如在游戏场景中，可以控制该电子设备所对应的游戏对象，与其他游戏对象产生交互(例如打斗等)。

在一些实施方式中，可以区分对虚拟内容在二维平面下的控制以及对虚拟内容在三维空间中的控制。其中，对虚拟内容在二维平面下的控制，指对虚拟内容进行同一个平面上的控制，且该平面可以是平行于所述用户双眼之间构成的直线的平面。对虚拟内容在三维空间下的控制，指对虚拟内容在其显示的三维虚拟空间中的控制，也即，可对虚拟内容进行360度全方位的控制。

在该实施方式中，电子设备可以获取检测到的操作手势的手势参数。手势参数可以至少包括手势所对应的手指数量。当然，手势参数也还可以包括其他参数，例如手势形状、手势的持续时间等。电子设备可以根据获取到的手势参数中的手指数量，区分对虚拟内容在二维平面下的控制以及对虚拟内容在三维空间中的控制。

在一些实施方式中，当电子设备获取到的手势参数中手指数量为单个时，则可以对虚拟内容进行二维平面下的控制；当电子设备获取到的手势参数中手指数量为多个时，则可以对虚拟内容进行三维空间中的控制。

电子设备对虚拟内容进行二维平面下的控制，可以是对ar场景或vr场景中显示的虚拟内容进行二维平面下的选取、滚动、移动、页面选取等。例如，在商品选择场景中，虚拟内容为商品对应的商品选项，通过上述二维平面下的选取则可以对商品选项进行选取；又例如，在棋类游戏场景中，虚拟内容为显示的棋盘和棋子时，其中，棋盘可以与二维平面对应，通过上述二维平面下的滚动可以实现棋子于棋盘上水平或者垂直方向的移动；再例如，在2d游戏场景中，可以在二维平面内控制游戏人物移动；还例如，在商品选择的场景中，可以显示多级页面的商品选项，其中，每级页面中包括多个商品选项，通过上述对虚拟内容进行二维平面下的页面选取，可以实现多级页面中其中一个页面的显示。

其中，对虚拟内容进行二维平面下的不同控制，可以通过单指进行的不同手势来进行控制。例如，单指可以指向不同的方向，上、下、左、右等方向均可以对应不同的控制。

当然，对于虚拟内容在二维平面中的控制，并不限于上述的内容，在二维平面中对虚拟内容的控制也还可以是其他控制。

电子设备对虚拟内容进行三维空间中的控制，可以是对虚拟内容进行三维空间中的旋转、缩放比例调整、位置调整、立体切分等。例如，在模型展示的场景中，可以通过对模型进行三维空间中的旋转，以使模型的朝向等发生改变，便于用户可以查看各个角度的模型；又例如，在模型展示的场景中，可以通过对模型进行缩放比例的调整，使模型的比例增大，便于查看模型，也可以使模型的比例减小，以便操作模型；再例如，3d游戏场景中，虚拟内容为游戏人物时，通过上述对虚拟内容在三维空间中的移动，可以实现游戏人物在三维空间中任意方向上的移动，以实现3d游戏场景；还例如，在模型操作的场景中，可以在三维空间中对模型进行切分，以便满足用户对模型的切分需求。

其中，对虚拟内容进行三维空间中的不同控制，可以通过多指进行的不同手势来进行。例如，可以通过多指比出不同形状的手势，以对虚拟内容进行三维空间中的不同控制。

当然，对于虚拟内容在三维空间中的控制，并不限于上述的内容，在三维空间中对虚拟内容的控制也还可以是其他控制。

请参阅图5，图5示出了本申请实施例提供的一种虚拟内容的控制方法，该控制方法的执行主体可以是上述的处理器，该方法包括：s510至s560。

s510：获取脑电波检测装置采集的用户身体动作对应的脑电波信息。

s520：获取手势检测装置采集的手势信息。

为了便于描述本申请实施例，将所述手势检测装置采集的手势信息命名为第一手势。

s530：根据所述脑电波信息确定第二手势。

用户的身体不同的部位动作的时候或者在思考不同的内容的时候，大脑发出的脑电波信息是不同给的，例如，用户伸出一根手指和两根手指的时候，用户的大脑所发出的脑电波信息是不同的。因此，可以通过预先采集的用户在不同的动作下的脑电波信息，得到脑电波信息与身体动作的对应关系，该对应关系内包括多个脑电波信息和每个脑电波信息对应的动作描述信息，该动作描述信息可以包括动作部位的标识和动作信息。其中，动作部位的标识可以是动作部位的名称，例如，左手、右手、左手指、右手指、膝盖、左脚等，动作信息可以是动作的具体描述，例如，v字型手势、左手画圈儿、抬脚等。因此，通过该对应关系能够确定脑电波采集装置所采集的脑电波信息对应的第二手势。

作为另一种实施方式，该对应关系内还包括脑电波信息对应的不同的冥想内容。具体地，用户在冥想不同的内容的时候，大脑所发出的脑电波也是不同的，例如，冥想“左手画圈”与冥想“右手上下摆动”的时候，即使手部没有动作，大脑所发出的脑电波信息也是不同的。

因此，上述对应关系内包括脑电波信息对应的动作描述信息和冥想信息，该冥想信息包括冥想内容。则在脑电波采集装置采集到脑电波信息的时候，根据该对应关系，确定脑电波信息对应的动作描述信息和冥想信息。如果所确定的动作描述信息对应的手部动作，则获取该手部动作对应的手部动作描述信息。例如，将该手部动作描述信息作为第二手势。如果确定当前所采集的脑电波信息对应有冥想信息，提取该冥想信息中与手部动作相关的内容。

根据该手部动作描述信息和冥想信息中与手部动作相关的内容确定第二手势。作为一种实施方式，判断该手部动作描述信息和冥想信息中与手部动作相关的内容是否匹配。其中，如果该手部动作描述信息和冥想信息中与手部动作相关的内容语义相同或者所描述的动作相同，例如，该手部动作描述信息为左手画圈，冥想信息中与手部动作相关的内容也是左手画圈，则表示该手部动作描述信息和冥想信息中与手部动作相关的内容匹配。

如果该手部动作描述信息和冥想信息中与手部动作相关的内容匹配，则可以将手部动作描述信息作为第二手势，也可以将冥想信息中与手部动作相关的内容作为第二手势。

作为一种实施方式，如果该手部动作描述信息和冥想信息中与手部动作相关的内容不匹配，则可以将手部动作描述信息作为第二手势。也就是说，在用户冥想时所产生的脑电波信息对应的手势，与用户手部动作时脑电波信息对应的手势不同的时候，可以将用户手部动作时脑电波信息对应的手势作为第二手势。这是因为，用户冥想时的内容，可能并不是用户真正想通过手部做的动作。例如，用户胡思乱想或者思绪乱飞的时候，冥想的内容可能无规则或者天马星空，而用户的手部正在执行的动作，更贴合用户真实想做的动作，因此，将用户手部动作时脑电波信息对应的手势作为第二手势能够更加贴合用户的实际需求。

作为另一种实施方式，如果该手部动作描述信息和冥想信息中与手部动作相关的内容不匹配，则可以将冥想信息中与手部动作相关的内容作为第二手势。也就是说，在用户冥想时所产生的脑电波信息对应的手势，与用户手部动作时脑电波信息对应的手势不同的时候，可以冥想信息中与手部动作相关的内容作为第二手势。这是因为，在用户想做手部动作的时候，虽然冥想了某个动作，但是，手部可能并没有执行该动作，或者，还没来得及执行该动作。例如，用户右手摆v字型手势，但是，右手可能基于用户的习惯还在打响指，则此时如果将手部动作作为第二手势，会导致手势识别不准确。因此，将冥想信息中与手部动作相关的内容作为第二手势能够更加准确。

具体地，在该手部动作描述信息和冥想信息中与手部动作相关的内容不匹配的时候，具体采用手部动作相关的内容作为第二手势还是采用用户手部动作时脑电波信息对应的手势作为第二手势，还可以根据用户的注意力而确定。考虑到用户的注意力比较集中的时候，用户的眼睛往往会目不转睛的盯着虚拟内容，而虚拟内容的显示位置往往在用户眼睛的前方。则可以通过瞳孔追踪装置，获取瞳孔信息，该瞳孔信息包括瞳孔在眼睛内的位置和瞳孔大小等。通过该瞳孔信息能够确定用户的瞳孔是否在一定时间内持续盯着某个目标，如果是，则确定用户处于注意力集中状态，则如果该手部动作描述信息和冥想信息中与手部动作相关的内容不匹配，将冥想信息中与手部动作相关的内容作为第二手势，否则，将用户手部动作时脑电波信息对应的手势作为第二手势。

s540：将所述第一手势和所述第二手势匹配，得到匹配结果。

在获取到脑电波信息对应的第二手势之后，将第一手势和第二手势匹配，作为一种实施方式，将所述第一手势和所述第二手势匹配的实施方式可以是，判断第一手势对应的手部动作和第二手势对应的手部动作是否一致，如果一致，则确定所述匹配结果为匹配成功，如果不一致，则确定所述匹配结果为匹配失败。

作为另一种实施方式是，将所述第一手势和所述第二手势匹配的实施方式可以是，获取所述第一手势和第二手势的相似度，若所述相似度大于指定数值，则确定所述匹配结果为匹配成功；若所述相似度小于或等于指定数值，则确定所述匹配结果为匹配失败。在一些实施例中，第一手势包括第一手部移动轨迹，例如，该第一手势为左手的中指画圆，则左手的中指一系列的伸长和缩回的动作以及手腕的抖动或者移动等动作形成的轨迹，作为第一手部移动轨迹，则第一手部移动轨迹可以是由多个动作按照一定顺序构成的组合。

同理，第二手势也对应有第二手部移动轨迹，而获取第一手势和第二手势的相似度的实施方式可以是，获取第一手部移动轨迹和第二手势的相似度。在一些实施例中，一一比对第一手势移动轨迹对应的多个动作以及第二手势移动轨迹对应的多个动作，将相同的动作记为第一结果，将不同的动作记为第二结果，根据第一结果和第二结果得到相似度。

作为一种实施方式，可以获取第一结果的数量，记为第一数量，以及获取第二结果的数量，记为第二数量，将所有动作的数量记为总数量，该总数量等于第一数量与第二数量之和。将第一数量和总数量的比值记为相似度。

其中，指定数值可以是根据实际需求而设定的，例如，该指定数值可以是0.8至0.95之间的数值，作为一种实施方式，该指定数值可以是0.9。因为，如果第一手势和第二手势之间有90％的动作是相似的，就可以确定第一手势和第二手势匹配，即匹配结果是匹配成功，否则，匹配结果就是匹配不成功。

s550：根据所述匹配结果确定所述操作手势。

如果匹配结果为匹配成功，则根据所述第二手势或与所述第二手势匹配的所述第一手势确定所述操作手势。作为一种实施方式，可以将与所述第二手势匹配的第一手势作为操作手势，或者，还可以将第二手势作为操作手势。作为一种实施方式，在第一手势的数量为一个的时候，如果第一手势和第二手势匹配结果为匹配成功，则可以将第一手势作为操作手势，也可以将第二手势作为操作手势。作为另一种实施方式，在第一手势为多个的时候，还可以根据与所述第二手势匹配的所述第一手势和第二手势确定操作手势。如图6所示，s550包括s551至s553。

s551：由多个所述第一手势中查找与所述第二手势匹配成功的第一手势，作为待选手势。

如图7所示，第一用户701和第二用户702位于同一个ar场景内，第一用户701和第二用户702均佩戴有头戴显示设备703。在该ar场景内，第一用户701和第二用户702能够通过各自佩戴的头戴显示设备703同时看到虚拟内容704，并且第一用户701和第二用户702所看到的虚拟内容704的视角不同。在该头戴显示设备703的手势采集装置(图中未示出)的采集范围内能够同时采集到第一手部705的第一手势、第二手部706的第一手势和第三手部707的第一手势。则在ar场景下，第一用户701佩戴的头戴显示设备703能够采集到多个第一手势。

将采集到的每个第一手势均与第二手势匹配，查找到匹配成功的第一手势，命名为待选手势。

s552：由所述待选手势中确定第三手势。

具体地，由待选手势中选择脑电波信息对应的手势作为第三手势。如图7所示，第一用户701的佩戴的头戴显示设备703采集的多个第一手势中存在与佩戴在第一用户701头部的脑电波采集装置采集的脑电波信息匹配的第一手势，则需要确定该第一手势是否是第一用户的手部动作的手势。

头戴显示设备上设置有脑电波检测装置和摄像头，且头戴显示设备通过该摄像头采集第二手势。则摄像头能够采集到多个手部的图像，并且根据每个手部的图像得到每个手部对应的第一手势，将每个第一手势均与第二手势匹配，由于几个不同的第一手势之间可能一些高度相似的手势，或者由于匹配算法的准确度不高，可能检测到多个与第二手势匹配的第一手势，将匹配成功的多个第一手势命名为待选手势。

作为一种实施方式，可以根据每个第一手势对应的手部特征信息，从所述待选手势中选择一个手势作为第三手势。在一些实施例中，该手部特征信息可以是手部的轮廓、尺寸、颜色深浅等信息，并没不同用户的手部所对应的手部特征信息不同，该手部特征信息能够作为手部的身份信息。用户在使用头戴显示设备的时候，需要使用用户账号登录该头戴显示设备，且头戴显示设备预先获取用户账号对应的手部特征信息，该手部特征信息可以作为用户的用户账号，作为一种实施方式，用户使用头戴显示设备的摄像头扫描手部，摄像头采集到手部对应的手部特征信息，如果是头戴显示设备的授权登录的手部特征信息，则完成头戴显示设备的登录。则正在使用该头戴显示设备的用户的手部特征信息，作为参考手部特征信息。

头戴显示设备获取待选手势中每个手势对应的手部特征信息，查找与参考手部特征信息相同的手部特征信息，从而就能够找到属于用户的手部的第一手势，则将与参考手部特征信息相同的手部特征信息对应的第一手指，作为第三手势。

作为另一种实施方式，还可以根据待选手势中每个第一手势对应的手部与头戴显示设备之间的距离而确定第三手势。具体地，通过摄像头采集的每个手部的图像，能够确定每个手部的图像在摄像头采集的图像内的位置以及每个手部对应的第一手势。如图8所示，第一手势801和第二手势802在相机坐标系内的坐标点的位置不同。该相机坐标系的z轴与摄像头的光轴方向匹配，具体地，摄像头的光轴方向为该相机坐标系的z轴方向，x轴和y轴构成的xoy平面与z轴垂直，该坐标系内的o为用户的位置，即头戴显示设备的位置。则可以确定运动目标在相机坐标系内的坐标。例如，根据摄像头采集的图像的像素坐标系与相机坐标系的映射关系，能够确定图像内每个像素点在相机坐标系内的坐标，该坐标包括运动目标的景深信息。例如，两个手部的坐标在相机坐标系的z轴上的投影就是该运动目标的景深信息。由此，就能够得到每个第一手势对应的手部在相机坐标系内的景深信息，如图8中，第一手势801的景深更小，即第一手势与用户的位置更近。需要说明的是，图8中的两个手势可以是指一个手部在两个不同位置时，在相机坐标系内的位置，而并非两个不同的手部。

作为一种是实施方式，可以选择景深信息最小的手部对应的第一手势作为第三手势。作为另一种实施方式，可以预先采集用户在佩戴头戴显示设备的时候，用户的手部在摄像头的视野范围内的景深变化区域，然后将位于该景深变化区域内的第一手势作为第三手势。

作为又一种实施方式，可以确定待选手势中的每个第一手势对应的手部在真实世界内的位置，以及确定每个用户在真实世界内的位置，根据该每个第一手势对应的手部的位置和用户的位置确定操作手势。具体地，可以获取头戴显示装置与当前场景内的标定物的刚体关系，以及摄像头的内外参数，其中，该刚体关系可以是头戴显示装置与当前场景内的标定物之间的物理距离和角度等。通过该刚体关系和摄像头的内外参数，确定摄像头采集的图像的像素坐标与头戴显示装置所在的真实场景下的世界坐标系之间的映射关系，例如，可以通过张正友标定法来确定。

然后，摄像头采集的每个手部的像素坐标，根据该上述的图像的像素坐标与头戴显示装置所在的真实场景下的世界坐标系之间的映射关系能够得到每个手部在真实世界内的位置。根据每个第一手势对应的手部的位置和用户的位置确定每个第一手势对应的手部与用户的距离，将距离最小的手部作为用户的手部，即将距离最小的手部对应的第一手势作为第三手势。

s553：将第三手势作为所述操作手势。

所确定的第三手势为用户手部输入的手势，从而能够避免在出现多个相似度比较高且均与第二手势匹配的第一手势的时候，选择到了其他用户的手势作为操作手势。

s560：根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

需要说明的时候，还可以根据在执行匹配操作之前，由多个第一手势中查找用户手部输入的第一手势，再进行匹配，其中，如果第一手势是用户手部输入的，则该第一手势与该用户手部对应。作为一种实施方式，该将所述第一手势和所述第二手势匹配，得到匹配结果的实施方式可以是，由所述多个第一手势中查找所述用户手部输入的第一手势；将所查找的第一手势与所述第二手势匹配，得到匹配结果。

其中，由所述多个第一手势中查找所述用户手部输入的第一手势可以参考前述实施例，例如，查找与脑电波信息对应的用户的手部特征信息匹配的第一手势，作为所述用户手部输入的第一手势。还可以是，选择景深信息最小的手部对应的第一手势作为用户手部输入的第一手势，或者将位于该景深变化区域内的第一手势作为用户手部输入的第一手势，还可以是，将距离最小的手部对应的第一手势作为用户手部输入的第一手势，具体地，可以参考前述描述，在此不再赘述。

请参阅图9，图9示出了本申请实施例提供的一种虚拟内容的控制方法，该控制方法的执行主体可以是上述的处理器，该方法包括：s901至s905。

s901：获取脑电波检测装置采集的用户身体动作对应的脑电波信息。

s902：获取手势检测装置采集的手势信息。

s903：判断所述脑电波信息是否对应用户的手部动作。

具体地，脑电波信息能够反映当前用户的身体部位的动作是不是手部动作，如果不是手部动作，而手势采集装置能够采集到手势信息，则表明该手势信息并非是当前用户的手势信息，而有可能是其他用户的手部动作的干扰信息。其中，确定脑电波信息是否对应用户的手部动作的实施方式，可以使用前述的脑电波信息与身体动作的对应关系，从而能够确定当前所采集的脑电波信息是不是对应用户的手部动作。

s904：根据所述手势信息确定所述操作手势。

作为一种实施方式，根据所述手势信息确定所述操作手势的实施方式可以是将手势信息作为所述操作手势。如果脑电波信息对应用户的手部动作，可以将手势信息作为所述操作手势。从而，通过脑电波信息能够确定当前用户的手部是否有在做动作，如果用户手部在动作，并且手势采集装置也采集到了手势信息，则可以认为手势采集装置所采集的手势信息是用户手部动作输入的手势信息。从而，能够避免其他用户的手势被手势采集装置采集，而用户的手部并没有动作。

作为一种实施方式，根据所述手势信息确定所述操作手势的实施方式可以是根据所述脑电波信息确定第二手势；将所述第一手势和所述第二手势匹配，得到匹配结果；根据所述匹配结果确定所述操作手势，则具体的实施方式，可以参考前述实施例。

s905：根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

请参阅图10，其示出了本申请实施例提供的一种图像显示装置1000的结构框图。该装置可以包括：第一获取单元1001、第二获取单元1002、确定单元1003和显示单元1004。

第一获取单元1001，用于获取脑电波检测装置采集的用户身体动作对应的脑电波信息。

第二获取单元1002，用于获取手势检测装置采集的手势信息。

确定单元1003，用于根据所述脑电波信息和所述手势信息确定操作手势。

控制单元1004，用于根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参阅图11，其示出了本申请实施例提供的一种图像显示装置1100的结构框图。该装置可以包括：第一获取单元1101、第二获取单元1102、确定单元1103和显示单元1104。

第一获取单元1101，用于获取脑电波检测装置采集的用户身体动作对应的脑电波信息。

第二获取单元1102，用于获取手势检测装置采集的手势信息。

第二获取单元1102包括处理子单元1121、匹配子单元1122和手势子单元1123。

处理子单元1121，用于根据所述脑电波信息确定第二手势。

匹配子单元1122，用于将所述第一手势和所述第二手势匹配，得到匹配结果。

匹配子单元1122还用于获取所述第一手势和第二手势的相似度；若所述相似度大于指定数值，则确定所述匹配结果为匹配成功；若所述相似度小于或等于指定数值，则确定所述匹配结果为匹配失败。

匹配子单元1122还用于由所述多个第一手势中查找所述用户手部对应的第一手势；将所查找的第一手势与所述第二手势匹配，得到匹配结果。

手势子单元1123，用于根据所述匹配结果确定所述操作手势。

进一步地，手势子单元1123还用于若所述匹配结果为匹配成功，则根据所述第一手势或第二手势确定所述操作手势。

进一步地，手势子单元1123还用于由多个所述第一手势中查找与所述第二手势匹配成功的第一手势，作为待选手势；由所述待选手势中确定第三手势；将第三手势作为所述操作手势。

确定单元1103，用于根据所述脑电波信息和所述手势信息确定操作手势。

控制单元1104，用于根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

请参阅图12，其示出了本申请实施例提供的一种图像显示装置1200的结构框图。该装置可以包括：第一获取单元1210、第二获取单元1220、确定单元1230和显示单元1240。

第一获取单元1210，用于获取脑电波检测装置采集的用户身体动作对应的脑电波信息。

第二获取单元1220，用于获取手势检测装置采集的手势信息。

第二获取单元1220包括判断子单元1221和手势子单元1222。

判断子单元1221用于判断所述脑电波信息是否对应用户的手部动作。

手势子单元1222用于若脑电波信息对应用户的手部动作，则根据所述手势信息确定所述操作手势。

进一步地，手势子单元1222还用于根据所述脑电波信息确定第二手势；将所述第一手势和所述第二手势匹配，得到匹配结果；根据所述匹配结果确定所述操作手势。

确定单元1230，用于根据所述脑电波信息和所述手势信息确定操作手势。

控制单元1240，用于根据所述操作手势对在虚拟空间中显示的所述虚拟内容控制。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图13，其示出了本申请实施例提供的一种电子设备的结构框图。本申请中的电子设备1300可以包括一个或多个如下部件：处理器1310、存储器1320、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1320中并被配置为由一个或多个处理器1310执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器1310可以包括一个或者多个处理核。处理器1310利用各种接口和线路连接整个电子设备1300内的各个部分，通过运行或执行存储在存储器1320内的指令、程序、代码集或指令集，以及调用存储在存储器1320内的数据，执行电子设备1300的各种功能和处理数据。可选地，处理器1310可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1310中，单独通过一块通信芯片进行实现。

存储器1320可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。存储器1320可用于存储指令、程序、代码、代码集或指令集。存储器1320可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1300在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

需要说明的是，作为一种实施方式，该电子设备1300可以是上述图2和图3的头戴显示设备，则该头戴显示设备内包括处理器1310，该处理器1310用于执行上述方法。作为另一种实施方式，该电子设备1300不为上述图2和图3的头戴显示设备，并且与该头戴显示设备连接，通过获取头戴显示设备的数据，例如，所采集的图像等，还可以控制该头戴显示设备执行特定操作，例如，控制头戴显示设备将显示图像或者图像对应的显示内容。

请参考图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1400中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1400可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质1400包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质1400具有执行上述方法中的任何方法步骤的程序代码1410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1410可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。