头戴显示设备控制系统及交互方法与流程

1.本技术涉及ar/vr技术领域，尤其涉及一种头戴显示设备控制系统及交互方法。


背景技术：

2.目前，市面上出现很多ar/vr产品，该类产品可以通过摄像头实时拍摄检测等手段来实现全息影像的传输，然而，由于头戴设备上的摄像头位于使用者头部位置，拍摄人体整体的图像角度不够好，另外地，由于摄像头拍摄图像时需要环境光线，在光线过强或者过弱的情况下摄像头采集到的数据不佳，导致采集到的人体信息准确性较低，进而导致全息影像的呈现效果不佳。


技术实现要素：

3.本技术的主要目的在于提供一种头戴显示设备控制系统及交互方法，旨在解决现有技术中的由于采集到的人体信息准确性较低，导致全息影像的呈现效果不佳的技术问题。
4.为实现上述目的，本技术提供一种头戴显示设备控制系统，所述控制系统包括头戴显示设备和肢体信息采集模组，所述肢体信息采集模组与所述头戴显示设备无线通信连接，所述头戴显示设备包括主机控制模块，其中：所述摄像头，用于采集用户体形信息和环境光线信息；所述头部动作传感器，用于检测目标用户的头部移动信息；所述肢体信息采集模组，用于采集所述目标用户的不同肢体部位的肢体移动信息，并将所述肢体移动信息发送至所述主机控制模块；所述主机控制模块，用于接收所述肢体信息采集模组发送的肢体移动信息，并基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，建立所述目标用户的全息影像，以将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，并接收所述对端设备发送的全息影像进行显示。
5.本技术还提供一种头戴显示设备交互方法，所述交互方法包括：通过摄像头采集用户体形信息和环境光线信息，并通过头部动作传感器检测目标用户的头部移动信息；通过肢体信息采集模组采集目标用户的不同肢体部位的肢体移动信息，并将所述肢体移动信息发送至主机控制模块；通过所述主机控制模块接收所述肢体信息采集模组发送的肢体移动信息，并基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，建立所述目标用户的全息影像，以将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，以及接收所述对端设备发送的全息影像进行显示。
6.本技术还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储交互控制程序，所述交互控制程序被处理器执行实现如上述的交互方
法的步骤。
7.本技术提供了一种头戴显示设备控制系统及交互方法，所述控制系统包括头戴显示设备和肢体信息采集模组，所述肢体信息采集模组与所述头戴显示设备无线通信连接，所述头戴显示设备包括摄像头、头部动作传感器和主机控制模块，其中：所述摄像头，用于采集用户体形信息以及环境光线信息；所述头部动作传感器，用于检测目标用户的头部移动信息；所述肢体信息采集模组，用于采集所述目标用户的不同肢体部位的肢体移动信息，并将所述肢体移动信息发送至所述主机控制模块；所述主机控制模块，用于接收所述肢体信息采集模组发送的肢体移动信息，并基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，建立所述目标用户的全息影像，以将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，并接收所述对端设备发送的全息影像进行显示，实现了通过肢体信息采集模组准确采集目标用户的不同肢体部位的肢体移动信息，对使用环境光要求比较低，在强光和弱光的条件下，人体动作捕捉不会失真，从而基于肢体移动信息构建得到准确的全息影像，进而将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，从而提高全息影像的立体展示效果，提高用户的使用体验。
附图说明
8.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
9.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
10.图1为本技术控制系统的结构示意图；图2为本技术中手腕信息采集模块或脚腕信息采集模块的结构示意图；图3为本技术中腰部信息采集模块的结构示意图；图4为本技术中头戴显示设备的结构示意图；图5为本技术交互方法第一实施例的流程示意图；图6为本技术交互方法第二实施例的流程示意图。
11.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
12.应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
13.本技术实施例提供一种头戴显示设备控制系统，参照图1，图1为本技术控制系统的结构示意图，其中，所述控制系统包括头戴显示设备01和肢体信息采集模组，所述肢体信息采集模组与所述头戴显示设备无线通信连接，其中，所述头戴显示设备包括ar、vr以及mr等设备，所述肢体信息采集模组包括手腕信息采集模块02、03、脚腕信息采集模块05、06以及腰部信息采集模块03中的一种或多种。
14.其中，参照图2，图2为本技术中手腕信息采集模块或脚腕信息采集模块的结构示意图，所述手腕信息采集模块包括无线通信单元、供电单元、控制单元、动作位置传感器、肌
电采集分析单元和震动马达单元，所述手腕信息采集模块佩戴在目标用户的手腕处，所述脚腕信息采集模块包括无线通信单元、供电单元、控制单元、动作位置传感器、肌电采集分析单元和震动马达单元，所述脚腕信息采集模块佩戴在目标用户的脚腕处，进一步地，参照图3，图3为本技术中腰部信息采集模块的结构示意图，所述腰部信息采集模块包括无线通信单元、供电单元、控制单元、动作位置传感器和震动马达单元，所述腰部信息采集模块佩戴在所述目标用户的腰部，需要说明的是，所述供电单元，用于为设备进行供电，所述动作传感器，用于采集所述目标用户对应肢体部位的移动轨迹和移动高度，所述肌电采集分析模块，用于采集手部和/或脚部的肌电信号，并基于所述肌电信号分析得到目标用户的手势信息和/或脚部动作信息，例如，采集到的皮肤生物电的变化，进而准确判断手指、脚趾、手掌、脚掌的活动状态，所述无线通信单元，用于将移动轨迹、移动高度、手势信息和/或脚部动作信息等肢体移动信息传输至头戴显示设备中主机控制模块，例如wifi、蓝牙等无线通信传输，所述控制模块，用于接收头戴显示设备下达的命令，例如，马达震动命令，另外地，所述震动马达单元，用于在交互时进行震动，增加交互体验，例如握手、拥抱、规避障碍物等，其中，需要说明的是，在本技术头戴显示设备控制系统中也可以增加额外的信息采集模块进行采集数据，例如，额外增加信息采集模块佩戴在目标用户的小臂和/或小腿上，从而得到更详细的肢体动作信息，更准确地反馈出人体信息。
15.另外地，参照图4，图4为本技术中头戴显示设备的结构示意图，所述头戴显示设备包括供电单元、主机控制模块、头部动作传感器、音频模块、光机成像模块、摄像头和震动马达单元，其中，所述音频模块划分为音频采集模块、音频发送模块、音频接收模块以及音频播放模块，需要说明的是，所述对端设备包括ar、vr和mr等头戴设备，还可包括家居类显示设备、终端设备等，例如，智能电视、手机以及平板等设备，所述对端设备和所述头戴显示设备之间建立通信连接。
16.其中，所述供电单元，用于为设备进行供电，所述头部动作传感器，用于采集所述目标用户头部的移动轨迹和移动高度，所述震动马达单元，用于在交互时进行震动，增加交互体验，例如握手、拥抱、规避障碍物等，所述动作传感器，用于采集目标用户的头部移动信息，所述摄像头，用于采集用户体形信息以及环境光线信息，例如，获取周围环境光线变化，获取用户的衣着颜色，皮肤颜色等色彩信息，所述主机控制模块，接收所述手腕信息采集模块、脚腕信息采集模块以及腰部信息采集模块发送的肢体移动信息，并基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，建立所述目标用户的全息影像，以将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，另外需要说明的是，本实施例中控制系统不局限于头戴显示设备，也可应用于智能电视、手机以及平板等设备。
17.为了更清楚地介绍控制系统的工作原理，通过以下步骤a1~a4、步骤b1~b4和步骤c1~c2的方式进行详细说明。
18.步骤a1，所述摄像头，用于采集用户体形信息和环境光线信息，并；步骤a2，所述头部动作传感器，用于检测目标用户的头部移动信息；在本实施例中，需要说明的是，所述头戴显示设备在开机工作后，头戴显示设备自动与肢体信息采集模组中的各个模块进行配对，配对成功后证明可进行正常通信活动，进而通过头戴显示设备中的摄像头会实时拍摄检测，以采集目标用户的衣着色彩、皮肤颜色
等用户外形信息以及采集环境光强度等环境光线信息，另外地，通过头戴显示设备中的头部动作传感器实时检测目标用户的头部移动信息。
19.步骤a3，所述肢体信息采集模组，用于采集所述目标用户的不同肢体部位的肢体移动信息，并将所述肢体移动信息发送至所述主机控制模块；在本实施例中，需要说明的是，所述肢体信息采集模组至少包括手腕信息采集模块、脚腕信息采集模块以及腰部信息采集模块中的一种或多种，其中，信息采集模块的数量不作具体限制，优选地，手腕信息采集模块的数量为2，分别佩戴在目标用户的手腕处，脚腕信息采集模块的数量为2，分别佩戴在目标用户的脚腕处，以及腰部信息采集模块的数量为1，佩戴在目标用户的腰部，另外地，在本技术实施例控制系统中也可以增加额外的信息采集模块进行采集数据。
20.具体地，通过手腕信息采集模块、脚腕信息采集模块以及腰部信息采集模块中的动作传感器，分别采集所述目标用户对应肢体部位的移动轨迹和移动高度，另外地，通过手腕信息采集模块和脚腕信息采集模块中的肌电采集分析单元，采集手部和/或脚部的肌电信号，并基于所述肌电信号分析得到目标用户的手势信息和/或脚部动作信息，通过肌电采集分析单元采集到的皮肤生物电的变化，可以准确捕捉手指部位的细小动作变化和脚部的细小移动轨迹，从而使得采集到的肢体移动信息更加精准，进一步地，通过无线通信单元将所述肢体移动信息发送至所述头戴显示设备的主机控制模块中。
21.步骤a4，所述主机控制模块，用于接收所述肢体信息采集模组发送的肢体移动信息，并基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，建立所述目标用户的全息影像，以将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，并接收所述对端设备发送的全息影像进行显示。
22.在本实施例中，具体地，通过所述主机控制模块接收所述肢体信息采集模组中各个模块发送的肢体移动信息，进一步地，基于所述头部移动信息、所述不同肢体部位的肢体移动信息、所述用户体形信息和所述环境光线信息，准确构建出所述目标用户的全息影像，进一步地，在与对端设备建立食品通话连接后，将所述全息影像进行编码，并将编码后的全息影像发送至对端设备中，以供对端设备对所述全息影像进行解码，从而使得用户观看到解码后的全息影像，其中，所述对端设备包括ar、vr以及mr等头戴设备，还可包括家居类显示设备和终端设备等，例如，智能电视、手机以及平板等设备，所述对端设备和所述头戴显示设备之间建立通信连接，例如，对端设备和头戴显示设备建立视频通话连接。另外地，所述头戴显示设备的主机控制模块还接收所述对端设备发送的全息影像，进而通过光机成像模块将接收到的全息影像投影到所述目标用户的视网膜上，从而实现了图像的立体展示，提高增强现实的效果，可以跨越时空进行图像的交互。
23.另外地，所述头戴显示设备还包括音频采集模块、音频发送模块、音频接收模块以及音频播放模块，其中：步骤b1，所述音频采集模块，用于采集所述目标用户的音频信息；步骤b2，所述音频发送模块，用于将所述目标用户的音频信息发送至所述对端设备进行播放；步骤b3，所述音频接收模块，用于接收所述对端设备发送的音频信息；步骤b4，所述音频播放模块，用于播放所述对端设备的音频信息。
24.在本实施例中，具体地，通过头戴显示设备中的音频采集模块用于采集所述目标用户的音频信息，进而通过所述音频发送模块将所述音频信息进行编码，并将编码后的频信息发送至所述对端设备进行播放，以及通过所述音频接收模块接收所述对端设备发送的音频信息，并通过所述音频播放模块播放所述对端设备的音频信息，实现了跨越时空进行语音、图像的交互，从而可将控制系统应用于实时通话、跨地域会议、跨地域网课培训等领域。
25.另外地，所述头戴显示设备还包括摄像头，所述手腕信息采集模块、所述脚腕信息采集模块以及所述腰部信息采集模块均包括马达震动单元，其中：步骤c1，所述摄像头和/或所述肢体信息采集模组，还用于基于接收到的全息影像的成像比例以及预设成像距离，检测所述目标用户与接收到的全息影像是否存在肢体接触；步骤c2，所述主机控制模块，用于当检测存在肢体接触时，下发震动命令至所述马达震动单元，以控制所述马达震动单元进行震动。
26.在本实施例中，具体地，在接收到对端设备发送的全息影像，或者头戴显示设备将全息影像发送至对端设备后，全息影像以实时按照预设的成像比例呈现在用户面前，在本技术实施例中，预先设置全息影像与用户之间的成像距离，例如，成像距离设置为2m，进而基于接收到的全息影像的成像比例以及预设成像距离，通过肢体信息采集模组检测所述目标用户与接收到的全息影像是否存在肢体接触，和/或通过头戴显示设备的摄像头判断是否存在肢体接触，当检测到存在肢体接触时，通过所述主机控制模块下发震动命令至所述马达震动单元，以控制存在肢体接触对应的信息采集模块中的马达震动单元进行震动，在另一种可实施方式中，通过肌电采集分析单元检测并记录对方握手的速度、力度和幅度等特征信息，从而通过所述马达震动单元的震动力度来反馈出来，完善用户的体验，实现用户之间跨时空的交互。
27.本技术实施例提供一种头戴显示设备交互方法，在本技术交互方法的第一实施例中，参照图5，所述交互方法包括：步骤s10，通过摄像头采集用户体形信息和环境光线信息，并通过头部动作传感器检测目标用户的头部移动信息；在本实施例中，需要说明的是，所述头戴显示设备在开机工作后，头戴显示设备自动与肢体信息采集模组中的各个模块进行配对，配对成功后证明可进行正常通信活动，在另一种可实施方式中，佩戴头戴显示设备的用户可以自主选择初始化需要配对的模块，从而能够满足用户的隐私需求。具体地，配对工作完成之后，用户需要按照预设校准姿态要求进行体态校准，体态校准过程为了准确计算出目标用户的高矮、胖瘦等用户外形信息，其中，所述预设校准姿态可以选择立正、深蹲、双臂展开等设定的姿态，另外地，头戴显示设备中的摄像头会实时拍摄检测，以采集目标用户的衣着色彩、皮肤颜色等用户外形信息以及采集环境光强度等环境光线信息，另外地，通过头戴显示设备中的头部动作传感器实时检测目标用户的头部移动信息。
28.步骤s20，通过肢体信息采集模组采集目标用户的不同肢体部位的肢体移动信息，并将所述肢体移动信息发送至主机控制模块；在本实施例中，需要说明的是，所述肢体移动信息包括移动轨迹、移动高度、手势
信息和脚部动作信息中的一种或多种。具体地，通过所述手腕信息采集模块、所述脚腕信息采集模块和所述腰部信息采集模块中的动作传感器分别采集所述目标用户对应肢体部位的移动轨迹和移动高度，以及通过所述手腕信息采集模块和所述脚腕信息采集模块中的肌电采集分析单元采集肌电信号，并基于所述肌电信号分析得到目标用户的手势信息和/或脚部动作信息，并将采集得到的对应肢体部位的移动轨迹、移动高度、手势信息、脚部动作信息发送至所述头戴显示设备中的主机控制模块中。
29.步骤s30，通过所述主机控制模块接收所述肢体信息采集模组发送的肢体移动信息，并基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，建立所述目标用户的全息影像，以将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，以及接收所述对端设备发送的全息影像进行显示。
30.在本实施例中，具体地，通过所述头戴显示设备中的主机控制模块接收所述肢体信息采集模组发送的肢体移动信息，进而基于所述头部移动信息、所述肢体移动信息、所述用户体形信息和所述环境光线信息，构建所述目标用户的人体信息模型，也即，构建所述目标用户的全息影像，进一步地，在视频通话过程中，通过所述主机控制模块将编码后的全息影像发送至所述对端设备中，所述对端设备和所述头戴显示设备之间建立通信连接，例如，对端设备和头戴显示设备视频通话连接。进一步地，所述对端设备中的主机控制模块对接收到的全息影像进行解码，还原得到所述目标用户的全息影像，通过所述对端设备中的光机成像单元将全息影像投影到用户的视网膜上，使得全息影像以3d立体呈现在对方面前，另外地，所述对端设备也会将对应的全息影像发送至所述头戴显示设备中进行显示，从而实现全息影像的实时交互。
31.其中，在所述将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，以及接收所述对端设备发送的全息影像进行显示的步骤之后，还包括：步骤s40，通过所述头戴显示设备采集所述目标用户的音频信息，并将所述目标用户的音频信息发送至所述对端设备进行播放，以及接收并播放所述对端设备发送的音频信息。
32.在本实施例中，具体地，通过头戴显示设备中的音频采集模块采集所述目标用户的音频信息，进而将所述音频信息进行编码，并通过音频发送模块将编码后的音频信息发送至所述对端设备进行播放，另外地，还通过音频接收模块接收所述对端设备发送的音频信息，并对所述对端设备的音频信息进行解码，进而通过音频播放模块播放解码后的音频信息，从而实现了跨越时空进行语音、图像的交互。
33.本技术实施例通过上述方案，实现了通过肢体信息采集模组准确采集目标用户的不同肢体部位的肢体移动信息，对使用环境光要求比较低，在强光和弱光的条件下，人体动作捕捉不会失真，从而基于肢体移动信息构建得到准确的全息影像，进而将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，从而提高全息影像的立体展示效果，提高用户的使用体验。
34.进一步地，参照图6，在本技术的另一实施例中，在所述将所述全息影像发送并显示在与所述头戴显示设备建立通信连接的对端设备上，以及接收所述对端设备发送的全息影像进行显示的步骤之后，还包括：步骤a10，确定接收到的全息影像的成像比例；
步骤a20，基于所述成像比例和预设成像距离，检测所述目标用户与接收到的全息影像是否存在肢体接触；步骤a30，当检测存在肢体接触时，通过所述主机控制模块下发震动命令至所述肢体信息采集模组中的马达震动单元，以控制所述马达震动单元进行震动。
35.在本实施例中，具体地，在建立全息影像前，基于用户体形信息，可确定全息影像的成像比例，准确判断肢体是否接触和接触程度。进而基于接收到的全息影像的成像比例以及预设成像距离，通过肢体信息采集模组检测所述目标用户与接收到的全息影像是否存在肢体接触，和/或通过头戴显示设备的摄像头判断是否存在肢体接触，当检测存在肢体接触时，通过所述主机控制模块下发震动命令至所述马达震动单元，以控制存在肢体接触对应的信息采集模块中的马达震动单元进行震动，例如，当对方向使用者伸手握手时，使用者伸出手同时往前走，通过摄像头和/或手腕信息采集模块综合判断成像是否已经握手成功，若是，通过所述主机控制模块发送马达震动命令至手腕信息采集模块中的马达震动单元，以控制所述马达震动单元进行震动，在另一种可实施方式中，通过肌电采集分析单元检测并记录对方握手的速度、力度和幅度等特征信息，从而通过所述马达震动单元的震动力度来反馈出来，完善用户的体验，实现用户之间跨时空的交互。
36.本技术实施例通过上述方案，实现了跨时空的交互，并且通过震动马达给予触感反馈，提高用户的使用体验。
37.本技术实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，且所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的交互方法的步骤。
38.本技术计算机可读存储介质具体实施方式与上述交互方法各实施例基本相同，在此不再赘述。
39.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。