一种操控终端的方法和装置的制造方法
【专利摘要】一种操控终端的方法和装置，涉及AR/VR领域。其中的方法包括：获取第一指令数据和第二指令数据；根据第一指令数据和第二指令数据向智能终端发送相应的指令，其中，第一指令数据由第一可穿戴设备发出，第二指令数据由第二可穿戴设备发出。智能终端能够根据接收的指令实现相应的功能，因此，本发明利用双手组合操控，能够对智能终端实现更加复杂的操作。另外，本发明对硬件的配置要求不高、节约了成本，而且摆脱了利用图像处理技术对扫描范围的束缚。
【专利说明】
一种操控终端的方法和装置
技术领域
[0001 ]本发明涉及AR/VR领域，尤其涉及一种操控终端的方法和装置。【背景技术】[〇〇〇2] AR(Virtual Reality，虚拟现实)/VR(Augmented Reality，增强现实)技术在生活中的应用越来越广泛。VR技术让用户产生视觉上的“沉浸感”，进而影响人体的其他感官也一并认同虚拟事物具有真实存在感。AR技术是把原本在现实世界的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。
[0003]现有技术中，可以通过一个指环对智能设备进行操作，以便智能设备执行相应的动作，从而使用户得到更加真切的体验。但通过一个指环对智能设备进行操作有一定的局限性。而国外微软H0L0LENS采用图像识别技术，用光学设备扫描双手完成双手操控，采用图像识别技术，需要很高配置的硬件支持，同时需要双手处于扫描范围内才能完成操控。
【发明内容】
[0004]本发明的一个目的是提供一种操控终端的方法和装置，通过第一指令数据和第二指令数据，利用双手组合操控，能够对智能终端实现更加复杂的操作。
[0005]根据本发明的一个方面，一种操控终端的方法，包括:
[0006]获取第一指令数据和第二指令数据；
[0007]根据所述第一指令数据和所述第二指令数据向终端发送相应的指令；
[0008]其中，所述第一指令数据由第一可穿戴设备发出，所述第二指令数据由第二可穿戴设备发出。
[0009]优选的，获取第一指令数据和第二指令数据包括:
[0010]获取与第一可穿戴设备的运动轨迹相应的指令数据以及与第二可穿戴设备的运动轨迹相应的指令数据；
[0011]和/或
[0012]获取与第一可穿戴设备的按键开关发送的按键信号相应的指令数据以及与第二可穿戴设备的按键开关发送的按键信号相应的指令数据。
[0013]优选的，所述获取与第一可穿戴设备的运动轨迹相应的指令数据以及与第二可穿戴设备的运动轨迹相应的指令数据包括:
[0014]获取第一可穿戴设备的运动轨迹，并将所述第一可穿戴设备的运动轨迹转换为四元数的第一指令数据；
[0015]获取第二可穿戴设备的运动轨迹，并将所述第二可穿戴设备的运动轨迹转换为四元数的第二指令数据。
[0016]优选的，获取第一指令数据和第二指令数据之后包括:
[0017]判断所述第一指令数据和所述第二指令数据与指令数据库中的指令数据是否相匹配；
[0018]若相匹配，则执行根据所述第一指令数据和所述第二指令数据向终端发送相应的指令的步骤。
[0019]优选的，根据所述第一指令数据和所述第二指令数据向终端发送相应的指令包括:
[0020]判断根据所述第一指令数据向所述终端发送的第一指令与根据所述第二指令数据向所述终端发送的第二指令是否相冲突；[0021 ]若相冲突，则向所述终端发送所述第一指令；
[0022]若不相冲突，则向所述终端发送包括所述第一指令和所述第二指令的组合指令。
[0023]根据本发明的又一方面，一种操控终端的装置，包括:[〇〇24]指令采集模块，用于获取第一指令数据和第二指令数据；[〇〇25]指令控制模块，用于根据所述第一指令数据和所述第二指令数据向终端发送相应的指令；
[0026]其中，所述第一指令数据由第一可穿戴设备发出，所述第二指令数据由第二可穿戴设备发出。[〇〇27]优选的，所述指令采集模块用于获取与第一可穿戴设备的运动轨迹相应的指令数据以及与第二可穿戴设备的运动轨迹相应的指令数据；
[0028]和/或[〇〇29]所述指令采集模块用于获取与第一可穿戴设备的按键开关发送的按键信号相应的指令数据以及与第二可穿戴设备的按键开关发送的按键信号相应的指令数据。
[0030]优选的，所述指令采集模块用于获取第一可穿戴设备的运动轨迹，并将所述第一可穿戴设备的运动轨迹转换为四元数的第一指令数据，以及获取第二可穿戴设备的运动轨迹，并将所述第二可穿戴设备的运动轨迹转换为四元数的第二指令数据。
[0031]优选的，所述指令控制模块还用于判断所述第一指令数据和所述第二指令数据与指令数据库中的指令数据是否相匹配;若相匹配，则根据所述第一指令数据和所述第二指令数据向所述终端发送相应的指令。
[0032]优选的，其中，所述指令控制模块还用于判断根据所述第一指令数据向所述终端发送的第一指令与根据所述第二指令数据向所述终端发送的第二指令是否相冲突，若相冲突，则向所述终端发送所述第一指令;若不相冲突，则向所述终端发送包括所述第一指令和所述第二指令的组合指令。
[0033]与现有技术相比，本发明通过获取第一指令数据和第二指令数据;根据第一指令数据和第二指令数据向终端发送相应的指令。终端能够根据接收的指令实现相应的功能， 因此，本发明能够对智能终端实现更加复杂的操作。【附图说明】
[0034]图1是根据本发明第一实施方式的方法流程图；
[0035]图2是根据本发明第二实施方式的方法流程图；[〇〇36]图3是根据本发明第三实施方式的方法流程图；
[0037]图4是根据本发明第四实施方式的方法流程图；
[0038]图5是根据本发明第五实施方式的装置结构图；
[0039]图6是根据本发明单个可穿戴设备的结构示意图。【具体实施方式】
[0040]为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
[0041]图1是根据本发明第一实施方式的方法流程图。其中，操控终端的方法包括以下步骤:
[0042]在步骤110,获取第一可穿戴设备发出的第一指令数据以及第二可穿戴设备发出的第二指令数据。其中可穿戴设备可以为指环。
[0043]例如，在用户的左右手分别佩戴一个指环，在手运动时，就可以通过指环获得手指或手臂相应的运动轨迹。如可以获取与左手佩戴的第一指环的运动轨迹相应的指令数据， 以及与右手佩戴的第二指环的运动轨迹相应的指令数据。其中，可以将指环的运动轨迹转换为四元数，该转换过程在本实施例中不再进行详细介绍。
[0044]另外，也可以在指环上设置按键开关，通过按键开关发送相应的指令。例如获取与第一指环的按键开关发送的按键信号相应的指令数据以及与第二指环的按键开关发送的按键信号相应的指令数据。
[0045]在步骤120,根据第一指令数据和第二指令数据向终端发送相应的指令。例如，3D 图像投影展示时，利用双手互动可以实现图像的翻转，放大，旋转等操作。
[0046]在该实施例中，通过获取第一指令数据和第二指令数据;根据第一指令数据和第二指令数据向终端发送相应的指令，终端能够根据接收的指令实现相应的功能。因此，本发明利用双手组合操控，能够对智能终端实现更加复杂的操作。
[0047]图2是根据本发明第二实施方式的方法流程图。其中，操控终端的方法包括以下步骤:
[0048]在步骤210,获取第一指环的运动轨迹和第二指环的运动轨迹。其中，第一指环和第二指环可以分别佩戴在用户的左右手上，通过指环的运动轨迹，获知用户想要执行的操作。
[0049]在步骤220,分别将第一指环的运动轨迹和第二指环的运动轨迹转换为四元数的第一指令数据和第二指令数据。
[0050]在步骤230,判断第一指令数据和第二指令数据与指令数据库中的指令数据是否相匹配，若相匹配，则执行步骤240,否则，执行步骤210。
[0051]在步骤240,根据第一指令数据和第二指令数据向终端发送相应的指令，以便终端实现相应的功能。
[0052]在该实施例中，通过采集两个指环的运动轨迹，获知手指或手臂想要执行的操作， 即获取相应的指令数据，若指令数据与指令数据库中的指令数据相匹配，则根据指令数据向终端发送相应的指令，以便终端实现相应的功能。通过各种人体双臂或双指组合动作，能够实现人与虚拟/增强现实图像在场景中的互动。
[0053]图3是根据本发明第三实施方式的方法流程图。其中，操控终端的方法包括以下步骤:[〇〇54]在步骤310,获取与第一按键开关发送的按键信号相应的指令数据以及与第二按键开关发送的按键信号相应的指令数据。其中，第一按键开关可以设置在第一指环上，第二按键开关设置在第二指环上，第一指环和第二指环分别佩戴在用户的左右手，通过按键信号也可获知用户想要的操作。
[0055]在步骤320,判断第一指令数据和第二指令数据与指令数据库中的指令数据是否相匹配，若相匹配，则执行步骤330,否则，执行步骤310。[〇〇56]在步骤330,根据第一指令数据和第二指令数据向终端发送相应的指令，以便终端实现相应的功能。
[0057]在该实施例中，通过获取第一按键开关发送的指令数据和第二按键开关发送的指令数据，若指令数据与指令数据库中的指令数据相匹配，则根据指令数据向终端发送相应的指令，以便终端实现相应的功能。即通过用户的双手发送相应的按键信号，能够对智能终端实现更加复杂的操作，进一步能够实现人与虚拟/增强现实图像在场景中的互动。
[0058]图4是根据本发明第四实施方式的方法流程图。其中，操控终端的方法包括以下步骤:[〇〇59]在步骤410,获取主指环发送的第一指令数据。[〇〇6〇]在步骤411，获取副指环发送的第二指令数据。[〇〇61]其中，第一指令数据可以作为主指令数据，第二指令数据作为副指令数据。例如， 根据用户左右手的使用习惯，分别在左右手佩戴主指环和副指环。例如，对于右撇子来说， 在用户右手佩戴主指环，在用户左手佩戴副指环，主指环发送第一指令数据，副指环发送第二指令数据。
[0062]在一个实施例中，主指环负责基本操控，包括选择，拖动，上下左右前后移动应用， 以及游戏中主要操控和书写等。副指环负责辅助操控，包括辅助图片放大，3D影像旋转，游戏中辅助操控等，辅助模拟各种人体双臂组合动作，以实现人与虚拟/增强现实图像在场景中的互动。
[0063]在步骤420,判断第一指令数据与指令数据库中的指令数据是否相匹配，若相匹配，则执行步骤430，否则，执行步骤410。
[0064]在步骤421，判断第二指令数据与指令数据库中的指令数据是否相匹配，若相匹配，则执行步骤431，否则，执行步骤411。[〇〇65]在步骤430,根据第一指令数据向终端发送第一指令。[〇〇66]在步骤431，根据第二指令数据向终端发送第二指令。[〇〇67]在步骤440，判断第一指令与第二指令是否相冲突，若相冲突，则执行步骤450，否贝丨J，执行步骤460。[〇〇68]在步骤450,终端响应于主指环发送的第一指令。[〇〇69]在步骤460,终端响应于第一指令和第二指令的组合指令。
[0070]主指环与副指环是并列关系，配合完成各种操控，当两个指环的响应或指令有冲突时，应以主指环的响应为主。
[0071]在该实施例中，通过双指环发送的双指令，能够实现对终端更加复杂的操作。针对AR/VR应用场景，例如3D图像投影展示时，利用双手互动可以实现图像的翻转，放大，旋转等操作，在游戏或一些虚拟现实模拟应用中，利用双手互动可以实现复杂操作，例如战斗机中的模拟操纵盘操控。而在以上类似场景中，单手很难完成。并且，本发明对硬件的配置要求不高、节约了成本，而且摆脱了利用图像处理技术对扫描范围的束缚。
[0072]图5是根据本发明第五实施方式的装置结构示意图。其中，操控终端的装置包括指令采集模块510和指令控制模块520。[〇〇73]指令采集模块510用于获取第一可穿戴设备发出的第一指令数据和第二可穿戴设备发出的第二指令数据。其中，可穿戴设备可以为指环。例如，在左右手分别佩戴一个指环， 在手运动时，指令采集模块510就可以通过指环获得手指或手臂相应的运动轨迹。如可以获取与左手佩戴的第一指环的运动轨迹相应的指令数据，以及与右手佩戴的第二指环的运动轨迹相应的指令数据。其中，可以将指环的运动轨迹转换为四元数，该转换过程在本实施例中不再进行详细介绍。另外，也可以在指环上设置按键开关，指令采集模块510通过按键开关发送相应的指令。例如获取与第一按键开关发送的按键信号相应的指令数据以及与第二按键开关发送的按键信号相应的指令数据。[〇〇74]指令控制模块520用于根据第一指令数据和第二指令数据向终端发送相应的指令。例如，3D图像投影展示时，利用双手互动可以实现图像的翻转，放大，旋转等操作。
[0075]在该实施例中，通过获取第一指令数据和第二指令数据;根据第一指令数据和第二指令数据向终端发送相应的指令，终端能够根据接收的指令实现相应的功能。因此，本发明利用双手组合操控，能够对智能终端实现更加复杂的操作。
[0076]在本发明的另一个实施例中，指令采集模块510用于获取第一指环的运动轨迹和第二指环的运动轨迹，分别将第一指环的运动轨迹和第二指环的运动轨迹转换为四元数的第一指令数据和第二指令数据。其中，第一指环和第二指环可以分别佩戴在左右手上，通过指环的运动轨迹，获知手指或手臂想要执行的操作。
[0077]指令控制模块520用于判断第一指令数据和第二指令数据与指令数据库中的指令数据是否相匹配，若相匹配，则根据第一指令数据和第二指令数据向终端发送相应的指令， 以便终端实现相应的功能，否则向指令采集模块510发送再次采集指令数据的操作。
[0078]在该实施例中，通过采集两个指环的运动轨迹，获知手指或手臂想要执行的操作， 即获取相应的指令数据，若指令数据与指令数据库中的指令数据相匹配，则根据指令数据向终端发送相应的指令，以便终端实现相应的功能。通过各种人体双臂或双指组合动作，能够实现人与虚拟/增强现实图像在场景中的互动。
[0079]在本发明的另一个实施例中，指令采集模块510用于获取与第一按键开关发送的按键信号相应的指令数据以及与第二按键开关发送的按键信号相应的指令数据。其中，第一按键开关可以设置在第一指环上，第二按键开关设置在第二指环上，第一指环和第二指环分别佩戴在用户的左右手，通过按键信号也可获知用户想要的操作。
[0080]指令控制模块520用于判断第一指令数据和第二指令数据与指令数据库中的指令数据是否相匹配，若相匹配，则根据第一指令数据和第二指令数据向终端发送相应的指令， 以便终端实现相应的功能，否则向指令采集模块510发送再次采集指令数据的操作。
[0081]在该实施例中，通过获取第一按键开关发送的指令数据和第二按键开关发送的指令数据，若指令数据与指令数据库中的指令数据相匹配，则根据指令数据向终端发送相应的指令，以便终端实现相应的功能。即通过用户的双手发送相应的按键信号，能够对智能终端实现更加复杂的操作，进一步能够实现人与虚拟/增强现实图像在场景中的互动。
[0082]在本发明又一个实施例中，指令采集模块510用于获取主指环发送的第一指令数据，以及副指环发送的第二指令数据。其中，第一指令数据可以作为主指令数据，第二指令数据作为副指令数据。例如，根据用户左右手的使用习惯，分别在左右手佩戴主指环和副指环。例如，对于右撇子来说，在用户右手佩戴主指环，在用户左手佩戴副指环，主指环发送第一指令数据，副指环发送第二指令数据。[〇〇83]指令控制模块520用于若第一指令数据和第二指令数据与指令数据库中的指令数据相匹配，则继续判断根据第一指令数据向终端发送的第一指令与根据第二指令数据向终端发送的第二指令是否相冲突，若相冲突，则向终端发送所述第一指令;若不相冲突，则向终端发送第一指令和第二指令和组合指令。
[0084]在该实施例中，通过双指环发送的双指令，能够实现对终端更加复杂的操作。针对 AR/VR应用场景，例如3D图像投影展示时，利用双手互动可以实现图像的翻转，放大，旋转等操作，在游戏或一些虚拟现实模拟应用中，利用双手互动可以实现复杂操作，例如战斗机中的模拟操纵盘操控。而在以上类似场景中，单手很难完成。并且，本发明对硬件的配置要求不高、节约了成本，而且摆脱了利用图像处理技术对扫描范围的束缚。
[0085]图6是根据本发明单个可穿戴设备的结构示意图。其中，可穿戴设备可以为指环， 以下面以指环为例进行介绍。
[0086]本发明采用两个指环同时工作，每个指环的结构基本相同。该指环可以包括传感器610、按键开关620和蓝牙芯片630。其中:
[0087]传感器610可以为九轴传感器，用于采集指环的运动轨迹，并将指环的运动轨迹发送至蓝牙芯片630,蓝牙芯片630可以将运动轨迹转换为四元数的指令数据。[〇〇88]按键开关620用于向蓝牙芯片630发送按键信号，蓝牙芯片630将按键信号转换为指令数据。
[0089]由于本发明采用双指环完成相应的操作，因此两个指环的蓝牙芯片630共同实现上述一种操控终端的装置的功能。
[0090]另外，本发明的指环还可以包括存储芯片640,用于预先存储指令数据库中的指令数据。蓝牙芯片630获取存储芯片640存储的指令数据后，可以判断传感器610和按键开关 620发送的指令数据是否相匹配，若相匹配，则可以向终端发送相应的指令。
[0091]在一个实施例中，指环还可以包括电源650,用于向传感器610、按键开关620、蓝牙芯片630和存储芯片640供电，以便支持传感器610、按键开关620、蓝牙芯片630和存储芯片 640的工作。蓝牙芯片630可以通过天线660与终端或另一指环进行通信。
[0092]在上述实施例中，介绍了单个指环的基本结构，本发明通过在用户的左右手分别佩戴指环，能够实现双手组合操控。针对AR/VR应用场景，能够解决单手操控局限问题，在一些场景中，例如3D图像投影展示时，利用双手互动可以实现图像的翻转，放大，旋转等操作， 在游戏或一些虚拟现实模拟应用中，利用双手互动可以实现复杂操作，例如战斗机中的模拟操纵盘操控。并且，本发明功耗与硬件配置不需很高，节约成本的同时操控有更好的表现。
[0093]应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
【主权项】
1.一种操控终端的方法，其特征在于，包括:获取第一指令数据和第二指令数据；根据所述第一指令数据和所述第二指令数据向终端发送相应的指令:其中，所述第一指令数据由第一可穿戴设备发出，所述第二指令数据由第二可穿戴设 备发出。2.根据权利要求1所述的方法，其中，获取第一指令数据和第二指令数据包括:获取与第一可穿戴设备的运动轨迹相应的指令数据以及与第二可穿戴设备的运动轨迹相应的指令数据；和/或获取与第一可穿戴设备的按键开关发送的按键信号相应的指令数据以及与第二可穿 戴设备的按键开关发送的按键信号相应的指令数据。3.根据权利要求2所述的方法，其中，所述获取与第一可穿戴设备的运动轨迹相应的指 令数据以及与第二可穿戴设备的运动轨迹相应的指令数据包括:获取第一可穿戴设备的运动轨迹，并将所述第一可穿戴设备的运动轨迹转换为四元数 的第一指令数据；获取第二可穿戴设备的运动轨迹，并将所述第二可穿戴设备的运动轨迹转换为四元数 的第二指令数据。4.根据权利要求1所述的方法，其特征在于，获取第一指令数据和第二指令数据之后包 括:判断所述第一指令数据和所述第二指令数据与指令数据库中的指令数据是否相匹配；若相匹配，则执行根据所述第一指令数据和所述第二指令数据向终端发送相应的指令 的步骤。5.根据权利要求1-4任一所述的方法，其特征在于，根据所述第一指令数据和所述第二 指令数据向终端发送相应的指令还包括:判断根据所述第一指令数据向所述终端发送的第一指令与根据所述第二指令数据向 所述终端发送的第二指令是否相冲突；若相冲突，则向所述终端发送所述第一指令；若不相冲突，则向所述终端发送包括所述第一指令和所述第二指令的组合指令。6.—种操控终端的装置，其特征在于，包括:指令采集模块，用于获取第一指令数据和第二指令数据；指令控制模块，用于根据所述第一指令数据和所述第二指令数据向终端发送相应的指 令；其中，所述第一指令数据由第一可穿戴设备发出，所述第二指令数据由第二可穿戴设 备发出。7.根据权利要求6所述的装置，其中，所述指令采集模块用于获取与第一可穿戴设备的 运动轨迹相应的指令数据以及与第二可穿戴设备的运动轨迹相应的指令数据；和/或所述指令采集模块用于获取与第一可穿戴设备的按键开关发送的按键信号相应的指 令数据以及与第二可穿戴设备的按键开关发送的按键信号相应的指令数据。8.根据权利要求7所述的装置，其中，所述指令采集模块用于获取第一可穿戴设备的运 动轨迹，并将所述第一可穿戴设备的运动轨迹转换为四元数的第一指令数据，以及获取第 二可穿戴设备的运动轨迹，并将所述第二可穿戴设备的运动轨迹转换为四元数的第二指令 数据。9.根据权利要求6所述的装置，其中，所述指令控制模块还用于判断所述第一指令数据 和所述第二指令数据与指令数据库中的指令数据是否相匹配;若相匹配，则根据所述第一 指令数据和所述第二指令数据向所述终端发送相应的指令。10.根据权利要求6-9任一所述的装置，其中，所述指令控制模块还用于判断根据所述 第一指令数据向所述终端发送的第一指令与根据所述第二指令数据向所述终端发送的第 二指令是否相冲突，若相冲突，则向所述终端发送所述第一指令;若不相冲突，则向所述终 端发送包括所述第一指令和所述第二指令的组合指令。
【文档编号】G06F3/01GK105955488SQ201610354096
【公开日】2016年9月21日
【申请日】2016年5月25日
【发明人】王飞
【申请人】北京行云时空科技有限公司