一种用于扩展现实的人机交互方法及处理终端与流程

本发明涉及人机交互技术领域，具体是一种用于扩展现实的人机交互方法及处理终端。

背景技术：

在目前xr(中文称为扩展现实，包括ar、vr、mr)领域，特别是ar和vr已经应用到现实生活中的各行各业中，而在这些扩展现实应用过程中，常用的人机交互操控方法都是通过光标或操控焦点移动到目标后，进行点击、拖动和缩放等操作，完成对交互控件的各种控制操作，从而完成人机交互过程。在这样的人机交互操控方式中，用户操控方式是将光标或操控焦点移到目标控件，然后执行相应动作完成目标操作，需要用户主动移动到目标控件，不仅操控交互控件麻烦不方便，而且通常要求用户身边需要有一定的物理活动空间，才能够让用户进行各种交互操作。而在扩展现实中使用到的眼球追踪技术，虽然对活动空间没有要求，但由于人眼视觉轨迹较为跳跃，目光分散，所以在精准度方面还是不如键盘鼠标输入，目前仍然将这技术作为辅助操控手段。因此，需要一种新的可用于扩展现实的人机交互方法，无需专门的活动空间也可以实现人机交互的各种操作。

技术实现要素：

针对现有技术的不足，本发明的目的之一提供一种用于扩展现实的人机交互方法，其能够解决人机交互中方便操作以及无需活动空间的问题；

本发明的目的之二提供一种处理终端，其能够解决扩展现实中输入字符的问题。

实现本发明的目的之一的技术方案为：一种用于扩展现实的人机交互方法，包括以下步骤：

步骤1、识别人机交互界面的所有交互控件；

步骤2、将至少一个或一个以上的交互控件与对应的操控信号进行绑定，建立交互控件与操控信号的一对一或一对多的映射关系，通过操控信号对交互控件进行操作。

进一步地，通过第一预定义规则将所述交互控件与对应的操控信号进行绑定。

进一步地，所述第一预定义规则为按交互控件在人机交互界面中的位置顺序对各个交互控件进行绑定。

进一步地，所述第一预定义规则为根据用户对交互控件的使用频率对各个交互控件进行绑定。

进一步地，还包括，当接收到切换绑定信号时，解除当前操控信号与交互控件的绑定，并自动将人机交互界面的其余交互控件与操控信号进行重新绑定。

进一步地，所述操控信号通过便携式穿戴设备或手势识别装置或语音识别装置或手柄或信号控制器输入。

进一步地，所述步骤1之前还包括以下步骤：通过眼球追踪装置或脑电波识别装置识别当前用户的眼球或脑电波在人机交互界面的关注范围，判断所述人机界面的关注范围内是否有交互控件，若有，则执行步骤2，否则，执行步骤1。

进一步地，所述通过眼球追踪装置或脑电波识别装置识别当前用户的眼球或脑电波在人机交互界面的关注范围的步骤具体由以下步骤实现：通过眼球追踪装置或脑电波识别装置识别当前用户的眼球或脑电波在人机交互界面上的焦点，在所述人机交互界面上设置一关注范围，所述关注范围为以所述焦点为基准点，根据第二预定义规则扩展形成的虚拟区域。

进一步地，所述操控信号通过外部的触发装置进行输入。

实现本发明的目的之二的技术方案为：一种处理终端，其包括，

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述用于扩展现实的人机交互方法的步骤。

本发明的有益效果为：本发明相比于现有扩展现实中的人机交互方法，直接将当前的人机交互界面的交互控件自动绑定到操控信号，用户不需要专门移动到目标控件再进行操作，而是由系统自动将操控信号绑定到对应的触发开关，通过触发开关控制相应的操控信号，用户直接点击相应触发开关发出指定的操控信号，来对相应控件执行相应动作完成目标操作。这使得可以在任何位置发出操控信号，例如贴在衣服上，或放在口袋里，或贴在手指尖，不需要动作很大的手势或移动就可以完成扩展现实应用的操作，从而无需占用很大的物理空间，不干扰或影响到其他人，非常方便。

附图说明

图1为本发明的操控信号与交互控件的绑定示意图；

具体实施方式

下面，结合附图及具体实施方式，对本发明做进一步描述：

如图1所示，一种用于扩展现实的人机交互方法，包括获取人机交互界面的交互控件，人机交互界面通常为浏览器网页、软件或app的操作界面，通过第一预定义规则将每一个交互控件与对应的操控信号进行绑定，一个交互控件可以与一个对应的操控信号或多个对应的操控信号进行绑定，第一预定义规则包括按位置顺序，或根据用户的使用习惯，或根据用户对交互控件的使用频率对各个交互控件进行绑定。

建立了交互控件与操控信号的一对一或一对多的映射关系，操控信号可以通过便携式穿戴设备或手势识别装置或语音识别装置或手柄或信号控制器发出，通过操控信号对交互控件进行操作，从而完成人机交互。其具体过程如下：

首先，识别出人机交互界面上的所有交互控件，无论是识别出浏览器网页、软件还是app上的交互控件，通常都可以借助于自动化测试工具进行自动测试而识别出交互控件，这一方法属于现有技术，这里并不做具体描述。对于一些特殊无法直接识别出的交互控件，还可以事先通过与开发商的技术开发人员进行约定，对控件进行特殊标识来识别出交互控件，例如通过定义控件的属性值或开发商提供可操作控件的接口清单，从而识别出交互控件，综上，交互控件是可以识别出来的。

识别出交互控件后，将交互控件分别绑定对应的操控信号，操控信号可以是通过便携式穿戴设备所产生和控制，便携式穿戴设备可以是智能手套，或可携带于手臂或腿部等身体部位上的控制器，例如智能手环、智能手表、智能戒指等，或可携带例如放入口袋的控制器，当然也可以是以上多种设备的组合。以智能手套绑定社交软件上的交互控件为例，智能手套可以使用如济南超感智能科技有限公司的miiglove智能手套，实现人机交互。智能手套上的五个手指组件的指尖上均设有包括压力传感器在内的各种传感器，以识别出用户的手部各类操作，比如将第一交互控件与智能手套的拇指绑定，用于实现发送按键的功能，从而一旦智能手套识别出拇指有操作动作，则通过第一交互控件实现社交软件上的发送功能，比如将用户输入的聊天信息发送出去。同样的将第二交互控件与智能手套的食指绑定，实现包括文字、表情等信息的输入，第三交互控件与智能手套的中指绑定，实现社交软件的开启和关闭，第四交互控件与智能手套的无名指绑定，实现社交软件用户头像的开启和关闭，显示或关闭用户头像信息，第五交互控件与智能手套的小指绑定，实现社交软件中聊天窗口的开启和关闭，从而实现与某个具体好友的聊天。通过智能手套绑定五个交互控件即可实现社交软件的主要功能，完成社交聊天需求。当然，由于交互界面上的交互控件数量比较多，超过智能手套所能绑定的载体，比如一个智能手套只有五个手指组件作为绑定的载体，能绑定五个交互控件。碰到这类情况，可以采用将主要常用的交互进行绑定即可，这样的绑定操作是符合一些扩展现实的应用场景中，例如一些游戏场景下，通常用到的交互控件数量是有限的，完全是能够满足应用需求；当然也可以进一步增加能够绑定的载体来解决这一问题，比如，可以将剩下的交互控件绑定到另一个智能手套的手指组件上，或者通过定义两个以上手指组件共同触发相应交互控件；当然如果人机交互界面的交互控件数量相比于可绑定的载体确实多很多，可以定义其中一个操控信号为重新绑定信号，通过重新绑定信号将与交互控件绑定的当前操控信号解绑，并同时将解绑的操控信号与其余交互控件按第一预定义规则进行重新绑定，例如使用滑动选择信号作为重新绑定信号预先将人机交互界面的所有交互控件分成若干组，当接收到滑动选择信号，则自动解绑当前交互控件，并将操控信号绑定到下一组交互控件，或通过滑动选择信号选择到哪一组交互控件，则将选中的交互控件与对应的操控信号进行绑定，综上，这样可以实现将交互界面上所有的交互控件进行绑定，可以确保同时或分时操控所有交互界面上的交互控件。

上述是将各个交互控件绑定到智能手套上，智能手套上设置有压力传感器，通过压力传感器感知到用户的各种操作而实现对交互控件进行操作。也可以采用弯曲传感器代替压力传感器，通过手指组件弯曲来操作交互控件，也可以采用例如拉伸等各种传感器，利用相应的动作来触发操控信号，实现对交互控件进行操作。

绑定的交互控件包括拖动操作控件，例如预定义一个操控信号a绑定拖动操作，当保持触发操控信号a时，同时定义另四个操控信号c、d、e和f分别用于向上、下、左、右方向的移动，当长按下操控信号a的触发按键时，同时输入四个操控信号c、d、e和f中的一个操控信号，即可实现分别向上、下、左、右方向移动一个单位距离，也即这里的拖动操作控件与两个操控信号进行绑定，其中一个操控信号为操控信号a，另一个操控信号可以为操控信号c、d、e和f中的任一个，如果长时间(比如2s)输入四个操控信号c、d、e和f中的一个操控信号，则可以实现向上、下、左、右方向移动一定距离。类似的，还可以绑定三维空间的滚动操作交互控件，例如将三维空间的滚动操作交互控件绑定操控信号w，并定义三个操控信号x、y和z分别用于绑定三维空间的滚动操作交互控件中的x轴、y轴、z轴旋转，这样当长按下信号w的触发按键时，同时点击x、y、z可以分别沿x轴、y轴、z轴旋转一个单位角度，如果长按(比如2s)x、y、z可以分别沿x轴、y轴、z轴旋转一定角度。

以上是通过智能手套来绑定各个交互控件，也可以通过眼球追踪装置来实现对各个交互控件的绑定。通过眼球追踪装置，可以识别出眼球在人机交互界面的关注范围，从而自动将眼球在人机交互界面的关注范围内的交互控件与操控信号进行绑定。通常用户眼球在人机交互界面的关注范围代表用户下一步想要操作的交互控件，这是因为通常用户在进行一个具体的操作之前，其用户视线会先移动到该交互控件区域或附近区域，也即是眼球的关注范围包含了用户下一步想要操作的交互控件，从而可以通过将眼球在人机交互界面的关注范围内的交互控件进行绑定，实现自动将用户需要进行的下一步操作的交互控件进行绑定。具体过程如下，首先是识别出用户当前对人机交互界面的关注界面范围，也即是根据眼球在人机交互界面的关注范围，该关注范围即是眼球追踪装置在人机交互界面上的识别范围，该识别范围可以为以通过眼球在人机交互界面上的焦点作为基准点，并根据第二预定义规则扩展形成对应的虚拟区域，例如第二预定义规则可以将所述焦点作为圆心扩展形成的圆形，或作为多边形的几何中心扩展形成的包括方形、菱形、三角形在内的规则几何形状区域，或作为基准点扩展形成的不规则形状区域，例如凸字形、米字形等等，并预先设置好上述扩展得到形状的长宽或直径参数，例如预先设置圆形的直径为10个长度单位(例如以cm为长度单位)，设置规则几何形状区域的长宽分别为12x10，不规则形状的最大直径和最小直径分别为14x12等；然后对关注范围内的人机交互界面的交互控件自动绑定到相应的操控信号，若当前的关注范围内没有交互控件，则可以根据第一预定义规则将人机交互界面上的控件与操控信号绑定，比如根据交互控件在人机交互界面的位置顺序进行绑定，也可以按照交互控件距焦点的距离来进行绑定，即距离焦点最近的优先绑定到操控信号。当用户的眼球移动到人机交互界面的另一个区域并产生对应的一个关注范围，则重新识别出当前关注范围的交互控件并进行绑定。这里的操控信号可以是通过便携式穿戴设备或智能手套或手势识别装置或语音识别装置或手柄或信号控制器等产生的操控信号直接对交互控件进行绑定和操作，当然操控信号在显示界面的图标或标志所在位置与交互控件的位置并不要求重叠，例如交互控件在人机交互界面的左侧区域，而操控信号(例如是智能手套根据眼球停留所产生对应的操控信号)在人机交互界面的右侧区域，操控信号的标志与交互控件通过同一根线连接或相同颜色来表示绑定关系，便于用户直观地知道操控信号与交互控件的绑定关系，依然可以通过操控信号控制交互控件；还可以是外部的触发装置产生的操控信号，外部的触发装置可以是任意的触发开关，比如贴在衣服上的任意多个触点，人的手指或任何物体点击相应触点来触发相应的操控信号，而实现人机交互。从而可以使得几乎不需要占用物理活动空间，不会干扰和影响到其他人，非常的方便。

在对人机交互界面的交互控件进行绑定时，可以按位置顺序对各个交互控件进行绑定，比如将人机交互界面的左侧的交互控件绑定到左手的智能手套，人机交互界面的右侧的交互控件绑定到右手的智能手套，或者将人机交互界面的上侧的交互控件绑定到左手的智能手套，下侧的交互控件绑定到右手的智能手套，或者按交互控件在人机交互界面中的从左至右的位置顺序依次对各个交互控件进行绑定，或者按交互控件在人机交互界面中的从上至下的位置顺序依次对各个交互控件进行绑定，这样有利于用户形成习惯性记忆，也便于进行绑定，从而便于用户进行对交互控件的操作。

根据用户的使用习惯对各个交互控件进行绑定，包括根据用户的操作习惯，例如经常使用右手做手势进行各种操作，则可以根据右手的手势对各个交互控件进行绑定；还可以根据用户对交互控件的使用频率，即用户在某一段时期对某个交互控件的使用次数对各个交互控件进行绑定。

当人机交互界面有多个浏览器网页、软件或app的操作界面时，或同一个人机交互界面有多个交互控件时，自动将用户所操作的当前界面的交互控件进行绑定，并解除与先前操作界面上交互控件的绑定，对当前人机交互界面的交互控件进行重新绑定。比如当前有两个操作界面，一个社交软件的人机交互界面，一个网页浏览器的人机交互界面，当用户从网页浏览器切换到社交软件的界面时，社交软件作为当前界面，当接收到切换人机交互界面信号时，则将操控信号由与网页浏览器的交互控件绑定，切换为与社交软件的交互控件进行绑定，或者将操控信号由与网页浏览器的当前交互控件绑定，切换为与网页浏览器的其他的交互控件绑定，便于用户切换程序或切换人机交互界面后的各种操作。

当用户不需要操作当前界面的交互控件而需要操作当前界面的其他交互控件时，当接收到切换绑定信号，则对操控信号解绑当前绑定的交互控件，并根据第一预定义规则绑定剩余的其他交互控件。切换绑定信号可以通过两个拇指同时单击动作来产生或根据其他的用户动作来产生，当用户有两个拇指同时单击动作，则可以接收到切换绑定信号。用户自定义的规则可以根据用户的操作习惯进行绑定，例如用户常用右手手势操作，则将其他交互控件与用户的右手手势操作产生的操控信号进行绑定，又比如用户的操作习惯经常采用拖动或滚动进行相应的操作，则将其他交互控件与拖动操控信号或滚动操控信号进行绑定，方便快捷，提高用户的体验。

相比于现有扩展现实中的人机交互方法，本发明直接将当前的人机交互界面的交互控件自动绑定到操控信号，用户不需要专门移动到目标控件再进行操作，而是由系统自动将操控信号绑定到对应的触发开关，通过触发开关控制相应的操控信号，用户直接点击相应触发开关发出指定的操控信号，来对相应控件执行相应动作完成目标操作。这使得可以在任何位置发出操控信号，例如贴在衣服上，或放在口袋里，或贴在手指尖，不需要动作很大的手势或移动就可以完成扩展现实应用的操作，从而无需占用很大的物理空间，不干扰或影响到其他人，非常方便。

本发明还涉及一种实现以上方法的实体装置的处理终端，其包括，

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述用于扩展现实的人机交互方法中的步骤。

本说明书所公开的实施例只是对本发明单方面特征的一个例证，本发明的保护范围不限于此实施例，其他任何功能等效的实施例均落入本发明的保护范围内。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。