人机交互方法及装置与流程

本发明涉及计算机领域，特别是涉及一种人机交互方法及装置。

背景技术：

随着电子技术和计算机技术的不断发展，各种各样的计算机设备为我们的日常工作、交流及沟通提供了多种实现方式，带来了便利。计算机最常用和最重要的设备之一是输入设备，如键盘、鼠标及触摸屏等，计算机需要通过输入设备接收用户的指令并执行相应的操作。

在输入设备中，鼠标是目前使用最多的且用途最广的设备之一。对鼠标的操作中，通过手来移动鼠标实现将鼠标指针指向某一对象，按下并松开鼠标左键一次实现单击操作，快速按下再放开鼠标左键两次实现双击操作以及上下滚动鼠标的滚轮实现界面的上翻和下翻操作。

由于目前的人机交互过程中，鼠标的使用频率非常高，长时间进行鼠标操作的人员极易引发手指腱鞘囊肿和腱鞘炎等疾病，不仅影响工作效率，更损害身心健康。在鼠标的使用过程中，滑动滚轮运动对腱鞘的劳损程度最大。因此，目前通过鼠标实现的人机交互方法容易成手部运动劳损。

技术实现要素：

为了解决上述问题，本发明实施例提供一种人机交互方法及装置。

第一方面，本发明提供一种人机交互方法，包括：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。

第二方面，本发明提供一种人机交互装置，包括：处理模块，用于按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；输出模块，用于获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明第一方面人机交互方法的步骤。

第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面人机交互方法的步骤。

本发明实施例提供的人机交互方法，由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。

附图说明

图1为本发明实施例提供的人机交互方法流程图；

图2为本发明实施例提供的人机交互装置结构图；

图3为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

计算机的应用领域已渗透到社会的各行各业，正在改变着传统的工作、学习和生活方式，推动着社会的发展。计算机需要通过输入设备接收用户的指令，并执行相应的操作。目前，鼠标是使用频率最高的输入设备之一。但是，长期高频率的使用鼠标操作，极易引发手指腱鞘囊肿和腱鞘炎等疾病，不利于身心健康。在鼠标的使用过程中，滑动滚轮运动对腱鞘的劳损程度最大。

为解决这一问题，本发明实施例提供一种人机交互方法。该方法可以用于用户与计算机交互的场景以实现如鼠标提供的相关操作，也可以用于其他场景，如用户与移动终端交互实现对触摸屏幕的滑动操作，本发明实施例对此不做具体限定。结合不同的使用场景，该方法可以由不同的设备执行，本发明实施例对此也不作具体限定。在用户与计算机交互的场景中，可由单独设立的装置执行或由集成到计算机中的一个硬件模块执行，在本发明实施例中的执行主体以单独设立的基于红外眼动仪的交互装置示例。

图1为本发明实施例提供的人机交互方法流程图，如图所示，本发明实施例提供一种人机交互方法，包括：

101，按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标。

在执行101之前，还包括模板库的设置过程。模板库设置了用户视线在屏幕上形成的注视点的运动轨迹对应的预设规则，每一预设规则对应着相应的交互操作指令。若某时段注视点的运动轨迹满足模板库中的一项预设规则，则输出与该预设相对应的交互操作指令。

在101中，用户在与计算机进行交互时会注视计算机屏幕，用户视线在计算机屏幕上会形成一个注视点。通过交互装置获取用户注视屏幕时的注视矢量，注视矢量是用户视线在交互装置中红外眼动仪的相机坐标系下的向量表示。通过交互装置中的红外眼动仪，可以获取注视矢量在相机坐标系下的第一坐标为p(x,y,z)。用户视线在屏幕上的最终体现是一个注视点，需要将注视矢量转化为屏幕坐标系下的注视点的第二坐标p'(x',y',z')，第二坐标中的x轴坐标和y轴坐标反应注视点在屏幕上的位置信息。

由于用户无法每次都注视到同一个点，一个注视点并不适用对应唯一的交互操作指令。另外，用户的视线会随着眼球的移动，在屏幕中会产生运动轨迹，需要实时采集用户视线在屏幕上注视点的信息。因此，采用以一定频率不断重复获取用户的视线信息在屏幕坐标系下的第二坐标，以便根据重复获取的第二坐标的点形成的轨迹来定义相应的输出指令，频率可根据需求预先设置。

102，获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。

在102中，获取101中按照预设频率重复获取的第二坐标的轨迹，该轨迹与用户视线在屏幕坐标系下的注视点轨迹一致。模板库定义了用户视线在屏幕上形成的注视点的运动轨迹满足预设规则时，应输出的对应交互操作指令。实时将第二坐标形成的注视点轨迹，和模板库中的预设规则进行匹配。若第二坐标形成的注视点轨迹满足模板库中的预设规则，则将设置预设规则时对应的交互操作指令输出至计算机。

本实施例提供的人机交互方法，通过按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标，并在第二坐标形成的注视点轨迹满足预设规则时，输出与预设规则相对应的交互操作指令。由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对获取用户视线在相机坐标系下的第一坐标的方法作具体限定，包括但不限于：接收红外光线经瞳孔的反射光线和红外光线经角膜的反射光线；根据红外光线以及红外光线经瞳孔的反射光线，计算相机坐标系下的瞳孔中心坐标，并根据红外光线以及红外光线经角膜的反射光线，计算相机坐标系下的角膜曲率中心坐标；根据瞳孔中心坐标和角膜曲率中心坐标，获取用户视线在相机坐标系下的第一坐标。

交互装置中红外眼动仪能够发射红外光线，由于瞳孔和角膜对光线的折射率不同，交互装置接收到经瞳孔和角膜的反射光线的强度也不同，从而产生了亮度差异。利用计算机图形学方法，可根据发射时的红外光线以及红外光线经瞳孔的反射光线，计算相机坐标系下瞳孔中心坐标。根据眼球与红外眼动仪的几何关系、发射时的红外光线以及红外光线经角膜的反射光线，可计算在相机坐标系下角膜的曲率中心坐标。根据检测到的眼球与屏幕的空间关系、瞳孔中心坐标以及角膜的曲率中心坐标，可计算出相机坐标系下注视矢量的坐标，也即用户视线在相机坐标系下的第一坐标。

本实施例提供的人机交互方法，根据瞳孔中心坐标和角膜曲率中心坐标，获取用户视线在相机坐标系下的第一坐标，能够准确客观的获取视线的第一坐标。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对根据第一坐标获取用户视线在屏幕坐标系下的第二坐标作具体限定，包括但不限于根据相机坐标系到屏幕坐标系的转换矩阵以及相机坐标系原点到屏幕坐标系原点的平移矢量，获取视线在屏幕坐标系下的第二坐标。

相机坐标系oxyz下，用户视线的第一坐标为p(x,y,z)。第一坐标与屏幕坐标系o'x'y'下的第二坐标p'(x',y',z')的变换关系可用过下式描述：

其中r是一个3*3的转换矩阵，记为：

t为相机坐标系原点到屏幕坐标系原点的平移矢量，记为：t＝(tx,ty,tz)^t。

根据第一坐标p(x,y,z)、相机坐标系到屏幕坐标系的转换矩阵r以及相机坐标系原点到屏幕坐标系原点的平移矢量t，可计算得到视线在屏幕坐标系下的第二坐标p'(x',y',z')。

基于上述实施例的内容，作为一种可选实施例，本发明实施例不对预设规则作具体限定，包括但不限于：注视点轨迹在预设时长内x轴方向的坐标变化量满足第一预设阈值，以及注视点轨迹在预设时长内y轴方向的坐标变化量满足第二预设阈值，以上两个条件中的至少任意一种。

具体地，通过用户视线的变化来实现输出操作指令，需对用户视线在屏幕坐标系下的注视点坐标变化轨迹进行定义，以匹配相应的交互操作指令。由于用户需要在屏幕上进行浏览操作，为避免正常浏览操作导致与交互操作指令之间的冲突，在预设规则中定义三个阈值：时长阈值，作为第一预设阈值的x轴方向坐标移动阈值以及作为第二预设阈值的y轴方向移动阈值。将预设时长内x轴方向的坐标变化量满足第一预设阈值，以及预设时长内y轴方向的坐标变化量满足第二预设阈值两个条件中的任一种，作为输出相应操作指令对应的预设规则。

本实施例提供的人机交互方法，通过将预设时长内x轴方向的坐标变化量满足第一预设阈值，以及预设时长内y轴方向的坐标变化量满足第二预设阈值作为预设规则，消除了正常浏览操作带来的干扰。

基于上述实施例的内容，作为一种可选实施例，在交互操作为用户与计算机显示界面的交互操作的场景下，本发明实施例不对输出与预设规则相对应的交互操作指令作具体限定，包括但不限于：输出与预设规则相对应的界面上翻操作指令，或输出与预设规则相对应的界面下翻操作指令。

具体地，上翻操作对应着界面内容的向上移动，与鼠标向前滚轮操作一致；下翻操作对应着界面内容的向下移动，与鼠标向后滚轮操作一致。可将模板中的预设规则设置为，在预设时长阈值内，时长结束的注视点的x坐标减去时长开始的注视点的x坐标得到时长结束的注视点坐标的y坐标减去时长开始的注视点的y坐标得到若的绝对值小于预设阈值且的绝对值大于预设阈值，则对应上下翻操作，并根据值的正或负分别对应界面上翻操作或界面下翻操作。其中，x轴为屏幕坐标系下的水平坐标轴，y轴为屏幕坐标系下的竖直坐标轴。若用户视线在屏幕坐标系下形成的轨迹满上述的上翻操作或下翻操作的预设规则，则输出相应的指令至计算机，实现代替鼠标滚轮操作的人机交互方式。

本实施例提供的人机交互方法，在用户与计算机显示界面的交互操作场景下，输出与预设规则相对应的界面上翻操作指令，或输出与预设规则相对应的界面下翻操作指令。通过视线在屏幕坐标系下形成的轨迹与预设规则的匹配，实现了对上翻操作和下翻操作的定义，从而能够代替鼠标的滚轮操作。

图2为本发明实施例提供的人机交互装置结构图，如图2所示，该人机交互装置包括：处理模块201和输出模块202。其中，处理模块201用于按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标；输出模块202用于获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。

用户在与计算机进行交互时会注视屏幕，用户视线在计算机屏幕上会形成一个注视点。处理模块201获取用户注视屏幕时的注视矢量，注视矢量是用户视线在交互装置中红外眼动仪的相机坐标系下的向量表示。通过处理模块201获取注视矢量在相机坐标系下的第一坐标为p(x,y,z)。用户视线在屏幕上的最终体现是一个注视点，需要将注视矢量转化为屏幕坐标系下的第二坐标p'(x',y',z')，第二坐标中的x轴坐标和y轴坐标反应注视点在屏幕上的位置。由于用户无法每次都注视到同一个点，一个注视点并不适用对应唯一的操作指令。另外，用户的视线会随着眼球的移动，在屏幕中会产生运动轨迹，需要实时采集用户视线在屏幕上注视点的信息。因此，处理模块201以一定频率不断重复获取用户的视线信息在屏幕坐标系下的第二坐标，以便根据重复获取的第二坐标的点形成的轨迹来定义相应的输出指令，频率可根据需求预先设置。

输出模块202获取按照预设频率重复获取的第二坐标的轨迹，该轨迹与用户视线在屏幕坐标系下的注视点轨迹一致。模板库定义了用户视线在屏幕上形成的注视点的运动轨迹满足预设规则时，应输出的对应交互操作指令。输出模块202实时将第二坐标形成的注视点轨迹，和模板库中的预设规则进行匹配。若第二坐标形成的注视点轨迹满足模板库中的预设规则，输出模块202则将设置预设规则时对应的交互操作指令输出至计算机。

本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。

本发明实施例提供的人机交互装置，由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。

图3为本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communicationsinterface)302、存储器(memory)303和总线304，其中，处理器301，通信接口302，存储器303通过总线304完成相互间的通信。通信接口302可以用于电子设备的信息传输。处理器301可以调用存储器303中的逻辑指令，以执行包括如下的方法：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标；获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。

此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的人机交互方法，例如包括：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标；获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。