本发明涉及人机交互领域，具体而言，涉及一种输出信息的方法、装置和系统。
背景技术
目前，机器人已在各行各业中得到了广泛的应用，例如，在餐饮行业，机器人可通过人机交互完成为用户点餐、送餐的动作。在现有技术中，机器人在与人进行交互时，通常采用人脸识别技术来预估眼睛的位置，例如，默认人脸上部三分之一的位置为眼睛所在的位置，最后再将该位置默认为眼睛的实际注视点位置，以此调整机器人的眼球，以使机器人的眼球与人的眼睛对视。
然而，由于人与人之间的个体差异较大，因此，采用人脸识别的方法对人眼位置进行预判并将其默认为眼睛的实际注视点位置会产生较大的误差。例如，经常发生的是人眼并未实际注视机器人，而是人脸落入了机器人进行人脸识别的范围并相应触发了机器人与人的交互，由此产生交互误判。另外，当人与机器人有交互意图，但人与机器人并不实际对视时，机器人无法通过人脸识别的方法来确认人所注视的位置，进而无法完成机器人与人的交互，由此产生交互遗漏。
针对上述交互设备人机交互中，无法精确确定位注视点现有的人脸识别技术无法准确识别人眼注视点位置的问题，目前尚未提出有效的解决方案。
技术实现要素：
本发明实施例提供了一种输出信息的方法、装置和系统，以至少解决交互设备人机交互中，无法精准定位注视点的技术问题。
根据本发明实施例的一个方面，提供了一种输出信息的方法，包括：交互设备获取对象的眼部图像；交互设备根据眼部图像确定对象的注视点位置；交互设备根据注视点位置以及对象的对象信息输出交互信息。
根据本发明实施例的另一方面，还提供了一种输出信息的系统，包括：图像采集设备，用于获取对象的眼部图像；处理器，与图像采集设备连接，用于根据眼部图像确定对象的注视点位置，并根据注视点位置以及对象的对象信息输出交互信息。
根据本发明实施例的另一方面，还提供了一种输出信息的装置，包括：获取模块，用于交互设备获取对象的眼部图像；确定模块，用于交互设备根据眼部图像确定对象的注视点位置；输出模块，用于交互设备根据注视点位置以及对象的对象信息输出交互信息。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行输出信息的方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行输出信息的方法。
在本发明实施例中，采用眼球追踪技术与对象信息相结合的方式，通过获取对象的眼部图像，然后根据眼部图像确定对象的注视点位置，最后根据注视点位置以及对象的对象信息输出交互信息，达到了准确识别对象的注视点位置的目的，从而实现了交互设备与对象准确交互的技术效果，进而解决了交互设备人机交互中，无法精准定位注视点的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种输出信息的方法流程图；
图2是根据本发明实施例的一种可选的输出信息的方法流程图；
图3是根据本发明实施例的一种可选的采集图像的过程示意图；
图4是根据本发明实施例的一种输出信息的系统结构示意图；以及
图5是根据本发明实施例的一种输出信息的装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种输出信息的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的输出信息的方法流程图，如图1所示，该方法包括如下步骤：
步骤s102，交互设备获取对象的眼部图像。
需要说明的是，上述交互设备包括机器人，其中，上述交互设备为能够进行人机交互的任意设备，例如，酒店中的服务类机器人、在家中清洁卫生的机器人等。其中，机器人包括一个或多个图像采集单元，图像采集单元可采集到对象的眼部图像。其中，图像采集单元可以为但不限于相机，并且，在图像采集单元周围具有红外光源，其中，红外光源的数量、亮度以及安装位置可根据实际情况进行设置。另外，在图像采集单元为多个的情况下，多个图像采集单元位于机器人的不同位置上，例如，多个图像采集单元分别位于机器人的头部、腰部以及脚部，以使得对象在注视机器人时，机器人可采集到对象的眼部图像。
步骤s104，交互设备根据眼部图像确定对象的注视点位置。
在一种可选的实施例中，机器人的眼部具有图像采集单元，当对象与机器人对视时，机器人眼部的图像采集单元可获取到对象的眼部图像，同时机器人对该眼部图像进行处理，得到对象的瞳孔中心位置、红外光源所形成的光斑的中心位置、上下眼皮的位置以及虹膜数据等信息，进而对上述信息进行分析得到对象的注视点位置。
在另一种可选的实施例中，机器人具有多个图像采集单元，当对象不与机器人对视时，位于机器人的不同部位上的图像采集单元从多个角度采集多张眼部图像，结合图像采集单元的位置对采集到的多张眼部图像进行分析，来确定对象的瞳孔中心位置、红外光源所形成的光斑的中心位置、上下眼皮的位置以及虹膜数据等信息，进而对上述信息进行分析得到对象的注视点位置。
步骤s106，交互设备根据注视点位置以及对象的对象信息输出交互信息。
需要说明的是，对象的对象信息至少包括如下之一：对象的表情信息、对象的动作信息以及对象的语音信息。
在一种可选的实施例中，当对象注视机器人，并与机器人交谈时，机器人通过采集对象的眼部图像来确定对象的注视点位置，进而根据对象的注视点位置对对象进行注视，使对象感觉获得尊重。当对象与机器人不对视时，机器人在通过采集到的对象的眼部图像确定对象的注视点位置之后，在结合此时对象的表情、语言等输出相应的交互信息，例如，在鞋店中，对象注视机器人的鞋子，并说“你穿的这款鞋子很漂亮啊”。机器人通过眼部图像可确定对象的注视点位置为机器人的下部，并结合对象的语音信息可确定对象的注视点位置为鞋子，此时，机器人输出交互信息“这款鞋子你也可以试一下，我相信也会很好看”。
基于上述步骤s102至步骤s106所限定的方案可以获知，通过获取对象的眼部图像，然后根据眼部图像确定对象的注视点位置，最后根据注视点位置以及对象的对象信息输出交互信息。
容易注意到的是，采用对眼部图像进行分析的方法可以得到准确的对象的注视点位置。另外，在得到注视点位置之后，根据对象的对象信息可使交互设备输出准确的交互信息，进而实现对象与交互设备的交互，提高人机交互的体验。
由上述内容可知，本申请所提供的输出信息的方法可以达到准确识别对象的注视点位置的目的，从而实现了交互设备与对象准确交互的技术效果，进而解决了交互设备人机交互中，无法精准定位注视点的技术问题。
在一种可选的实施例中，如图2所示的一种输出信息的方法流程图，本申请所提供的输出信息的方法主要包括图像采集、图像分析、注视点估计、融合注视点的内容处理以及数据输出五个步骤。其中，图像采集步骤主要是通过位于机器人上的红外光源向对象的眼睛投射光源，然后由机器人中的图像采集单元采集对象的眼睛以及眼睛周围部分的图像，得到对象的眼部图像。其中，图3示出了一种可选的采集图像的过程。
需要说明的是，在得到对象的眼部图像之后，通过相关的算法，例如，算法建模或者深度学习神经网络训练的算法，对眼部图像进行分析，得到对象的眼部特征信息，然后，再根据对象的眼部特征信息来确定对象的注视点位置，即对注视点进行估计，具体步骤如下：
步骤s202，交互设备根据眼部图像分析对象的眼部特征信息；
步骤s204，交互设备根据眼部特征信息确定对象的注视点位置。
需要说明的是，上述眼部特征信息可包括但不限于对象的瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(即普尔钦斑位置)。
具体的，在得到对象的眼部特征信息之后，机器人基于眼部特征信息建立对象的眼球几何空间模型，并根据眼球几何空间模型对眼部图像进行分析，得到对象的注视点位置。
需要说明的是，由于人机交互的过程比较复杂，因此，在机器人识别对象的注视点位置之后，机器人再通过识别对象的表情、动作、语音等信息，对对象的行为进行二次识别，进而使机器人作出准确的反馈，即完成融合注视点的内容处理。另外，在完成融合注视点的内容处理之后，机器人根据注视点位置以及对象的对象信息输出交互信息，具体步骤如下：
步骤s1060，交互设备对注视点位置以及对象的对象信息进行处理，得到处理结果；
步骤s1062，交互设备根据处理结果确定操作指令；
步骤s1064，交互设备将操作指令发送至交互设备的对应部件，其中，操作指令用于控制对应部件输出交互信息。
在一种可选的实施例中，机器人的处理中心可对注视点位置以及对象的对象信息进行处理，确定机器人的每个部件所应作出的反馈，然后再确定机器人所要作出的反馈所对应的操作指令，并将操作指令发送到对应的部件中。例如，机器人的处理中心确定机器人的眼部需要执行眨眼的动作，手部需要执行抬起的动作，此时，机器人的处理中心将生成与眨眼对应的眨眼指令和与抬起对应的转动指令，并将眨眼指令发送到控制眼睛的部件，将转动指令发送至控制手部的部件。
在一种可选的实施例中，本申请所提供的输出信息的方法可应用在餐饮行业，例如，机器人在饭店内接待顾客、为顾客点餐、上餐、为顾客结账以及送顾客出门的场景。具体的，顾客走在街上寻找合适餐馆就餐，当顾客注视到该餐馆店名、店内餐桌和店内过往的行人时，机器人通过图像采集单元或者具有眼动仪功能的眼动模块可确定顾客的注视方向以及注视点位置，其中，如果顾客的注视方向为该餐馆，则机器人将走近该顾客，并发出“欢迎进来品尝”的语音提示。在顾客进入餐馆之后，机器人带领顾客走到空闲的餐桌旁。当餐馆有多个机器人时，如果顾客注视其他的机器人，其他机器人上的眼动模块同样能够识别其他顾客的注视方向，并向顾客发出“欢迎光临”的语音。当顾客选座位时，机器人通过眼动模块预估顾客所注视的座位，并确定顾客注视的时间，或者根据顾客瞳孔变化来分析顾客对不同座位喜好程度，进而向顾客发出推荐座位的语音，并引领顾客到相应的座位上。当顾客选菜时，机器人将身体上的显示屏展示给顾客，以使顾客选菜。其中，当顾客注视显示屏时，机器人可以通过眼动模块来确定顾客注视菜品的时长、次数，并对注视菜品的时长以及次数等信息进行数据分析，进而判断顾客有意向的菜品以及顾客潜在喜好，并通过显示屏向顾客推荐菜品或者直接下单。在给顾客上餐的过程中，机器人通过眼动模块来确定哪个顾客在注视哪个菜，并且注视时间相对长，从而将相应的菜放到对应的顾客旁边。在顾客就餐的过程中，机器人通过眼动模块来检测到顾客是否注视机器人，如果检测到顾客正在注视机器人，则说明顾客有强烈的需求需要该机器人来帮忙，此时，机器人立即回应对视顾客，并微笑向顾客移动。最后顾客用餐完毕，多个顾客同时注视的机器人时，机器人的眼动模块通过分析顾客的就餐时间、餐桌上的食物的剩余量来确定顾客是否要结账。如果确定顾客需要结账，则机器人完成结账工作。当顾客离开餐馆时，顾客如果注视店内的机器人，则机器人的眼动模块可识别到顾客正在注视它，此时，机器人迎着顾客的视线方向与顾客对视以表礼仪，以此可以得到更好的人机交互效果。
实施例2
根据本发明实施例，还提供了一种输出信息的系统实施例，该系统可执行实施例1中的输出信息的方法，其中，图4是根据本发明实施例的输出信息的系统结构示意图，如图4所示，该系统包括：图像采集设备401以及处理器403。
其中，图像采集设备401，用于获取对象的眼部图像；处理器403，与图像采集设备连接，用于根据眼部图像确定对象的注视点位置，并根据注视点位置以及对象的对象信息输出交互信息。
需要说明的是，交互设备包括：机器人；对象的对象信息至少包括如下之一：对象的表情信息、对象的动作信息以及对象的语音信息。
由上可知，通过图像采集设备获取对象的眼部图像，与图像采集设备连接的处理器根据眼部图像确定对象的注视点位置，并根据注视点位置以及对象的对象信息输出交互信息。
容易注意到的是，采用对眼部图像进行分析的方法可以得到准确的对象的注视点位置。另外，在得到注视点位置之后，根据对象的对象信息可使交互设备输出准确的交互信息，进而实现对象与交互设备的交互，提高人机交互的体验。
由上述内容可知，本申请所提供的输出信息的方法可以达到准确识别对象的注视点位置的目的，从而实现了交互设备与对象准确交互的技术效果，进而解决了交互设备人机交互中，无法精准定位注视点的技术问题。
在一种可选的实施例中，处理器还用于根据眼部图像分析对象的眼部特征信息，并根据眼部特征信息确定对象的注视点位置，其中，眼部特征信息可包括但不限于对象的瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(即普尔钦斑位置)。
在一种可选的实施例中，处理器还用于对注视点位置以及对象的对象信息进行处理，得到处理结果，然后根据处理结果确定操作指令，最后将操作指令发送至交互设备的对应部件，其中，操作指令用于控制对应部件输出交互信息。
实施例3
根据本发明实施例，还提供了一种输出信息的装置实施例，其中，图5是根据本发明实施例的输出信息的装置结构示意图，如图5所示，该装置包括：获取模块501、确定模块503以及输出模块505。
其中，获取模块501，用于交互设备获取对象的眼部图像；确定模块503，用于交互设备根据眼部图像确定对象的注视点位置；输出模块505，用于交互设备根据注视点位置以及对象的对象信息输出交互信息。
需要说明的是，上述获取模块501、确定模块503以及输出模块505对应于实施例1中的步骤s102至步骤s106，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
需要说明的是，交互设备包括：机器人；对象的对象信息至少包括如下之一：对象的表情信息、对象的动作信息以及对象的语音信息。
在一种可选的实施例中，确定模块包括：第一确定模块、第二确定模块以及第三确定模块。其中，第一确定模块，用于交互设备根据眼部图像分析对象的眼部特征信息；第三确定模块，用于交互设备根据眼部特征信息确定对象的注视点位置，其中，眼部特征信息可包括但不限于对象的瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置(即普尔钦斑位置)。
需要说明的是，上述第一确定模块、第二确定模块以及第三确定模块对应于实施例1中的步骤s202至步骤s204，两个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，输出模块包括：处理模块、第六确定模块以及控制模块。其中，处理模块，用于交互设备对注视点位置以及对象的对象信息进行处理，得到处理结果；第六确定模块，用于交互设备根据处理结果确定操作指令；控制模块，用于交互设备将操作指令发送至交互设备的对应部件，其中，操作指令用于控制对应部件输出交互信息。
需要说明的是，上述处理模块、第六确定模块以及控制模块对应于实施例1中的步骤s1060至步骤s1064，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
实施例4
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行实施例1中的输出信息的方法。
实施例5
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行实施例1中的输出信息的方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。