一种用于智能机器人的人机交互方法及装置与流程

本发明涉及机器人技术领域，具体地说，涉及一种用于智能机器人的人机交互方法及装置。

背景技术：

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

如何提高智能机器人的智能性和类人性，提高用户的交互体验，成为本领域技术人员亟需解决的重要问题。

技术实现要素：

为解决上述问题，本发明提供了一种用于智能机器人的人机交互方法，其包括：

用户状态信息获取步骤，在黑暗环境下，持续监测目标用户的状态，得到用户状态信息；

用户情绪确定步骤，根据所述用户状态信息确定所述目标用户的用户情绪；

反馈信息生成步骤，当识别用户情绪为负面情绪时，启动夜间安抚模式，基于所述夜间安抚模式生成并输出相应的多模态反馈信息，以对所述目标用户进行安抚。

根据本发明的一个实施例，所述用户状态信息包括语音信息，在所述用户情绪确定步骤中，通过对所述语音信息进行语音识别、语义识别和/或语音情绪检测来确定所述用户情绪。

根据本发明的一个实施例，在所述反馈信息生成步骤中，基于所述夜间安抚模式生成并输出相应的安抚音和/或输出相应的照明光线。

根据本发明的一个实施例，确定所述用户情绪后，基于预设的用户情绪与安抚模式对应关系，生成并输出相应的安抚音和/或照明光线。

根据本发明的一个实施例，在所述用户状态信息获取步骤中，获取周围环境的亮度信息，将所述亮度信息与预设亮度阈值进行比较，如果所述亮度信息的取值小于预设亮度阈值，那么则判定所述目标用户处于黑暗环境下。

本发明还提供了一种用于智能机器人的人机交互装置，其包括：

用户状态信息获取模块，其用于在黑暗环境下，持续监测目标用户的状态，得到用户状态信息；

用户情绪确定模块，其用于根据所述用户状态信息确定所述目标用户的用户情绪；

反馈信息生成模块，其用于当识别用户情绪为负面情绪时，启动夜间安抚模式，基于所述夜间安抚模式生成并输出相应的多模态反馈信息，以对所述目标用户进行安抚。

根据本发明的一个实施例，所述用户状态信息包括语音信息，所述用户情绪确定模块配置为通过对所述语音信息进行语音识别、语义识别和/或语音情绪检测来确定所述用户情绪。

根据本发明的一个实施例，所述反馈信息生成模块配置为基于所述夜间安抚模式生成并输出相应的安抚音和/或输出相应的照明光线。

根据本发明的一个实施例，所述反馈信息生成模块配置为基于预设的用户情绪与安抚模式对应关系，根据所述用户情绪生成并输出相应的安抚音和/或照明光线。

根据本发明的一个实施例，所述用户状态信息获取模块配置为获取周围环境的亮度信息，将所述亮度信息与预设亮度阈值进行比较，如果所述亮度信息的取值小于预设亮度阈值，那么则判定所述目标用户处于黑暗环境下。

本发明所提供的用于智能机器人的人机交互方法通过检测目标用户的用户状态信息来确定用户情绪，并在用户情绪为负面情绪时生成并输出相应的多模态反馈信息来对目标用户进行安抚。在现有情况下，对目标用户的监护以及安抚过程只能由监护人人工地来实现。而本发明所提供的方法不再需要人工地对目标用户进行监护以及安抚，这显然有助于减轻监护人的负担，同时还能够更加及时地对目标用户进行安抚。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的用于智能机器人的人机交互方法的实现流程示意图；

图2是根据本发明另一个实施例的用于智能机器人的人机交互方法的实现流程示意图；

图3是根据本发明一个实施例的用于智能机器人的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在夜晚，幼儿在黑暗的环境中醒来时往往会感到害怕，这时就需要监护人及时地出现并对幼儿进行安抚。而如果幼儿在夜晚频繁醒来的话，显然也就需要对监护人频繁地进行看护，从而提高了监护人的劳累程度。

针对现有技术中所存在的上述问题，本发明提供了一种用于智能机器人的人交互方法，该方法能够在夜晚对目标用户(例如幼儿)进行监护安抚，从而有助于减轻监护人的工作量。

为了更加清楚地说明本发明所提供的用于智能机器人的人机交互方法的实现原理、实现流程以及优点，以下分别结合不同的实施例来对该人机交互方法作进一步地阐述。

实施例一：

图1示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图1所示，本实施例所提供的人机交互方法首先在步骤S101中在黑暗环境下持续检测目标用户(例如幼儿)的状态，从而得到关于目标用户的用户状态信息。需要指出的是，根据实际需要，本实施例中，该方法在步骤S101中所获取到的目标用户的用户状态信息既可以包括用户发出的语音信息，也可以包括用户的肢体/动作信息，还可以包括用户的面部图像信息，抑或是其他能够表征用户当前状态的信息，本发明不限于此。

在得到目标用户的用户状态信息后，该方法会在步骤S102中根据步骤S101中所得到的用户状态信息确定该目标用户的用户情绪。本实施例中，根据步骤S101中所获取到的目标用户的用户状态信息的不同，该方法在步骤S102中可以对应地采用不同的方式来确定该目标用户的用户情绪。

例如，该方法在步骤S102中可以采用面部表情识别的方式来根据用户状态信息中的面部图像信息来确定目标用户的用户情绪，或是采用音频识别的方式来根据用户状态信息中的语音信息来确定目标用户的用户情绪，抑或是采用其他合理方式来确定目标用户的用户情绪。

在得到目标用户的用户情绪后，该方法会在步骤S103中判断用户情绪是否为负面情绪。其中，如果目标用户的用户情绪为负面情绪，那么则表示此时需要对该目标用户进行安抚，这样该方法也就会在步骤S104中启动夜间安抚模式，从而基于夜间安抚模式来生成并输出相应的多模态反馈信息。而如果目标用户的用户情绪为非负面情绪，那么则表示此时并不需要对该目标用户进行安抚，该方法也就不会控制智能机器人进行额外动作。

具体地，本实施例中，上述负面情绪优选地包括恐惧、焦虑以及悲伤等情绪。如果目标用户处于上述负面情绪状态，那么则需要外部影响来对目标用户进行安抚，从而使得该目标用户尽早地脱离上述负面情绪状态。因此本实施例中，该方法会在步骤S104中基于夜间安抚模式生成并输出相应的多模态反馈信息，以帮助目标用户尽早脱离上述方面情绪状态。

实施例二：

图2示出了本实施例所提供的用于智能机器人的人机交互方法的实现流程示意图。

如图2所示，本实施例所提供的人机交互方法在步骤S201中获取周围环境的亮度信息。具体地，本实施例中，该方法在步骤S201中通过智能机器人所配置的相关亮度检测设备(例如光亮度传感器)来检测智能机器人周围环境的亮度信息，由于智能机器人是与用户处于同一房间内的，因此智能机器人周围环境的亮度信息也即目标用户周围的亮度信息。

需要指出的是，在本发明的其他实施例中，该方法在步骤S201中还可以采用其他合理方式来获取目标用户周围环境的亮度信息，本发明不限于此。例如，在本发明的一个实施例中，该方法还可以通过设置在目标用户附近的且与智能机器人信号连接的光亮度传感器(例如，光亮度传感器可以设置在幼儿的床边且与智能机器人信号连接)来获取目标用户周围环境的亮度信息，这样也就不需要智能机器人必须与目标用户处于同一房间或必须停留在目标用户附近。

在得到周围环境的亮度信息后，该方法会在步骤S202中将上述亮度信息与预设亮度阈值进行比较。其中，如果上述亮度信息所表征的亮度值小于预设亮度阈值，那么该方法也就可以在步骤S203中判定此时目标用户处于黑暗环境下；而如果上述亮度信息所表征的亮度值大于或等于预设亮度阈值，那么该方法也就可以判定此时目标用户处于非黑暗环境下。

需要指出的是，在本发明的不同实施例中，根据实际需要，上述预设亮度阈值可以配置为不同的合理值，本发明不限于此。

如图2所示，如果判定出目标用户处于黑暗环境下，那么该方法就会在步骤S204中持续检测目标用户的状态(例如幼儿所发出的声响)，从而得到用户语音信息。在得到用户语音信息后，该方法会在步骤S205中通过对上述用户语音信息进行语音识别、语义识别和/或语音情绪识别来确定用户情绪。

本实施例中，该方法通过用户所发出的声音来确定用户情绪，由于周围环境的光线强弱并不会对音频的监测过程产生干扰，而如果用户处于黑暗环境下时，监测用户的面部图像和/或肢体动作就需要配备专用设备(例如红外摄像头)以及对应处理程序，因此本实施例所提供的采用语音信息确定用户情绪的方法更加容易实现，其实现成本也较低，同时也能够保证确定出的用户情绪的准确度。

本实施例中，该方法在步骤S205中优选地根据用于语音信息中的韵律学特征、基于谱的相关特征以及声音质量特征来确定用户情绪。其中，韵律是指语音中凌驾于语义符号之上的音高、音长、快慢和轻重等方面的变化，它是对语音流表达方式的一种结构性安排。韵律的存在与否并不影响我们对字、词、句的听辨，却决定着一句话是否听起来自然顺耳、抑扬顿挫。韵律学特征又被称为“超音段特征”或“超语言学特征”，本实施例中所使用的韵律学特征优选地包括：时长、基频和能量等。

基于谱的相关特征被认为是声道形状变化和发声运动之间相关性的体现，语音中的情感内容对频谱能量在各个频谱区间的分布有着明显的影响。例如，表达高兴情感的语音在高频段表现出高能量，而表达悲伤的语音在同样的频段却表现出差别明显的低能量。因此基于谱的相关特征也能够用于对用户情绪的识别。

声音质量是人们赋予语音的一种主观评价指标，其能够用于衡量语音是否纯净、清晰、容易辨识等。对声音质量产生影响的声学表现有喘息、颤音、哽咽等，并且常常出现在说话者情绪激动、难以抑制的情形之下。在语音情感的听辨实验中，声音质量的变化被听辨者们一致认定为与语音情感的表达有着密切的关系。本实施例中所使用的声音质量特征优选地包括：共振峰频率及其带宽、频率微扰和振幅微扰、声门参数等。

需要指出的是，在本发明的其他实施例中，根据实际需要，该方法在根据用户语音信息来确定用户情绪时，既可以采用以上所列特征中的某一种或某几种来进行情绪识别，也可以采用其他未列出合理特征或合理方式来进行情绪识别，本发明不限于此。

在确定出目标用户的用户情绪后，如图2所示，该方法会在步骤S206中进一步判断用户情绪是否为负面情绪。其中，如果目标用户的用户情绪为负面情绪，那么则表示此时需要对该目标用户进行安抚，这样该方法也就会在步骤S207中启动夜间安抚模式，从而基于夜间安抚模式来生成并输出相应的安抚音和/或照明光线。而如果目标用户的用户情绪为非负面情绪，那么则表示此时并不需要对该目标用户进行安抚，该方法也就不会控制智能机器人进行额外动作。

例如，如果儿童在半夜醒来感到害怕时说“妈妈，我害怕”或者直接哭泣，此时该方法在步骤S204中将会获取到“妈妈，我害怕”这段语音信息或者儿童的哭泣音，该方法在步骤S205以及步骤S206中会进一步地识别并判断出此时目标用户(即该儿童)处于恐惧的负面情绪中。为了安抚目标用户，该方法也就可以控制智能机器人输出诸如“宝宝，不要害怕，机器人XX陪着你呢”的安抚语音或是模拟妈妈那种柔和的声音来对目标用户进行安抚，或是在机器人显示屏上显示一个发亮的灯泡，抑或是讲述讲述一个故事或者播放一段音乐。

需要指出的是，在本发明的其他实施例中，为了更好地对处于负面情绪状态的目标用户进行安抚，该方法还可以基于预设的用户情绪与安抚模式之间的对应关系，根据所确定出的用户情绪生成并输出相应的安抚音和/或照明光线，本发明不限于此。例如，当用户情绪为“焦虑”时，该方法可以输出较为舒缓的安抚音乐；而当用户情绪为“悲伤”时，该方法则可以输出较为欢快的安抚音乐。

从上述描述中可以看出，本发明所提供的用于智能机器人的人机交互方法通过检测目标用户的用户状态信息来确定用户情绪，并在用户情绪为负面情绪时生成并输出相应的多模态反馈信息来对目标用户进行安抚。在现有情况下，对目标用户的监护以及安抚过程只能由监护人人工地来实现。而本发明所提供的方法不再需要人工地对目标用户进行监护以及安抚，这显然有助于减轻监护人的负担，同时还能够更加及时地对目标用户进行安抚。

本发明还提供了一种用于智能机器人的人机交互装置，图3示出了本实施例中该装置的结构示意图。

如图3所示，本实施例所提供的人机交互装置优选地包括：用户状态信息获取模块301、用户情绪确定模块302以及反馈信息生成模块303。其中，用户状态信息获取模块301用于在黑暗环境下持续监测目标用户的状态，从而得到用户状态信息。

需要指出的是，本实施例中，根据所需要获取的用户状态信息的不同，用户状态信息获取模块301可以采用不同形式的电路或设备来实现，本发明不限于此。例如，用户状态获取模块301可以利用智能机器人所配置的音频采集设备(例如麦克风)来获取目标用户发出的语音信息，可以利用智能机器人所配置的图像采集设备(例如摄像头)来获取目标用户的面部图像信息等，本发明不限于此。

本实施例中，为了判断目标用户是否处于黑暗环境下，用户状态信息获取模块301还可以获取周围环境的亮度信息，并将所获取到的周围环境的亮度信息与预设亮度阈值进行比例，以此来确定目标用户是否处于黑暗环境下。用户状态信息获取模块301实现该功能的具体原理以及过程与上述实施例二中步骤S201至步骤S203所描述的内容相同，故在此不再赘述。

在得到用户状态信息后，用户状态信息获取模块301会将上述用户状态信息传输至用户情绪确定模块302，以由用户情绪确定模块302根据上述用户状态信息确定出目标用户的用户情绪。

用户情绪确定模块302会将自身确定出的目标用户的用户情绪传输至与之连接的反馈信息生成模块303。反馈信息生成模块303在接收到上述用户情绪后，会判断该用户情绪是否为负面情绪。其中，如果上述用户情绪为负面情绪，那么反馈信息生成模块也就会启动夜间安抚模式，并基于该夜间安抚模式来生成并输出相应的多模态反馈信息，从而实现对目标用户进行安抚的目的。

需要指出的是，本实施例所提供的用户情绪确定模块302以及反馈信息生成模块303实现其各自功能的具体原理以及过程既可以与上述实施例一中步骤S102至步骤S104所涉及的内容类似，也可以与上述实施例二中步骤S205至步骤S207所涉及的内容类似，故在此不再对用户情绪确定模块302以及反馈信息生成模块303的相关内容进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。