基于智能机器人的监测用户睡醒状态的方法及装置与流程

本发明涉及机器人技术领域，具体地说，涉及一种基于智能机器人的监测用户睡醒状态的方法及装置。

背景技术：

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。

现代生活节奏的提高使得年轻父母无法长时间的呆在婴幼儿的身边对其进行不间断的看护，而孩子在刚刚学会翻滚、借助外力站立或者刚刚学会走路的时候，如果在睡觉醒来后没有父母在旁边监护，很可能会从床上翻滚下来或者从摇篮的围栏里面爬出来，从而给婴幼儿带来安全隐患。

技术实现要素：

为解决上述问题，本发明提供了一种基于智能机器人的监测用户睡醒状态的方法，其包括：

睡眠状态参量获取步骤，接收到睡醒检测指令时，获取监测目标的初始图像信息，根据所述初始图像信息生成所述监测目标的睡眠状态参量；

睡醒状态监测步骤，持续获取所述监测目标的当前图像信息，并根据所述当前图像信息生成所述监测目标的当前状态参量，结合所述睡眠状态参量和当前状态参量判断所述监测目标的睡醒状态；

多模态提醒信息输出步骤，根据所述睡醒状态，生成多模态提醒信息并输出。

根据本发明的一个实施例，所述睡眠状态参量包括睡眠状态骨架数据，在所述睡眠状态参量获取步骤中，根据所述初始图像信息生成所述监测目标的睡眠状态骨架数据；

在所述睡醒状态监测步骤中，根据所述当前图像信息生成所述监测目标的当前骨架数据，并根据所述睡眠状态骨架数据和当前骨架数据判断所述监测目标的睡醒状态。

根据本发明的一个实施例，在所述睡醒状态监测步骤中，根据所述当前骨架数据和睡眠状态骨架数据，生成所述监测目标的骨架移动数据，根据所述骨架移动数据判断所述检测目标的睡醒状态。

根据本发明的一个实施例，在所述多模态提醒信息输出步骤中，判断所述骨架移动数据是否超过预设骨架移动阈值，其中，如果所述移动骨架数据超过第一预设骨架移动阈值，则生成并输出第一多模态提醒信息，如果所述移动骨架数据超过第二预设骨架移动阈值，则生成并输出第二多模态提醒信息。

根据本发明的一个实施例，所述睡眠状态参量包括监测目标的眼部状态数据，在所述睡醒状态监测步骤中，还根据所述监测目标的眼部状态判断所述监测目标的睡醒状态，其中，

如果所述监测目标的眼部状态为睁眼状态，则判定所述监测目标处于睡醒状态；如果所述监测目标的眼部状态为闭眼状态，则判定所述监测目标处于睡眠状态。

本发明还提供了一种基于智能机器人的监测用户睡醒状态的装置，其包括：

睡眠状态参量获取模块，其用于在接收到睡醒检测指令时，获取监测目标的初始图像信息，根据所述初始图像信息生成所述监测目标的睡眠状态参量；

睡醒状态监测模块，其用于持续获取所述监测目标的当前图像信息，并根据所述当前图像信息生成所述监测目标的当前状态参量，结合所述睡眠状态参量和当前状态参量判断所述监测目标的睡醒状态；

多模态提醒信息输出模块，其用于根据所述睡醒状态，生成多模态提醒信息并输出。

根据本发明的一个实施例，所述睡眠状态参量包括睡眠状态骨架数据，所述睡眠状态参量获取模块配置为根据所述初始图像信息生成所述监测目标的睡眠状态骨架数据；

所述睡醒状态监测模块配置为根据所述当前图像信息生成所述监测目标的当前骨架数据，并根据所述睡眠状态骨架数据和当前骨架数据判断所述监测目标的睡醒状态。

根据本发明的一个实施例，所述睡醒状态监测模块配置为根据所述当前骨架数据和睡眠状态骨架数据，生成所述监测目标的骨架移动数据，根据所述骨架移动数据判断所述检测目标的睡醒状态。

根据本发明的一个实施例，所述多模态提醒信息输模块配置为判断所述骨架移动数据是否超过预设骨架移动阈值，其中，如果所述移动骨架数据超过第一预设骨架移动阈值，则生成并输出第一多模态提醒信息，如果所述移动骨架数据超过第二预设骨架移动阈值，则生成并输出第二多模态提醒信息。

根据本发明的一个实施例，所述睡眠状态参量包括监测目标的眼部状态数据，所述睡醒状态监测模块配置为还根据所述监测目标的眼部状态判断所述监测目标的睡醒状态，其中，

如果所述监测目标的眼部状态为睁眼状态，则判定所述监测目标处于睡醒状态；如果所述监测目标的眼部状态为闭眼状态，则判定所述监测目标处于睡眠状态。

本发明所提供的基于智能机器人的监测用户睡醒状态的方法通过比较监测目标的睡眠状态参量和当前状态参量来判断监测目标是否处于睡眠状态。该方法能够使得监护人不再需要持续的看护在监测目标的身边但同样能够得到监测目标的准确的睡醒状态，保障了监测目标的安全性，提高了智能机器人的用户体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的基于智能机器人的监测用户睡醒状态的方法的实现流程图；

图2是根据本发明一个实施例的睡醒状态检测过程的示意图；

图3是根据本发明一个实施例的基于智能机器人的监测用户睡醒状态的装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

针对现有技术中所存在的上述问题，本实施例提供了一种新的基于智能机器人的监测用户睡醒状态的方法，该方法使得智能机器人能够判断检测目标(例如婴幼儿)是否醒来，并在监测目标醒来时向相关监护人员(例如家长)发送相应的提醒。

图1示出了本实施例所提供的基于智能机器人的监测用户睡醒状态的方法的实现流程图。

如图1所示，本实施例所提供的方法在接收到睡醒检测指令时，会在步骤S101中获取监测目标的初始图像信息。本实施例中，用户在使用智能机器人对监测目标进行睡醒状态的监测时，首先会输入睡醒检测指令，这样该方法便会对该睡醒检测指令进行响应，从而判断此时需要获取监测目标的初始图像信息。其中，本实施例中，监测目标的初始图像信息所表征的是监测目标在睡眠状态或监测目标在睡眠姿势下所呈现的肢体信息和/或面部信息。

本实施例中，该方法在步骤S101中优选的通过智能机器人自身所配置的图像获取装置(例如景深摄像头等)来获取监测目标的初始图像信息。需要指出的是，在本发明的其他实施例中，该方法还可以通过其他合理方式来获取监测目标的初始图像信息，本发明不限于此。例如，在本发明的一个实施例中，该方法在步骤S101中还可以利用红外摄像头等图像采集装置来获取监测目标的初始图像信息。

在得到监测目标的初始图像信息后，该方法会在步骤S102中根据步骤S101中所获取到的初始图像信息生成监测目标的睡眠状态参量。具体地，本实施例中，该方法会在步骤S102中对步骤S101中所获取到的初始图像信息进行图像处理，从而从初始图像信息中提取中能够表征监测目标处于失眠状态下的特征参量(即睡眠状态参量)。

初始状态参量能够表征监测目标处于睡眠状态下的形态或特征，因此该方法可以通过检测监测目标的实际形态或特征与其处于睡眠状态下的形态或特征的差别来对监测目标进行睡醒状态的监测。

如图1所示，本实施例所提供的方法会在步骤S103中持续获取监测目标的当前图像信息，并在步骤S104中根据步骤S103中所获取到的当前图像信息来生成监测目标的当前状态参量。需要指出的是，该方法在步骤S103中获取监测目标的当前图像信息以及在步骤S104中生成监测目标的当前状态参量的具体实现原理以及实现过程分别与上述步骤S101和步骤S102中所阐述的原理以及过程相同，故在此不再对步骤S103和步骤S104进行赘述。

需要指出的是，在本发明的不同实施例中，该方法在步骤S103中获取监测目标的当前图像信息既可以是实时获取的，也可以是间隔预设时长而定时获取的，本发明不限于此。

在得到监测目标的睡眠状态参量和当前状态参量后，该方法会在步骤S105中结合睡眠状态参量和当前状态参量来判断监测目标的睡醒状态。具体地，该方法会在步骤S105中对监测目标的睡眠状态参量和当前状态参量进行匹配。如果二者能够匹配成功，那么则表示监测目标的当前形态或特征与其在睡眠状态下所呈现的形态或特征相同或类似，因此此时该方法也就可以判断出监测目标当前处于睡眠状态；如果二者无法匹配成功，那么则表示监测目标的当前形态或特征与其在睡眠状态下所呈现的形态或特征相比发生了改变，因此此时该方法也就可以判断出监测目标当前处于睡醒状态。

该方法会在步骤S106中根据步骤S105中所得到的监测目标的睡醒状态来生成相应的多模态提醒信息并输出给相关用户(例如监测目标的监护人员)，从而为该用户提醒监测目标的当前睡醒状态。

例如，当检测到监测目标处于睡眠状态时，该方法可以通过诸如绿灯闪烁的方式来提醒相关人员此时监测目标处于睡眠状态；而当检测到监测目标处于睡醒状态时，该方法可以通过诸如红灯闪烁和/或输出告警音的方式来提醒相关人员此时监测目标处于睡醒状态。

需要指出的是，在本发明的不同实施例中，该方法在步骤S106中所出的提醒信息可以采用某一种形式或多种不同形式的信息来实现，本发明不限于此。

本实施例中，该方法在步骤S102中所提取中的监测目标的睡眠状态参量优选地包括监测目标的睡眠状态骨架数据。具体地，如图2所示的睡醒状态检测过程，该方法在步骤S201中对步骤S101中所获取到的初始图像信息生成监测目标的睡眠状态骨架数据。其中，本实施例中，该方法优选地对初始图像信息进行图像骨架提取，从而得到监测目标的睡眠状态骨架数据。

相应地，该方法在步骤S202中会根据获取到的监测目标的当前图像信息来生成监测目标的当前骨架数据。本实施例中，该方法生成上述当前骨架数据的具体实现原理以及实现过程与上述步骤S201相同，故在此不再对步骤S202进行赘述。

在得到监测目标的睡眠状态骨架数据和当前骨架数据后，该方法会在步骤S203中根据上述当前骨架数据和睡眠状态骨架数据生成监测目标的骨架移动数据。其中，骨架移动数据表示当前骨架数据相对于睡眠状态骨架数据的移动量。

最后，该方法在步骤S204中也就可以根据步骤S203中所得到的骨架移动数据来判断监测目标的睡醒状态。具体地，该方法在步骤S204中会判断步骤S203中所得到的骨架移动数据是否超过预设骨架移动阈值。如果骨架移动数据超过了该预设骨架移动阈值，那么该方法也就可以判断出此时监测目标处于睡醒状态；而如果骨架移动数据没有超过该预设骨架移动阈值，那么该方法也就可以判断出此时监测目标处于睡眠状态。

例如，当监测目标的睡眠时其姿势为仰身平躺，该方法也就可以得到此时的骨架数据(即睡眠状态骨架数据)。在监测过程中，如果监测目标的姿势一直保持为仰身平躺，那么该方法所检测到的骨架移动数据将不会超过预设骨架移动阈值，因此此时该方法也就可以判断出监测目标仍处于睡眠状态；而如果监测目标的姿势发生了改变(例如身体方向发生了改变、仰身平躺变为趴着或是头部里身体支撑平面存在一定距离)，这是该方法所检测到的骨架移动数据将会超过预设骨架移动阈值，因此此时该方法也就可以判断出监测目标处于睡醒状态。

本实施例中，该方法还会进一步地根据骨架预定数据的大小来生成并输出不同的多模态提醒信息。具体地，该方法会判断上述移动骨架数据是否超过第一预设骨架移动阈值。其中，如果上述移动骨架数据小于或等于第一预设骨架移动阈值，那么该方法将判定此时监测目标处于睡眠状态；如果上述移动骨架数据大于第一预设骨架移动阈值且小于第二预设骨架移动阈值，那么该方法将生成并输出第一多模态提醒信息；如果上述移动骨架数据大于或等于第二预设骨架移动阈值，那么该方法将生成并输出第二多模态提醒信息。其中，第一预设骨架移动阈值小于第二骨架移动阈值。

例如，如果监测目标的移动骨架数据大于第一预设骨架移动阈值且小于第二预设骨架移动阈值，那么则表示监测目标虽然处于睡醒状态，但其并没有过大的移动动作，因此此时该方法可以通过播放轻柔的音乐来安抚监测目标并吸引家长的注意。而如果监测目标的移动骨架数据大于或等于第二预设骨架移动阈值，那么则表示监测目标的身体已经进行了大幅度的移动(例如当前骨架与初始骨架向初值，那么则表示监测目标已经站立起来了)，此时监测目标很可能处于一种危险的状态(例如跌倒或碰到其他物体)，该方法此时将立即播放警示音，从而提醒家长前来处理。

需要指出的是，在本发明的不同实施例中，第一预设骨架移动阈值和第二预设骨架移动阈值的具体取值可以根据实际需要进行配置，本发明不限于此。同时，在本发明的其他实施例中，上述预设骨架移动阈值的设置数量还可以为三个以上，从而使得对监测目标的睡醒状态的检测更为精确，本发明同样不限于此。

本实施例中，该方法所得到的监测目标的睡眠状态参量还可以包括监测目标的眼部状态数据。这样该方法也就可以在步骤S105中根据监测目标的眼部状态来判断监测目标的睡醒状态。

具体地，如果所检测到的监测目标的眼部状态为睁眼状态，那么该方法也就可以判定此时监测目标处于睡醒状态。而如果所检测到的监测目标的眼部状态为闭眼状态，那么该方法也就可以判定此时监测目标处于睡醒状态。

需要说明的是，本实施例中的方法可通过机器人所装载的机器人应用APP方式实现，即：对于有利用该方法进行睡醒状态监测的用户来说，可以安装有机器人操作系统的机器人请求安装该APP，以实现实施例中的技术方案。

从上述描述中可以看出，本实施例所提供的基于智能机器人的监测用户睡醒状态的方法通过比较监测目标的睡眠状态参量和当前状态参量来判断监测目标是否处于睡眠状态。该方法能够使得监护人不再需要持续的看护在监测目标的身边但同样能够得到监测目标的准确的睡醒状态，保障了监测目标的安全性，提高了智能机器人的用户体验。

本实施例还提供了一种基于智能机器人的监测用户睡醒状态的装置，图3示出了本实施例中该装置的结构示意图。

如图3所示，本实施例所提供的监测用户睡醒状态的装置优选地包括：睡眠状态参量获取模块301、睡醒状态监测模块302以及多模态提醒信息输出模块303。其中，睡眠状态参量获取模块301用于在接收到睡醒检测指令时，获取监测目标的初始图像信息。其中，本实施例中，监测目标的初始图像信息所表征的是监测目标在睡眠状态或监测目标在睡眠姿势下所呈现的肢体信息和/或面部信息。

本实施例中的装置为可通过机器人所装载的机器人应用APP方式执行的功能模块，即：对于有利用该APP进行睡醒状态监测的用户来说，可以安装有机器人操作系统的机器人请求安装该APP，并通过机器人操作系统控制各个虚拟模块实现实施例中的技术方案。

需要指出的是，在本发明的不同实施例中，睡眠状态参量获取模块301可以包括景深摄像头和/或红外摄像头等控制图像获取装置的模块。

在得到监测目标的初始图像信息后，睡眠状态参量获取模块301会根据该初始图像信息生成监测目标的睡眠状态参量。具体地，本实施例中，睡眠状态参量获取模块301会对获取到的初始图像信息进行图像处理，从而从初始图像信息中提取中能够表征监测目标处于失眠状态下的特征参量(即睡眠状态参量)。

在对用户睡醒状态进行监测的过程中，睡醒状态监测模块302会持续获取监测目标的当前图像信息，并根据当前图像信息来生成监测目标的当前状态参量。在得到监测目标的当前状态参量后，睡醒状态监测模块302会根据监测目标的睡眠状态参量和当前状态参量来判断监测目标的睡醒状态。

在得到监测目标的睡醒状态后，睡醒状态监测模块302会将上述睡醒状态输出至多模态提醒信息输出模块303，以由多模态提醒信息输出模块303根据上述睡醒状态生成多模态提醒信息并输出。

需要指出的是，本实施例中，睡醒状态监测模块302以及多模态提醒信息输出模块303各自功能的具体实现原理以及实现过程与上述图1中步骤S103至步骤S106所涉及的内容类似，故在此不再对睡醒状态监测模块302以及多模态提醒信息输出模块303进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。