一种人机交流机器人与其控制方法与流程

本发明涉及一种以与人进行交流为目的的交流机器人及其控制方法，尤其涉及一种实现了让人容易依赖的服务机器人。

背景技术：

交流机器人具备利用动作、手势以及音声等与人进行交流功能。现有交流机器人，通过头部的转动移动机器人的视线，通过视线的转移传达机器人的意图。

但是现有的人机交流机器人在人物的识别准确性不佳以及第三人参与交流时无法及时应对处理，无法实现同步处理第三人的交流需求，无法满足人机交流的高体验要求。

技术实现要素：

本发明设计了一种人机交流机器人与其控制方法，其解决的技术问题是现有的人机交流机器人在人物的识别准确性不佳以及第三人参与交流时无法及时应对处理，无法实现同步处理第三人的交流需求，无法满足人机交流的高体验要求。

为了解决上述存在的技术问题，本发明采用了以下方案：

本发明人机交流机器人具备模仿面孔的头部、支撑所述头部的胴体，相对于胴体让头部控制单元、示意交流成立的信号动作控制单元。检测出要求交流的人物并且进行交流的交流机器人，在所述头部设置相当于眼睛的眼照相机，所述胴体上设置广域摄影的广角照相机，从所述广角照相机的图像检测出人物，从所述眼照相机检测出正面面对机器人的正面面孔的图像处理单元，所述头部控制单元是，在可以进行交流时，所述头部相对于所述胴体按照预定的回转速度执行回转巡视动作，该巡视动作执行过程中，在所述图像处理单元从所述广角照相机的图像检测出的人物位置，所述头部的回转速度降低到所述规定值，所述图像处理单元在所述头部的回转速度降低到规定值以下时从所述眼照相机的图像检测出正面面孔的人物，所述图像处理单元从眼照相机的图像超过预先设定的时间检测出所述正面面孔的人物时，所述信号动作控制单元将向该人物发出信号的特征。

该交流机器人执行旋转头部（脖子转动）、观察周围（巡视动作）的动作。而且在有人的方向头部的回转速度降低，或者暂时停止。该巡视动作是表示处于可以进行服务的状态，观察本身仅仅是个表象，人物的检测是从巡视动作开始前设置在胴体上的广角照相机的图像进行，在人物的检出位置控制降低头部的回转速度。此时，检出位置的人物继续盯着机器人时，机器人会判断眼睛接触已成立并送出信号。因此，机器人如果执行巡视动作，服务对象可以知道机器人是可以服务的，机器人朝向人的时候人如果盯着机器人，可以向机器人请求服务。

对于本发明的交流机器人，对所述信号动作控制单元是，对所述正面面孔的人物发出的所述信号是，将胴体转向该人物的正面，执行与该人物打招呼、举手的动作中的一个或者两个以上的动作。

本发明的交流机器人的所述图像处理单元为，从所述广角照相机的图像检出肤色域，所述肤色域的帧间差值的绝对值的总和超出阈值时，所述肤色域被作为人物检出。巡视动作的过程中人物的检出，由于没有严格要求，所以通过肤色域的位置推断出人物，但是肌肤色的墙壁等完全不动的东西除外。

本发明的交流机器人从眼照相机的图像检测出正面面孔的情况下，所述图像处理单元从眼照相机的图像，通过利用矩形特征的识别器检测出与面孔相当的脸矩形，同时检测出与所述脸矩形重叠的肤色域，通过计算脸矩形左边缘与鼻尖的视角，计算脸矩形右边缘与鼻尖的视角，如果这两个视角接近相等，就可以判断是正面面孔。

对于本发明的交流机器人，通过所述信号动作控制单元对发送信号的人进行交流的过程中，检测出其他要求接触的人时，所述头部控制单元中止所述交流，所述头部的面孔在规定时间段内转向被检出的所述其他的方向，然后，所述头部的方向转回重新开始所述交流。

本发明的交流机器人通过所述图像处理单元检出所述要求接触的其他人，所述图像处理单元从所述广角照相机的图像、通过利用矩形特征的识别器检出与脸矩形相当的面孔，同时，检出与所述脸矩形重叠的肤色域，脸矩形左边沿a到脸矩形中心（鼻尖c）的角度∠aoc与脸矩形中心（鼻尖c）到脸矩形右边沿b的角度∠cob如果接近相等，则可以判定此人正面朝服务机器人。

本发明的动作机制是具备模仿面孔的头部，支撑所述头部的胴体，指示所述胴体的信号动作控制单元，检出要求交流的人并且进行交流的交流机器人的动作机制，特征是从设置在所述胴体的广角照相机的图像检测人物的步骤，可能进行交流时相对所述胴体的所述头部执行按照规定的回转速度回转巡视动作，在所述人物检出的位置所述头部的回转速度降低到规定值以下的步骤，以及所述头部的回转速度降低到所述规定值以下时，从在所述头部设置的眼照相机的图像检出面向机器人的正面面孔的人物的步骤、所述正面面孔的人物超出预先设定的时间将面孔面向机器人时向该人物发送信号的步骤。

通过该交流机器人的动作，寻求服务的人看到机器人的巡视动作可以知道机器人可以提供服务，机器人面向自己时如果盯着机器人，就可以要求机器人提供服务。

本发明的交流机器人的动作机制，与发送所述信号的人进行交流的过程中，检测出要求接触的其他人时，中断所述交流，在规定时间段内将所述头部的面孔转向所述其他人物的方向，然后将所述头部回转重新开始所述交流。

通过该机器人的动作，要求接触的其他人可以知道机器人认可了所述要求，然后现在进行的交流结束后，会应答自己的要求。

该人机交流机器人与其控制方法具有以下有益效果：

（1）本发明包括模仿面部的头部，支撑头部的胴体以及相对于胴体让头部回转的控制手段，示意交流成立的信号动作的控制手段，检测出要求交流的人物并进行交流的机器人。所述机器人通过安装在头部和胸部的广角摄像头检测出人物，通过所述的图像处理手段分析检出要求服务的人的正面面孔，并执行与所述人物打招呼、举手等示意交流成立的动作。

（2）本发明的交流机器人的动作机制，与发送所述信号的人进行交流的过程中，检测出要求接触的其他人时，中断所述交流，在规定时间段内将所述头部的面孔转向所述其他人物的方向，然后将所述头部回转重新开始所述交流。

附图说明

图1是本发明的机器人的机能模块示意图；

图2是该机器人的硬件构成组件示意图；

图3是该机器人的外观示意图；

图4是该机器人的动作示意图；

图5是图4的步骤1的动作顺序流程示意图；

图6是图4的步骤3的动作顺序的流程示意图；

图7是图4的步骤8的动作顺序的流程示意图；

图8是本发明中面孔领域检出用的识别器工作示意图；

图9是图4的步骤12的动作顺序的示意图；

图10是图9中涉及的各个角度计算示意图。

附图标记说明：

13—右臂马达；14—左臂马达；15—头部马达；16—腰部马达；17—车轮马达；18—超声波距离传感器；20—眼照相机；21—触摸传感器；22—碰撞传感器；23—扬声器；24—麦克风；25—cpu；26—内存；27—无线网卡；28—外部电脑；29—马达控制板；30—传感器输入/输出控制板；31—音声输入/输出控制板；40—图像处理部分；41—肤色检出部分；42—帧间差值的算出部分；43—面孔检测部分；52—头部；53—广角照相机；54—胴体；55—胳膊；56—车轮；61—头部控制单元；62—图像处理单元；63—信号动作控制单元；64—控制部分；70—矩形；71—中心线。

具体实施方式

下面结合图1至图10，对本发明做进一步说明：

如图1所示，本发明机器人作为与本发明相关的机能模块，包括控制胴体54上方的头部52，像摇头一样回转的头部控制单元61，对眼照相机20与广角照相机53的图像进行处理图像的图像处理单元62，通过举手、从扬声器23中发声、将胴体转向请求者的方向等向请求者发出信号的信号动作控制单元63，基于图像处理单元62的处理结果或者触摸传感器21的检测信号控制各部分的控制部分64。

图2是交流机器人的构造模块。该机器人的外形包括胴体54和头部52，被胴体54支撑的胳膊55可以回转，头部52设置了眼或者嘴（扬声器23）。左右眼睛通过左、右眼球马达可以转动，胳膊55可以通过右臂马达13和左臂马达14进行转动。头部52可以通过头部马达15的驱动相对于胴体来回摇动。胴体54通过腰部马达16改变方向，并且通过车轮马达56前后左右移动。而且，胴体54还设置了测定与邻近物距离的超声波距离传感器18、感知碰撞的碰撞感知器22、广角照相机53、麦克风24，头部52设置了眼照相机20。

控制系统包括cpu25、控制程序、记忆各种数据的内存26，基于cpu25的指令控制各个马达的马达控制板29，将各传感器的信号送入cpu25的传感器输入/输出控制板30,从cpu25发出的合成音声经过扬声器23发出，从麦克风24收到的声音送到cpu25的音声输入/输出控制板31，与外部的计算机进行通信的无线网卡27，从cpu25中送出的情报经过无线网卡27传到外部的计算机，把外部计算机28收到的信号送到cpu25的无线网卡27。该交流机器人通过眼照相机检测出对象人物的位置，通过头部的转动或者视线的移动向对象人物传达机器人的意图。

提供服务的对象不是特定人物的服务机器人，需要服务对象与机器人之间首先要建立连接。人类之间服务对象和服务人员之间即使不出声多数情况下也能正常开始交流。由于机器人不具备类似交流的能力，本发明的发明人提出人和机器人之间通过眼睛接触开始交流的方法。

如图2所示，本发明机器人包括内部cpu25、控制程序或者记忆各种数据的芯片，基于cpu25的指令控制各个马达的马达控制板29，以及将各个传感器的信号送往cpu25的传感器输入/输出控制板30，从cpu25传出的合成声音通过扬声器23传出，从麦克风24收到的声音送入cpu25的音声输入/输出控制板31，与外部计算机进行通信的无线网卡27，从cpu25中送出的信号通过无线网卡27送向外面计算机28，将外部计算机收到的信号送到cpu25的无线网卡27。

马达控制板29控制胳膊55回转的回转右臂马达13、左臂马达14，控制头部52回转的头部马达15，控制胴体54回转的腰部马达16，控制胴体54前后移动的车轮马达56。

传感器输入/输出控制板30收集从超声波距离传感器18、广角照相机53、眼照相机20、触摸传感器21以及碰撞传感器22传送的信号并进行信号发送。

该机器人包括处理广角照相机53以及眼照相机20图像的图像处理部分40。该图像处理部分40，由从图像检出肤色域的肤色检出部分41以及计算摄像机的帧间差值的算出部分42，通过利用矩形特征的识别器检出与面孔相当的脸矩形的面孔检测部分43。另外，该图像处理部分40可以包括dsp（digitalsignalprocessor）构成，或者通过控制程序实现进行演算处理的cpu25的机能。另外，在外部计算机端有图像处理部分40，处理通过无线通信装置28收到的图像数据，处理结果也可以转送给机器人。

如图3所示，本发明机器人是看护机器人，有设置了与眼睛相当的眼照相机20的头部52、设置了广域摄影的广角照相机的胴体54，在胴体54上可以回转的胳膊55。眼照相机20由摄像机构成.另外，广角照相机53由不同方向可以在180°范围内摄影的3台摄像机组成。

图4的流程图所示为本发明机器人的动作顺序。步骤1、图像处理单元62通过广角照相机53的广角图像检测出人物的肤色域。

如图5所示，该处理具体按照图5的流程图所示的顺序进行。即，通过广角图像rgb色阶（r、g、b各8位）值：

ｒ＞９５、ｇ＞４０、ｂ＞２０ｍａｘ｛ｒ．ｇ．ｂ｝－ｍｉｎ｛ｒ．ｇ．ｂ｝＞１５｜ｒ－ｇ｜＞１５ｒ＞ｇ、ｒ＞ｂ；

步骤1中检测出人物的肤色域具体步骤如下：步骤101、抽出满足条件的肤色的像素范围区域；步骤102、算出该肤色部分的帧间差值，识别帧间差值绝对值的和是否超出阈值；步骤103、帧间差值的绝对值加和超出阈值的肤色部分作为人的面孔肤色域被检测出来；步骤104、帧间差值在阈值以下的肤色部分被作为肤色的墙壁或者橱柜排除。另外，图像处理单元62，反复不停的从广角图像检出肤色域。

步骤2、头部控制单元61让头部52按照一定的回转速度开始回转巡视的动作。

步骤3、该巡视动作期间，图像处理单元62从广角照相机53的广角图像检出帧间差值大的区域。该步骤3的目的是检出站起来的人或者从门口进入室内的人。

步骤3的具体按照图6的流程图所示的顺序进行。即步骤31、算出广角图像的帧间差值，步骤32、再算出差值超出预先设定的阈值的区域，步骤33、然后判断该区域的面积是否超出设定值，步骤34、如果超出设定值检出差值大的区域，步骤35、如该区域的面积不超出设定值则无视。

在检出差值大的区域的情况下，如图4所示，步骤6、头部控制单元61中断巡视的动作，将头部转向差值大的区域方向，执行后续步骤7。

而且，持续巡视动作的头部控制单元61将头部52转向在步骤1中检出的肤色域方向时，头部52的回转速度降低，或者暂时停止。头部52的回转一旦停止或者减慢，图像处理单元62从头部52上搭载的眼照相机20的图像检出直视机器人的面孔（正面面孔）（步骤7）。

首先从眼照相机的图像通过利用矩形特征的识别器检出与面孔相当的脸矩形。作为面孔领域检出用的识别器也有许多开发。图8中（a）所示的矩形70所示为利用该识别器检出的脸矩形。该脸矩形70的水平方向的中心线与鼻的位置一致。但是，脸矩形70的区域内也包含了人脸以外的区域。

图8中（b）、（c）和（d）部分所示为从照相机看过去分别是略微转向右侧的面孔、正面朝向的面孔、从照相机看过去略微转向左侧的面孔图像，各图像上面标有脸矩形70、脸矩形70的水平方向的中心线71。脸矩形70的水平方向的中心线71与鼻的位置一致，面向右侧时（图8中（b）部分）该中心线71向右偏离脸矩形的水平方向的中心。相反的，面向左侧时（图8中（d）部分）该中心线71向左偏离脸矩形中心。正面朝向时（图8中（c）部分）该中心线71位于脸矩形的水平方向的中心。

步骤8、控制部64判断与该人的眼睛接触是否成立。该处理具体按照图7的流程图所示的顺序进行。即计算正面面孔被持续检出的时间（步骤81），计算时间如果超出预先设定的阈值（步骤82yes的情况）判定眼睛接触成立（步骤83）。另外，计算时间如果没有超出阈值，判定眼睛接触不成立（步骤84），头部控制单元61重新开始巡视的动作（步骤2）。一旦眼睛接触成立，信号动作控制单元63将胴体转向眼睛接触的对方，举起胳膊55或者从扬声器23“有什么事情吗”的声音信号发送出去（步骤9）。然后，机器人使用车轮56接近对方开始服务（步骤10）。此外，图像处理单元62反复从广角图像中检测肤色域，人的位置发生变化时头部52的回转速度减慢的方向也发生相应的变化。

机器人执行所述动作时，要求服务的人看到机器人的巡视动作，意识到机器人是可以提供服务的状态。而且服务的要求者从机器人的巡视动作可以判断机器人头部转向的时间，在这个时间看机器人的话，就能得到服务。因此，可以对机器人高效传达请求。

从椅子上站起来的高龄者或者从门口进入的高龄者有时需要帮忙。为进行该动作的高龄者者提供的帮助比对在椅子上安静地坐着的高龄者提供帮助要求更迅速。该机器人一旦检出高龄者的大动作，会直接将头部转向该方向，寻求帮助的人如果此时盯着机器人看可迅速获得帮助。

接下来说明一下机器人在服务开始后，其他要求服务的人出现时机器人的动作。如图4所示，机器人开始服务（步骤10）后，其他寻求服务的人碰一下机器人，控制部分64通过触摸传感器21检出（步骤1），执行后续的步骤14的动作。然后，图像处理单元62即使是在服务执行中仍然对广角照相机53的广角图像进行解析，从广角图像中检出正面面孔（步骤12）。该处理具体按照图9的流程图所示的顺序执行，即：从广角图像通过与步骤81相同的顺序检出脸矩形（步骤121），与步骤82同样的步骤检出肤色域（步骤122）。此时，人物的面孔可能位于广角图像的中央附近的位置。

如图10所示，也有在广角图像的界限附近的位置的情况。人物的面孔如果在广角图像的中央附近位置，该人物一旦盯着机器人看，如同对步骤83和步骤84说明的那样，脸矩形的水平方向的中心位置与肤色域的水平方向的中心位置的差值变小。

回到图9的流程图（关于各点的定义，参见图10），从广角图像计算脸矩形左边沿到鼻尖的角度∠aoc=atan(pa/op)-atan(pc/op)（步骤123）；计算脸矩形右边沿到鼻尖的角度∠boc=atan(pc/op)-atan(pb/op)（步骤124），然后比较∠aoc和∠boc（步骤125），如果两个角的比值约等于1，识别出正面面孔（步骤126），如果离1比较远，识别出非正面面孔（步骤127）。

返回图4的流程图，控制部分64计算从广角图像持续监测出正面面孔的时间，判定该时间是否超出预先设定的时间（步骤13）。盯着机器人看的时间如果超过规定时间（步骤13yes的情况），或者有与机器人接触的人存在（步骤11yes的情况），头部控制单元61强头部52转向该人的方向，在该人的位置短暂停留后，回到原来的位置（步骤14）重新开始进行中的服务（步骤10）。机器人的该动作可以向对方传达已经注意到了服务的要求，但是，由于现在对其他人进行服务，无法直接应答服务。这种情况下，机器人记忆该服务要求，进行中的服务结束后应答记忆下的该服务。

如图图10所示，人的面部分为左侧边缘l，右侧边缘r，以及两者的正中，鼻尖m。分别在摄像头平面上成像为a，b，c三点。摄像头观察点位于o。从广角图像计算脸矩形左边沿到鼻尖的角度∠aoc=atan(pa/op)-atan(pc/op)（步骤123）；计算脸矩形右边沿到鼻尖的角度∠boc=atan(pc/op)-atan(pb/op)（步骤124），然后比较∠aoc和∠boc（步骤125），如果两个角的比值约等于1，识别出正面面孔（步骤126），如果离1比较远，识别出非正面面孔（步骤127）。

本发明中对于该交流机器人，请求者通过极其简单的动作，实现高效交流。另外，在这里尽管使用了作为广角照相机53的3台摄影机构成的照相机，只要是能够广角摄影的照相机，任何类型都可以使用。而且，本发明中，巡视动作的过程中尽管说明用眼照相机检出正面面孔，不使用眼照相机，使用广角照相机53的图像检出也可以。这种情况下正面面孔的检出机制与步骤12中说明的机制相同，从降低回转速度的头部的面孔前方的图像范围检出。这种情况下正面面孔的检出有无需等待头部转向人的方向就可以开始的优点。

上面结合附图对本发明进行了示例性的描述，显然本发明的实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。