机器人自主导航方法和装置与流程

本发明涉及机器人技术领域，特别是涉及一种机器人自主导航方法和装置。

背景技术：

近些年来，随着计算机、互联网、传感器及导航技术的发展，使服务机器人逐步走进我们的家庭和生活。一般服务机器人在提供服务中，通过自身的导航系统进行导航从而完成任务。

传统的导航方式大多是基于地图搜索模式进行运动路径规划，这种运动路径规划方式不仅耗时长、计算量大，且在动态的家庭室内环境中，不能及时发现动态变化、不能够灵活规划运动路径从而导致不能及时响应用户需求。所以急需设计一种机器人能够实时、动态地响应用户的任务需求、并且灵活规划运动路径。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种能够在动态的室内环境中，实时、动态地响应任务目标的位置变化，并灵活规划运动路径的机器人自主导航方法和装置。

一种机器人自主导航方法，所述方法包括：

接收任务指令，获取任务目标；

获取室内摄像头采集的图像信息，在所述图像信息中识别所述任务目标；

对所述任务目标进行定位，计算所述任务目标的位置，根据所述任务目标的位置和所述机器人的位置规划运动路径；

将规划后的运动路径返回至机器人，以使得机器人按照规划后的运动路径进行导航。

在其中一个实施例中，所述在所述图像信息中识别所述任务目标的步骤包括：

根据任务目标获取对应的身份信息，所述身份信息包括基于深度神经网络的人脸模型信息或物体模型信息；

在所述图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息；

若存在，则识别所述图像信息中的任务目标。

在其中一个实施例中，在所述计算所述任务目标的位置的步骤之前，还包括：

获取世界坐标系，以及多个室内摄像头坐标系；

分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。

在其中一个实施例中，所述计算所述任务目标的位置的步骤包括：

获取任务目标在室内摄像头坐标系的位置；

根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。

在其中一个实施例中，所述方法包括：

接收所述服务器规划后返回的运动路径；

根据所述运动路径进行导航。

在其中一个实施例中，所述装置包括：

任务目标接收模块，用于接收任务指令，获取任务目标；

任务目标识别模块，用于获取室内摄像头采集的图像信息，在所述图像信息中识别所述任务目标；

运动路径规划模块，用于对所述任务目标进行定位，计算所述任务目标的位置，根据所述任务目标的位置和所述机器人的位置规划运动路径；

发送模块，用于将规划后的运动路径返回至机器人，以使得机器人按照规划后的运动路径进行导航。

在其中一个实施例中，所述任务目标识别模块还用于根据任务目标获取对应的身份信息，所述身份信息包括基于深度神经网络的人脸模型信息或物体模型信息；在所述图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息；若存在，则识别所述图像信息中的任务目标。

在其中一个实施例中，所述装置还包括：

空间映射建立模块，用于获取世界坐标系，以及多个室内摄像头坐标系；分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。

在其中一个实施例中，所述运动路径规划模块还用于获取任务目标在室内摄像头坐标系的位置；根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。

在其中一个实施例中，所述装置包括：

运动路径接收模块，用于接收所述服务器规划后返回的运动路径；

导航模块，用于根据所述运动路径进行导航。

上述机器人自主导航方法和装置，服务器接收任务目标，获取任务目标，并获取室内摄像头采集的图像信息，在室内摄像头采集的图像信息中识别任务目标。与传统地图搜索模式相比，采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标，不需要机器人盲目全面进行任务目标的搜索识别，所以使任务目标的识别更加高效。然后服务器再对任务目标进行定位，计算任务目标的位置，根据任务目标的位置和机器人的位置规划运动路径。因为服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化，从而根据任务目标最新的位置能够灵活规划机器人的运动路径。避免任务目标的位置发生变化，而机器人的运动路径却未实时更新。最后服务器将规划后的运动路径返回至机器人，机器人接收服务器返回的运动路径，并根据该运动路径进行导航。

附图说明

图1为一个实施例中机器人自主导航方法的应用环境图；

图2为一个实施例中机器人自主导航方法的流程图；

图3为另一个实施例中机器人自主导航方法的流程图；

图4为一个实施例中机器人自主导航装置的结构示意图；

图5为另一个实施例中机器人自主导航装置的结构示意图；

图6为再一个实施例中机器人自主导航装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本发明实施例中所提供的机器人自主导航方法可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器106进行连接，机器人104通过网络与服务器106连接，服务器106通过网络与多个室内摄像头108连接。用户可以通过终端102向服务器106发出任务指令，用户还可以通过机器人104向服务器106发出任务指令，服务器106接收任务指令，并识别任务指令中携带的任务目标。服务器106再获取室内摄像头108采集的图像信息，在室内摄像头108采集的图像信息中识别任务目标。服务器106对识别后的任务目标进行定位，获取该任务目标的位置，根据该任务目标的位置规划运动路径。服务器106将规划后的运动路径返回至机器人104。机器人104根据规划后的运动路径进行导航。

在一个实施例中，如图2所示，提供了一种机器人自主导航方法，以该方法应用于图1中的服务器106为例进行说明，具体包括：

步骤202，接收任务指令，获取任务目标。

终端上预先安装了应用程序，用户通过应用程序登录服务器，进行身份注册。用户不仅可以对其本人进行个人信息注册，还可以对其家庭成员进行个人信息注册。个人信息包括个人基本信息及身份信息。个人基本信息包括姓名、性别、年龄、出生年月、血型、身高、体重、心率、血压、血糖、血脂、疾病历史、用药历史等。对于人物的识别，身份信息是指具备身份认证功能的生物特征信息，例如声纹特征和基于深度神经网络的人脸模型信息。个人基本信息、声纹特征及人脸模型信息是一一对应的。

对于物品的识别，则可以利用终端采集室内物体的图像数据，建立物体模型，并保存为该物品的身份信息。物品的基本信息则可以是对该物品的称谓。

采集人物的声纹特征时，用户通过向机器人念一段文选段落的方式，机器人可以提取该用户与文本无关的声纹特征，保存在用户的身份信息中。

将采集的个人信息及物体的信息存储在服务器上，继而建立任务目标数据库。任务目标是指机器人在提供服务中涉及到的人或者物，比如用户、用户的家庭成员或者室内环境中的物体。任务目标可以包含一个或多个。

在所有人完成了注册，建立任务目标数据库之后，还需要通过终端操作建立人物之间的亲属关系图，最终再各自生成每个人的用亲属称谓和真实姓名来表达的亲属称谓关系图。

机器人可以为用户提供多种家庭服务，例如按摩、提醒、取物、跳舞、唱歌等功能，这些服务动作定义为机器人的功能指令，是不允许用户定义变更的系统指令。机器人的任务指令则是允许用户自定义的指令，自定义指令包括定义在任务目标数据库中的所有人或物品的称谓，用户通过终端或语音识别的语义理解技术将自定义指令存储在服务器的操作指令库和语音指令库中。

用户可以通过WIFI或者其他网络连接方式向服务器发出任务指令，可以是通过终端发送的操作指令，也可以是语音指令，即用户通过语音交互技术，先向机器人发送语音指令，机器人再将语音指令发送给服务器。任务指令中携带了任务目标。

当服务器接收终端发送的操作指令时，首先在操作指令库中进行匹配，并检索亲属称谓关系图，然后查询任务目标数据库，获取任务目标。

而当服务器接收到语音指令时，首先通过语音识别模块首先进行声纹特征识别，并匹配任务目标数据库中存储的声纹特征，分析出当前发出语音指令的用户的身份信息。同时进行语音识别及语义理解，然后语音指令库中进行匹配，并检索亲属称谓关系图。最后查询任务目标数据库，获取任务目标。

以服务患者用药为例，用户可以远程操作终端发出“提醒小明下午3点钟吃药”的任务指令，机器人就分析出该任务指令包含两个任务目标即小明和某种预先注册定义了的药品。同时还分析出系统指令为“提醒”，该提醒的执行时间为下午3点，到时机器人将为任务目标小明执行“提醒”服务。

如果家庭成员小丽通过语音或者通过自己的终端上的应用程序向服务器发出“帮我取某本书过来”的任务指令。服务器就分析出该任务指令包含两个任务目标即小丽和某本预先注册定义了的书，同时还分析出系统指令为“取物”，即为用户提供取物的服务。如果家庭成员小丽通过语音或者通过自己的终端上的应用程序向服务器发出“我需要按摩”的任务指令，服务器就分析出该任务指令包含一个任务目标即小丽，以及系统指令为“按摩”。

进一步的，用户也可以不在同一室内环境中，对终端远程操作，向服务器发出操作指令。例如家里有一位爷爷需要服务，用户就可以远程操作终端发出“给爷爷按摩”的任务指令，则服务器接收任务指令，在该用户的亲属称谓关系图中进行检索，获取亲属称谓是“爷爷”的任务目标，进一步查询任务目标数据库，获取到“爷爷”的个人信息。同时也分析出系统指令为“按摩”，即为“爷爷”提供“按摩”服务。

步骤204，获取室内摄像头采集的图像信息，在图像信息中识别任务目标。

传统方式中，机器人基于地图搜索模式识别任务目标。具体为机器人利用自身的视觉系统在室内环境中进行全面搜索，并进行匹配，识别任务目标。该视觉系统特指机器人自身的摄像头。该方式单独通过机器人自身的摄像头进行搜索识别，耗费时间，无法及时响应用户需求。如果在动态的室内环境中，任务目标多是动态的，无法实时跟踪任务目标的位置变化。

室内每个房间都安装有室内摄像头，该室内摄像头在本实施例中可以通过WIFI或者其他网络连接方式与服务器进行连接。多个室内摄像头分别拍摄室内的图像信息，再将拍摄的图像信息上传至服务器，并在服务器上进行存储，因此服务器能够从全局视角实时掌握整个家庭环境信息，从而快速识别任务目标。传统的地图搜索模式，机器人只能掌握自身摄像头所能拍摄到的视野范围内的环境信息，这样局限性很强，机器人不得不在全局环境内盲目地进行全面搜索，费时费力。

服务器查询任务目标数据库，该任务目标数据库预先存储了任务目标的身份信息和个人基本信息。服务器从任务目标数据库读取任务目标的身份信息，缓存为任务目标数据，再根据缓存的任务目标数据，对实时存储在服务器上的室内摄像头所拍摄的图像信息进行检测和识别，识别出任务目标。

步骤206，对任务目标进行定位，计算任务目标的位置，根据任务目标的位置和机器人的位置规划运动路径。

通过服务器识别出任务目标后，对任务目标进行定位。服务器在某个室内摄像头拍摄的图像信息中识别出任务目标，则就在该室内摄像头坐标系中对任务目标进行定位。分别计算任务目标和机器人的位置，然后规划出机器人到达任务目标的运动路径。在此期间室内摄像头对任务目标保持动态跟踪，使服务器能够实时对任务目标进行定位。如果任务目标位置发生变化，则服务器实时重新对任务目标进行定位，再分别重新计算任务目标和机器人的位置，然后重新规划出机器人到达任务目标的运动路径。

获取任务目标在某个室内摄像头坐标系中的位置，及计算任务目标在世界坐标系的位置，这些复杂的计算量都是在服务器上完成。相对于传统地图搜索模式，大大减少了机器人的计算量，也无需摄像头设备具备运算能力。因此提高了运行效率，保证服务器能够在识别出任务目标后快速定位任务目标的位置。

步骤208，将规划后的运动路径返回至机器人，以使得机器人按照规划后的运动路径进行导航。

服务器将规划后的运动路径返回至机器人，机器人根据运动路径进行导航，该运动路径的规划即为全局路径规划。当导航时，机器人就可以通过运动路径再配合自身的视觉系统进行导航。自身的视觉系统包括避障传感器、摄像头等，通过自身的视觉系统计算避障方向及运动控制量，实时调整局部路径规划，规避全局路径规划中没有考虑到的局部位置的障碍物，相当于通过机器人自身的视觉系统对服务器给出的全局路径规划进行一个局部的动态调整。该运动控制量包括但不限于平移速度和旋转角速度。

服务器接收任务目标，获取任务目标，并获取室内摄像头采集的图像信息，在室内摄像头采集的图像信息中识别任务目标。与传统地图搜索模式相比，采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标，不需要机器人盲目全面进行任务目标的搜索识别，所以使任务目标的识别更加高效。然后服务器再对任务目标进行定位，计算任务目标的位置，根据任务目标的位置规划运动路径。因为服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化，从而根据任务目标最新的位置能够灵活规划机器人的运动路径。避免任务目标的位置发生变化，而机器人的运动路径却未实时更新。最后服务器将规划后的运动路径返回至机器人，机器人接收服务器返回的运动路径，并根据该运动路径进行导航。

在一个实施例中，在图像信息中识别任务目标的步骤包括：

根据任务目标获取对应的身份信息，身份信息包括基于深度神经网络的人脸模型信息或物体模型信息；在图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息；若存在，则识别图像信息中的任务目标。

服务器根据在操作指令库匹配得到的任务目标的个人基本信息，进一步查询任务目标数据库，获取人物目标的身份信息。该任务目标数据库预先存储了任务目标的个人基本信息和身份信息。关于身份信息的定义如下，当人作为任务目标时可以存储基于深度神经网络的人脸模型信息，当物品作为任务目标时可以存储物体模型信息。服务器在任务目标数据库中读取任务目标对应的身份信息并缓存。

服务器根据缓存的人脸模型信息或者物体模型信息，对实时存储在服务器上的室内摄像头所拍摄的图像信息进行图像检测和识别，具体指通过人脸模型信息检测和识别人的身份，通过物体模型信息检测和识别物体，从而识别出了任务目标。如果未识别出任务目标，则继续对实时存储在服务器上的室内摄像头所拍摄的图像信息进行检测和识别，直到识别出任务目标。

在一个实施例中，在计算任务目标的位置的步骤之前，还包括：获取世界坐标系，以及多个室内摄像头坐标系；分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。

机器人通过SLAM(simultaneous localization and mapping，即时定位与地图构建)构建环境地图。机器人建立的环境地图的坐标系即为世界坐标系。室内摄像头根据内参各自构建自己的摄像头坐标系。在本实施例中可以默认世界坐标系的原点为机器人充电座的位置。

机器人和室内摄像头均利用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算子，来计算和描述物体在世界坐标系和各个摄像头坐标系的三维空间特征。SIFT算子是以尺度空间的构造为基础的局部特征描述算子，对于图像的缩放、旋转和放射变化具有不变性。

室内摄像头在世界坐标系的定位方法如下，首先摄像头的内参自动调整，保持摄像头的固定姿态，然后利用摄像头采集的图像信息，计算其三维空间特征，最后通过与机器人构建的环境地图进行三维空间特征的匹配，得出室内摄像头在世界坐标系中的空间位置。

机器人进行构建环境地图时，采用SIFT算子对世界坐标系的物体进行三维空间特征的提取，得到室内环境完整的三维空间特征点云的集合。各个室内摄像头同样对各自的室内环境观察区域进行SIFT特征提取，形成点云集合，然后将各自的三维空间特征与环境地图构建结果的空间特征进行相似度匹配，从而得到摄像头在世界坐标系中的位置。进一步，建立各个室内摄像头坐标系与世界坐标系之间的空间映射关系。

SIFT算子是指通过对关键点周围图像区域分块，计算块内梯度直方图，生成特征向量，这个特征向量是该区域图像信息的一种抽象，具有唯一性。计算特征向量间的空间距离即为相似度匹配。

SIFT算子具有即使改变旋转角度、图像亮度或拍摄视角，仍然保持良好的唯一性。即使室内摄像头拍摄的图形信息与机器人的摄像头拍摄的图像信息具有不同的拍摄视角、图像亮度等，但通过计算SIFT算子可以建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。通过已经建立的各个室内摄像头坐标系与世界坐标系之间的空间映射关系，能够将处于某个室内摄像头坐标系中的任务目标的位置转换到世界坐标系，从而方便机器人的导航。

在一个实施例中，计算任务目标的位置的步骤包括：获取任务目标在室内摄像头坐标系的位置；根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。

通过服务器识别出任务目标后，对任务目标进行定位。具体为服务器在某个室内摄像头拍摄的图像信息中识别出任务目标，则就在该室内摄像头坐标系中对任务目标进行定位。然后通过已经建立的该室内摄像头坐标系与世界坐标系之间的空间映射关系，计算任务目标在世界坐标系中的位置。再结合机器人在世界坐标系中的位置，在世界坐标系中规划出机器人到达任务目标的运动路径。在此期间室内摄像头对任务目标保持动态跟踪，使服务器能够实时对任务目标进行定位。如果任务目标位置发生变化，则服务器实时重新对任务目标进行定位，再分别重新计算任务目标和机器人的位置，然后重新规划出机器人到达任务目标的运动路径。

在本实施例中，获取任务目标在某个室内摄像头坐标系中的位置，及计算任务目标在世界坐标系的位置，这些复杂的计算量都是在服务器上完成。相对于传统地图搜索模式，大大减少了机器人的计算量，也无需摄像头设备具备运算能力。提高了运行效率，保证服务器能够在识别出任务目标后快速定位任务目标的位置。

在一个实施例中，如图3所示，提供了一种机器人自主导航方法，以该方法应用于图1中的机器人104为例进行说明，具体包括：

步骤302，接收所述服务器规划后返回的运动路径。

步骤304，根据运动路径进行导航。

机器人根据运动路径进行导航。当导航时，机器人就可以通过运动路径再配合自身的视觉系统进行导航，自身的视觉系统包括避障传感器、摄像头等，通过自身的视觉系统计算避障方向及运动控制量，实时调整局部路径规划，规避全局路径规划中没有考虑到的局部位置的障碍物，相当于通过机器人自身的视觉系统对服务器给出的全局路径规划进行一个局部的动态调整。该运动控制量包括但不限于平移速度和旋转角速度。

在本实施例中，服务器接收任务目标，获取任务目标，并获取室内摄像头采集的图像信息，在室内摄像头采集的图像信息中识别任务目标。与传统地图搜索模式相比，采用本方法服务器通过室内摄像头能够从全局视角快速识别任务目标，不需要机器人盲目全面进行任务目标的搜索识别，所以使任务目标的识别更加高效。然后服务器再对任务目标进行定位，计算任务目标的位置，根据任务目标的位置规划运动路径。因为服务器通过室内摄像头能够从全局视角实时、动态地响应任务目标的位置变化，从而根据任务目标最新的位置能够灵活规划机器人的运动路径。避免任务目标的位置发生变化，而机器人的运动路径却未实时更新。最后服务器将规划后的运动路径返回至机器人，机器人接收服务器返回的运动路径，并根据该运动路径进行导航。

在一个实施例中，如图4所示，提供了一种机器人自主导航装置，包括：任务目标接收模块402、任务目标识别模块404、运动路径规划模块406、导航模块408。其中：

任务目标接收模块402，用于接收任务指令，获取任务目标。

任务目标识别模块404，用于获取室内摄像头采集的图像信息，在图像信息中识别任务目标。

运动路径规划模块406，用于对任务目标进行定位，计算任务目标的位置，根据任务目标的位置和机器人的位置规划运动路径。

导航模块408，用于将规划后的运动路径返回至机器人，以使得机器人按照规划后的运动路径进行导航。

在一个实施例中，任务目标识别模块404还用于根据任务目标获取对应的身份信息，身份信息包括基于深度神经网络的人脸模型信息或物体模型信息；在图像信息中检测是否存在与任务目标对应的人脸模型信息或物体模型信息；若存在，则识别图像信息中的任务目标。

在一个实施例中，如图5所示，该装置还包括空间映射建立模块410，用于获取世界坐标系，以及多个室内摄像头坐标系；分别建立多个室内摄像头坐标系与世界坐标系之间的空间映射关系。

在一个实施例中，运动路径规划模块406还用于获取任务目标在室内摄像头坐标系的位置；根据室内摄像头坐标系与世界坐标系之间的空间映射关系及任务目标在室内摄像头坐标系的位置计算任务目标在世界坐标系的位置。

在一个实施例中，如图6所示，提供一种机器人自主导航装置，包括：运动路径接收模块502、导航模块504，其中：

运动路径接收模块502，用于接收所述服务器规划后返回的运动路径。

导航模块504，用于根据运动路径进行导航。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。