一种机器人及其行走控制方法、装置与流程

1.本技术涉及机器人控制技术领域，特别是涉及一种机器人及其行走控制方法、装置和计算机可读存储介质。


背景技术：

2.随着自动控制领域的发展，通过机器人取代人工在复杂环境下完成特定任务以保护工作人员的安全或者节省工作人员的工作量在各个领域越来越常见。在机器人执行特定任务时机器人稳定、安全行走是研究人员的主要研究方向之一。
3.机器人行走通常使用二维激光即时定位与地图构建(slam)的方法，来导航、定位、确定行进路线的安全性，避免与障碍物相撞。但是因二维激光只能探测单一平面的障碍物，所以这种方法有一定的局限性。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种在现有机器人硬件基础上，低成本的避免与障碍物相撞，高安全性的机器人及其行走控制方法、装置和计算机可读存储介质。
5.一方面，本发明实施例提供一种机器人的行走控制方法，包括：控制机器人按预设路径行走；预设路径为根据二维激光扫描构建的路径；若机器人经过预设路径的关键位置，则控制机器人获取机器人前进方向上的图像；对图像进行特征提取，得到图像特征集；若图像特征集与导航数据库中的目标特征集不匹配，则控制机器人暂停行走，否则控制机器人继续行走并返回若机器人经过预设路径的关键点，则控制机器人获取机器人前进方向上的图像的步骤继续执行，直至机器人到达预设路径的终点；目标特征集为对关键位置的标准图像进行特征提取后得到。
6.在其中一个实施例中，若图像特征集与导航数据库中的目标特征集不匹配的步骤包括：比对图像特征集与目标特征集；若图像特征集与目标特征集的特征差异大于安全阈值，则判定图像特征集与导航数据库中的目标特征集不匹配。
7.在其中一个实施例中，若图像特征集与导航数据库中的目标特征集不匹配的步骤前还包括：获取关键位置的位置信息；根据位置信息从导航数据库中索引得到对应的目标特征集。
8.在其中一个实施例中，对图像进行特征提取，得到图像特征集的步骤包括：对图像进行灰度化处理，得到灰度化的图像；根据hog特征提取算法、sift特征提取算法或lbp特征提取算法对灰度化的图像进行特征提取，得到图像特征集。
9.在其中一个实施例中，对图像进行特征提取，得到图像特征集的步骤包括：将图像输入卷积神经网络中，以得到图像特征集。
10.另一方面，本发明实施例还提供一种机器人，包括：图像采集装置，用于对机器人前进方向上的图像进行采集；控制器，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一实施例中的机器人的行走控制方法的步骤。
11.又一方面，本发明实施例还提供一种机器人的行走控制装置，包括：第一控制模块，用于控制机器人按预设路径行走；预设路径为根据二维激光扫描构建的路径；图像获取模块，用于若机器人经过预设路径的关键位置，则控制机器人获取机器人前进方向上的图像；特征提取模块，用于对图像进行特征提取，得到图像特征集；第二控制模块，用于若图像特征集与导航数据库中的目标特征集不匹配，则控制机器人暂停行走，否则控制机器人继续行走并返回若机器人经过预设路径的关键点，则控制机器人获取机器人前进方向上的图像的步骤继续执行，直至机器人到达预设路径的终点；目标特征集为对关键位置的标准图像进行特征提取后得到。
12.在其中一个实施例中，第二控制模块包括特征比对子模块；特征比对子模块用于比对图像特征集与目标特征集，以及若图像特征集与目标特征集的特征差异大于安全阈值，则判定图像特征集与导航数据库中的目标特征集不匹配。
13.在其中一个实施例中，第二控制模块还包括特征索引子模块；特征索引子模块用于获取关键位置的位置信息，根据位置信息从导航数据库中索引得到对应的目标特征集。
14.再一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的机器人的行走控制方法的步骤。
15.基于上述任一实施例，基于原有的机器人的硬件基础，在机器人按照二维激光进行导航行走的过程中，利用图像采集和图像特征比对判断机器人是否在预设路径的关键位置偏离了预设路径，以弥补二维激光扫描的局限，在未更换三维激光、未添加更复杂的传感器以及机器人的处理数据能力要求不高的情况下实现了机器人的低成本避障行走。
附图说明
16.为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为一个实施例中机器人的行走控制方法的流程示意图；
18.图2为一个实施例中判断图像特征集于目标特征集是否匹配的流程示意图；
19.图3为一个实施例中索引关键位置对应的目标特征集的流程示意图；
20.图4为一个实施例中对机器人采集到的图像进行特征提取的流程示意图；
21.图5为一个实施例中机器人的结构示意图；
22.图6为一个实施例中机器人的行走控制装置的结构框图。
具体实施方式
23.为了便于理解本技术，下面将参照相关附图对本技术进行更全面的描述。附图中给出了本技术的实施例。但是，本技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本技术的公开内容更加透彻全面。
24.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
25.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。
26.空间关系术语例如“在...下”、“在...下面”、“下面的”、“在...之下”、“在...之上”、“上面的”等，在这里可以用于描述图中所示的一个元件或特征与其它元件或特征的关系。应当明白，除了图中所示的取向以外，空间关系术语还包括使用和操作中的器件的不同取向。例如，如果附图中的器件翻转，描述为“在其它元件下面”或“在其之下”或“在其下”元件或特征将取向为在其它元件或特征“上”。因此，示例性术语“在...下面”和“在...下”可包括上和下两个取向。此外，器件也可以包括另外地取向(譬如，旋转90度或其它取向)，并且在此使用的空间描述语相应地被解释。
27.需要说明的是，当一个元件被认为是“连接”另一个元件时，它可以是直接连接到另一个元件，或者通过居中元件连接另一个元件。此外，以下实施例中的“连接”，如果被连接的对象之间具有电信号或数据的传递，则应理解为“电连接”、“通信连接”等。
28.在此使用时，单数形式的“一”、“一个”和“/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。
29.正如背景技术，现有技术中的利用二维激光进行定位、导航行走的机器人只能探测单一平面的障碍物，所以这种方法有一定的局限性。发明人研究发现，为了解决该问题，市面上许多产品利用将二维激光改为三维激光进行定位、导航行走，但是三维空间建模计算量更大，还需要添加更复杂的传感器导致成本增加，而且降低了通用性。基于以上原因，本发明提供了一种机器人的行走控制方法。如图1所示，该机器人的行走控制方法包括步骤s102至步骤s108。
30.s102，控制机器人按预设路径行走。
31.预设路径为根据二维激光扫描构建的路径。可以理解，本技术针对的是利用二位激光对环境进行扫描和地图绘制以完成定位和导航的机器人。机器人利用二维slam(simultaneous localization and mapping，同步定位和地图构建)技术预先生成到达终点的预设路径，根据预设路径的指示控制自身移动组件的运动方向、运行速度等运动参数，实现按预设路径行走。
32.s104，若机器人经过预设路径的关键位置，则控制机器人获取机器人前进方向上的图像。
33.可以理解，二位激光扫描的局限性可能导致机器人在一些位置被路况、障碍物等影响而出现偏离预设路径的问题，此时需要根据机器人前进方向上的图像做出机器人是否偏离预设路径的判断。预设路径的关键位置可以为观察、统计机器人在行走过程中容易出现偏离的位置，如路况较差、难以预料的障碍物较多的位置，关键位置可以在规划预设路径时提前设置好，也可以根据机器人在实际使用过程中的情况持续更新。
34.s106，对图像进行特征提取，得到图像特征集。
35.可以理解，图像中包含较多的信息，直接对图像进行分析比对将会导致机器人需要耗费较多时间，并且对机器人的计算能力也会有较高的要求。本实施例中为了降低计算
量，将机器人采集到的图像进行特征提取处理，得到图像特征集。图像特征集包含了图像中的突出的、重要的特征信息并排除了部分无用信息，对图像特征集进行分析可以大大降低数据分析量。
36.s108，若图像特征集与导航数据库中的目标特征集不匹配，则控制机器人暂停行走，否则控制机器人继续行走并返回若机器人经过预设路径的关键点，则控制机器人获取机器人前进方向上的图像的步骤继续执行，直至机器人到达预设路径的终点。
37.目标特征集为对关键位置的标准图像进行特征提取后得到。可以理解，导航数据库存储了预设路径上所有关键位置的目标特征集。关键位置的标准图像指的是在不出现偏离预设路径的情况下所采集到的机器人前进方向上的图像。导航数据库可以为在机器人投入使用前预先在各选定的关键位置进行图像采集、特征提取得到各目标特征集后汇总得到的。如果机器人根据当前所处的关键位置采集到的图像得到的图像特征集与当前所处的关键位置对应的目标特征集不匹配，则意味着机器人已出现了偏离预设路径的情况，所以应停止机器人的行走。如果图像特征集于目标特征集匹配，那么机器人可以继续行走，当机器人到达下一个预设路径的关键位置后重复类似的图像采集、特征提取、比对是否匹配的过程，直至机器人最后到达预设路径的终点。
38.基于本实施例中的机器人行走控制方法，基于原有的机器人的硬件基础，在机器人按照二维激光进行导航行走的过程中，利用图像采集和图像特征比对判断机器人是否在预设路径的关键位置偏离了预设路径，以弥补二维激光扫描的局限，在未更换三维激光、未添加更复杂的传感器以及机器人的处理数据能力要求不高的情况下实现了机器人的低成本避障行走。
39.在一个实施例中，如图2所示，步骤s102中若图像特征集与导航数据库中的目标特征集不匹配的步骤包括步骤s202与步骤s204。
40.s202，比对图像特征集与目标特征集。
41.可以理解，图像特征集和目标特征集都是经过特征提取处理后的数据，目前较为成熟的技术所得到的特征集可以是经过特征提取处理后的图像各像素点的像素值。图像特征集和目标特征集应为尺寸相同的图片，本实施例中比对图像特征集与目标特征集可以是依次比对图像特征集与目标特征集对应的像素点的像素值之间的差异，并统计该差异来判断图像特征集与导航数据库中的目标特征集是否匹配。
42.s204，若图像特征集与目标特征集的特征差异大于安全阈值，则判定图像特征集与导航数据库中的目标特征集不匹配。
43.可以理解，可以用图像特征集与目标特征集像素值不同的对应像素点占总像素点的百分比来评估图像特征集与目标特征集的特征差异。当该百分比大于安全阈值即可判定图像特征集与导航数据库中的目标特征集不匹配。在采用不同方式比对图像特征集与目标特征集之间的差异时也可以采用其他参数评估图像特征集与目标特征集的特征差异，在此仅是说明而非限定。
44.在一个实施例中，如图3所示，步骤s102中若图像特征集与导航数据库中的目标特征集不匹配的步骤前还包括步骤s302与步骤s304。
45.s302，获取关键位置的位置信息。
46.可以理解，导航数据库中包含较多目标特征集，为了便于索引特定的目标特征集，
在构建导航数据库时以关键位置的位置信息为对应的目标特征集设置索引项，当机器人行走至当前的关键位置后通过获取当前所处的关键位置的位置信息，即可根据该位置信息索引到对应的目标特征集。若机器人上设置有卫星定位模块，位置信息可以为gps、北斗等卫星定位技术得到的坐标信息。位置信息也可以为预设路径的编号，例如以机器人在预设路径上经过各关键位置的顺序作为各关键位置的编号。
47.s304，根据位置信息从导航数据库中索引得到对应的目标特征集。
48.在一个实施例中，如图4所示，步骤s106包括步骤s402与步骤s404。
49.s402，对图像进行灰度化处理，得到灰度化的图像。
50.可以理解，常用的图像采集设备所采集到的图像一般为彩色，而在rgb模型中，彩色图像的不同颜色的像素点都可由红、绿、蓝三原色进行叠加得到，但是每个像素点分别对应3个变量增加了图像分析的运算难度，所以一般将具有3个变量的彩色信息转换为仅有1个变量的灰色信息以简化分析过程。具体可采用加权平均法、平均值法、最大值法等实现灰度化处理。
51.s404，根据hog特征提取算法、sift特征提取算法或lbp特征提取算法对灰度化的图像进行特征提取，得到图像特征集。
52.可以理解，传统图像特征提取算法包括hog(histogram of oriented gradient，方向梯度直方图)特征提取算法、sift(scale-invariant feature transform，尺度不变特征转换)特征提取算法以及lbp(local binary pattern，局部二值模式)特征提取算法。上述算法都有各自的特点例如hog特征提取算法对图像的维度要求不高但难以处理遮挡问题、sift特征提取算法抗遮挡能力强但计算量较大、lbp特征提取算法运算速度快但对方向信息较为敏感等。在配置机器人的行进控制方法时可以根据实际情况进行选用。
53.在一个实施例中，对图像进行特征提取，得到图像特征集的步骤包括：将图像输入卷积神经网络中，以得到图像特征集。可以理解，在卷积神经网络发展越来越成熟的基础上，利用卷积神经网络进行图像特征提取逐渐取代了传统图像特征提取算法，卷积神经网络通过对图像进行卷积层、池化层、激活层、反卷积层、上采样层等进行处理实现对图像特征的提取。卷积神经网络一经训练完成后可以适用于类似场景的所有模型，因此有较强适用性。例如可以对每个关键位置采集一定数量的图像，并按照一定比例将这些图像分为训练集、测试集和验证集。训练集占的比例应大于其他两个集合。由于卷积神经网络对数据处理能力要求较高，所以选用卷积神经网络算法还是传统图像特征提取算法进行特征提取可以根据机器人的性能、路径的具体场景进行选择。另外，目标特征集中的图像特征提取可按照与图像特征集相同的方式进行。
54.应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
55.本发明实施例还提供一种机器人。如图5所示，机器人包括图像采集装置10和控制
器30。图像采集装置10用于对机器人前进方向上的图像进行采集。图像采集装置10的摄像方向应朝着机器人的前进方向，有些机器人在行进或者作业过程中本体会进行旋转、变向等，所以图像采集装置10可以设置在云台上，控制器30根据机器人移动组件的行进方向自动调整云台，使图像采集装置10与机器人的行进方向相同。控制器30包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现：控制机器人按预设路径行走；预设路径为根据二维激光扫描构建的路径；若机器人经过预设路径的关键位置，则控制机器人获取机器人前进方向上的图像；对图像进行特征提取，得到图像特征集；若图像特征集与导航数据库中的目标特征集不匹配，则控制机器人暂停行走，否则控制机器人继续行走并返回若机器人经过预设路径的关键点，则控制机器人获取机器人前进方向上的图像的步骤继续执行，直至机器人到达预设路径的终点；目标特征集为对关键位置的标准图像进行特征提取后得到。
56.基于上述实施例中的机器人，基于原有的机器人的硬件基础，在机器人按照二维激光进行导航行走的过程中，利用图像采集和图像特征比对判断机器人是否在预设路径的关键位置偏离了预设路径，以弥补二维激光扫描的局限，在未更换三维激光、未添加更复杂的传感器以及机器人的处理数据能力要求不高的情况下实现了机器人的低成本避障行走。
57.在有些实施例中，处理器执行计算机程序时实现上述任一实施例中的机器人的行走控制方法的步骤。
58.如图6所示，本发明实施例还提供一种机器人的行走控制装置，机器人的行走控制装置包括第一控制模块120、图像获取模块140、特征提取模块160以及第二控制模块180。第一控制模块120用于控制机器人按预设路径行走。预设路径为根据二维激光扫描构建的路径。图像获取模块140用于若机器人经过预设路径的关键位置，则控制机器人获取机器人前进方向上的图像。特征提取模块160用于对图像进行特征提取，得到图像特征集。第二控制模块180用于若图像特征集与导航数据库中的目标特征集不匹配，则控制机器人暂停行走，否则控制机器人继续行走并返回若机器人经过预设路径的关键点，则控制机器人获取机器人前进方向上的图像的步骤继续执行，直至机器人到达预设路径的终点。目标特征集为对关键位置的标准图像进行特征提取后得到。
59.在一个实施例中，第二控制模块180包括特征比对子模块。特征比对子模块用于比对图像特征集与目标特征集，以及若图像特征集与目标特征集的特征差异大于安全阈值，则判定图像特征集与导航数据库中的目标特征集不匹配。
60.在一个实施例中，第二控制模块180包括索引子模块。索引子模块用于获取关键位置的位置信息，根据位置信息从导航数据库中索引得到对应的目标特征集。
61.在一个实施例中，特征提取模块160用于对图像进行灰度化处理，得到灰度化的图像；根据hog特征提取算法、sift特征提取算法或lbp特征提取算法对灰度化的图像进行特征提取，得到图像特征集。
62.在一个实施例中，特征提取模块160用于将图像输入卷积神经网络中，以得到图像特征集。
63.在一个实施例中，第二控制模块180还包括特征索引子模块。特征索引子模块用于获取关键位置的位置信息，根据位置信息从导航数据库中索引得到对应的目标特征集。
64.关于机器人的行走控制装置的具体限定可以参见上文中对于机器人的行走控制
方法的限定，在此不再赘述。上述机器人的行走控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
65.本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中的机器人的行走控制方法的步骤。
66.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
67.在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。
68.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
69.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。