机器人行走控制方法及装置与流程

本申请设计人工智能技术领域，尤其涉及一种机器人行走控制方法及装置。

背景技术：

随着人工智能技术的发展，机器人在各种场景中的应用越来越普遍，机器人在行走的过程中，需要及时调整方向，避免和规划的路径相偏离，因此需要在机器人行走的过程中对机器人进行定位。

目前对机器人进行定位的方法主要是通过激光雷达、惯性导航、地面rfid(radiofrequencyidentification，无线射频识别技术)等方案来进行，然而这些方案对场景和精准性都有要求，且零配件的成本较高，定位结果不够准确。

技术实现要素：

本申请提供一种机器人行走控制方法及装置，以实现降低成本，提高定位结果的准确性，提高效率。

本申请提供一种机器人行走控制方法，所述机器人行走控制方法包括：通过摄像头采集目标图像；确认所述目标图像中存在二维码图案，获取所述二维码图案；基于所述二维码图案，确定机器人的位置信息和方向信息；基于机器人的预设轨迹以及所述位置信息和所述方向信息，确定所述机器人的行走方向。

根据本申请提供的一种机器人行走控制方法，所述确认所述目标图像中存在二维码图案，包括：对所述目标图像进行预处理，得到参考图像；从所述参考图像中提取轮廓特征，若所述轮廓特征的数量大于或等于三，确认所述参考图像中存在二维码图案。

根据本申请提供的一种机器人行走控制方法，所述对所述目标图像进行预处理，包括：对所述目标图像进行灰度化处理。

根据本申请提供的一种机器人行走控制方法，所述获取所述二维码图案，包括：基于所述轮廓特征，绘制出多个矩形框，并生成包围所述多个矩形框的最小矩形框；基于所述最小矩形框，确定所述二维码图案。

根据本申请提供的一种机器人行走控制方法，所述基于所述轮廓特征，绘制出多个矩形框，并生成包围所述多个矩形框的最小矩形框，包括：基于所述轮廓特征，生成第一矩形框、第二矩形框和第三矩形框；基于所述第一矩形框、所述第二矩形框和所述第三矩形框，生成第四矩形框；基于所述第一矩形框、所述第二矩形框、所述第三矩形框和所述第四矩形框的顶点，生成包围所述第一矩形框、所述第二矩形框、所述第三矩形框和所述第四矩形框的最小矩形框。

根据本申请提供的一种机器人行走控制方法，该机器人行走控制方法还包括：确认所述目标图像中不存在二维码图案，控制所述机器人继续沿原行走方向运动，直到确认所述目标图像中存在二维码图案。

根据本申请提供的一种机器人行走控制方法，该机器人行走控制方法还包括：若所述机器人沿原行走方向运动目标时间阈值后，仍无法检测到二维码图案，控制所述机器人沿原路返回，直到确认所述目标图像中存在二维码图案。

根据本申请提供的一种机器人行走控制方法，所述二维码图案为所述摄像头拍摄用可见光隐身涂料制成的二维码得到的。

本申请还提供一种机器人行走控制装置，该机器人行走控制装置包括：采集模块，用于通过摄像头采集目标图像；确认模块，用于确认所述目标图像中存在二维码图案，获取所述二维码图案；第一确定模块，用于基于所述二维码图案，确定机器人的位置信息和方向信息；第二确定模块，用于基于机器人的预设轨迹以及所述位置信息和所述方向信息，确定所述机器人的行走方向。

根据本申请提供的一种机器人行走控制装置，所述确认模块，包括：第一确认子模块，用于对所述目标图像进行预处理，得到参考图像；第二确认子模块，用于所述参考图像中提取轮廓特征，若所述轮廓特征的数量大于或等于三，确认所述参考图像中存在二维码图案。

根据本申请提供的一种机器人行走控制装置，所述确认模块，还包括：第一获取子模块，用于基于所述轮廓特征，绘制出多个矩形框，并生成包围所述多个矩形框的最小矩形框；第二获取子模块，用于基于所述最小矩形框，确定所述二维码图案。

本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述机器人行走控制方法的步骤。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人行走控制方法的步骤。

本申请提供的机器人行走控制方法及装置，通过利用摄像头采集场地中的目标图像，根据目标图案中的二维码图案确定机器人的位置信息和方向信息，根据该位置信息和方向信息，来调整机器人的行走方向，通过成本较低的二维码来实现机器人定位，能够降低成本，提高定位结果的准确性，提高效率。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的机器人行走控制方法的流程示意图；

图2是本申请提供的机器人行走控制方法中步骤200的实施方式的流程示意图之一；

图3是本申请提供的机器人行走控制方法中步骤200的实施方式的流程示意图之二；

图4是本申请提供的机器人行走控制方法中步骤201的实施方式的流程示意图；

图5是本申请提供的机器人行走控制方法中场地中二维码布置示意图；

图6是本申请提供的机器人行走控制方法中确认目标图像中是否存在二维码图案的程序框图；

图7是本申请提供的机器人行走控制装置的结构示意图；

图8是本申请提供的机器人行走控制装置的确认模块的结构示意图之一；

图9是本申请提供的机器人行走控制装置的确认模块的结构示意图之二；

图10是本申请提供的机器人行走控制装置的第一获取子模块的结构示意图；

图11是本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合图1-图11描述本申请的机器人行走控制方法及装置。

如图1所示，本申请实施例提供一种机器人行走控制方法，该机器人行走控制方法包括：如下步骤100-步骤400。

步骤100、通过摄像头采集目标图像。

可以理解的是，机器人上安装有摄像头，机器人可以在场地中行走，摄像头可以朝上或者朝下，在场地地面或者顶面的某些位置可以设置有二维码，二维码中包含在该场地中的位置信息和方向信息，也就是说，通过识别二维码就能够知道二维码所处的场地中的位置，以及二维码本身的设置方向。

此处摄像头实时拍摄场地环境，得到目标图像，由于二维码只设置在固定的位置，因此摄像头所拍摄的目标图像中并不是一直存在二维码图案。

步骤200、确认目标图像中存在二维码图案，获取二维码图案。

可以理解的是，可以对目标图像进行检测，判断目标图像中是否存在二维码图案，如果目标图像中存在二维码图案，可以获取该二维码图案，比如若目标图像中存在二维码图案，此时可以对目标图像进行裁剪，以二维码图案的轮廓为边界，去除轮廓以外的背景图案，保留轮廓以内的二维码图案。

步骤300、基于二维码图案，确定机器人的位置信息和方向信息。

可以理解的是，可以从二维码图案中读取二维码图案所包含的信息，该信息可以包括：二维码所处的位置以及二维码的方向，由于二维码是设置在场地的地面或者顶面，当机器人行走到二维码的位置，机器人的位置信息就与二维码所处的位置一致，就可以通过二维码图案包含的二维码所处的位置得到机器人的位置信息，与此同时，由于摄像仪拍摄到的二维码图案本身可以携带有方向，就可以根据二维码图案的方向确定机器人的朝向。

比如，若机器人某一时刻拍摄到的二维码图案显示该二维码的位置坐标为(4，5)，二维码图案的三个角指示出了正北方向，此时机器人的位置信息就为(4，5)，根据二维码图案的倾斜程度，可以得到机器人的行驶方向与正北方向的夹角，比如夹角为偏东30度，进而确定机器人的方向信息就为北偏东30度。

步骤400、基于机器人的预设轨迹以及位置信息和方向信息，确定机器人的行走方向。

可以理解的是，机器人可以预先设置有轨迹，该轨迹可以为人为设定的，也可以为根据执行的任务自行规划出的，机器人需要沿着预设轨迹行走，才能完成任务，此处根据二维码图案能够确定机器人的位置信息和方向信息，可以根据该位置信息和方向信息，来判断与预设轨迹是否存在偏差以及偏差程度，如果不存在偏差，则不改变机器人的行走方向，若存在偏差，则根据偏差程度对原行走方向进行纠正，根据偏差程度，来确定接下来的行走方向。

本申请实施例提供的机器人行走控制方法，通过利用摄像头采集场地中的目标图像，根据目标图案中的二维码图案确定机器人的位置信息和方向信息，根据该位置信息和方向信息，来调整机器人的行走方向，通过成本较低的二维码来实现机器人定位，能够降低成本，提高定位结果的准确性，提高效率。

如图2所示，在一些实施例中，上述步骤200中的确认目标图像中存在二维码图案，包括：如下步骤210-步骤220。

其中，步骤210、对目标图像进行预处理，得到参考图像。

可以理解的是，在摄像头采集到目标图像后，可以对目标图像进行预处理，得到参考图像，以适应后续特征提取，预处理可以包括：去噪处理、矩阵化处理、颜色处理、平滑处理以及图像增强处理中的至少一种，通过预处理能够提高目标区域图像中的关键特征的辨识度，降低无关特征的辨识度。

步骤220、从参考图像中提取轮廓特征，若轮廓特征的数量大于或等于三，确认参考图像中存在二维码图案。

如图5所示，可以理解的是，场地中设置的二维码可以为常规的二维码，比如可以为图5中的a点、b点、c点和d点，a点、b点、c点和d点以场地中的o点为基准来进行布置，其中二维码一般为方形，在方形的四个角中会选定三个角，比如图5中的1、2和3，在这三个角的区域各设置一个矩形标记，因此可以从参考图像中提取轮廓特征，可以采用canny边缘检测算法提取轮廓特征，轮廓特征和该二维码的角的区域设置的矩形标记是对应的，如果轮廓特征的数量大于或等于三，说明参考图像中存在三个矩形标记，这说明参考图像中存在一个完整的二维码图案，因此就可以确认参考图案中存在二维码图案。

如果轮廓特征的数量小于三，说明参考图像中并不存在一个完整的二维码图案。

在一些实施例中，上述步骤210中的对目标图像进行预处理，包括：对目标图像进行灰度化处理。

可以理解的是，目标图像可以为彩色图像，彩色图像中的每个像素的颜色由r、g、b三个分量决定，而每个分量中可以从255个值确定一个，那么一个像素点就有约1600万的颜色变化范围，此处将目标图像进行灰度化处理，就能够将彩色图像变为灰度图像，能够使得后续的计算量变小，灰度图像和彩色图像均反映了整幅图像的整体和局部的色度和亮度等级的分布和特征，在二维码识别的应用场景中，灰度图像并不会影响特征提取的准确度，并且会提升检测的速度。

如图3和图6所示，在一些实施例中，上述步骤200中的获取二维码图案，包括：如下步骤201-步骤202。

步骤201、基于轮廓特征，绘制出多个矩形框，并生成包围多个矩形框的最小矩形框。

可以理解的是，在从参考图案中识别到轮廓特征后，可以根据轮廓特征绘制出多个矩形框，可以针对每一个轮廓特征绘制出一个对应的矩形框，因此可以在参考图案中绘制出多个矩形框，再根据多个矩形框，绘制出一个包围所有矩形框的最小矩形框，前述在参考图案中绘制出的所有矩形框都被包围在该最小矩形框中。

步骤202、基于最小矩形框，确定二维码图案。

可以理解的是，该最小矩形框就是二维码图案的边界，在该最小矩形框以外的区域就是背景图案，在该最小矩形框以内的区域就是二维码图案，因此可以以该最小矩形框为边界对参考图案进行截图，从而去除背景图案，参考图案中保留的区域就是二维码图案。

如图4和图6所示，在一些实施例中，上述步骤201、基于轮廓特征，绘制出多个矩形框，并生成包围多个矩形框的最小矩形框，包括：如下步骤2011-步骤2013。

步骤2011、基于轮廓特征，生成第一矩形框、第二矩形框和第三矩形框。

可以理解的是，由于一个完整的二维码图案可以具有三个矩形框，因此可以根据从参考图案中识别出来的轮廓特征，绘制出第一矩形框、第二矩形框和第三矩形框，第一矩形框、第二矩形框和第三矩形框分别位于二维码图案的三个角。

步骤2012、基于第一矩形框、第二矩形框和第三矩形框，生成第四矩形框。

可以理解的是，根据第一矩形框、第二矩形框和第三矩形框就能够定位出二维码图案的第四个角，在该第四个角处生成第四矩形框。

步骤2013、基于第一矩形框、第二矩形框、第三矩形框和第四矩形框的顶点，生成包围多个矩形框的最小矩形框。

可以理解的是，可以根据上述第一矩形框、第二矩形框、第三矩形框和第四矩形框的顶点来判断二维码图案的边界区域，将第一矩形框、第二矩形框、第三矩形框和第四矩形框中的部分顶点连接起来，就可以生成包围第一矩形框、第二矩形框、第三矩形框和第四矩形框的最小矩形框，从而根据该最小矩形框，来得到二维码图案。

在一些实施例中，该机器人行走控制方法还包括：确认目标图像中不存在二维码图案，控制机器人继续沿原行走方向运动目标时间阈值，直到确认目标图像中存在二维码图案。

可以理解的是，若在目标图像中未检测到二维码图案，可以控制机器人继续保持原行走方向继续向前运动，直到摄像头实时拍摄的目标图像中检测到二维码图案。

在一些实施例中，该机器人行走控制方法还包括：若机器人沿原行走方向运动目标时间阈值后，仍无法检测到二维码图案，控制机器人沿原路返回，直到确认目标图像中存在二维码图案。

可以理解的是，可以控制机器人沿原行走方向运动一定时间，可以设定目标时间阈值，比如可以为10秒，若机器人沿原行走方向运动10秒后，摄像头实时拍摄到的目标图像中仍然没有二维码图案，此时控制机器人沿原路返回，直到摄像头实时拍摄到的目标图像中存在二维码图案，说明回到了最近拍摄到的二维码的位置，此时可以根据该二维码重新对机器人进行定位。

可以说，机器人在行走过程中只要能够拍摄到的目标图像中存在二维码图案，就能够根据该二维码图案更新位置信息和方向信息，从而实现对机器人的准确定位。

在一些实施例中，所述二维码图案为所述摄像头拍摄用可见光隐身涂料制成的二维码得到的。

可以理解的是，场地中设置的二维码可以由可见光隐身涂料制成的，可见光隐身涂料不会反射可见光，因此人肉眼无法看到该可见光隐身涂料制成的产品，可见光隐身涂料可以反射特定波段的不可见光，比如可以为紫外光或者红外光，对应的摄像头可以设置为对这种特定波段的不可见光敏感，也就是能够拍摄到该特定波段的不可见光。

用这种可见光隐身涂料制作二维码后，就能够二维码只能被摄像头拍摄到，人肉眼看不到，也就是说，该二维码只能被机器人识别到，无法被人肉眼观察到，就能够避免二维码对场景的装修风格产生影响，避免影响人对机器人所在场景的观感。

下面对本申请提供的机器人行走控制装置进行描述，下文描述的机器人行走控制装置与上文描述的机器人行走控制方法可相互对应参照。

如图7所示，本申请实施例还提供一种机器人行走控制装置，该机器人行走控制装置包括：采集模块710、确认模块720、第一确定模块730和第二确定模块740。

采集模块710，用于通过摄像头采集目标图像；

确认模块720，用于确认目标图像中存在二维码图案，获取二维码图案；

第一确定模块730，用于基于二维码图案，确定机器人的位置信息和方向信息。

第二确定模块740，用于基于机器人的预设轨迹以及位置信息和方向信息，确定机器人的行走方向。

如图8所示，在一些实施例中，确认模块720，包括：第一确认子模块810和第二确认子模块820。

第一确认子模块810，用于对目标图像进行预处理，得到参考图像。

第二确认子模块820，用于参考图像中提取轮廓特征，若轮廓特征的数量大于或等于三，确认参考图像中存在二维码图案。

在一些实施例中，第一确认子模块810还用于对目标图像进行灰度化处理。

如图9所示，在一些实施例中，确认模块720还包括：第一获取子模块910和第二获取子模块920。

第一获取子模块910，用于基于轮廓特征，绘制出多个矩形框，并生成包围多个矩形框的最小矩形框。

第二获取子模块920，用于基于最小矩形框，确定二维码图案。

如图10所示，在一些实施例中，第一获取子模块910包括：第一生成子单元101、第二生成子单元102和第三生成子单元103。

第一生成子单元101，用于基于所述轮廓特征，生成第一矩形框、第二矩形框和第三矩形框。

第二生成子单元102，用于基于所述第一矩形框、所述第二矩形框和所述第三矩形框，生成第四矩形框。

第三生成子单元103，用于基于所述第一矩形框、所述第二矩形框、所述第三矩形框和所述第四矩形框的顶点，生成包围所述第一矩形框、所述第二矩形框、所述第三矩形框和所述第四矩形框的最小矩形框。

在一些实施例中，确认模块720，还用于确认所述目标图像中不存在二维码图案，控制所述机器人继续沿原行走方向运动，直到确认所述目标图像中存在二维码图案。

在一些实施例中，确认模块720，还用于若所述机器人沿原行走方向运动目标时间阈值后，仍无法检测到二维码图案，控制所述机器人沿原路返回，直到确认所述目标图像中存在二维码图案。

在一些实施例中，二维码图案为摄像头拍摄用可见光隐身涂料制成的二维码得到的。

本申请实施例提供的机器人行走控制装置用于执行上述机器人行走控制方法，其实施方式与本申请提供的机器人行走控制方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)111、通信接口(communicationsinterface)112、存储器(memory)113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。处理器111可以调用存储器113中的逻辑指令，以执行机器人行走控制方法，该方法包括：通过摄像头采集目标图像；确认所述目标图像中存在二维码图案，获取所述二维码图案；基于所述二维码图案，确定机器人的位置信息和方向信息；基于机器人的预设轨迹以及所述位置信息和所述方向信息，确定所述机器人的行走方向。

此外，上述的存储器113中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器111可以调用存储器113中的逻辑指令，实现上述机器人行走控制方法，其实施方式与本申请提供的机器人行走控制方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的机器人行走控制方法可相互对应参照。

所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的机器人行走控制方法，该方法包括：通过摄像头采集目标图像；确认所述目标图像中存在二维码图案，获取所述二维码图案；基于所述二维码图案，确定机器人的位置信息和方向信息；基于机器人的预设轨迹以及所述位置信息和所述方向信息，确定所述机器人的行走方向。

本申请实施例提供的计算机程序产品被执行时，实现上述机器人行走控制方法，其实施方式与本申请提供的机器人行走控制方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的机器人行走控制方法可相互对应参照。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的机器人行走控制方法，该方法包括：通过摄像头采集目标图像；确认所述目标图像中存在二维码图案，获取所述二维码图案；基于所述二维码图案，确定机器人的位置信息和方向信息；基于机器人的预设轨迹以及所述位置信息和所述方向信息，确定所述机器人的行走方向。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述机器人行走控制方法，其实施方式与本申请提供的机器人行走控制方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。