一种障碍物测距方法、移动机器人、设备及介质与流程

文档序号:30579403发布日期:2022-06-29 11:19阅读:125来源:国知局
一种障碍物测距方法、移动机器人、设备及介质与流程

1.本技术涉及计算机技术领域,特别是涉及一种障碍物测距方法、移动机器人、设备及介质。


背景技术:

2.在移动机器人运行过程中,为避免移动机器人撞上前方障碍物,通常需要检测前方障碍物与移动机器人之间的距离。
3.相关技术中,为了检测障碍物与移动机器人之间的距离,除了在移动机器人上部署相机外,还会在移动机器人上部署激光雷达和超声波传感器,利用相机所采集的图像、激光雷达发射的雷达信号、超声波传感器发射的超声波信号,检测移动机器人前方障碍物的距离。
4.上述方案虽然可以得到障碍物与移动机器人之间的距离,但是需要在移动机器人上部署较多的传感器,从而需要利用较多的传感器所采集的数据计算障碍物的距离,这样不仅导致移动机器人成本高,而且所需的计算量较大,导致获得障碍物与移动机器人之间距离的效率较低。


技术实现要素:

5.本技术实施例的目的在于提供一种障碍物测距方法、移动机器人、设备及介质,以提高获得障碍物与移动机器人之间的距离的效率。具体技术方案如下:
6.第一方面,本技术实施例提供了一种障碍物测距方法,所述方法包括:
7.获得部署于移动机器人上的单目相机采集的待测图像;
8.检测所述待测图像中包含的障碍物,确定用于表征所述障碍物在所述待测图像中位置的目标像素点;
9.利用所述目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标,其中,所述坐标转换关系为:所述单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,所述坐标转换关系基于预先标定的、所述单目相机的相机参数得到,所述空间坐标系为:基于所述移动机器人建立的坐标系;
10.基于所获得的空间坐标,确定所述障碍物相对所述移动机器人的距离。
11.本技术的一个实施例中,所述方法还包括:
12.确定所述障碍物所处的障碍区域;
13.基于所述距离和障碍区域,控制所述移动机器人在运行过程中绕开所述障碍区域。
14.本技术的一个实施例中,所述确定所述障碍物所处的障碍区域,包括:
15.确定所述障碍物在所述待测图像中的像素宽度;
16.利用所述像素宽度、空间坐标以及所述单目相机的相机参数,计算所述障碍物的
实际宽度,作为所述障碍物所处的障碍区域的区域宽度。
17.本技术的一个实施例中,所述确定所述障碍物所处的障碍区域,包括:
18.识别所述待测图像中所包含的障碍物的目标类别;
19.按照预设的深度与类别之间的深度对应关系,确定所述目标类别对应的目标深度,作为所述障碍物所处的障碍区域的区域纵深。
20.本技术的一个实施例中,所述确定所述障碍物所处的障碍区域,包括:
21.在所述距离小于预设的近距离阈值的情况下,确定所述障碍物所处的障碍区域;和/或
22.在所述障碍物处于所述待测图像的非边缘区域的情况下,确定所述障碍物所处的障碍区域。
23.本技术的一个实施例中,所述确定用于表征所述障碍物在所述待测图像中位置的目标像素点,包括:
24.确定所述障碍物在所述待测图像中所占图像区域的下边界的中点,作为用于表征所述障碍物在所述待测图像中位置的目标像素点。
25.本技术的一个实施例中,所述获得部署于移动机器人上的单目相机采集的待测图像,包括:
26.获得部署于移动机器人上的运动传感器采集的运动信息,在所述运动信息满足预设的稳定条件的情况下,获得部署于所述移动机器人上的单目相机采集的待测图像。
27.本技术的一个实施例中,所述利用所述目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标,包括:
28.对所述目标像素点进行去畸变处理,利用去畸变处理后目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标。
29.第二方面,本技术实施例提供了一种移动机器人,所述移动机器人包括单目相机、处理器,其中:
30.所述单目相机用于:采集待测图像,并向所述处理器发送所述待测图像;
31.所述处理器用于:接收所述待测图像,检测所述待测图像中包含的障碍物,确定用于表征所述障碍物在所述待测图像中位置的目标像素点;利用所述目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标,其中,所述坐标转换关系为:所述单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,所述坐标转换关系基于预先标定的、所述单目相机的相机参数得到,所述空间坐标系为:基于所述移动机器人建立的坐标系;基于所获得的空间坐标,确定所述障碍物相对所述移动机器人的距离。
32.本技术的一个实施例中,所述移动机器人还包括运动传感器,其中:
33.所述运动传感器用于:采集运动信息,并向所述处理器发送所述运动信息;
34.所述处理器用于:接收所述运动信息,在所述运动信息满足预设的稳定条件的情况下,获得部署于所述移动机器人上的单目相机采集的待测图像。
35.第三方面,本技术实施例提供了一种障碍物测距装置,所述装置包括:
36.图像获得模块,用于获得部署于移动机器人上的单目相机采集的待测图像;
37.像素点确定模块,用于检测所述待测图像中包含的障碍物,确定用于表征所述障
碍物在所述待测图像中位置的目标像素点;
38.坐标转换模块,用于利用所述目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标,其中,所述坐标转换关系为:所述单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,所述坐标转换关系基于预先标定的、所述单目相机的相机参数得到,所述空间坐标系为:基于所述移动机器人建立的坐标系;
39.障碍物测距模块,用于基于所获得的空间坐标,确定所述障碍物相对所述移动机器人的距离。
40.本技术的一个实施例中,所述装置还包括:
41.区域确定模块,用于确定所述障碍物所处的障碍区域;
42.避障模块,用于基于所述距离和障碍区域,控制所述移动机器人在运行过程中绕开所述障碍区域。
43.本技术的一个实施例中,所述区域确定模块,具体用于:
44.确定所述障碍物在所述待测图像中的像素宽度;
45.利用所述像素宽度、空间坐标以及所述单目相机的相机参数,计算所述障碍物的实际宽度,作为所述障碍物所处的障碍区域的区域宽度。
46.本技术的一个实施例中,所述区域确定模块,具体用于:
47.识别所述待测图像中所包含的障碍物的目标类别;
48.按照预设的深度与类别之间的深度对应关系,确定所述目标类别对应的目标深度,作为所述障碍物所处的障碍区域的区域纵深。
49.本技术的一个实施例中,所述区域确定模块,具体用于:
50.在所述距离小于预设的近距离阈值的情况下,确定所述障碍物所处的障碍区域;和/或
51.在所述障碍物处于所述待测图像的非边缘区域的情况下,确定所述障碍物所处的障碍区域。
52.本技术的一个实施例中,所述像素点确定模块,具体用于:
53.确定所述障碍物在所述待测图像中所占图像区域的下边界的中点,作为用于表征所述障碍物在所述待测图像中位置的目标像素点。
54.本技术的一个实施例中,所述图像获得模块,具体用于:
55.获得部署于移动机器人上的运动传感器采集的运动信息,在所述运动信息满足预设的稳定条件的情况下,获得部署于所述移动机器人上的单目相机采集的待测图像。
56.本技术的一个实施例中,所述坐标转换模块,具体用于:
57.对所述目标像素点进行去畸变处理,利用去畸变处理后目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标。
58.第四方面,本技术实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
59.存储器,用于存放计算机程序;
60.处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
61.第五方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储
介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
62.本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的障碍物测距方法。
63.本技术实施例有益效果:
64.本技术实施例提供的障碍物测距方案中,可以获得部署于移动机器人上的单目相机采集的待测图像;检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;基于所获得的空间坐标,确定障碍物相对移动机器人的距离。这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到上述距离,从而可以减少计算量。由此可见,应用本技术实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
附图说明
65.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
66.图1为本技术实施例提供的一种障碍物测距方法的流程示意图;
67.图2为本技术实施例提供的一种目标像素点的示意图;
68.图3为本技术实施例提供的一种标定过程的示意图;
69.图4为本技术实施例提供的另一种障碍物测距方法的流程示意图;
70.图5为本技术实施例提供的一种障碍物区域图像的示意图;
71.图6为本技术实施例提供的一种二值边界图;
72.图7为本技术实施例提供的一种包络框的示意图;
73.图8为本技术实施例提供的一种移动机器人的结构示意图;
74.图9为本技术实施例提供的一种障碍物测距装置的结构示意图;
75.图10为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
76.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员基于本技术所获得的所有其他实施例,都属于本技术保护的范围。
77.为了提高获得障碍物与移动机器人之间的距离的效率,本技术实施例提供了一种障碍物测距方法、移动机器人、设备及介质,下面分别进行详细介绍。
78.本技术实施例提供了一种障碍物测距方法,可以应用于移动机器人、电子计算机、服务器等电子设备,该方法包括:
79.获得部署于移动机器人上的单目相机采集的待测图像;
80.检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;
81.利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;
82.基于所获得的空间坐标,确定障碍物相对移动机器人的距离。
83.这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到上述距离,从而可以减少计算量。由此可见,应用上述实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
84.下面对上述障碍物测距方法进行详细介绍。
85.参见图1,图1为本技术实施例提供的一种障碍物测距方法的流程示意图,该方法包括如下步骤s101-s104:
86.s101,获得部署于移动机器人上的单目相机采集的待测图像。
87.其中,上述移动机器人为:在地面上移动的机器人,例如,可以是扫地机器人、巡逻机器人、传送机器人、agv(automated guided vehicle,自动导引运输车)等。
88.上述单目相机可以部署于移动机器人的顶部、底部、侧面、正面等,该单目相机可以是普通相机、鱼眼相机、广角相机等。上述单目相机的朝向可以指向移动机器人的前进方向,这样便于单目相机采集移动机器人前方的障碍物的图像。
89.具体的,移动机器人可以在地面上运行,在运行过程中,可以获得上述单目相机所采集的图像,作为待测图像,以便于后续基于该待测图像检测地面上的障碍物。
90.本技术的一个实施例中,可以获得部署于移动机器人上的运动传感器采集的运动信息,在运动信息满足预设的稳定条件的情况下,获得部署于移动机器人上的单目相机采集的待测图像。
91.其中,上述运动传感器可以是陀螺仪、gps(global positioning system,全球定位系统)等。
92.上述运动信息指的是运动传感器所采集的运动数据,例如,可以是加速度、角速度、倾斜角等信息中的至少一种。
93.上述稳定条件用于判断当前移动传感器的运动状态是否稳定,例如,可以是加速度小于预设的加速度阈值、角速度小于预设的角速度阈值等条件中的至少一种。
94.具体的,运动传感器可以部署于移动机器人上,这样运动传感器所采集的运动信息可以反映移动机器人的运动情况,在上述运动信息满足上述稳定条件的情况下,说明移
动机器人未产生剧烈抖动,这种情况下移动机器人上的单目相机所采集的图像的质量较高,便于后续根据该图像进行障碍物测距,因此可以获得该单目相机所采集的图像,作为待测图像;
95.在上述运动信息不满足稳定条件的情况下,说明移动机器人当前正在剧烈抖动,这种情况下移动机器人上的单目相机所采集的图像的质量较低,不便于后续根据该图像进行障碍物测距,因此可以不获得该单目相机所采集的图像。
96.s102,检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点。
97.其中,上述障碍物可以包括:毛巾、数据线、包装袋、鞋子、袜子等等。
98.上述目标像素点可以是:障碍物在待测图像中所占图像区域的中心点、边缘点等,该图像区域可以是矩形、圆形、椭圆形等,也可以是障碍物的轮廓所围成的区域。
99.具体的,可以对待测图像进行图像检测,检测得到待测图像中所包含的障碍物,然后根据所检测到的障碍物在待测图像中所占的区域,确定用于表征障碍物在待测图像中的图像位置的目标像素点。
100.本技术的一个实施例中,在检测待测图像中包含的障碍物时,可以将待测图像输入预先训练完成的障碍物检测模型,利用该模型检测待测图像中包含的障碍物,得到模型的输出结果,该输出结果可以包含障碍物在待测图像中的位置信息。
101.本技术的一个实施例中,在确定目标像素点时,可以确定障碍物在待测图像中所占图像区域的下边界的中点,作为用于表征障碍物在待测图像中位置的目标像素点。
102.具体的,可以首先确定障碍物在待测图像中所占的图像区域,进而确定该图像区域的下边界的中点,将该中点作为表征障碍物在待测图像中位置的目标像素点。例如,参见图2,图2为本技术实施例提供的一种目标像素点的示意图,假设待测图像中所包含的障碍物为毛巾,毛巾所占的图像区域为矩形,从而可以将该矩形区域的下边界的中点,作为表征该毛巾在待测图像中位置的目标像素点。这样以障碍物在待测图像中所占图像区域的下边界的中点表征障碍物的位置,可以得到障碍物的各个位置中离移动机器人最近的位置,在后续基于该位置计算障碍物相对移动机器人的距离时,可以计算得到最近的距离,进而便于后续基于该距离进行避障。
103.s103,利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标。
104.其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系。
105.坐标转换关系基于预先标定的、单目相机的相机参数得到。上述相机参数包括单目相机的内参和外参,上述外参包括:单目相机相对于地面的高度、俯仰角θ、横滚角α等参数,上述内参包括:投影矩阵k、畸变矩阵d等。
106.空间坐标系为:基于移动机器人建立的三维坐标系。
107.具体的,可以预先标定得到单目相机的相机参数,基于该相机参数确定单目相机所采集的图像中的坐标与基于该移动机器人建立的空间坐标系中坐标之间的坐标转换关系,然后可以获得上述目标像素点在待测图像中的像素坐标,然后利用该坐标转换关系对该像素坐标进行转换,从而得到该目标像素点对应的空间坐标,该空间坐标即为:基于移动
机器人建立的空间坐标系中,障碍物的坐标。
108.本技术的一个实施例中,可以对目标像素点进行去畸变处理,利用去畸变处理后目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标。
109.具体的,可以利用单目相机的内参中的畸变矩阵d对该目标像素点进行去畸变处理,得到处理后的目标像素点,后续可以利用上述坐标转换关系,对去畸变处理后目标像素点在待测图像中的像素坐标进行转化,从而得到去畸变处理后目标像素点对应的空间坐标。
110.这样对目标像素点进行去畸变处理,可以消除由于畸变导致的目标像素点的像素坐标偏移的问题,从而提高所获得的目标像素点的像素坐标的准确度,进而提高后续基于该目标像素点测量得到的距离的准确度,并且这样无需对待测图像中所有像素点进行去畸变处理,可以降低计算量,提高计算效率,并能够避免由于去畸变处理而导致的图像视野减小的问题,保证待测图像拥有更广的视野,增大障碍物探测范围。
111.本技术的一个实施例中,建立上述坐标转换关系的过程如下:
112.在预先标定得到单目相机的外参后,基于外参中的俯仰角θ、横滚角α,可以建立相机所采集的图像的图像坐标系与基于该移动机器人建立的空间坐标系之间的旋转矩阵r
wc

[0113][0114]
利用该旋转矩阵r
wc
,可以得到图像坐标系中的坐标(u,v)与空间坐标系中的坐标(x,y,-h)之间的坐标转换关系:
[0115][0116]
其中,h表示单目相机的高度,x、y分别表示障碍物在水平方向上的横坐标、纵坐标,k表示所标定的内参中的投影矩阵,s表示尺度因子,s的大小可以基于上述坐标转换关系所包含的矩阵中的第三行的参数解算得到。
[0117]
本技术的一个实施例中,可以利用预设的标定算法得到单目相机的内参和外参。具体的,参见图3,图3为本技术实施例提供的一种标定过程的示意图,可以设置一与地面垂直的棋盘格标定板,以该标定板为基准建立二维坐标系,作为棋盘格系,再以地面为基准建立三维坐标系,作为地面系,通过测量可以得到棋盘格系与地面系之间的第一转换关系,相机为基准建立三维坐标系,作为相机系,获得相机对该棋盘格标定板采集的图像,基于图像中各个棋盘格的像素坐标、与棋盘格系中各个棋盘格的坐标之间的对应关系,得到相机系与棋盘格系之间的第二转换关系,基于第二转换关系可以确定出单目相机相对棋盘格标定板的内参和外参,再利用上述第一转换关系对该内参和外参进行转化,可以得到单目相机相对地面的内参和外参。
[0118]
s104,基于所获得的空间坐标,确定障碍物相对移动机器人的距离。
[0119]
具体的,上述空间坐标为障碍物在以移动机器人为基准建立的空间坐标系中的坐
标,利用该坐标,可以计算得到障碍物相对于移动机器人的距离。例如,假设所得到的障碍物在上述空间坐标系中的坐标为(x,y,z),则可以计算上述障碍物相对移动机器人的距离为(x2+y2+z2)
1/2
,或者,由于障碍物为处于地面的障碍物,可以忽略障碍物的高度信息,这种情况下,上述障碍物相对移动机器人的距离可以为(x2+y2)
1/2

[0120]
上述实施例提供的障碍物测距方案中,可以获得部署于移动机器人上的单目相机采集的待测图像;检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;基于所获得的空间坐标,确定障碍物相对移动机器人的距离。这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到上述距离,从而可以减少计算量。由此可见,应用上述实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
[0121]
参见图4,图4为本技术实施例提供的另一种障碍物测距方法的流程示意图,该方法还包括如下步骤s105-s106:
[0122]
s105,确定障碍物所处的障碍区域。
[0123]
具体的,在待测图像中识别得到障碍物所在的图像区域后,可以进一步基于该图像区域确定障碍物在实际场景中所占的障碍区域,以后于后续控制移动机器人避开该障碍区域。
[0124]
本技术的一个实施例中,可以确定障碍物在待测图像中的像素宽度;利用像素宽度、空间坐标以及单目相机的相机参数,计算障碍物的实际宽度,作为障碍物所处的障碍区域的区域宽度。
[0125]
具体的,可以按照以下公式计算区域宽度w:
[0126]
w=(+u*x)/k
1,1
[0127]
其中,δu表示障碍物在待测图像中的像素宽度,x表示目标像素点对应的空间坐标的x坐标,k
1,1
表示单目相机的投影矩阵中第一行、第一列的参数。
[0128]
本技术的一个实施例中,还可以识别待测图像中所包含的障碍物的目标类别;按照预设的深度与类别之间的深度对应关系,确定目标类别对应的目标深度,作为障碍物所处的障碍区域的区域纵深。
[0129]
具体的,可以预先设定不同的障碍物类别与深度之间的对应关系,作为深度对应关系,例如,可以设定毛巾的深度为10厘米、鞋子的深度为8厘米、数据线的深度为5厘米,在实际应用中,可以识别待测图像中障碍物的类别,作为目标类别,然后从上述深度对应关系中查找该目标类别对应的深度,作为目标深度,进而可以将该目标深度作为障碍物所处的障碍区域的区域纵深。
[0130]
s106,基于距离和障碍区域,控制移动机器人在运行过程中绕开障碍区域。
[0131]
具体的,在得到障碍物相对移动机器人的距离、以及障碍物所占的障碍区域后,可以控制移动机器人在移动过程中绕开该障碍区域。
[0132]
本技术的一个实施例中,可以在距离小于预设的近距离阈值的情况下,确定障碍物所处的障碍区域。
[0133]
其中,上述近距离阈值可以是80厘米、100厘米、150厘米等。
[0134]
具体的,在测量得到的障碍物相对移动机器人的距离小于上述近距离阈值的情况下,说明移动机器人快要行至该障碍物了,因此可以确定障碍物所在的障碍区域,便于后续进行避障;
[0135]
在测量得到的障碍物相对移动机器人的距离大于等于上述近距离阈值的情况下,说明移动机器人相对该障碍物的距离较远,此时所得到的距离的误差可能较大,进而所确定的障碍区域的误差可能较大,因此暂不需要确定障碍物所在的障碍区域。
[0136]
本技术的一个实施例中,可以在障碍物处于待测图像的非边缘区域的情况下,确定障碍物所处的障碍区域。
[0137]
其中,上述非边缘区域指的是:待测图像中除边缘区域之外的区域,上述边缘区域可以是:待测图像中距离边界小于预设像素距离的区域,上述预设像素距离可以是10个像素点、20个像素点、30个像素点等。
[0138]
具体的,由于单目相机的朝向通常为移动机器人的前进方向,在障碍物处于待测图像的非边缘区域的情况下,说明障碍物处于移动机器人前方,移动机器人可能会撞上该障碍物,因此需要确定障碍物所处的障碍区域;
[0139]
在障碍物处于待测图像的非边缘区域的情况下,说明障碍物处于移动机器人侧方,移动机器人难以撞上该障碍物,因此不需要确定障碍物所处的障碍区域。
[0140]
本技术的一个实施例中,在识别障碍物的类别时,可以将待测图像输入预先训练完成的类别识别模型,得到模型输出的、障碍物的类别,除此之外,也可以利用预设的算法提取障碍物的特征,基于该特征对障碍物进行分类,得到障碍物的类别,上述算法可以是坎尼算子canny、索贝尔算法sobel、拉普拉斯算法laplacian等。
[0141]
下面以具体实施例对障碍物检测过程进行说明。
[0142]
首先利用yolov5检测待测图像中的障碍物,之后可以将上述障碍物所在的图像区域裁剪出来,得到障碍物区域图像,参见图5,图5为本技术实施例提供的一种障碍物区域图像的示意图,假设待测图像中所包含的障碍物为数据线,对数据线所在的图像区域进行裁剪,可以得到如图5所示的障碍物区域图像;
[0143]
利用sobel算子,分别在水平方向、竖直方向上计算障碍物区域图像的梯度,然后对上述水平方向、竖直方向上的梯度进行加权求和,得到障碍物区域图像的总梯度;
[0144]
然后基于上述总梯度,对该障碍物区域图像进行阈值过滤,得到过滤后的二值边界图,参见图6,图6为本技术实施例提供的一种二值边界图,利用总梯度对图5所示的障碍物区域图像进行阈值过滤后,可以得到如图6所示的二值边界图,该图像可以反映数据线的边界区域;
[0145]
对上述二值边界图再次进行过滤,然后利用连通域算法,确定该二值边界图中的各个连通域,最后对相交的连通域进行合并,确定上述连通域的最小包络框,将该包络框作为障碍物所在的图像区域,参见图7,图7为本技术实施例提供的一种包络框的示意图,该图7所示的包络框即为数据线所在的图像区域;
[0146]
后续可以利用该图像区域检测障碍物所属的类别等。
[0147]
上述实施例提供的障碍物测距方案中,可以获得部署于移动机器人上的单目相机采集的待测图像;检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;基于所获得的空间坐标,确定障碍物相对移动机器人的距离。这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到上述距离,从而可以减少计算量。由此可见,应用上述实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
[0148]
与上述障碍物测距方法相对应地,本技术实施例还提供了一种移动机器人,下面进行详细介绍。
[0149]
参见图8,图8为本技术实施例提供的一种移动机器人的结构示意图,移动机器人包括单目相机801、处理器802,其中:
[0150]
单目相机801用于:采集待测图像,并向处理器802发送待测图像;
[0151]
处理器802用于:接收待测图像,检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机801所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机801的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;基于所获得的空间坐标,确定障碍物相对移动机器人的距离。
[0152]
具体的,移动机器人上可以部署有单目相机和处理器,单目相机可以采集移动机器人移动前方的图像,作为待测图像,并将该待测图像发送给处理器,处理器利用该待测图像可以确定前方障碍物相对移动机器人的距离。这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到上述距离,从而可以减少计算量。由此可见,应用上述实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
[0153]
本技术的一个实施例中,移动机器人还包括运动传感器,其中:
[0154]
运动传感器用于:采集运动信息,并向处理器802发送运动信息;
[0155]
处理器802用于:接收运动信息,在运动信息满足预设的稳定条件的情况下,获得部署于移动机器人上的单目相机801采集的待测图像。
[0156]
与上述障碍物测距方法相对应地,本技术实施例还提供了一种障碍物测距装置,下面进行详细介绍。
[0157]
参见图9,图9为本技术实施例提供的一种障碍物测距装置的结构示意图,所述装置包括:
[0158]
图像获得模块901,用于获得部署于移动机器人上的单目相机采集的待测图像;
[0159]
像素点确定模块902,用于检测所述待测图像中包含的障碍物,确定用于表征所述障碍物在所述待测图像中位置的目标像素点;
[0160]
坐标转换模块903,用于利用所述目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标,其中,所述坐标转换关系为:所述单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,所述坐标转换关系基于预先标定的、所述单目相机的相机参数得到,所述空间坐标系为:基于所述移动机器人建立的坐标系;
[0161]
障碍物测距模块904,用于基于所获得的空间坐标,确定所述障碍物相对所述移动机器人的距离。
[0162]
本技术的一个实施例中,所述装置还包括:
[0163]
区域确定模块,用于确定所述障碍物所处的障碍区域;
[0164]
避障模块,用于基于所述距离和障碍区域,控制所述移动机器人在运行过程中绕开所述障碍区域。
[0165]
本技术的一个实施例中,所述区域确定模块,具体用于:
[0166]
确定所述障碍物在所述待测图像中的像素宽度;
[0167]
利用所述像素宽度、空间坐标以及所述单目相机的相机参数,计算所述障碍物的实际宽度,作为所述障碍物所处的障碍区域的区域宽度。
[0168]
本技术的一个实施例中,所述区域确定模块,具体用于:
[0169]
识别所述待测图像中所包含的障碍物的目标类别;
[0170]
按照预设的深度与类别之间的深度对应关系,确定所述目标类别对应的目标深度,作为所述障碍物所处的障碍区域的区域纵深。
[0171]
本技术的一个实施例中,所述区域确定模块,具体用于:
[0172]
在所述距离小于预设的近距离阈值的情况下,确定所述障碍物所处的障碍区域;和/或
[0173]
在所述障碍物处于所述待测图像的非边缘区域的情况下,确定所述障碍物所处的障碍区域。
[0174]
本技术的一个实施例中,所述像素点确定模块902,具体用于:
[0175]
确定所述障碍物在所述待测图像中所占图像区域的下边界的中点,作为用于表征所述障碍物在所述待测图像中位置的目标像素点。
[0176]
本技术的一个实施例中,所述图像获得模块901,具体用于:
[0177]
获得部署于移动机器人上的运动传感器采集的运动信息,在所述运动信息满足预设的稳定条件的情况下,获得部署于所述移动机器人上的单目相机采集的待测图像。
[0178]
本技术的一个实施例中,所述坐标转换模块903,具体用于:
[0179]
对所述目标像素点进行去畸变处理,利用去畸变处理后目标像素点在所述待测图像中的像素坐标、预设的坐标转换关系,获得所述目标像素点对应的空间坐标。
[0180]
上述实施例提供的障碍物测距方案中,可以获得部署于移动机器人上的单目相机采集的待测图像;检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的
空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;基于所获得的空间坐标,确定障碍物相对移动机器人的距离。这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到上述距离,从而可以减少计算量。由此可见,应用上述实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
[0181]
本技术实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
[0182]
存储器1003,用于存放计算机程序;
[0183]
处理器1001,用于执行存储器1003上所存放的程序时,实现障碍物测距方法步骤。
[0184]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0185]
通信接口用于上述电子设备与其他设备之间的通信。
[0186]
存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
[0187]
上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0188]
在本技术提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一障碍物测距方法的步骤。
[0189]
在本技术提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一障碍物测距方法。
[0190]
上述实施例提供的障碍物测距方案中,可以获得部署于移动机器人上的单目相机采集的待测图像;检测待测图像中包含的障碍物,确定用于表征障碍物在待测图像中位置的目标像素点;利用目标像素点在待测图像中的像素坐标、预设的坐标转换关系,获得目标像素点对应的空间坐标,其中,坐标转换关系为:单目相机所采集的图像中的坐标与预设的空间坐标系中的坐标之间的转换关系,坐标转换关系基于预先标定的、单目相机的相机参数得到,空间坐标系为:基于移动机器人建立的坐标系;基于所获得的空间坐标,确定障碍物相对移动机器人的距离。这样仅需在移动机器人上部署单目相机,利用单目相机所采集的图像,确定障碍物在图像中的像素坐标,然后通过坐标转换关系得到障碍物在空间中的坐标,进而获得障碍物相对移动机器人的距离,无需利用其它传感器采集的数据即可得到
上述距离,从而可以减少计算量。由此可见,应用上述实施例提供的障碍物测距方案,可以提高获得障碍物与移动机器人之间的距离的效率,另外还可以降低移动机器人的成本。
[0191]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0192]
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0193]
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于移动机器人实施例、装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0194]
以上所述仅为本技术的较佳实施例,并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本技术的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1