配置机载相机的立体仓储机器人及避障检测方法与流程

本发明涉及立体仓储机器人,具体涉及配置机载相机的立体仓储机器人及避障检测方法。

背景技术：

1、在货架内搬运物品时,立体仓储机器人沿着轨道运行,在运行的过程中,立体仓储机器人使用光电检测技术进行避障,光电检测只可以检测到光线照射到的方向上的物体,光电检测设备由于受到安装位置、光线的发射角度的影响,发出的光线会被局限在一个范围内,例如,当光电检测设备朝向立体仓储机器人的前方的一个方向时,只可以检测到立体仓储机器人的前方的靠一侧的区域内是否存在障碍物，而另一侧没有被光线扫过的区域不能被有效检测，致使在立体仓储机器人的前方存在检测盲区。

2、光电检测设备发出的光线沿着一个方向对待检测区域进行扫射,随着立体仓储机器人的前进,光线照射的方向逐渐改变,并随着移动的过程中扫过一个区域。但是,由于光电检测设备的光线在一个特定时间只可以对准一个方向进行检测,随着立体仓储机器人的前行,光线对准的方向逐渐改变,且对于已经检测过的区域不可以再进行检测。如果货架上的物品再次掉落进入光线已经扫过的区域时,则不能及时的发现已经出现的物品，导致出现新的检测盲区。

3、光电检测设备通过接收障碍物反射回来的光对障碍物进行检测。光电检测设备发出的光的强度随着距离逐渐衰减,当障碍物距离光源较远时,光线强度衰弱很大,障碍物反射回来光强度更弱,光电检测设备对光信号的采集需要光强度达到一定的强度才可以实现，远距离的障碍物反射回来的光线的强度太弱时不能被光电检测设备准确有效的接收,导致对障碍物的远距离检测失败,致使远距离检测时存在检测盲区。

4、对于体积较小的物体,光线从该体积较小的物体上经过时很难准确的照射至该体积较小的物体上,导致不能准确有效的检测到体积较小的物体。光电检测设备对体积较小的物体依然存在检测盲区。

技术实现思路

1、本发明的目的在于提供配置机载相机的立体仓储机器人,在运行方向上，对立体仓储机器人的前方进行全面检测,避免存在检测盲区而影响立体仓储机器人的安全运行。

2、为达到本发明之目的,采用如下技术方案：

3、第一方面,配置机载相机的立体仓储机器人的避障检测方法,立体仓储机器人在货架内沿着轨道运行以搬运物品,包括：

4、当立体仓储机器人在货架内沿着轨道行走时,立体仓储机器人上的智能相机采集所述立体仓储机器人的沿着运行方向的前方的待检测区域内的视频图像,并将所述视频图像传输至所述图像处理器；

5、其中,所述待检测区域包括所述立体仓储机器人的当前位置的正前方的区域,并且所述待检测区域的宽度大于等于所述立体仓储机器人的宽度,以确保在所述立体仓储机器人的前方没有检测盲区；

6、所述立体仓储机器人上的图像处理器对从所述智能相机接收的所述视频图像进行图像识别,以识别出所述视频图像内的可以阻碍所述立体仓储机器人继续运动的物体信息,并发送至服务端；

7、所述立体仓储机器人的控制器根据从所述服务端接收的控制命令来控制所述立体仓储机器人继续运行、减速或紧急刹车,以确保所述立体仓储机器人运行安全。

8、通过上述技术方案,在立体仓储机器人的运行方向上,相比于现在的光电检测技术只是检测立体仓储机器人的前方的一部分区域,例如检测到区域只是覆盖了立体仓储机器人的前方的一侧的部分区域,则导致立体仓储机器人的前方的另一侧成为检测盲区。如果在所述检测盲区存在障碍物,当立体仓储机器人运行至所述检测盲区内时会和障碍物发生碰撞而引发事故。

9、本技术中,利用智能相机采集立体仓储机器人的前方的待检测区域,所述待检测区域包括所述立体仓储机器人的当前位置的正前方的区域。

10、在所述立体仓储机器人的宽度方向上,所述待检测区域覆盖了立体仓储机器人的前方的靠一侧的区域和前方的靠另一侧的区域,在所述智能相机可以检测到的直线距离的范围内,充分检测清楚立体仓储机器人的前方的区域内是否存在障碍物或其他影响立体仓储机器人正常运行的情况,消除检测盲区。

11、所述图像处理器基于图像识别技术从所述视频图像内识别出可以阻碍所述立体仓储机器人继续运动的物体或者影响所述立体仓储机器人安全运行的情况信息,并发送至服务端。

12、由所述服务端对接收到的所述可以阻碍所述立体仓储机器人继续运动的物体信息进行判断,并根据判断的结果控制立体仓储机器人的后续的动作。例如,当经过判定确定立体仓储机器人的前方存在障碍物时,则命令立体仓储机器人停车。障碍物和立体仓储机器人的直线距离大于立体仓储机器人的刹车距离,以确保安全停车。

13、本技术中,通过智能相机采集立体仓储机器人的前方的区域内是否有障碍物,智能相机采集的是前面区域内的物体的图像信息,不存在光电设备的光线照射方向的问题,可以实现大范围内采集,例如180度,甚至更大范围内的采集,以扩大对前方区域的采集的范围。

14、智能相机采集的是物体的图像信息,凡是被智能相机捕捉到的物体的图像信息都可以被采集。克服了光电检测中因为距离较远而使得物体反射的光线很弱最终导致检测失败的问题。

15、在另一个实施例中,沿着行进方向上,所述待检测区域和已检测区域在所述立体仓储机器人的当前位置的前方形成一个矩形区域。

16、通过上述技术方案,矩形区域从立体仓储机器人的前端一直向前延伸,一直延伸至立体仓储机器人的刹车距离之外。并且,矩形区域的宽度大于等于立体仓储机器人的宽度。所述智能相机通过对所述待检测区域所覆盖的区域进行图像采集,以实现对立体仓储机器人的前方在刹车距离范围之内的区域进行全面有效检测,确保立体仓储机器人在通过该区域时不会受到障碍物的阻挡出现事故。

17、在立体仓储机器人向前行走的过程中,其上布置的智能相机持续的对前方的区域进行图像采集,以检测是否存在障碍物。当立体仓储机器人行走至当前位置时,已经检测过当前位置之前的区域内是否存在障碍物,该区域即为已检测区域。当立体仓储机器人运行至一定位置后,智能相机可以覆盖的前方的区域即为待检测区域。

18、其中,已检测区域的处于立体仓储机器人的前端的前方的区域和待检测区域组成一个矩形的区域。

19、在另一个实施例中,在沿着所述立体仓储机器人的行进方向上,所述智能相机可以采集图像的直线距离大于等于所述立体仓储机器人的刹车距离。

20、通过上述技术方案,所述智能相机最远可以采集到立体仓储机器人的最大刹车距离之外,当检测到立体仓储机器人的前方存在障碍物时,立体仓储机器人需要刹车,由于障碍物在立体仓储机器人的刹车距离之外,立体仓储机器人从开始刹车至停车之后都还没有到达所述障碍物,以保证立体仓储机器人不撞击到障碍物上,提高立体仓储机器人行驶过程中安全性。

21、在另一个实施例中,通过从所述视频图像内识别出可以阻碍所述立体仓储机器人继续运动的物体,以防止遗漏体积较小的障碍物。

22、通过上述技术方案,现有的立体仓储机器人在运行过程中采用光电检测技术来检测障碍物。由于光线照射方向偏差、以及光线可覆盖的范围有限,致使光线很难准确的照射至体积很小的障碍物上,导致检测失败。

23、本技术中,智能相机可以在很大的角度范围内采集图像信息,例如在180度、270度、360度范围内采集前方区域内的图像信息,实现对该区域的全面检测,即使体积很小的障碍物也不会被遗漏掉。

24、在另一个实施例中,所述立体仓储机器人的控制器根据从所述服务端接收的控制命令来控制所述立体仓储机器人继续运行、减速或紧急刹车,以确保所述立体仓储机器人运行安全,包括：

25、在行进方向上,如果在所述立体仓储机器人的前方存在阻碍所述立体仓储机器人继续运动的物体,则控制所述立体仓储机器人减速或紧急刹车,以避免撞击至所述阻碍所述立体仓储机器人继续运动的物体上；

26、在行进方向上,如果在所述立体仓储机器人的前方没有障碍物,则控制所述立体仓储机器人继续运行。

27、通过上述技术方案,基于图像识别技术可以准确的识别出待检测区域内是否存在阻碍机器人运行的障碍物。如果存在障碍物,则停车,否则立体仓储机器人继续前进,以确保立体仓储机器人安全且稳定的行进。

28、在另一个实施例中,在当立体仓储机器人在货架内沿着轨道行走时,立体仓储机器人上的智能相机采集所述立体仓储机器人的前方的待检测区域内的视频图像之后还包括：

29、在所述立体仓储机器人行走过程中,所述智能相机采集货架区域内的巷道的图像信息并主动发送至服务端；或所述智能相机在接收到所述服务端发送的访问巷道图像信息的命令后,将采集到的所述巷道的图像信息发送至所述服务端,以便于远程监控巷道是否存在异常。

30、通过上述技术方案,立体仓储机器人在货架区域内搬运物品时,智能相机持续的检测前方的待检测区域内是否存在影响立体仓储机器人的正常前进的障碍物，由于智能相机可以在很大的角度范围内采集周围环境内的视频图像信息,因此,智能相机在检测前方的待检测区域内是否存在障碍物的同时可以采集周围的巷道、货架、以及货架上的货物的情况,并反馈至后端的服务器。当巷道、货架或货架上的货物出现异常情况,例如,巷道被堵塞、货架上的物品掉落等情况都可以及时的反馈至服务器,便于及时的采集措施进行处理,有助于实现对货架区域进行安全监测。

31、在另一个实施例中,在当立体仓储机器人在货架内沿着轨道行走时,立体仓储机器人上的智能相机采集所述立体仓储机器人的前方的待检测区域内的视频图像之后还包括：

32、当所述立体仓储机器人出现运行事故时,所述智能相机将所述立体仓储机器人的图像信息发送至所述服务端,以便于在所述服务端远程判断所述立体仓储机器人的故障类型。

33、通过上述技术方案,立体仓储机器人采用光电检测技术时,如果立体仓储机器人在运行时出现事故停止运行,此时光电检测设备不能将立体仓储机器人的事故情况反馈至远程的的服务器,服务器不能及时的判断出立体仓储机器人具体出现了怎样的事故,因此不能采取有效的措施进行补救。

34、本技术中,智能相机可以及时的将立体仓储机器人在出现事故时的视频图像传输至服务端，在服务端对接收的立体仓储机器人的事故现场的视频图像分析以确定事故的类型,利于根据事故类型及时发出报警信息和采取救助措施。

35、在另一个实施例中,所述阻碍所述立体仓储机器人继续运动的物体包括货物、障碍物、托盘和其他所述立体仓储机器人当中的一种或多种。

36、通过上述技术方案,在货架区域内,立体仓储机器人通过托盘将货物顶起来。在一个货架区域内,同时会存在多个立体仓储机器人同时作业的情况。因此，掉落在立体仓储机器人的运行轨道上的货物、其他障碍物、放置的位置不合适的托盘、以及在轨道上运行的且处于当前的立体仓储机器人的前方的其他的立体仓储机器人都会成为阻断当前的所述立体仓储机器人的前行的障碍物。

37、在另一个实施例中,所述在行进方向上,如果在所述立体仓储机器人的前方存在阻碍所述立体仓储机器人继续运动的物体,则控制所述立体仓储机器人减速或紧急刹车,以避免撞击至所述阻碍所述立体仓储机器人继续运动的物体上,具体包括：

38、当所述阻碍所述立体仓储机器人继续运动的物体和所述立体仓储机器人的直线距离小于所述立体仓储机器人的通过减速进行刹车距离时,则所述立体仓储机器人进行刹车；

39、当所述阻碍所述立体仓储机器人继续运动的物体和所述立体仓储机器人的直线距离大于等于所述立体仓储机器人的通过减速进行刹车距离时,则所述立体仓储机器人通过减速逐渐刹车。

40、通过上述技术方案，现有的光电检测设备通过发射的光线对一个特定的方向进行扫描，随着立体仓储机器人的前进,光电检测设备通过发射的光线扫描方向逐渐的改变。在立体仓储机器人行进的过程中，可能前方的一个区域内最初没有障碍物，则光电检测设备最初没有扫描到任何的障碍物信息。随着立体仓储机器人的前进，光线从该区域经过之后，该区域成为为了已经检测过的区域，并且不会再进行检测了。但是，当立体仓储机器人运行至该位置之前，如果突然从货架上掉落货物或其他物体至该区域内，由于光电检测设备发出的光线已经扫描经过该区域了，则不能再次发现该区域内突然出现的障碍物，立体仓储机器人运行至此处会撞击至该障碍物上。

41、本技术中,采用智能相机实时的采集前方的区域,而且可以大范围全面覆盖。即使突然有货物等掉落至前方的区域内,智能相机可以捕捉到刚刚掉落的物体,以利于即使进行避障操作。

42、当刚刚掉落的障碍物和立体仓储机器人的距离小于所述立体仓储机器人的通过减速进行刹车距离时,立体仓储机器人的控制器发出命令使立体仓储机器人进行刹车,以避免撞击事故。

43、当刚刚掉落的障碍物和立体仓储机器人的距离大于等于所述立体仓储机器人的通过减速进行刹车距离时,所述立体仓储机器人的通过减速进行刹车。在距离允许的情况下通过减速进行缓慢的停车,避免快速紧急刹车导致的车辆磨损，以提高立体仓储机器人的刹车系统使用寿命。并且紧急刹车容易导致立体仓储机器人上放置的物体掉落或出现位置偏移,在距离允许的情况下,通过缓慢减速以减少货物从立体仓储机器人上掉落或出现位置偏移的情况。

44、第二方面,提供配置机载相机的立体仓储机器人,采用第一方面所述避障检测方法,包括：

45、智能相机,当立体仓储机器人在货架内沿着轨道行走时,用于采集所述立体仓储机器人的沿着运行方向的前方的待检测区域内的视频图像,并将所述视频图像传输至所述图像处理器；

46、其中,所述待检测区域包括所述立体仓储机器人的当前位置的正前方的区域,并且所述待检测区域的宽度大于等于所述立体仓储机器人的宽度,以确保在所述立体仓储机器人的前方没有检测盲区；

47、图像处理器,用于对从所述智能相机接收的所述视频图像进行图像识别,以识别出所述视频图像内的可以阻碍所述立体仓储机器人继续运动的物体信息,并发送至服务端；

48、控制器,用于根据从所述服务端接收的控制命令来控制所述立体仓储机器人继续运行或紧急刹车,以避免所述立体仓储机器人出现运行事故。

49、通过上述技术方案,立体仓储机器人在货架内搬运物品时,采用所述避障检测方法,可以在运行方向上有效的检测到前方的障碍物信息,消除检测盲区,

50、并根据检测结果采取措施,避免立体仓储机器人和障碍物发生碰撞造成事故。

51、与现有技术相比,本发明具有如下有益效果：

52、(1)现在的光电检测技术只是检测立体仓储机器人的前方的一部分区域,例如可以检测到的区域只是覆盖了立体仓储机器人的前方的一侧的部分区域,则导致立体仓储机器人的前方的另一侧成为检测盲区。如果在检测盲区内存在障碍物,则立体仓储机器人运行至检测盲区内时会和障碍物发生碰撞而引发事故。

53、本技术中,利用智能相机采集立体仓储机器人的前方的待检测区域,待检测区域包括所述立体仓储机器人的当前位置的正前方的区域。

54、在所述智能相机可以检测到的直线距离的范围内,可以充分的检测清楚立体仓储机器人的前方的区域内是否存在障碍物或其他影响立体仓储机器人正常运行的情况,以消除检测盲区,降低立体仓储机器人在运行过程中事故发生概率,提高运行的安全性。

55、(2)图像处理器基于图像识别技术从所述视频图像内识别出可以阻碍所述立体仓储机器人继续运动的物体信息,并发送至服务端。由服务端对接收到的可以阻碍所述立体仓储机器人继续运动的物体信息进行判断,并根据判断结果控制立体仓储机器人的后续的动作。例如,当经过判断确定立体仓储机器人的前方存在障碍物时,则命令立体仓储机器人停车。

56、其中,智能相机在对前方的区域进行采集时,可以覆盖的待检测区域的和立体仓储机器人的前端的最大距离大于等于立体仓储机器人的刹车距离,在检测到障碍物时,立体仓储机器人可以在触及障碍物之前完成停车,避免立体仓储机器人出现运行事故。

57、在运行方向上,智能相机通过覆盖比停车距离更长的待检测区域，为停车避障提供足够长的操作时间,提高障碍物检测和避障的协同效果,进一步提高立体仓储机器人运行安全性。

58、(3)现有的光电检测设备发射出的光线只可以照射至特定的区域。并且,光电检测设备通过接收障碍物反射的光来检测障碍物。当光电检测设备发射出的光照射角度出现偏差则不能照射到障碍物。对于各种形状的障碍物,其受光面的位置不同则可以将照射至其上的光反射至不同的方向，例如可能将光反射至偏离光电检测设备的方向,从而不能被光电检测设备准确接收,导致检测失败,不能准确的发现障碍物。

59、以及,光线照射至障碍物上以及被反射回来的过程中能量逐渐衰弱,当障碍物和光电检测设备的距离很远时,光线能量衰弱很大,当反射至光电检测设备的光线的强度很弱时导致不能被有效的识别,致使检测失败。

60、本技术中,通过智能相机采集立体仓储机器人的前方的区域内是否有障碍物。智能相机采集的是前面区域内的物体的图像信息,不存在光电设备的光线照射方向的问题,以及光线的反射方向的问题。在待检测区域内的任何方向的物体都可以被智能相机准确的捕捉到，提高了障碍物信息采集的准确性和全面性,避免障碍物被遗漏。并且,智能相机进行图像采集,对障碍物反射的光线的能量没有特别的要求,可以准确的采集距离较远的障碍物的图像。

61、(4)即使智能相机在之前的时间段已经检测过的区域内之前没有障碍物，在立体机器靠近该区域的过程中，从附近的货架上突然有物品掉落进入该区域内。本技术中,智能相机一直持续的对前方的区域进行检测,而且可以大范围全面覆盖，对之前检测过的区域仍然继续进行检测，当突然有新的物体掉落进入该区域后，智能相机可以及时发现，并反馈至服务端，并接收服务端的控制命令进行避障操作。

62、当突然有货物等掉落至前方的区域内,智能相机可以捕捉到刚刚掉落的物体,以利于及时的进行避障操作。并且,对于掉落在立体仓储机器人前方的不同距离位置处的障碍物，可以采取不同的刹车制动措施,如下：

63、当刚刚掉落的障碍物和立体仓储机器人的距离小于所述立体仓储机器人的通过减速进行刹车距离时,立体仓储机器人的控制器发出命令使立体仓储机器人进行刹车,以避免撞击事故。

64、当刚刚掉落的障碍物和立体仓储机器人的距离大于等于所述立体仓储机器人的通过减速进行刹车距离时,所述立体仓储机器人的通过减速进行刹车。在距离允许的情况下通过减速进行缓慢的停车,避免快速紧急刹车导致的车辆磨损，以提高立体仓储机器人的刹车系统使用寿命。并且紧急刹车容易导致立体仓储机器人上放置的物体掉落或出现位置偏移,在距离允许的情况下,通过缓慢减速减少货物从立体仓储机器人上掉落或出现位置偏移的情况。