1.本技术涉及人工智能领域,特别是涉及一种移动机器人的交互方法、装置、移动机器人和存储介质。
背景技术:2.移动机器人目前已经应用于人流量较大的餐厅、商场、酒店等场所。在移动机器人行驶过程中会经常发生与行人存在路权冲突的情况。针对上述情况,需要提供一种交互方式以使行人能够及时了解移动机器人的行驶意图并作出相应行动以解决路权冲突。
3.现有技术中,通常会采用语音播报的方式实现了移动机器人和行人的交互,以使行人能够知晓移动机器人的行驶意图,例如当移动机器人在右转时,会播放语音“我要右转了,请注意避让哦”以告知行人。
4.但是,上述交互方式比较容易受环境影响,特别在餐厅、商场等较为嘈杂的场所,移动机器人播报的语音难以清晰的传递给行人,交互效果较差。
技术实现要素:5.基于此,有必要针对上述技术问题,提供一种能够提升人机交互效果的移动机器人的交互方法、装置、移动机器人和存储介质。
6.第一方面,提供了一种移动机器人的交互方法,移动机器人上设置有投影装置以及环境感知传感器,该方法包括:
7.获取移动机器人所处空间的地图数据信息以及获取环境感知传感器采集的实时环境感知数据,实时环境感知数据包括实时障碍物信息和用于指示移动机器人周围路况的实时指示信息;
8.基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,并根据目标行驶路径信息以及实时指示信息,确定地面投影区域;
9.获取待投影图案,根据待投影图案以及地面投影区域,确定待投影图案对应的投影参数,待投影图案用于指示移动机器人的行驶意图;
10.根据投影参数控制投影装置以将待投影图案投影到地面投影区域。
11.在其中一个实施例中,获取移动机器人所处空间的地图数据信息以及环境感知传感器采集的实时环境感知数据之前,该方法还包括:
12.获取环境感知传感器在移动机器人所处空间的环境满足预设环境条件的情况下采集到的历史环境感知数据;
13.根据历史环境感知数据,确定移动机器人所处空间的空间坐标信息,并根据空间坐标信息创建空间的地图;
14.将地图的数据信息作为地图数据信息。
15.在其中一个实施例中,环境感知传感器包括雷达装置以及相机装置,该获取环境感知传感器采集的实时环境感知数据,包括:
16.获取雷达装置采集到的障碍物与移动机器人的实时距离信息;
17.获取相机装置采集到的实时障碍物识别信息、移动机器人周围路面的路面形状信息以及移动机器人周围路面的实时障碍物分布信息;
18.将实时障碍物识别信息以及实时距离信息作为实时障碍物信息,将路面形状信息以及实时障碍物分布信息作为实时指示信息。
19.在其中一个实施例中,基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,包括:
20.根据地图数据信息以及实时障碍物信息,确定移动机器人的实时位置以及障碍物的位置;
21.获取移动机器人的目标终点位置,基于实时位置以及障碍物的位置,确定从实时位置到目标终点位置的最短路径信息,将最短路径信息作为移动机器人的目标行驶路径信息。
22.在其中一个实施例中,根据待投影图案以及地面投影区域,确定待投影图案对应的投影参数,包括:
23.针对待投影图案中的各像素点,根据地面投影区域,确定像素点对应的投射角度、像素点对应的投射时间以及像素点对应的投射颜色;
24.将各像素点对应的投射角度、各像素点对应的投射时间以及各像素点对应的投射颜色作为投影装置的投影参数。
25.在其中一个实施例中,投影装置包括振镜、可见光激光器以及透镜,根据投影参数调整投影装置以将待投影图案投影到地面投影区域,包括:
26.根据各像素点对应的投射角度确定各像素点对应的振镜的旋转角度,根据各像素点对应的投射颜色确定各像素点对应的可见光激光器的激光发射信息以及透镜的激光合成信息;
27.根据各像素点对应的投射时间,确定各像素点的投射顺序;
28.按照各像素点的投射顺序,根据各像素点对应的振镜的旋转角度、各像素点对应的激光发射信息以及各像素点对应的透镜的激光合成信息调整投影装置以将待投影图案投影到地面投影区域。
29.在其中一个实施例中,根据目标行驶路径信息以及实时指示信息,确定地面投影区域之前,该方法还包括:
30.根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件;
31.对应的,根据目标行驶路径信息确定地面投影区域,包括:
32.在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息确定地面投影区域。
33.在其中一个实施例中,预设投影条件至少包括以下条件中的一种:
34.在未来预设时间段内移动机器人的行驶方向发生变化、移动机器人的行驶状态为暂停状态、移动机器人周围存在行人以及移动机器人当前处于运行状态。
35.在其中一个实施中,在预设投影条件为移动机器人当前处于运行状态的情况下,获取待投影图案,包括:
36.根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器
人的行驶意图;
37.若能,则将移动机器人当前投影的图案作为待投影图案;
38.若否,则根据移动机器人的行驶意图生成待投影图案。
39.在其中一个实施例中,根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图,包括:
40.若实时障碍物信息指示移动机器人周围存在的障碍物为移动障碍物,则执行根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图的步骤。
41.第二方面,提供了一种移动机器人的交互装置,该装置包括:
42.获取模块,用于获取移动机器人所处空间的地图数据信息以及获取环境感知传感器采集的实时环境感知数据,实时环境感知数据包括实时障碍物信息和用于指示移动机器人周围路况的实时指示信息;
43.路径模块,用于基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,并根据目标行驶路径信息以及实时指示信息,确定地面投影区域;
44.确定模块,用于获取待投影图案,根据待投影图案以及地面投影区域,确定待投影图案对应的投影参数,待投影图案信息用于指示移动机器人的行驶意图;
45.投影模块,用于根据投影参数控制投影装置以将待投影图案信息投影到地面投影区域。
46.第三方面,提供了一种移动机器人,移动机器人包括投影装置、环境感知传感器和处理器;
47.环境感知传感器,用于采集实时环境感知数据,实时环境感知数据包括实时障碍物信息和用于指示移动机器人周围路况的实时指示信息;
48.处理器,用于获取移动机器人所处空间的地图数据信息以及获取实时环境感知数据,基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,并根据目标行驶路径信息以及实时指示信息,确定地面投影区域,获取待投影图案,根据待投影图案以及地面投影区域,确定待投影图案对应的投影参数,待投影图案用于指示移动机器人的行驶意图;根据投影参数控制投影装置以将待投影图案投影到地面投影区域;
49.投影装置,用于将待投影图案投影到地面投影区域。
50.在其中一个实施例中,处理器还用于:
51.根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件,预设投影条件至少包括以下条件中的一种:在未来预设时间段内移动机器人的行驶方向发生变化、移动机器人的行驶状态为暂停状态、移动机器人周围存在行人以及移动机器人当前处于运行状态;
52.在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息确定地面投影区域。
53.在其中一个实施例中,该处理器还用于:
54.在预设投影条件为移动机器人当前处于运行状态的情况下,根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图;
55.若能,则将移动机器人当前投影的图案作为待投影图案;
56.若否,则根据移动机器人的行驶意图生成待投影图案。
57.第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面任一所述的移动机器人的交互方法。
58.上述移动机器人的交互方法、装置、移动机器人和存储介质,根据移动机器人的目标行驶路径信息以及用于指示移动机器人周围路况的实时指示信息确定地面投影区域,并基于确定的待投影图案对应的投影参数调整激光投影装置以将用于表征移动机器人的行驶意图的待投影图案投影到地面投影区域,使得行人能够根据投影装置投影到地面上的投影图案信息知晓移动机器人的行驶意图,解决了因为机器人所处空间环境声音嘈杂带来的交互效果差的技术问题,提高移动机器人与行人之间的交互效果。
附图说明
59.图1为一个实施例中移动机器人的结构示意图;
60.图2为一个实施例中移动机器人的交互方法的流程示意图;
61.图3为一个实施例中移动机器人投影区域示意图;
62.图4为一个实施例中移动机器人投影应用示意图;
63.图5为一个实施例中步骤101的流程示意图;
64.图6为另一个实施例中步骤101的流程示意图;
65.图7为一个实施例中步骤102的流程示意图;
66.图8为一个实施例中步骤103的流程示意图;
67.图9为一个实施例中rgbd传感器工作示意图;
68.图10为一个实施例中激光投影装置的一种结构示意图;
69.图11为另一个实施例中激光投影装置的一种结构示意图;
70.图12为一个实施例中步骤104的流程示意图;
71.图13为另一个实施例中移动机器人的交互方法的流程示意图;
72.图14为又一个实施例中移动机器人的交互方法的流程示意图;
73.图15为一个实施例中移动机器人的交互装置的结构框图。
具体实施方式
74.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
75.本技术实施例提供的移动机器人的交互方法,其执行主体可以是移动机器人的交互装置,该移动机器人的交互装置设置于如图1所示的移动机器人上,可以通过软件、硬件或者软硬件结合的方式实现成为移动机器人的终端的部分或者全部。该终端可以是个人计算机、笔记本电脑、媒体播放器、智能电视、智能手机、平板电脑和便携式可穿戴设备等。
76.该移动机器人上设置有多个环境感知传感器以及激光投影装置。其中,环境感知传感器可以一个、两个或者多个。当环境感知传感器为多个时,各环境感知传感器的设置不同。图1示例性的展示一种移动机器人,如图1所示,该多个环境感知传感器包括rgbd相机1以及雷达装置3;投影装置2设置于移动机器人的行驶机构4的上方,其中行驶机构4可包括
轮毂电机,需要说明的是,环境感知传感器的传感器种类和安装位置可根据实际情况进行调整。
77.请参考图2,其示出了本技术实施例提供的一种移动机器人的交互方法的流程图。本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。如图2所示,该移动机器人的交互方法可以包括以下步骤:
78.步骤101,获取移动机器人所处空间的地图数据信息以及获取环境感知传感器采集的实时环境感知数据。
79.其中,实时环境感知数据包括实时障碍物信息和用于指示移动机器人周围路况的实时指示信息。障碍物包括静止障碍物和移动障碍物两种类型,各类型障碍物的数据不做限制。该用于指示移动机器人周围的路况的实时指示信息至少包括移动机器人周围的路面形状信息以及周围路面上的障碍物分布情况。
80.可选的,该环境感知传感器至少包括rgbd相机。该rgbd相机用于探测移动机器人周围障碍物距离移动机器人的距离、障碍物识别信息以及指示移动机器人周围的路况的实时指示信息。移动机器人通过对rgbd相机采集到的彩色图像和深度图像进行处理,得到实时环境感知数据。
81.在一种可选的实现方式中,从预设存储区域直接调用保存的地图数据信息,得到地图数据信息,其中,预设存储区域可以为服务器或者移动机器人的终端中。在另一种可选的实现方式中,该地图数据信息为移动机器人实时构建的。移动机器人在运动的过程中,利用环境感知传感器采集构建地图所需的数据,并基于采集到的数据构建和完善地图。
82.步骤102,基于实时环境感知数据以及地图数据信息,获取移动机器人的目标行驶路径信息,并根据目标行驶路径信息以及实时指示信息,确定地面投影区域。
83.在餐厅或者商城的环境,静态障碍物可以认为是在一段时间内所处的位置是固定的物体,例如桌椅、垃圾桶、柜子等。可选的,该地图数据信息包括这些静态障碍物的位置信息。移动机器人在开始行驶之前,会先获取到起点位置和终点位置,然后基于地图数据信息确定从起点位置到终点位置的初始行驶路径。当环境感知传感器探测到移动机器人周围存在移动障碍物(例如行人)时,则执行避障操作,更改移动机器人的行驶路线,即基于实时环境感知数据以及地图数据信息,获取移动机器人的目标行驶路径信息。
84.可选的,移动机器人根据得到的实时环境感知数据以及地图数据信息,采用路径规划算法进行路径规划得到目标行驶路径信息,其中该路径规划算法包括增量式启发算法、bug算法、图搜索法或融合多种路径规划算法的组合算法等等。
85.可选的,移动机器人在获取到目标行驶路径信息后,根据该目标行驶路径确定未来一段时间内移动机器人要行驶过的路面区域作为地面投影区域。其中,该未来一段时间的长度可根据移动机器人的行驶速度来确定。
86.如图3所示,其中,图(a)为移动机器人周围空间的立体示意图,6为投影装置的投影出光口,7-10为障碍物,11为投影区域示意图,12为移动机器人,图(b)为其图(a)对应的地面分布图,7
’‑
10’为障碍物7-10与地面的接触面,12’为移动机器人12与地面的接触面示意,13表示移动机器人的目标行驶方向。
87.将移动机器人12与地面的接触面的中心位置对应的坐标点作为移动机器人的坐
标位置,即图(b)中的d0(x0,y0),根据目标行驶路径信息确定未来一段时间内移动机器人的一系列移动坐标点,该一系列移动坐标点形成一条中心线,即图(b)中的曲线14,然后将该中心线向两边平移一段距离得到两条边缘线,其中,平移的距离值为移动机器人底面的宽度值的一半。两条边缘线之间的区域即为地面投影区域,即图(b)中的11’。
88.可选的,根据目标行驶路径信息确定地面投影区域所在的方向,并根据路面形状信息以及所述实时障碍物分布信息确定地面投影区域的大小和形状。例如,当路面形状信息为弯曲形状时,该地面投影区域的形状为弯曲形状。当实时障碍物分布信息为实时障碍物之前的空闲空间较为狭窄时,则需要将地面投影区域调小。
89.步骤103,获取待投影图案信息,根据待投影图案信息以及地面投影区域,确定待投影图案对应的投影参数。
90.其中,待投影图案信息用于指示移动机器人的行驶意图。该待投影图案可以是文字图案、图形图案或者文字和几何图形式相结合的图案,也可以是动画。该待投影图案信息可以在地面上闪烁显示。
91.可选的,该投影参数包括投射角度、投射颜色、投射内容以及投射时间等等。
92.步骤104,根据投影参数控制激光投影装置以将待投影图案信息投影到地面投影区域。
93.如图4所示,当确定好投影参数后,移动机器人会根据投影参数调整投影装置2,以使投影装置2将待投影图案信息投影到地面投影区域,周围行人通过查看地面的投影信息知晓移动机器人的行驶意图。
94.该实施例根据移动机器人的目标行驶路径信息以及用于指示移动机器人周围路况的实时指示信息确定地面投影区域,并基于确定的待投影图案对应的投影参数调整激光投影装置以将用于表征移动机器人的行驶意图的待投影图案投影到地面投影区域,使得行人能够根据投影装置投影到地面上的投影图案信息知晓移动机器人的行驶意图,解决了因为机器人所处空间环境声音嘈杂带来的交互效果差的技术问题,提高移动机器人与行人之间的交互效果。
95.在本技术实施中,参见图5,基于图2所示的实施例,在步骤101获取移动机器人所处空间的地图数据信息以及环境感知传感器采集的实时环境感知数据之前,本实施例提供的移动机器人的交互方法,还包括步骤201、步骤202和步骤203:
96.步骤201,获取环境感知传感器在移动机器人所处空间的环境满足预设环境条件的情况下采集到的历史环境感知数据。
97.其中,该预设环境条件至少包括移动机器人所处空间的环境中行人的数量较少以及移动机器人所述空间的环境中无人中的一种。
98.可选的,该历史环境感知数据包括移动机器人所处空间中存在的静态障碍物信息,例如桌椅或者垃圾桶。当预设环境条件为移动机器人所处空间的环境中行人的数量较少时,将环境感知传感器采集的原始感知数据中的行人相关的信息过滤掉,得到历史环境感知数据。
99.可选的,移动机器人根据获取到的历史环境感知数据采集时间信息来确定何时执行上述历史环境感知数据采集操作,例如将历史环境感知数据采集时刻设置为每天晚上23:00。
100.步骤202,根据历史环境感知数据,确定移动机器人所处空间的空间坐标信息,并根据空间坐标信息创建空间的地图。
101.其中,该空间坐标信息为移动机器人所处的整个空间的空间坐标信息或者移动机器人会经过的空间的空间坐标信息,例如,餐厅或者商场的空间坐标信息或者移动机器人在商场中的服务区域对应的空间的空间坐标信息。比如,当移动机器人的服务区域为商场2楼所在区域,则需要确定商场2楼的空间坐标信息。
102.其中,空间坐标信息为二维坐标信息或三维坐标信息。可选的,如图3所示,以地面为平面建立二维坐标,设置一个参照位置点。例如,该参照位置点为空间中某个静态障碍物的位置点,或者,在地面上放置一个参照物体,将该参照物所在的位置点作为参照位置点。基于该参照位置点的二维坐标,确定该空间中其他位置点对应的二维坐标。
103.步骤203,将地图的数据信息作为地图数据信息。
104.该实施例中通过获取环境感知传感器在移动机器人所处空间的环境满足预设环境条件的情况下采集到的历史环境感知数据以确定空间的空间坐标信息,并根据空间坐标信息创建空间的地图。由于是该地图是基于满足预设环境条件的空间环境下采集的历史环境感知数据构建的,降低了空间中的干扰信息,进而降低了地图构建的难度以及地图数据信息的数据量。
105.在本技术实例中,各环境感知传感器包括雷达装置以及相机装置,参照图6,本实施例涉及的是步骤101中获取环境感知传感器采集的实时环境感知数据的过程。基于图5所示的实施例,如图6所示,该过程包括步骤301、步骤302以及步骤303:
106.步骤301,获取雷达装置采集到的障碍物与移动机器人的实时距离信息。
107.可选的,该雷达装置至少包括激光雷达装置以及超声波雷达装置中的一种。该激光雷达装置用于在2d或3d平面范围内,探测机器人周围物体距离机器人的距离。
108.步骤302,获取相机装置采集到的实时障碍物识别信息、移动机器人周围路面的路面形状信息以及移动机器人周围路面的实时障碍物分布信息。
109.可选的,该相机装置包括rgbd相机;或者该相机装置包括rgbd相机以及rgb相机。
110.其中,该实时障碍物识别信息包括识别该障碍物是否为行人。可选的,利用图像识别算法对rgb相机或者rgbd相机采集到的障碍物的图像进行识别,确定该障碍物是否为行人。
111.可选的,当该相机装置包括rgbd相机以及rgb相机时,rgb相机与雷达装置结合使用,当雷达装置探测到有障碍物时,移动机器人启动rgb相机执行采集操作以用于得到实时障碍物识别信息。
112.步骤303,将实时障碍物识别信息以及实时距离信息作为实时障碍物信息,将路面形状信息以及实时障碍物分布信息作为实时指示信息。
113.本技术实施例通过借助雷达装置获取到障碍物与移动机器人的实时距离信息以及借助相机装置获取到实时障碍物识别信息、移动机器人周围路面的路面形状信息以及移动机器人周围路面的实时障碍物分布信息,实现了实时环境感知数据的获取。多种采集装置配合使用,提高了实时环境感知数据的多样性以及实时环境感知数据的可靠性。
114.在本技术实施例中,请参照图7,基于图2所示的实施例,本实施例涉及的是步骤102中基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,包括
步骤401和步骤402:
115.步骤401,根据地图数据信息以及实时障碍物信息,确定移动机器人的实时位置以及障碍物的位置。
116.可选的,获取移动机器人在地图中的坐标位置作为实时位置,然后根据实时障碍物信息确定该障碍物在地图中的坐标位置作为障碍物的位置。
117.步骤402,获取移动机器人的目标终点位置,基于实时位置以及障碍物的位置,确定从实时位置到目标终点位置的最短路径信息,将最短路径信息作为移动机器人的目标行驶路径信息。
118.可选的,利用最短路径算法确定从实时位置到目标终点位置的最短路径信息。其中,该最短路径算法包括dijkstra算法,bellman-ford算法,floyd算法和spfa算法等等。
119.该实施例通过根据地图数据信息以及实时障碍物信息,确定移动机器人的实时位置以及障碍物的位置,并获取移动机器人的目标终点位置,基于实时位置以及障碍物的位置,确定从实时位置到目标终点位置的最短路径信息,实现了移动机器人的目标行驶路径信息的实时确定,提高了移动机器人的路径规划的可靠性。
120.在本技术实施例中,请参照图8,基于图2所示的实施例,本实施例涉及的是步骤103中根据待投影图案信息以及地面投影区域,确定激光投影装置的投影参数,包括步骤501和步骤502:
121.步骤501,针对待投影图案中的各像素点,根据地面投影区域,确定像素点对应的投射角度、像素点对应的投射时间以及像素点对应的投射颜色。
122.可选的,获取待投影图案中的各像素点分别与地面投影区域中的某空间坐标点之间的对应关系,根据该对应关系得到确定各像素点对应的投射角度、各像素点对应的投射时间以及各像素点对应的投射颜色。
123.可选的,如图9中所示,该地面投影区域可能会存在不平坦的区域。采用rgbd相机获取移动机器人周围路面与rgbd相机之间的垂直距离信息。
124.针对各像素点,先假设将待投影图案信息投射在平坦路面上时对应的原始投射角度、投射时间以及投射颜色,然后根据该移动机器人周围路面与rgbd相机之间的垂直距离信息,获取投影角度校正参数,根据该投影角度校正参数以及原始投射角度最终得到该采样点对应的实际投射角度,该实际投射角度即为采样点对应的投射角度。
125.步骤502,将各像素点对应的投射角度、各像素点对应的投射时间以及各像素点对应的投射颜色作为激光投影装置的投影参数。
126.该实施例通过将待投影图案终端各像素点分别确定对应的投射角度、投射时间以及投射颜色,实现了投影装置的投影参数的确定,提高待投影图案的投影效果;同时可设置每个像素点的颜色信息,使投影到路面上的投影图案为彩色图案,更容易吸引周围行人的注意力,进一步提高了移动机器人和行人的交互效果。
127.本技术实施例中,投影装置包括振镜、可见光激光器以及透镜,如图10和图11所示,该振镜为旋转振镜或者mems固态振镜,用于控制激光的投射方向,可见光激光器用于发射可见光频段的激光进行显示,透镜用于对多种颜色的激光进行合成。
128.在一种实施例中,该振镜为旋转振镜时,如图10所示,该投影装置包括第一旋转振镜13、第二旋转振镜14、透镜15以及第一可见光激光器16、第二可见光激光器17以及第三可
见光激光器18。第一可见光激光器16、第二可见光激光器17以及第三可见光激光器18分别发射出激光,透镜15对于接收到的激光进行合成为一道光线,然后由于第一旋转振镜13以及第二旋转振镜14调整合成后的光线的方向,最终投射出待透射图案19。
129.在另一种实施例中,当该振镜为mems固态振镜时,如图11所示,该投影装置包括mems固态振镜20、透镜15以及第一可见光激光器16、第二可见光激光器17以及第三可见光激光器18。第一可见光激光器16、第二可见光激光器17以及第三可见光激光器18分别发射出激光,透镜15对于接收到的激光进行合成为一道光线,然后由mems固态振镜20调整合成后的光线的方向,最终投射出待透射图案19。
130.请参照图12,基于图9所示的实施例,本实施例涉及的是步骤104中根据投影参数调整激光投影装置以将待投影图案信息投影到地面投影区域,包括步骤601、步骤602和步骤603:
131.步骤601,根据各像素点对应的投射角度确定各像素点对应的振镜的旋转角度,根据各像素点对应的投射颜色确定各像素点对应的可见光激光器的激光发射信息以及透镜的激光合成信息。
132.其中,可见光激光器对应的激光包括红、绿、蓝(rgb)三基色激光,该激光发射信息包括可见光频段。可选的,根据投射颜色确定图10或图11中的3个可见光激光器分别对应的可见光频段。
133.步骤602,根据各像素点对应的投射时间,确定各像素点的投射顺序。
134.步骤603,按照各像素点的投射顺序,根据各像素点对应的振镜的旋转角度、各像素点对应的激光发射信息以及各像素点对应的透镜的激光合成信息调整激光投影装置以将待投影图案信息投影到地面投影区域。
135.该实施例实现了待投影图案信息在地面投影区域的可视化显示,而且可在地面上投射彩色图案,便于抓住行人的注意力,提高交互效果。
136.本技术实施例中,请参照图13,基于图2所示的实施例,在根据目标行驶路径信息以及实时指示信息确定地面投影区域的步骤之前,该移动机器人的交互方法,还包括:
137.步骤701,根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件。
138.其中,该预设投影条件至少包括以下条件中的一种:在未来预设时间段内移动机器人的行驶方向发生变化、移动机器人的行驶状态为暂停状态、移动机器人周围存在行人以及移动机器人当前处于运行状态。
139.可选的,该预设投影条件与移动机器人的行驶情况相关。针对不同预设投影条件可设置不同的待投影图案信息。例如,在移动机器人的行驶方向发生变化时,待投影图案信息可以为“行驶方向对应的箭头标识和文字的组合形式”;移动机器人的行驶状态为暂停状态时,待投影图案信息可以为“您先行”的文字图案或者“xxx分钟后开始行走”的文字图案等等。
140.可选的,该预设投影条件是移动机器人当前处于运行状态。通过检测移动机器人是否处于开机状态,若处于开机状态,则启动投影装置进行投影。在这种情况下,移动机器人的投影装置一直处于投影图案的状态。投影到地面上的投影图案可以实时变换。
141.可选的,该预设投影条件是移动机器人周围的声音强度高于预设值。在移动机器
人设置声音采集装置,利用该声音采集装置采集移动机器人周围的声音,当周围声音的强度高于预设值时,采用投影的方式执行交互;当周围声音的强度低于预设值时,采用语音提醒的方式执行交互。
142.步骤702,在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息确定地面投影区域。
143.该实施例通过根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件,在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息确定地面投影区域,由于是在符合预设投影条件的情况下才执行待投影图案的投影,提高投影装置的投影设置灵活性,降低了移动机器人的能源损耗和运算量,提高了激光投影装置的使用寿命。
144.本技术实施例中,基于图13所示的实施例,在该投影条件为移动机器人当前处于运行状态的情况下,步骤103中获取待投影图案,包括:
145.步骤801,根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图。
146.其中,移动机器人当前投影的图案为当前时刻投影到地面上的投影图案。
147.步骤802,若能,则将移动机器人当前投影的图案作为待投影图案。
148.其中,该投影图案为当前时刻的下一时刻点要投影到地面上的投影图案。
149.步骤803,若否,则根据移动机器人的行驶意图生成待投影图案。
150.可选的,根据移动机器人的行驶意图的不同,设置有不同的待投影图案。当移动机器人的行驶意图发生变化时,投影到地面上的图案也会随着变化,即下一时刻的投影图案与上一时刻点的投影图案不同。例如,当移动机器人的行驶意图发生变化,即要从“向前直行”要变为“向左转”或者“向右转”时,则需要将当前投影的图案(即表示“向前直行”的投影图案)转换成表示“左转”或“右转”的投影图案。
151.实施例通过判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图并在不能反映移动机器人的行驶意图时根据移动机器人的行驶意图生成待投影图案,实现了根据移动机器人的行驶意图实时调整投影图案的目的,使行人能够准确掌握移动机器人的行驶意图,提高了移动机器人向行人传达信息的准确性,进一步提高了移动机器人与行人之间的交互效果。
152.本技术实施例中,如图14所示,提供了一种移动机器人的交互方法,该方法包括以下步骤:
153.步骤901,获取环境感知传感器在移动机器人所处空间的环境满足预设环境条件的情况下采集到的历史环境感知数据。
154.步骤902,根据历史环境感知数据,确定移动机器人所处空间的空间坐标信息,并根据空间坐标信息创建空间的地图,将地图作为地图数据信息。
155.步骤903,获取雷达装置采集到的障碍物与移动机器人的实时距离信息以及相机装置采集到的实时障碍物识别信息、移动机器人周围路面的路面形状信息以及移动机器人周围路面的实时障碍物分布信息。
156.步骤904,将实时障碍物识别信息以及实时距离信息作为实时障碍物信息,将路面形状信息以及实时障碍物分布信息作为实时指示信息。
157.步骤905,根据地图数据信息以及实时障碍物信息,确定移动机器人的实时位置以及障碍物的位置。
158.步骤906,获取移动机器人的目标终点位置,基于实时位置以及障碍物的位置,确定从实时位置到目标终点位置的最短路径信息,将最短路径信息作为移动机器人的目标行驶路径信息。
159.步骤907,根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件,在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息以及实时指示信息,确定地面投影区域。
160.其中,预设投影条件至少包括以下条件中的一种:在未来预设时间段内移动机器人的行驶方向发生变化、移动机器人的行驶状态为暂停状态、移动机器人周围存在行人以及移动机器人当前处于运行状态。
161.步骤908,获取待投影图案。
162.其中,在预设投影条件为移动机器人当前处于运行状态的情况下,根据根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图;若能,则将移动机器人当前投影的图案作为待投影图案,若否,则根据移动机器人的行驶意图生成待投影图案。
163.步骤909,针对待投影图案中的各像素点,根据地面投影区域,确定像素点对应的投射角度、像素点对应的投射时间以及像素点对应的投射颜色。
164.步骤910,将各像素点对应的投射角度、各像素点对应的投射时间以及各像素点对应的投射颜色作为激光投影装置的投影参数。
165.步骤911,根据各像素点对应的投射角度确定各像素点对应的振镜的旋转角度,根据各像素点对应的投射颜色确定各像素点对应的可见光激光器的激光发射信息以及透镜的激光合成信息。
166.步骤912,根据各像素点对应的投射时间,确定各像素点的投射顺序。
167.步骤913,按照各像素点的投射顺序,根据各像素点对应的振镜的旋转角度、各像素点对应的激光发射信息以及各像素点对应的透镜的激光合成信息调整激光投影装置以将待投影图案信息投影到地面投影区域。
168.该实施例通过将待投影图像利用激光投影装置投射到地面以使行人知晓移动机器人的行驶意图,提高移动机器人与行人之间的交互效果,解决了因为机器人所处空间环境声音嘈杂带来的交互效果差的技术问题。而且投影到路面上的投影图案可以为彩色图案,更好抓取行人的注意力,提高了交互效果,此外,可预设投影条件,提高投影装置的灵活性,可根据实际场景调整投影图案,提高了移动机器人向行人传达信息的准确性,进一步提高了移动机器人与行人之间的交互效果。
169.应该理解的是,虽然图2、图5-6、图8-9以及图12-14的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图5-6、图8-9以及图12-14中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步
骤或者阶段的至少一部分轮流或者交替地执行。
170.在本技术实施例中,如图15所示,提供了一种移动机器人的交互装置,该装置包括获取模块、路径模块、确定模块以及投影模块,具体的:
171.获取模块,用于获取移动机器人所处空间的地图数据信息以及环境感知传感器采集的实时环境感知数据,实时环境感知数据包括实时障碍物信息和用于指示移动机器人周围路况的实时指示信息;
172.路径模块,用于基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,并根据目标行驶路径信息以及实时指示信息,确定地面投影区域;
173.确定模块,用于获取待投影图案,根据待投影图案以及地面投影区域,确定待投影图案对应的投影参数,待投影图案信息用于指示移动机器人的行驶意图;
174.投影模块,用于根据投影参数控制投影装置以将待投影图案信息投影到地面投影区域。
175.在一个实施例中,该装置还包括地图模块,该地图模块具体用于:
176.获取环境感知传感器在移动机器人所处空间的环境满足预设环境条件的情况下采集到的历史环境感知数据;
177.根据历史环境感知数据,确定移动机器人所处空间的空间坐标信息,并根据空间坐标信息创建空间的地图;
178.将地图的数据信息作为地图数据信息。
179.在一个实施例中,环境感知传感器包括雷达装置以及相机装置,获取模块用于:
180.获取雷达装置采集到的障碍物与移动机器人的实时距离信息;
181.获取相机装置采集到的实时障碍物识别信息、移动机器人周围路面的路面形状信息以及移动机器人周围路面的实时障碍物分布信息;
182.将实时障碍物识别信息以及实时距离信息作为实时障碍物信息,将路面形状信息以及实时障碍物分布信息作为实时指示信息。
183.在一个实施例中,该路径模块用于:
184.根据地图数据信息以及实时障碍物信息,确定移动机器人的实时位置以及障碍物的位置;
185.获取移动机器人的目标终点位置,基于实时位置以及障碍物的位置,确定从实时位置到目标终点位置的最短路径信息,将最短路径信息作为移动机器人的目标行驶路径信息。
186.在一个实施例中,该确定模块用于:
187.针对待投影图案中的各像素点,根据地面投影区域,确定像素点对应的投射角度、像素点对应的投射时间以及像素点对应的投射颜色;
188.将各像素点对应的投射角度、各像素点对应的投射时间以及各像素点对应的投射颜色作为投影装置的投影参数。
189.在一个实施例中,投影装置包括振镜、可见光激光器以及透镜,该投影模块用于:
190.根据各像素点对应的投射角度确定各像素点对应的振镜的旋转角度,根据各像素点对应的投射颜色确定各像素点对应的可见光激光器的激光发射信息以及透镜的激光合成信息;
191.根据各像素点对应的投射时间,确定各像素点的投射顺序;
192.按照各像素点的投射顺序,根据各像素点对应的振镜的旋转角度、各像素点对应的激光发射信息以及各像素点对应的透镜的激光合成信息调整投影装置以将待投影图案信息投影到地面投影区域。
193.在一个实施例中,该路径模块还具体用于:
194.根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件;
195.在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息确定地面投影区域。
196.在一个实施例中,预设投影条件至少包括以下条件中的一种:
197.在未来预设时间段内移动机器人的行驶方向发生变化、移动机器人的行驶状态为暂停状态、移动机器人周围存在行人以及移动机器人当前处于运行状态。
198.在一个实施例中,确定模块具体用于:
199.在预设投影条件为移动机器人当前处于运行状态的情况下,根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图;
200.若能,则将移动机器人当前投影的图案作为待投影图案;
201.若否,则根据移动机器人的行驶意图生成待投影图案。
202.在一个实施例中,该确定模块还具体用于:
203.若实时障碍物信息指示移动机器人周围存在的障碍物为移动障碍物,则执行根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图的步骤。
204.在本技术实施例中,提供了一种移动机器人,移动机器人包括投影装置、环境感知传感器和处理器;
205.环境感知传感器,用于采集实时环境感知数据,实时环境感知数据包括实时障碍物信息和用于指示移动机器人周围路况的实时指示信息;
206.处理器,用于获取移动机器人所处空间的地图数据信息以及实时环境感知数据,基于实时障碍物信息以及地图数据信息,获取移动机器人的目标行驶路径信息,并根据目标行驶路径信息以及实时指示信息,确定地面投影区域,获取待投影图案,根据待投影图案以及地面投影区域,确定待投影图案对应的投影参数,待投影图案用于指示移动机器人的行驶意图;根据投影参数控制投影装置以将待投影图案投影到地面投影区域;
207.投影装置,用于将待投影图案投影到地面投影区域。
208.在一个实施例中,处理器还用于:
209.获取环境感知传感器在移动机器人所处空间的环境满足预设环境条件的情况下采集到的历史环境感知数据;根据历史环境感知数据,确定移动机器人所处空间的空间坐标信息,并根据空间坐标信息创建空间的地图;将地图的数据信息作为地图数据信息。
210.在一个实施例中,该环境感知传感器包括雷达装置以及相机装置;
211.雷达装置,用于采集障碍物与移动机器人的实时距离信息;
212.相机装置,用于采集实时障碍物识别信息、移动机器人周围路面的路面形状信息以及移动机器人周围路面的实时障碍物分布信息;
213.处理器,用于获取实时距离信息以及实时障碍物识别信息,并将实时距离信息以
及实时障碍物识别信息作为实时障碍物信息;获取路面形状信息以及实时障碍物分布信息并将路面形状信息以及实时障碍物分布信息作为实时指示信息。
214.在一个实施例中,该处理器用于:
215.根据地图数据信息以及实时障碍物信息,确定移动机器人的实时位置以及障碍物的位置;获取移动机器人的目标终点位置,基于实时位置以及障碍物的位置,确定从实时位置到目标终点位置的最短路径信息,将最短路径信息作为移动机器人的目标行驶路径信息。
216.在一个实施例中,该处理器用于:
217.针对待投影图案中的各像素点,根据地面投影区域,确定像素点对应的投射角度、像素点对应的投射时间以及像素点对应的投射颜色;将各像素点对应的投射角度、各像素点对应的投射时间以及各像素点对应的投射颜色作为投影装置的投影参数。
218.在一个实施例中,该投影装置包括振镜、可见光激光器以及透镜,该处理器用于:
219.根据各像素点对应的投射角度确定各像素点对应的振镜的旋转角度,根据各像素点对应的投射颜色确定各像素点对应的可见光激光器的激光发射信息以及透镜的激光合成信息;根据各像素点对应的投射时间,确定各像素点的投射顺序;按照各像素点的投射顺序,根据各像素点对应的振镜的旋转角度、各像素点对应的激光发射信息以及各像素点对应的透镜的激光合成信息调整投影装置以将待投影图案信息投影到地面投影区域;
220.该投影装置,用于按照各像素点的投射顺序,根据各像素点对应的振镜的旋转角度、各像素点对应的激光发射信息、各像素点对应的透镜的激光合成信息将各像素点投影到地面投影区域。
221.在一个实施例中,处理器还用于:
222.根据目标行驶路径信息以及实时环境感知数据,判断是否符合预设投影条件,预设投影条件至少包括以下条件中的一种:在未来预设时间段内移动机器人的行驶方向发生变化、移动机器人的行驶状态为暂停状态、移动机器人周围存在行人以及移动机器人当前处于运行状态;在判断结果为符合预设投影条件的情况下,根据目标行驶路径信息确定地面投影区域。
223.在一个实施例中,该处理器还用于:
224.在预设投影条件为移动机器人当前处于运行状态的情况下,根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图;若能,则将移动机器人当前投影的图案作为待投影图案;若否,则根据移动机器人的行驶意图生成待投影图案。
225.在一个实施例中,该处理器还具体用于:
226.若实时障碍物信息指示移动机器人周围存在的障碍物为移动障碍物,则执行根据目标行驶路径信息,判断移动机器人当前投影的图案是否能够反映移动机器人的行驶意图的步骤。
227.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
228.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。
229.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
230.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。