机器人避障提醒方法、装置、设备以及计算机可读介质与流程

文档序号:31869919发布日期:2022-10-21 18:43阅读:42来源:国知局
机器人避障提醒方法、装置、设备以及计算机可读介质与流程

1.本发明实施例涉及人工智能技术领域,具体涉及一种机器人避障提醒方法、装置、设备以及计算机可读介质。


背景技术:

2.随着人工智能的发展,越来越多的移动机器人在各种场景中得到了广泛应用。在机器人的控制中,slam(simultaneous localization and mapping,同时定位与地图构建)是基础,而在存在人群阻挡时,会影响到机器人的slam定位的准确度,因此需要对形成障碍的人进行提醒,使其避开机器人。
3.现有技术中一般采用直接判断机器人前方是否存在人遮挡,若是,则进行提醒的方案。发明人在实施本发明的过程中,现有技术的方案的避障准确率较低。


技术实现要素:

4.鉴于上述问题,本发明实施例提供了一种机器人避障提醒方法、装置、设备以及计算机存储介质,用于解决现有技术中存在的避障准确率较低的问题。
5.根据本发明实施例的一个方面,提供了一种机器人避障提醒方法,所述方法包括:
6.获取定位传感数据及对目标区域的人体传感数据;
7.根据所述定位传感数据确定多个待匹配特征点;
8.将所述待匹配特征点与目标环境特征地图进行匹配,确定所述定位传感数据对应的特征匹配度;
9.当所述特征匹配度小于匹配度阈值,且根据所述人体传感数据确定所述目标区域存在人体时,确定所述人体对所述待匹配特征点的遮挡比例;
10.当所述遮挡比例大于比例阈值时,进行避障提醒。
11.在一种可选的方式中,所述目标环境特征地图包括目标环境对应的多个参考特征点:所述方法还包括:
12.分别计算各个所述待匹配特征点与各个所述参考特征点之间的距离;
13.根据所述距离确定各个待匹配特征点在所述目标环境特征地图中是否存在匹配;
14.将存在匹配的所述待匹配特征点的数量占所述待匹配特征点的总数的比例确定为所述特征匹配度。
15.在一种可选的方式中,所述方法还包括:
16.当所述人体传感数据为非空时,确定所述目标区域存在所述人体;
17.对所述人体传感数据进行分析,得到人体遮挡区域;
18.将在所述人体遮挡区域内的所述待匹配特征点确定为所述人体遮挡特征点;
19.根据所述人体遮挡特征点的数量与所述待匹配特征点的数量的比例确定所述遮挡比例。
20.在一种可选的方式中,所述方法还包括:
21.获取所述机器人的前行路线信息;
22.根据所述前线路线信息确定目标指示区域和目标提醒信息;
23.生成所述目标提醒信息对应的多媒体内容;所述多媒体内容包括投影图像内容;所述目标指示区域包括所述机器人的前行路线所在的地面区域;
24.将所述多媒体内容在所述目标指示区域中进行播放。
25.在一种可选的方式中,所述方法还包括:
26.确定所述定位传感数据中是否存在上一次避障提醒生成的投影图像内容所对应的投影传感数据;
27.若存在,根据所述投影传感数据对所述定位传感数据进行过滤;
28.对过滤后的所述定位传感数据进行特征提取,得到所述待匹配特征点。
29.在一种可选的方式中,所述方法还包括:
30.对所述投影传感数据进行分析,得到投影纹理信息;
31.对所述目标指示区域内的所述定位传感数据进行分析,得到背景纹理信息;
32.将所述投影纹理信息与所述背景纹理信息进行对比,确定投影影响区域;
33.根据所述定位传感数据确定多个原始特征点;
34.对所述投影影响区域内的所述原始特征点进行过滤,得到所述待匹配特征点。
35.在一种可选的方式中,所述多媒体内容还包括音频内容;所述方法还包括:
36.在所述目标指示区域中播放所述音频内容;
37.将所述音频内容播放预设时长后的所述定位传感数据确定为提醒后定位传感数据;
38.将所述提醒后定位传感数据与所述目标环境特征地图进行匹配,确定提醒后特征匹配度;
39.当所述提醒后特征匹配度小于所述匹配度阈值时,将所述投影图像内容投影至所述目标指示区域中。
40.根据本发明实施例的另一方面,提供了一种机器人避障提醒装置,包括:
41.获取模块,用于获取定位传感数据及对目标区域的人体传感数据;
42.第一确定模块,用于根据所述定位传感数据确定多个待匹配特征点;
43.匹配模块,用于将所述待匹配特征点与目标环境特征地图进行匹配,确定所述定位传感数据对应的特征匹配度;
44.第二确定模块,用于当所述特征匹配度小于匹配度阈值,且根据所述人体传感数据确定所述目标区域存在人体时,确定所述人体对所述待匹配特征点的遮挡比例;
45.提醒模块,用于当所述遮挡比例大于比例阈值时,进行避障提醒。
46.根据本发明实施例的另一方面,提供了一种机器人避障提醒设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
47.所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行所述机器人避障提醒方法的操作。
48.根据本发明实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使机器人避障提醒设备执行所述机器人避障
提醒方法的操作:
49.本发明实施例通过获取定位传感数据及对目标区域的人体传感数据;根据定位传感数据确定多个待匹配特征点;将待匹配特征点与目标环境特征地图进行匹配,确定定位传感数据对应的特征匹配度;当特征匹配度小于匹配度阈值即定位失败时,且根据人体传感数据确定目标区域存在人体时,确定人体对待匹配特征点的遮挡比例;当遮挡比例大于比例阈值时,则可以确定特征匹配度的下降的主要原因是因为人体的遮挡,因此进行避障提醒,以提醒人避开,从而消除遮挡后的定位传感数据的特征匹配度提升,使得机器人可以根据避障提醒后的定位传感数据完成定位。
50.区别于现有技术中机器人在检测到人时,即进行避障提醒的方案所导致的避障准确率不高,并且交互体验不佳的问题,本发明实施例通过首先确定当前获取到的定位传感数据对应的特征匹配度,并根据该特征匹配度确定定位失败,且根据人体传感数据确定目标区域存在人体时,且人的遮挡比例满足比例阈值时,才进行对造成定位失败的原因,即人进行避障提醒,由此一方面提高了避障提醒的准确率,另一方面也避免了在人的遮挡并不是定位失败的原因时盲目提醒对交互体验的影响。
51.上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
52.附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
53.图1示出了本发明实施例提供的机器人避障提醒方法的流程示意图;
54.图2示出了本发明实施例提供的机器人避障提醒装置的结构示意图;
55.图3示出了本发明实施例提供的机器人避障提醒设备的结构示意图。
具体实施方式
56.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
57.图1示出了本发明实施例提供的机器人避障提醒方法的流程图,该方法由计算机处理设备执行。该计算机处理设备可以包括机器人等。如图1所示,该方法包括以下步骤:
58.步骤101:获取定位传感数据及对目标区域的人体传感数据。
59.在本发明的一个实施例中,定位传感数据可以由机器人上设置的视觉传感器在执行定位动作时实时或周期性获取的。视觉传感器可以包括激光雷达、深度视觉相机等,其中深度视觉相机可以为tof(time of flight camera,飞行时间相机)、rgb双目相机以及结构光。
60.定位传感数据中包括机器人的视觉范围内的传感数据,用于表征机器人在当前环境中所处位置的传感特征,其中,机器人的视觉范围可以是机器人前方一定角度如180
°
或360
°
的范围。
61.在本发明的一个实施例中,目标区域为机器人前方预设角度的扇形区域。其中,预设角度根据机器人的尺寸、移动方式等设定,使得目标区域能够覆盖机器人移动目标距离的区域,目标距离为当前位置距下一次需要进行定位的位置之间的距离。
62.容易理解的是,为了完成定位,机器人的定位传感数据的采集范围会包括其移动目标距离时需要经过的区域,因此,目标区域包括在前述定位传感数据对应的视觉范围中。
63.在本发明的一个实施例中,人体传感数据指的是针对人体特征进行检测得到的数据,人体传感数据的获取方式可以是通过红外人体检测设备或rgb图像传感设备等,人体特征可以对应为人体红外特征、人体图像特征,其中,人体图像特征可以包括图像轮廓特征及图像深度特征等。
64.步骤102:根据所述定位传感数据确定多个待匹配特征点。
65.在本发明的一个实施例中,可以先对定位传感数据进行预处理,得到激光雷电稠密点云图或者视觉相机稀疏点云图。然后对预处理得到的上述点云图进行特征提取,得到多个待匹配特征点。其中,对点云图进行特征提取的过程包括计算点云曲率、根据点云曲率确定特征点云,特征点云中包括角特征点和面特征点,将角特征点和面特征点确定为所述多个待匹配特征点。
66.在本发明的再一个实施例中,还可以按照预设的特征检测算法,如fast算法、sift算法对定位传感数据进行角点检测,得到多个角点,然后按照描述子提取算法如领域模块匹配算法或者orb(oriented fast and rotated brief)算法,确定各个角点的描述子,将一个角点及其对应的描述子确定为一个所述待匹配特征点。
67.在本发明的再一个实施例中,考虑到投影内容对于定位传感数据的影响,步骤102中确定待匹配特征点过程还包括:
68.步骤1021:确定所述定位传感数据中是否存在上一次避障提醒生成的投影图像内容所对应的投影传感数据。
69.在本发明的一个实施例中,确定是否存在上一次避障提醒对应的投影传感可以通过检测机器人上的投影装置是否开启,若开启,则确定存在上一次避障提醒生成的投影传感内容对应的投影传感数据,否则视作不存在所述投影传感数据。
70.步骤1022:若存在,根据所述投影传感数据对所述定位传感数据进行过滤。
71.在本发明的一个实施例中,为了消除投影图像内容对于环境光线的改变,从而对于定位传感数据造成的噪声影响,可以首先投影传感数据对应的投影影响区域,针对该投影影响区域中的定位传感数据进行过滤。其中,投影影响区域的确定可以是根据投影图像内容对应的纹理、色彩等图像特征与定位传感数据的基准特征进行比对,因为某些中投影图像内容可能与背景纹理比较一致,因此该投影图像内容的生成并不造成环境光线的改变。
72.因此,在本发明的再一个实施例中,步骤1022还包括:
73.步骤221:对所述投影传感数据进行分析,得到投影纹理信息。
74.在本发明的一个实施例中,可以采用局部二值模式(local binary patterns)等纹理提取算法对投影传感数据进行分析,得到投影纹理信息。
75.步骤222:对所述目标指示区域内的所述定位传感数据进行分析,得到背景纹理信息。
76.在本发明的一个实施例中,可以采用局部二值模式(local binary patterns)等纹理提取算法对定位传感数据进行分析,得到背景纹理信息。
77.为了保证过滤的准确性,在本发明的再一个实施例中,背景纹理信息提取的算法应该与投影纹理信息对应的提取算法相同。
78.步骤223:将所述投影纹理信息与所述背景纹理信息进行对比,确定投影影响区域。
79.在本发明的一个实施例中,计算目标指示区域中各个单位面积的子区域中,投影纹理信息与该区域中的背景纹理信息之间的纹理距离,将纹理距离大于预设阈值的区域组合起来,得到所述投影影响区域。
80.步骤224:根据所述定位传感数据确定多个原始特征点。
81.对定位传感数据按照步骤102中所述的方法进行特征提取,得到所述多个原始特征点。
82.步骤225:对所述投影影响区域内的所述原始特征点进行过滤,得到所述待匹配特征点。
83.在本发明的一个实施例中,将投影影响区域内的所述原始特征点进行删除,将删除完成后得到的原始特征点确定为待匹配特征点。
84.在本发明的再一个实施例中,当用于采集定位传感数据的设备为激光雷达时,对所述定位传感数据中的所述投影传感数据进行过滤的方式还可以包括如下:确定激光雷达的发射波段和投影设备的投影波段,将投影波段对应的从所述定位传感数据中进行过滤。
85.可选地,还可以对激光雷达发射出的光束进行编码,获取采集到的所返回的光束的编码信息,将采集到编码信息与激光雷达所对应的编码进行匹配,将匹配到的光束对应的定位传感数据确定为过滤后的定位传感数据。
86.步骤1023:对过滤后的所述定位传感数据进行特征提取,得到所述待匹配特征点。
87.在本发明的一个实施例中,对过滤后的定位传感数据进行特征提取的方式与步骤102中类似,不再赘述。
88.步骤103:将所述待匹配特征点与目标环境特征地图进行匹配,确定所述定位传感数据对应的特征匹配度。
89.在本发明的一个实施例中,目标环境可以是机器人当前所处的环境,如大厅、走廊以及门口等预设环境,目标环境特征地图包括目标环境对应的多个参考特征点。目标环境特征地图可以是根据slam算法中的建图算法预设创建的关于目标环境的客观的传感特征地图。
90.需要说明的是,为了保证基于目标环境特征地图进行定位的准确性,建立目标环境特征地图时采集参考特征点的传感设备的设备参数应该与步骤101中采集定位传感数据的传感设备的设备参数保持一致,其中,设备参数可以包括激光雷达的光源波长、扫描频率、精度以及角分辨率,还可以包括深度视觉相机的分辨率、帧率以及精度等。
91.在本发明的一个实施例中,将待匹配特征点与参考特征点进行匹配的方式可以是暴力匹配、k-dimensional tree(kd树)匹配或者语义树匹配。
92.在本发明的再一个实施例中,步骤103还包括:
93.步骤1031:分别计算各个所述待匹配特征点与各个所述参考特征点之间的距离。
94.步骤1031采取的是暴力匹配的方式,即将每一个待匹配特征点逐个和参考特征点进行对比,然后取出差异最小的特征点做为匹配对。在计算两个特征点之间的距离时,可以根据描述子的数据类型对应采用欧式距离或者汉明距离。
95.在本发明的再一个实施例中,当参考特征点数量较多时,还可以采用k-dimensional tree(kd树)匹配的方式,即对上述待匹配特征点的描述子集中建立索引,将当前子集内的所有点之间方差最大的维度确定为切分维度,然后按照切分维度排序选择中位数作为切分位置,从而建立kd树,查找kd树中的最近邻居,即可以得到与各个所述待匹配特征点所匹配的参考特征点。
96.步骤1032:根据所述距离确定各个待匹配特征点在所述目标环境特征地图中是否存在匹配。
97.在本发明的一个实施例中,当某待匹配特征点与参考特征点之间的距离小于距离阈值时,将该待匹配特征点确定在目标环境特征地图中存在匹配。其中,距离阈值可以根据定位传感数据的采集设备的精度确定。
98.步骤1033:将存在匹配的所述待匹配特征点的数量占所述待匹配特征点的总数的比例确定为所述特征匹配度。
99.举例说明,提取出的待匹配特征点的总数为100个,确定存在匹配的待匹配特征点的数量为60个,则所述特征匹配度为60/100=60%。
100.步骤104:当所述特征匹配度小于匹配度阈值,且根据所述人体传感数据确定所述目标区域存在人体时,确定所述人体对所述待匹配特征点的遮挡比例。
101.在本发明的一个实施例中,步骤104还包括:
102.步骤1041:当所述人体传感数据为非空时,确定所述目标区域存在所述人体。
103.在本发明的一个实施例中,人体传感数据如步骤101中所述,
104.步骤1042:对所述人体传感数据进行分析,得到人体遮挡区域。
105.在本发明的一个实施例中,当人体传感数据为红外检测数据时,确定红外检测数据确定目标区域中各个采样点对应的红外检测特征,将所述红外检测特征满足人体红外特征的采样点所在的区域确定为人体遮挡区域。
106.在本发明的再一个实施例中,当人体传感数据为rgb图像数据时,对rgb图像数据进行图像特征提取,确定rgb图像数据中包括的连通域信息;连通域信息中包括各个连通域的位置、连通域的面积、像素点灰度信息以及像素点深度信息等。将连通域面积以及像素点灰度信息以及像素点深度信息满足人体遮挡图像特征的连通域对应的位置确定为人体遮挡区域
107.步骤1043:将在所述人体遮挡区域内的所述待匹配特征点确定为所述人体遮挡特征点。
108.在本发明的再一个实施例中,将特征点位置落在人体遮挡区域中的待匹配特征点确定为所述人体遮挡特征点。
109.步骤1044:根据所述人体遮挡特征点的数量与所述待匹配特征点的数量的比例确定所述遮挡比例。
110.在本发明的一个实施例中,将人体遮挡特征点的数量与所述待匹配特征点的数量的比值确定为遮挡比例。如存在30个人体遮挡特征点与50个待匹配特征点时,遮挡比例为
30/50=60%。
111.步骤105:当所述遮挡比例大于比例阈值时,进行避障提醒。
112.在本发明的一个实施例中,比例阈值用于表征人体的遮挡与定位失败之间的关联程度,如比例阈值可以为50%时,表明若人体遮挡住了一半以及以上的待匹配特征点时,即可认为特征匹配度的下降以至于定位失败是由于人体遮挡引起的。
113.在本发明的再一个实施例中,当遮挡比例小于比例阈值,则说明特征匹配度的下降以至于定位失败的主要原因并非人体遮挡,因此,可以采取控制机器人减速至预设值,并且通知工作人员到场查看的方式,确定机器人定位失败的具体原因,同时避免机器人与障碍之间发生碰撞事故。
114.在本发明的一个实施例中,进行避障提醒的方式可以包括在机器人前行区域利用声光等多种方式,提醒的内容可以是需要进行避让的机器人的前行区域信息,也可以是机器人与遮挡人之间的相对位置关系,从而提示遮挡人可选的避让去路。
115.因此,在本发明的一个实施例中,步骤105还包括:
116.步骤1051:获取所述机器人的前行路线信息。
117.在本发明的一个实施例中,前行路线信息包括前行路线在当前环境中的坐标位置、前行路线与相对于机器人的相对位置等。
118.如前行路线信息可以包括从当前位置移动到(10,10)处或者左前方45
°
的距离10m处等。
119.步骤1052:根据所述前线路线信息确定目标指示区域和目标提醒信息。
120.在本发明的一个实施例中,根据前行路线的在当前环境中的位置坐标确定目标指示区域,根据相对位置确定目标提醒信息。
121.如,则目标指示区域为以当前位置到(10,10)的连线为直径的圆形区域,根据相对位置生成的目标提醒信息则可以为“您阻挡了我前行,我要向左转,请注意避让。”的以图像或音频形式展示的文字内容。在本发明的再一个实施例中,目标提醒信息还可以是根据前行路线信息绘制的路线图。
122.步骤1053:生成所述目标提醒信息对应的多媒体内容;所述多媒体内容包括投影图像内容;所述目标指示区域包括所述机器人的前行路线所在的地面区域。
123.在本发明的一个实施例中,多媒体内容可以包括以图像或音频形式展示的目标提醒信息和/或根据目标提醒信息生成的视频内容。
124.步骤1054:将所述多媒体内容在所述目标指示区域中进行播放。
125.在本发明的一个实施例中,考虑到当环境较为嘈杂时,音频内容的接收率可能并不理想,而人在行走时一般会检查脚下以及将要行走的路面情况,因此,为了增强避障提醒的效果,可以通过在地面上进行投影,指示出机器人所要前行的区域,从而使得人在检查路面时察觉到机器人的前行路线,进行主动避让。
126.在本发明的再一个实施例中,多媒体内容还可以包括指示视频内容,目标指示区域可以是预设的展示装置,如设置在机器人上的显示屏。通过在显示屏上播放指示视频内容,使得人可以直观地理解自己与机器人之间的位置关系。
127.在本发明的再一个实施例中,考虑在特定环境中,如室外光线较强时,地面上的投影图像内容可能不容易被人眼识别,因此,所述多媒体内容还包括音频内容;音频内容可以
是目标提示信息对应的语音。
128.在本发明的再一个实施例中,在进行投影之前,还可以先采取语音播报的提醒方式,在音频提醒之后,若特征匹配度仍然达不到匹配度阈值,则提高提醒强度,在目标指示区域进行投影指示。因此,在本发明的再一个实施例中,步骤1054还包括:
129.步骤541:在所述目标指示区域中播放所述音频内容。
130.在本发明的一个实施例中,机器人中设置有音频播放装置,通过将音频播放装置的出声口朝向目标指示区域进行播放,从而获得更好的音频接收效果,提高避让概率。
131.步骤542:将所述音频内容播放预设时长后的所述定位传感数据确定为提醒后定位传感数据。
132.在本发明的一个实施例中,预设时长可以为零,即在播放音频内容的同时,持续实时获取定位传感数据作为提醒后定位传感数据。可选地,预设时长也可以是2-3秒,即人在接收到音频内容后作出避让反应一般所需的时间。
133.步骤543:将所述提醒后定位传感数据与所述目标环境特征地图进行匹配,确定提醒后特征匹配度。
134.在本发明的一个实施例中,步骤543的过程与前述步骤1031-1033类似,不再赘述。
135.步骤544:当所述提醒后特征匹配度小于所述匹配度阈值时,将所述投影图像内容投影至所述目标指示区域中。
136.在本发明的一个实施例中,当提醒后特征匹配度小于匹配度阈值时,即可以认为语音提醒的提醒力度不佳,人体仍然造成定位障碍,因此采用提醒力度更强的投影内容进行提醒,从而提高避障提醒的效果。
137.在本发明的再一个实施例中,当提醒后特征匹配度小于匹配度阈值时,在将投影图像内容投影的同时,还可以持续播放音频内容,从而通过音频结合投影的方式对造成定位失败的遮挡人体进行提醒,由此进一步地增加提醒力度,提高避障提醒的效果。
138.需要说明的是,在本发明的再一个实施例中,在确定机器人在定位以及导航过程中时,才执行所述避障提醒方法的步骤101-105,而在机器人处于交互模式时,则不执行所述步骤101-105,从而避免用户站在机器人前面与其进行交互的过程中,机器人进行不合时宜的避障提醒,影响用户的人机交互体验。
139.区别于现有技术中在检测到人时,即进行避障提醒的方案所导致的避障准确率不高,并且交互体验不佳的问题,本发明实施例提供的机器人避障提醒方法通过首先确定当前获取到的定位传感数据对应的特征匹配度,并根据该特征匹配度确定定位失败,且根据人体传感数据确定目标区域存在人体时,且人的遮挡比例满足比例阈值时,才进行对造成定位失败的原因,即人进行避障提醒,由此一方面提高了避障提醒的准确率,另一方面也避免了在人的遮挡并不是定位失败的原因时盲目提醒对交互体验的影响,由此提升了避障提醒的交互体验。
140.图2示出了本发明实施例提供的机器人避障装置的结构示意图。如图3所示,该装置200包括:获取模块201、第一确定模块202、匹配模块203、第二确定模块204以及提醒模块205。
141.其中,获取模块201,用于获取定位传感数据及对目标区域的人体传感数据;
142.第一确定模块202,用于根据所述定位传感数据确定多个待匹配特征点;
143.匹配模块203,用于将所述待匹配特征点与目标环境特征地图进行匹配,确定所述定位传感数据对应的特征匹配度;
144.第二确定模块204,用于当所述特征匹配度小于匹配度阈值,且根据所述人体传感数据确定所述目标区域存在人体时,确定所述人体对所述待匹配特征点的遮挡比例;
145.提醒模块205,用于当所述遮挡比例大于比例阈值时,进行避障提醒。
146.在一种可选的方式中,所述目标环境特征地图包括目标环境对应的多个参考特征点;第一确定模块202还用于:分别计算各个所述待匹配特征点与各个所述参考特征点之间的距离;
147.根据所述距离确定各个待匹配特征点在所述目标环境特征地图中是否存在匹配;
148.将存在匹配的所述待匹配特征点的数量占所述待匹配特征点的总数的比例确定为所述特征匹配度。
149.在一种可选的方式中,第二确定模块204还用于:
150.当所述人体传感数据为非空时,确定所述目标区域存在所述人体;
151.对所述人体传感数据进行分析,得到人体遮挡区域;
152.将在所述人体遮挡区域内的所述待匹配特征点确定为所述人体遮挡特征点;
153.根据所述人体遮挡特征点的数量与所述待匹配特征点的数量的比例确定所述遮挡比例。
154.在一种可选的方式中,提醒模块205还用于:
155.获取所述机器人的前行路线信息;
156.根据所述前线路线信息确定目标指示区域和目标提醒信息;
157.生成所述目标提醒信息对应的多媒体内容;所述多媒体内容包括投影图像内容;所述目标指示区域包括所述机器人的前行路线所在的地面区域;
158.将所述多媒体内容在所述目标指示区域中进行播放。
159.在一种可选的方式中,第一确定模块202还用于:
160.确定所述定位传感数据中是否存在上一次避障提醒生成的投影图像内容所对应的投影传感数据;
161.若存在,根据所述投影传感数据对所述定位传感数据进行过滤;
162.对过滤后的所述定位传感数据进行特征提取,得到所述待匹配特征点。
163.在一种可选的方式中,第一确定模块202还用于:
164.对所述投影传感数据进行分析,得到投影纹理信息;
165.对所述目标指示区域内的所述定位传感数据进行分析,得到背景纹理信息;
166.将所述投影纹理信息与所述背景纹理信息进行对比,确定投影影响区域;
167.根据所述定位传感数据确定多个原始特征点;
168.对所述投影影响区域内的所述原始特征点进行过滤,得到所述待匹配特征点。
169.在一种可选的方式中,所述多媒体内容还包括音频内容;提醒模块205还用于:
170.在所述目标指示区域中播放所述音频内容;
171.将所述音频内容播放预设时长后的所述定位传感数据确定为提醒后定位传感数据;
172.将所述提醒后定位传感数据与所述目标环境特征地图进行匹配,确定提醒后特征
匹配度;
173.当所述提醒后特征匹配度小于所述匹配度阈值时,将所述投影图像内容投影至所述目标指示区域中。
174.区别于现有技术中在检测到人时,即进行避障提醒的方案所导致的避障准确率不高,并且交互体验不佳的问题,本发明实施例提供的机器人避障提醒装置通过首先确定当前获取到的定位传感数据对应的特征匹配度,并根据该特征匹配度确定定位失败,且根据人体传感数据确定目标区域存在人体时,且人的遮挡比例满足比例阈值时,才进行对造成定位失败的原因,即人进行避障提醒,由此一方面提高了避障提醒的准确率,另一方面也避免了在人的遮挡并不是定位失败的原因时盲目提醒对交互体验的影响,由此提升了避障提醒的交互体验。
175.图3示出了本发明实施例提供的机器人避障提醒设备的结构示意图,本发明具体实施例并不对机器人避障提醒设备的具体实现做限定。
176.如图3所示,该机器人避障提醒设备可以包括:处理器(processor)302、通信接口(communicationsinterface)304、存储器(memory)306、以及通信总线308。
177.其中:处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304,用于与其它设备比如客户端或其它服务器等的网元通信。处理器302,用于执行程序310,具体可以执行上述用于机器人避障提醒方法实施例中的相关步骤。
178.具体地,程序310可以包括程序代码,该程序代码包括计算机可执行指令。
179.处理器302可能是中央处理器cpu,或者是特定集成电路asic(application specific integrated circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。机器人避障提醒设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个cpu;也可以是不同类型的处理器,如一个或多个cpu以及一个或多个asic。
180.存储器306,用于存放程序310。存储器306可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
181.程序310具体可以被处理器302调用使机器人避障提醒设备执行以下操作:
182.获取定位传感数据及对目标区域的人体传感数据;
183.根据所述定位传感数据确定多个待匹配特征点;
184.将所述待匹配特征点与目标环境特征地图进行匹配,确定所述定位传感数据对应的特征匹配度;
185.当所述特征匹配度小于匹配度阈值,且根据所述人体传感数据确定所述目标区域存在人体时,确定所述人体对所述待匹配特征点的遮挡比例;
186.当所述遮挡比例大于比例阈值时,进行避障提醒。
187.在一种可选的方式中,所述目标环境特征地图包括目标环境对应的多个参考特征点;所述程序310被处理器302调用使机器人避障提醒设备执行以下操作:
188.分别计算各个所述待匹配特征点与各个所述参考特征点之间的距离;
189.根据所述距离确定各个待匹配特征点在所述目标环境特征地图中是否存在匹配;
190.将存在匹配的所述待匹配特征点的数量占所述待匹配特征点的总数的比例确定为所述特征匹配度。
191.在一种可选的方式中,所述程序310被处理器302调用使机器人避障提醒设备执行
以下操作:
192.当所述人体传感数据为非空时,确定所述目标区域存在所述人体;
193.对所述人体传感数据进行分析,得到人体遮挡区域;
194.将在所述人体遮挡区域内的所述待匹配特征点确定为所述人体遮挡特征点;
195.根据所述人体遮挡特征点的数量与所述待匹配特征点的数量的比例确定所述遮挡比例。
196.在一种可选的方式中,所述程序310被处理器302调用使机器人避障提醒设备执行以下操作:
197.获取所述机器人的前行路线信息;
198.根据所述前线路线信息确定目标指示区域和目标提醒信息;
199.生成所述目标提醒信息对应的多媒体内容;所述多媒体内容包括投影图像内容;所述目标指示区域包括所述机器人的前行路线所在的地面区域;
200.将所述多媒体内容在所述目标指示区域中进行播放。
201.在一种可选的方式中,所述程序310被处理器302调用使机器人避障提醒设备执行以下操作:
202.确定所述定位传感数据中是否存在上一次避障提醒生成的投影图像内容所对应的投影传感数据;
203.若存在,根据所述投影传感数据对所述定位传感数据进行过滤;
204.对过滤后的所述定位传感数据进行特征提取,得到所述待匹配特征点。
205.在一种可选的方式中,所述程序310被处理器302调用使机器人避障提醒设备执行以下操作:
206.对所述投影传感数据进行分析,得到投影纹理信息;
207.对所述目标指示区域内的所述定位传感数据进行分析,得到背景纹理信息;
208.将所述投影纹理信息与所述背景纹理信息进行对比,确定投影影响区域;
209.根据所述定位传感数据确定多个原始特征点;
210.对所述投影影响区域内的所述原始特征点进行过滤,得到所述待匹配特征点。
211.在一种可选的方式中,所述多媒体内容还包括音频内容;所述程序310被处理器302调用使机器人避障提醒设备执行以下操作:
212.在所述目标指示区域中播放所述音频内容;
213.将所述音频内容播放预设时长后的所述定位传感数据确定为提醒后定位传感数据;
214.将所述提醒后定位传感数据与所述目标环境特征地图进行匹配,确定提醒后特征匹配度;
215.当所述提醒后特征匹配度小于所述匹配度阈值时,将所述投影图像内容投影至所述目标指示区域中。
216.区别于现有技术中在检测到人时,即进行避障提醒的方案所导致的避障准确率不高,并且交互体验不佳的问题,本发明实施例提供的机器人避障提醒设备通过首先确定当前获取到的定位传感数据对应的特征匹配度,并根据该特征匹配度确定定位失败,且根据人体传感数据确定目标区域存在人体时,且人的遮挡比例满足比例阈值时,才进行对造成
定位失败的原因,即人进行避障提醒,由此一方面提高了避障提醒的准确率,另一方面也避免了在人的遮挡并不是定位失败的原因时盲目提醒对交互体验的影响,由此提升了避障提醒的交互体验。
217.本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在机器人避障提醒设备上运行时,使得所述机器人避障提醒设备执行上述任意方法实施例中的机器人避障提醒方法。
218.可执行指令具体可以用于使得机器人避障提醒设备执行以下操作:
219.获取定位传感数据及对目标区域的人体传感数据;
220.根据所述定位传感数据确定多个待匹配特征点;
221.将所述待匹配特征点与目标环境特征地图进行匹配,确定所述定位传感数据对应的特征匹配度;
222.当所述特征匹配度小于匹配度阈值,且根据所述人体传感数据确定所述目标区域存在人体时,确定所述人体对所述待匹配特征点的遮挡比例;
223.当所述遮挡比例大于比例阈值时,进行避障提醒。
224.在一种可选的方式中,所述目标环境特征地图包括目标环境对应的多个参考特征点;所述可执行指令使所述机器人避障提醒设备执行以下操作:
225.分别计算各个所述待匹配特征点与各个所述参考特征点之间的距离;
226.根据所述距离确定各个待匹配特征点在所述目标环境特征地图中是否存在匹配;
227.将存在匹配的所述待匹配特征点的数量占所述待匹配特征点的总数的比例确定为所述特征匹配度。
228.在一种可选的方式中,所述可执行指令使所述机器人避障提醒设备执行以下操作:
229.当所述人体传感数据为非空时,确定所述目标区域存在所述人体;
230.对所述人体传感数据进行分析,得到人体遮挡区域;
231.将在所述人体遮挡区域内的所述待匹配特征点确定为所述人体遮挡特征点;
232.根据所述人体遮挡特征点的数量与所述待匹配特征点的数量的比例确定所述遮挡比例。
233.在一种可选的方式中,所述可执行指令使所述机器人避障提醒设备执行以下操作:
234.获取所述机器人的前行路线信息;
235.根据所述前线路线信息确定目标指示区域和目标提醒信息;
236.生成所述目标提醒信息对应的多媒体内容;所述多媒体内容包括投影图像内容;所述目标指示区域包括所述机器人的前行路线所在的地面区域;
237.将所述多媒体内容在所述目标指示区域中进行播放。
238.在一种可选的方式中,所述可执行指令使所述机器人避障提醒设备执行以下操作:
239.确定所述定位传感数据中是否存在上一次避障提醒生成的投影图像内容所对应的投影传感数据;
240.若存在,根据所述投影传感数据对所述定位传感数据进行过滤;
241.对过滤后的所述定位传感数据进行特征提取,得到所述待匹配特征点。
242.在一种可选的方式中,所述可执行指令使所述机器人避障提醒设备执行以下操作:
243.对所述投影传感数据进行分析,得到投影纹理信息;
244.对所述目标指示区域内的所述定位传感数据进行分析,得到背景纹理信息;
245.将所述投影纹理信息与所述背景纹理信息进行对比,确定投影影响区域;
246.根据所述定位传感数据确定多个原始特征点;
247.对所述投影影响区域内的所述原始特征点进行过滤,得到所述待匹配特征点。
248.在一种可选的方式中,所述多媒体内容还包括音频内容;所述可执行指令使所述机器人避障提醒设备执行以下操作:
249.在所述目标指示区域中播放所述音频内容;
250.将所述音频内容播放预设时长后的所述定位传感数据确定为提醒后定位传感数据;
251.将所述提醒后定位传感数据与所述目标环境特征地图进行匹配,确定提醒后特征匹配度;
252.当所述提醒后特征匹配度小于所述匹配度阈值时,将所述投影图像内容投影至所述目标指示区域中。
253.区别于现有技术中在检测到人时,即进行避障提醒的方案所导致的避障准确率不高,并且交互体验不佳的问题,本发明实施例提供的计算机存储介质通过首先确定当前获取到的定位传感数据对应的特征匹配度,并根据该特征匹配度确定定位失败,且根据人体传感数据确定目标区域存在人体时,且人的遮挡比例满足比例阈值时,才进行对造成定位失败的原因,即人进行避障提醒,由此一方面提高了避障提醒的准确率,另一方面也避免了在人的遮挡并不是定位失败的原因时盲目提醒对交互体验的影响,由此提升了避障提醒的交互体验。
254.本发明实施例提供一种机器人避障提醒装置,用于执行上述机器人避障提醒方法。
255.本发明实施例提供了一种计算机程序,所述计算机程序可被处理器调用使机器人避障提醒设备执行上述任意方法实施例中的机器人避障提醒方法。
256.本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令在计算机上运行时,使得所述计算机执行上述任意方法实施例中的机器人避障提醒方法。
257.在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
258.在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
259.类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
260.本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
261.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1