一种地图存储方法、位姿确定方法及存储介质与流程

文档序号:31412343发布日期:2022-09-03 10:35阅读:97来源:国知局
一种地图存储方法、位姿确定方法及存储介质与流程

1.本技术涉及数据处理技术领域,特别涉及一种地图存储方法、位姿确定方法及存储介质。


背景技术:

2.目前,电子设备(如,ar(augmented reality,增强现实)眼镜、ar头盔、摄像头等)可以采集地图图像并存储。但是,目前对地图图像进行存储的方式存在存储数据量大的问题。


技术实现要素:

3.本技术提供如下技术方案:
4.本技术一方面提供一种地图存储方法,包括:
5.获取待处理地图图像,分割出所述待处理地图图像中包括的多个目标对象;
6.确定所述目标对象的图像特征信息和位置信息;
7.对多个所述目标对象中每一个进行所述图像特征信息和所述位置信息的关联存储。
8.所述确定所述目标对象的位置信息,包括:
9.确定待处理地图图像中所述目标对象的二维位置信息;
10.获取在所述待处理地图图像之前采集的第一目标图像,所述第一目标图像中至少包含所述目标对象;
11.确定所述第一目标图像中所述目标对象的二维位置信息;
12.基于所述待处理地图图像中所述目标对象的二维位置信息及所述第一目标图像中所述目标对象的二维位置信息,确定所述目标对象的三维位置信息;
13.基于所述三维位置信息和所述待处理地图图像对应的图像采集位置信息,确定所述目标对象的位置信息。
14.所述方法还包括:
15.获取所述待处理地图图像之前的多张第二目标图像,所述第二目标图像至少包含所述多个目标对象;
16.基于多张所述第二目标图像与所述待处理地图图像,调整所述目标对象的三维位置信息。
17.所述图像特征信息包括语义特征信息,所述确定所述目标对象的图像特征信息,包括:
18.将所述目标对象输入到神经网络模型,得到所述神经网络模型确定的所述目标对象的语义特征信息。
19.本技术另一方面提供一种位姿确定方法,包括:
20.获取图像采集装置采集的第一图像,分割出所述第一图像中包括的多个第一对
象;
21.确定所述第一对象的图像特征信息;
22.基于所述第一对象的图像特征信息,从地图信息中确定出与所述多个第一对象中的每一个关联的目标对象,所述地图信息为通过执行如权利要求1-4任意一项所述的地图存储方法得到的;
23.基于所述目标对象的位置信息,确定所述图像采集装置的位姿,所述目标对象的位置信息预存于所述地图信息中。
24.所述基于所述第一对象的图像特征信息,从地图信息中确定出与所述多个第一对象中的每一个关联的目标对象,包括:
25.基于每个所述第一对象的图像特征信息,从所述地图信息中匹配出与每个所述第一对象对应的多个候选目标对象,多个所述候选目标对象中的每一个的图像特征信息与所述第一对象的图像特征信息满足第一近似度条件;
26.根据所述候选目标对象的图像特征信息与所述第一对象的图像特征信息的近似度信息,从所述候选目标对象中确定所述目标对象。
27.所述基于所述目标对象的位置信息,确定所述图像采集装置的位姿,包括:
28.确定所述第一对象在所述第一图像中的二维位置信息;
29.基于所述目标对象的位置信息和所述第一对象在所述第一图像中的二维位置信息,确定所述图像采集装置的位姿。
30.所述基于所述目标对象的位置信息和所述第一对象在所述第一图像中的二维位置信息,确定所述图像采集装置的位姿,包括:
31.根据所述目标对象的位置信息和所述第一对象在所述第一图像中的二维位置信息,建立所述图像采集装置相对于所述目标对象的几何约束信息;
32.基于所述几何约束信息确定所述图像采集装置的位姿。
33.所述基于所述目标对象的位置信息,确定所述图像采集装置的位姿,包括:
34.根据所述目标对象得到多组目标对象组合;
35.根据所述多组目标对象组合确定所述图像采集装置的多个候选位姿;
36.根据所述多个候选位姿之间的差异数据确定所述图像采集装置的位姿。
37.本技术第三方面提供一种存储介质,存储有实现如上述任意一项所述的地图存储方法或如上述任意一项所述的位姿确定方法的计算机程序,所述计算机程序被处理器执行,实现如上述任意一项所述的地图存储方法或如上述任意一项所述的位姿确定方法。
38.在本技术中,通过获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象,确定目标对象的图像特征信息和位置信息,对多个目标对象中每一个进行图像特征信息和位置信息的关联存储,实现以目标对象为单位进行数据存储,减少待处理地图图像存储的数据量。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其
他的附图。
40.图1是本技术实施例1提供的一种地图存储方法的流程示意图;
41.图2是本技术提供的一种地图存储方法的实施场景示意图;
42.图3是本技术实施例2提供的一种地图存储方法的流程示意图;
43.图4是本技术实施例3提供的一种地图存储方法的流程示意图;
44.图5是本技术实施例4提供的一种位姿确定方法的流程示意图;
45.图6是本技术提供的一种位姿确定方法的实施场景示意图;
46.图7是本技术实施例5提供的一种位姿确定方法的流程示意图;
47.图8是本技术实施例6提供的一种位姿确定方法的流程示意图;
48.图9是本技术提供的一种地图存储装置的结构示意图;
49.图10是本技术提供的一种位姿确定装置的结构示意图。
具体实施方式
50.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
51.为使本技术的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本技术作进一步详细的说明。
52.参照图1,为本技术实施例1提供的一种地图存储方法的流程示意图,该方法可以应用于电子设备,本技术对电子设备的产品类型不做限定,如图1所示,该方法可以包括但并不局限于以下步骤:
53.步骤s101、获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象。
54.可选的,待处理地图图像可以是图像采集装置所采集的图像,也可以是通过其它方式、渠道获取的地图图像,如用户上传、网络下载等。
55.分割出待处理地图图像中包括的多个目标对象,具体可以包括但不局限于:
56.s1011、将待处理地图图像输入预先训练的第一神经网络模型,得到第一神经网络模型确定的待处理地图图像上所包含的目标对象的候选框。
57.第一神经网络模型为预先利用多张第一训练图像及每张第一训练图像中标注的多个目标对象的真实框训练得到的。
58.s1012、将待处理地图图像中候选框内的图像分割出来,得到目标对象。
59.分割出待处理地图图像中包括的多个目标对象,具体也可以包括但不局限于:
60.s1013、将待处理地图图像输入到第一神经网络模型,得到第一神经网络模型确定的待处理地图图像上所包含的目标对象的候选框及候选框内的图像的语义特征信息。
61.第一神经网络模型为利用多张第二训练图像及每张第二训练图像中标注的多个目标对象的真实框及真实框内图像的语义特征信息训练得到的。
62.s1014、将待处理地图图像中候选框内的图像分割出来,得到目标对象。
63.本实施例还提供了分割出待处理地图图像中包括的多个目标对象的另外一种实施方式,具体可以包括:
64.s1015、将待处理地图图像输入到第一神经网络模型,得到第一神经网络模型确定的待处理地图图像上所包含的目标对象的候选框及候选框内的图像的语义特征信息及候选框在待处理地图图像中的二维位置信息。
65.第一神经网络模型为利用多张第二训练图像及每张第二训练图像中标注的多个目标对象的真实框及真实框内图像的语义特征信息及真实框在第二训练图像中的二维位置信息训练得到的。
66.s1016、将待处理地图图像中候选框内的图像分割出来,得到目标对象。
67.例如,如图2中(a)部分所示,待处理地图图像中包括电脑、植物和椅子等目标对象,分割出待处理地图图像中的电脑、植物和椅子等目标对象,分割得到的电脑、植物和椅子如图2中(b)部分所示。
68.需要说明的是,图2仅为待处理地图图像及分割的一种示例,其并不作为对待处理地图图像及分割的限制。
69.本实施例中,第一神经网络模型可以为但不局限于:yolo神经网络模型或ssd神经网络模型。
70.步骤s102、确定目标对象的图像特征信息和位置信息。
71.本实施例中,图像特征信息可以包括但不局限于:语义特征信息。目标对象的语义特征信息表示目标对象的含义。
72.当然,图像特征信息也可以包括但不局限于:颜色特征信息、纹理特征信息和形状特征信息中任意一种或多种。
73.对应图像特征信息为语义特征信息的实施方式和步骤s1011-s1012,确定目标对象的图像特征信息,可以包括但不局限于:
74.s1021、将目标对象输入到神经网络模型,得到神经网络模型确定的目标对象的语义特征信息。
75.本步骤中的神经网络模型与第一神经网络模型不同。本步骤中的神经网络模型为预先利用多个训练对象及每个训练对象的语义特征信息训练得到的。
76.当然,确定目标对象的图像特征信息也可以包括但不局限于:
77.s1022、获取步骤s1013得到的候选框内的图像的语义特征信息,将获取的候选框内的图像的语义特征信息确定为目标对象的图像特征信息。
78.目标对象的位置信息可以为:目标对象在待处理地图图像中的二维位置信息或,目标对象在空间中的三维位置信息。
79.其中,目标对象在待处理地图图像中的位置信息的确定方式,可以包括:
80.s1023、获取步骤s1015得到的候选框在待处理地图图像中的二维位置信息,将获取的二维位置信息确定为目标对象在待处理地图图像中的位置信息。
81.步骤s103、对多个目标对象中每一个进行图像特征信息和位置信息的关联存储。
82.对多个目标对象中每一个进行图像特征信息和位置信息的关联存储,可以包括但不局限于:
83.s1031、获取待处理地图图像的标识信息;
84.s1032、对多个目标对象中每一个进行图像特征信息、位置信息和待处理地图图像的标识信息的关联存储。
85.例如,若待处理地图图像为图2中(a)部分所示,待处理地图图像的标识信息为img id1,图2中(b)部分的电脑的图像特征信息为feature1,电脑的位置信息为location1,图2中(b)部分的植物的图像特征信息为feature2,植物的位置信息为location2,图2中(b)部分的椅子的图像特征信息为feature3,椅子的位置信息为location3,对电脑进行feature1、location1和img id1的关联存储,对植物进行feature2、location2和img id1的关联存储,对椅子进行feature3、location3和img id1的关联存储。
86.可以理解的是,从地图信息中可以获取与多个目标对象中每一个关联的图像特征信息和/或位置信息,及多个目标对象中每一个的图像特征信息与位置信息的关联关系。
87.在本实施例中,通过获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象,确定目标对象的图像特征信息和位置信息,对多个目标对象中每一个进行图像特征信息和位置信息的关联存储,实现以目标对象为单位进行数据存储,减少待处理地图图像存储的数据量。
88.并且,在图像特征信息为语义特征信息的情况下,语义特征信息在不同的光照环境下相对稳定,使得语义特征信息可以用于应对光照环境的变化,在此基础上,对多个目标对象中每一个进行语义特征信息和位置信息的关联存储,使得在至少将目标对象的语义特征信息用于特定任务(如,图像检索任务)的情况下,降低光照环境的变化带来的影响,保证特定任务执行的准确性。
89.作为本技术另一可选实施例,参照图3,为本技术提供的一种地图存储方法实施例2的流程示意图,本实施例主要是对上述实施例1描述的地图存储方法的细化方案,该方法可以包括但不局限于以下步骤:
90.步骤s201、获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象。
91.步骤s201的详细过程可以参见实施例1中步骤s101的相关介绍,在此不再赘述。
92.步骤s202、确定目标对象的图像特征信息。
93.本步骤的详细过程可以参见实施例1中步骤s102的相关介绍,在此不再赘述。
94.步骤s203、确定待处理地图图像中目标对象的二维位置信息。
95.步骤s204、获取在待处理地图图像之前采集的第一目标图像,第一目标图像中至少包含目标对象。
96.在待处理地图图像之前采集的第一目标图像,可以为:在待处理地图图像的采集时刻之前一时刻采集的第一目标图像;或者,在待处理地图图像的采集时刻之前n时刻采集的第一目标图像,n为大于1的数。
97.步骤s205、确定第一目标图像中目标对象的二维位置信息。
98.本步骤,可以包括但不局限于:
99.s2051、将第一目标图像输入到第一神经网络模型,得到第一神经网络模型确定的第一目标图像上所包含的目标对象的候选框及候选框内的图像的语义特征信息及候选框在第一目标图像中的二维位置信息。
100.s2052、将第一目标图像中候选框内的图像分割出来,得到目标对象。
101.s2053、将候选框在第一目标图像中的二维位置信息,确定为第一目标图像中目标对象的二维位置信息。
102.步骤s206、基于待处理地图图像中目标对象的二维位置信息及第一目标图像中目
标对象的二维位置信息,确定目标对象的三维位置信息。
103.本步骤,可以包括但不局限于:
104.s2061、基于待处理地图图像中目标对象的二维位置信息及第一目标图像中目标对象的二维位置信息,确定待处理地图图像中目标对象与第一目标图像中目标对象之间的三角化关系。
105.s2062、基于三角化关系,确定得到目标对象的深度信息。
106.s2063、基于待处理地图图像中目标对象的二维位置信息和目标对象的深度信息,得到目标对象的三维位置信息。
107.步骤s207、基于三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象的位置信息。
108.待处理地图图像对应的图像采集位置信息,可以理解为:采集待处理地图图像的图像采集装置在空间中的三维位置信息。
109.基于三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象的位置信息,可以理解为:基于三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象在空间中的三维位置信息。
110.步骤s202-s207为实施例1中步骤s102的一种具体实施方式。
111.步骤s208、对多个目标对象中每一个进行图像特征信息和位置信息的关联存储。
112.在本实施例中,通过获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象,确定目标对象的图像特征信息,及通过确定待处理地图图像中目标对象的二维位置信息,获取在待处理地图图像之前采集的第一目标图像,确定第一目标图像中目标对象的二维位置信息,基于待处理地图图像中目标对象的二维位置信息及第一目标图像中目标对象的二维位置信息,确定目标对象的三维位置信息,基于三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象的位置信息,对多个目标对象中每一个进行图像特征信息和位置信息的关联存储,实现以目标对象为单位进行数据存储,减少待处理地图图像存储的数据量。
113.作为本技术另一可选实施例,参照图4,为本技术提供的一种地图存储方法实施例3的流程示意图,本实施例主要是对上述实施例2描述的地图存储方法的扩展方案,该方法可以包括但不局限于以下步骤:
114.步骤s301、获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象。
115.步骤s302、确定目标对象的图像特征信息。
116.步骤s303、确定待处理地图图像中目标对象的二维位置信息。
117.步骤s304、获取在待处理地图图像之前采集的第一目标图像,第一目标图像中至少包含目标对象。
118.步骤s305、确定第一目标图像中目标对象的二维位置信息。
119.步骤s306、基于待处理地图图像中目标对象的二维位置信息及第一目标图像中目标对象的二维位置信息,确定目标对象的三维位置信息。
120.步骤s301-s306的详细过程可以参见实施例2中步骤s201-s206的相关介绍,在此不再赘述。
121.步骤s307、获取待处理地图图像之前的多张第二目标图像,第二目标图像至少包
含多个目标对象。
122.本实施例中,对获取待处理地图图像之前的多张第二目标图像的方式不做限制,如,可以从待处理地图图像之前的目标图像中随机获取多张目标图像,将获取到的多张目标图像确定为多张第二目标图像;或,从待处理地图图像之前的目标图像中获取采集时刻连续的多张目标图像,将获取到的多张目标图像确定为多张第二目标图像。
123.步骤s308、基于多张第二目标图像与待处理地图图像,调整目标对象的三维位置信息。
124.本步骤,可以包括但不局限于:
125.s3081、基于目标对象的三维位置信息,将目标对象投影到第二目标图像,确定第二目标图像中与目标对象对应的投影区域及投影区域的二维位置信息。
126.s3082、确定投影区域的二维位置信息和第二目标图像中目标对象的二维位置信息之间的误差。
127.s3083、确定误差之和是否收敛。
128.如果未收敛,则执行步骤s3084;如果收敛,则执行步骤s3085。
129.步骤s3084、调整目标对象的三维位置信息。
130.在本技术中,对调整目标对象的三维位置信息的方式不做限制。如,具体可以基于光束法平差(bundle adjustment)算法,调整目标对象的三维位置信息。
131.步骤3085、结束调整。
132.s3082、基于待处理地图图像中目标对象的二维位置信息及第二目标图像中目标对象的二维位置信息,确定待处理地图图像中目标对象与第二目标图像中目标对象之间的三角化关系。
133.s3083、基于步骤s3082确定的三角化关系,确定得到目标对象的目标深度信息。
134.s3084、基于最小化重投影误差模型及目标对象的各个目标深度信息,调整目标对象的三维位置信息中的深度信息。
135.步骤s309、基于调整后的三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象的位置信息。
136.步骤s310、对多个目标对象中每一个进行图像特征信息和位置信息的关联存储。
137.在本实施例中,通过获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象,确定目标对象的图像特征信息,及通过确定待处理地图图像中目标对象的二维位置信息,获取在待处理地图图像之前采集的第一目标图像,确定第一目标图像中目标对象的二维位置信息,基于待处理地图图像中目标对象的二维位置信息及第一目标图像中目标对象的二维位置信息,确定目标对象的三维位置信息,并获取待处理地图图像之前的多张第二目标图像,基于多张第二目标图像与待处理地图图像,调整目标对象的三维位置信息,提高目标对象的三维位置信息的精度,在此基础上,基于调整后的三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象的位置信息,提高目标对象的位置信息的准确性,并对多个目标对象中每一个进行图像特征信息和位置信息的关联存储,实现以目标对象为单位进行数据存储,减少待处理地图图像存储的数据量,并保证存储的位置信息的准确性。
138.参照图5,为本技术实施例4提供的一种位姿确定方法的流程示意图,该方法可以
应用于电子设备,本技术对电子设备的产品类型不做限定,如图5所示,该方法可以包括但并不局限于以下步骤:
139.步骤s401、获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象。
140.本实施例中,可以但不局限于采用前述各个实施例所介绍的分割出待处理地图图像中包括的多个目标对象所使用的方式,分割出第一图像中包括的多个第一对象。
141.步骤s402、确定第一对象的图像特征信息。
142.本实施例中,可以但不局限于采用前述各个实施例所介绍的确定目标对象的图像特征信息所使用的方式,确定第一对象的图像特征信息。
143.第一对象的图像特征信息,可以包括但不局限于:语义特征信息。第一对象的语义特征信息表示第一对象的含义。
144.当然,第一对象的图像特征信息也可以包括但不局限于:第一对象的颜色特征信息、纹理特征信息和形状特征信息中任意一种或多种。
145.步骤s403、基于第一对象的图像特征信息,从地图信息中确定出与多个第一对象中的每一个关联的目标对象。
146.地图信息为通过执行如实施例1-3中任意一个实施例所提供的地图存储方法得到的。
147.本步骤,可以包括但不局限于:
148.s4031、基于每个第一对象的图像特征信息,从地图信息中匹配出与每个第一对象对应的多个候选目标对象,多个候选目标对象中的每一个的图像特征信息与第一对象的图像特征信息满足第一近似度条件。
149.多个候选目标对象中的每一个的图像特征信息与第一对象的图像特征信息满足第一近似度条件,可以包括但不局限于:
150.多个候选目标对象中的每一个的图像特征信息与第一对象的图像特征信息之间的近似度大于第一设定近似度阈值。
151.s4032、根据候选目标对象的图像特征信息与第一对象的图像特征信息的近似度信息,从候选目标对象中确定目标对象。
152.候选目标对象的图像特征信息与第一对象的图像特征信息的近似度信息,可以包括但不局限于:候选目标对象的图像特征信息与第一对象的图像特征信息之间的近似度。相应地,本步骤,可以包括但不局限于:
153.s40321、对多个候选目标对象中每一个的图像特征信息与第一对象的图像特征信息之间的近似度进行比较,将多个候选目标对象中近似度最高的候选目标对象确定为目标对象。
154.当然,基于第一对象的图像特征信息,从地图信息中确定出与多个第一对象中的每一个关联的目标对象,也可以包括但不局限于:
155.s4033、基于每个第一对象的图像特征信息,从地图信息中匹配出与每个第一对象对应的多个候选目标对象,多个候选目标对象中的每一个的图像特征信息与第一对象的图像特征信息满足第一近似度条件。
156.s4034、获取候选目标对象的图像特征信息所属图像的标识信息,及多个第一对象
中其它各个第一对象对应的候选目标对象所属图像的标识信息,确定其它各个第一对象对应的候选目标对象所属图像的标识信息中,是否均存在与候选目标对象的图像特征信息所属图像的标识信息相同的标识信息。
157.若是,则执行步骤s4035。
158.s4035、确定候选目标对象为目标对象。
159.下面进行举例说明来加深对步骤s4033-s4035的理解。例如,如图6所示,若多个第一对象为电脑a、植物b和椅子c,电脑a的图像特征信息为feature11,植物b的图像特征信息为feature22,椅子c的图像特征信息为feature33,基于feature11,从地图信息中匹配出与电脑a对应的多个候选目标对象,分别为电脑a1、电脑a2、电脑a3;基于feature22,从地图信息中匹配出与植物b对应的多个候选目标对象,分别为植物b1、植物b2;基于feature33,从地图信息中匹配出与椅子c对应的多个候选目标对象,分别为c2和c3;电脑a1的图像特征信息和植物b1的图像特征信息所属图像的标识信息均为img id1,电脑a2的图像特征信息、植物b2的图像特征信息和椅子c2的图像特征信息所属图像的标识信息均为img id2,电脑a3的图像特征信息和椅子c3的图像特征信息所属图像的标识信息均为img id3。
160.其中,确定出植物b对应的植物b1和植物b2的图像特征信息所属图像的标识信息及椅子c对应的椅子c2和椅子c3的图像特征信息所属图像的标识信息中存在与电脑a2的图像特征信息所属图像的标识信息相同的标识信息(即img id2),则电脑a2为目标对象;或,确定出电脑a对应的电脑a1、电脑a2和电脑a3的图像特征信息所属图像的标识信息及椅子c对应的椅子c2和椅子c3的图像特征信息所属图像的标识信息中存在与植物b2的图像特征信息所属图像的标识信息相同的标识信息(即img id2),则植物b2为目标对象;或,确定出电脑a对应的电脑a1、电脑a2和电脑a3的图像特征信息所属图像的标识信息及植物b对应的植物b1和植物b2的图像特征信息所属图像的标识信息中存在与椅子c2的图像特征信息所属图像的标识信息相同的标识信息(即img id2),则椅子c2为目标对象。
161.可以理解的是,若其它各个第一对象对应的候选目标对象所属图像的标识信息中,均存在与候选目标对象的图像特征信息所属图像的标识信息相同的标识信息,则候选目标对象的图像特征信息所属图像中还包括其它各个第一对象中每一个对应的其中一个候选目标对象,保证目标对象的准确性。
162.可以理解的是,目标对象的位置信息预存于地图信息中,在确定目标对象之后,可以从地图信息中获取目标对象的位置信息。例如,如图6所示,从地图信息中获取电脑a2的位置信息;和/或,从地图信息中获取植物b2的位置信息;和/或,从地图信息中获取椅子c2的位置信息。
163.步骤s404、基于目标对象的位置信息,确定图像采集装置的位姿。
164.在本实施例中,通过获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象,确定第一对象的图像特征信息,基于第一对象的图像特征信息,从存储的数据量较少的地图信息中确定出与所述多个第一对象中的每一个关联的目标对象,并基于目标对象的位置信息,确定图像采集装置的位姿,实现图像采集装置的定位。
165.作为本技术另一可选实施例,参照图7,为本技术提供的一种位姿确定方法实施例5的流程示意图,本实施例主要是对上述实施例4描述的位姿确定方法的细化方案,该方法可以包括但不局限于以下步骤:
166.步骤s501、获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象。
167.步骤s502、确定第一对象的图像特征信息。
168.步骤s503、基于第一对象的图像特征信息,从地图信息中确定出与多个第一对象中的每一个关联的目标对象。
169.步骤s501-s503的详细过程可以参见实施例4中步骤s401-s403的相关介绍,在此不再赘述。
170.步骤s504、确定第一对象在第一图像中的二维位置信息。
171.本步骤,可以包括但不局限于:
172.s5041、将第一图像输入到第二神经网络模型,得到第二神经网络模型确定的第一图像中所包含的第一对象的候选框及候选框在第一图像中的二维位置信息。
173.第二神经网络模型为利用多张第三训练图像及每张第三训练图像中标注的多个目标对象的真实框及真实框在第三训练图像中的二维位置信息训练得到的。
174.s5042、将候选框在第一图像中的二维位置信息作为第一对象在第一图像中的二维位置信息。
175.步骤s505、基于目标对象的位置信息和第一对象在第一图像中的二维位置信息,确定图像采集装置的位姿。
176.目标对象的位置信息,可以包括但不局限于:目标对象在其所属图像中的二维位置信息;或,目标对象在空间中的三维位置信息。
177.对应目标对象的位置信息为目标对象在其所属图像中的二维位置信息的实施方式,本步骤,可以包括但不局限于:
178.s5051、基于目标对象在其所属图像中的二维位置信息和第一对象在第一图像中的二维位置信息,确定图像采集装置的位姿。
179.对应目标对象的位置信息为目标对象在空间中的三维位置信息的实施方式,本步骤,可以包括但不局限于:
180.s5052、基于目标对象在空间中三维位置信息和第一对象在第一图像中的二维位置信息,确定图像采集装置的位姿。
181.本步骤,可以包括但不局限于:
182.s5053、根据目标对象的位置信息和第一对象在第一图像中的二维位置信息,建立图像采集装置相对于目标对象的几何约束信息。
183.对应目标对象的位置信息为目标对象在其所属图像中的二维位置信息的实施方式,步骤s5053,可以包括:
184.根据目标对象在其所属图像中的二维位置信息和第一对象在第一图像中的二维位置信息,建立图像采集装置相对于目标对象的二维几何约束信息。
185.对应目标对象的位置信息为目标对象在空间中的三维位置信息,步骤s5053,可以包括:
186.根据目标对象在空间中的三维位置信息和第一对象在第一图像中的二维位置信息,建立图像采集装置相对于目标对象的三维几何约束信息。
187.s5054、基于几何约束信息确定图像采集装置的位姿。
188.步骤s504-s505为实施例4中步骤s104的一种具体实施方式。
189.在本实施例中,通过获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象,确定第一对象的图像特征信息,基于第一对象的图像特征信息,从存储的数据量较少的地图信息中确定出与所述多个第一对象中的每一个关联的目标对象,并确定第一对象在第一图像中的二维位置信息,基于目标对象的位置信息和第一对象在第一图像中的二维位置信息,确定图像采集装置的位姿,实现图像采集装置的定位。
190.进一步地,根据目标对象的位置信息和第一对象在第一图像中的二维位置信息,建立图像采集装置相对于目标对象的几何约束信息,基于几何约束信息确定图像采集装置的位姿,可以保证图像采集装置的位姿的准确性,保证图像采集装置定位的准确性。
191.作为本技术另一可选实施例,参照图8,为本技术提供的一种位姿确定方法实施例6的流程示意图,本实施例主要是对上述实施例4描述的位姿确定方法的细化方案,该方法可以包括但不局限于以下步骤:
192.步骤s601、获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象。
193.步骤s602、确定第一对象的图像特征信息。
194.步骤s603、基于第一对象的图像特征信息,从地图信息中确定出与多个第一对象中的每一个关联的目标对象。
195.步骤s601-s603的详细过程可以参见实施例4中步骤s401-s403的相关介绍,在此不再赘述。
196.步骤s604、根据目标对象得到多组目标对象组合。
197.本步骤,可以包括但不局限于:
198.s6041、根据目标对象的图像特征信息,从地图信息中匹配出与目标对象对应的多个待使用目标对象,待使用目标对象的图像特征信息与目标对象的图像特征信息满足第二近似度条件。
199.待使用目标对象的图像特征信息与目标对象的图像特征信息满足第二近似度条件,可以包括但不局限于:
200.待使用目标对象的图像特征信息与目标对象的图像特征信息之间的近似度大于第二设定近似度阈值。
201.s6042、将多个待使用目标对象划分为多组,得到多组目标对象组合,每组目标对象组合至少包括至少两个待使用目标对象,且每组目标对象组合之间相互具有差异。
202.步骤s605、根据多组目标对象组合确定图像采集装置的多个候选位姿。
203.本步骤,可以包括但不局限于:
204.根据每组目标对象组合中的至少两个待使用目标对象的位置信息,分别确定图像采集装置的一个候选位姿。
205.步骤s606、根据多个候选位姿之间的差异数据确定图像采集装置的位姿。
206.在步骤s605确定得到图像采集装置的多个候选位姿的基础上,确定多个候选位姿之间的差异数据,进而根据多个候选位姿之间的差异数据确定图像采集装置的位姿。
207.根据多个候选位姿之间的差异数据确定图像采集装置的位姿,可以包括:
208.根据多个候选位姿之间的差异数据,从多个候选位姿中删除异常候选位姿,基于
删除异常候选位姿后的候选位姿,确定图像采集装置的位姿。
209.异常候选位姿与多个候选位姿中其它候选位姿之间的差异大于设定阈值。
210.基于删除异常候选位姿后的候选位姿,确定图像采集装置的位姿,可以包括但不局限于:
211.将删除异常候选位姿后的候选位姿的平均值或中位数,作为图像采集装置的位姿。
212.本实施例中,通过获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象,确定第一对象的图像特征信息,基于第一对象的图像特征信息,从存储的数据量较少的地图信息中确定出与所述多个第一对象中的每一个关联的目标对象,并根据目标对象得到多组目标对象组合,根据多组目标对象组合确定图像采集装置的多个候选位姿,根据多个候选位姿之间的差异数据确定图像采集装置的位姿,提高图像采集装置的位姿的精度,实现图像采集装置的精准定位。
213.接下来对本技术提供的一种地图存储装置进行介绍,下文介绍的地图存储装置与上文介绍的地图存储方法可相互对应参照。
214.请参见图9,地图存储装置包括:第一分割模块100、第一确定模块200和存储模块300。
215.第一分割模块100,用于获取待处理地图图像,分割出待处理地图图像中包括的多个目标对象。
216.第一确定模块200,用于确定目标对象的图像特征信息和位置信息。
217.存储模块300,用于对多个目标对象中每一个进行图像特征信息和位置信息的关联存储。
218.第一确定模块200确定目标对象的位置信息的过程,具体可以包括:
219.确定待处理地图图像中目标对象的二维位置信息;
220.获取在待处理地图图像之前采集的第一目标图像,第一目标图像中至少包含目标对象;
221.确定第一目标图像中目标对象的二维位置信息;
222.基于待处理地图图像中目标对象的二维位置信息及第一目标图像中所述目标对象的二维位置信息,确定目标对象的三维位置信息;
223.基于三维位置信息和待处理地图图像对应的图像采集位置信息,确定目标对象的位置信息。
224.第一确定模块200确定目标对象的位置信息的过程,还可以包括:
225.获取待处理地图图像之前的多张第二目标图像,第二目标图像至少包含所述多个目标对象;
226.基于多张第二目标图像与待处理地图图像,调整目标对象的三维位置信息。
227.本实施例中,图像特征信息包括语义特征信息,第一确定模块200所述确定所述目标对象的图像特征信息的过程,具体可以包括:
228.将目标对象输入到神经网络模型,得到神经网络模型确定的目标对象的语义特征信息。
229.接下来对本技术提供的一种位姿确定装置进行介绍,下文介绍的位姿确定装置与
上文介绍的位姿确定方法可相互对应参照。
230.请参见图10,位姿确定装置包括:第二分割模块400、第二确定模块500、第三确定模块600和第四确定模块700。
231.第二分割模块400,用于获取图像采集装置采集的第一图像,分割出第一图像中包括的多个第一对象。
232.第二确定模块500,用于确定第一对象的图像特征信息。
233.第三确定模块600,用于基于第一对象的图像特征信息,从地图信息中确定出与多个第一对象中的每一个关联的目标对象,地图信息为通过执行如实施例1-3中任意一个实施例所介绍的地图存储方法得到的。
234.第四确定模块700,用于基于目标对象的位置信息,确定图像采集装置的位姿,目标对象的位置信息预存于地图信息中。
235.第三确定模块600,具体可以用于:
236.基于每个第一对象的图像特征信息,从地图信息中匹配出与每个第一对象对应的多个候选目标对象,多个候选目标对象中的每一个的图像特征信息与第一对象的图像特征信息满足第一近似度条件;
237.根据候选目标对象的图像特征信息与第一对象的图像特征信息的近似度信息,从候选目标对象中确定目标对象。
238.第四确定模块700,具体可以用于:
239.确定第一对象在第一图像中的二维位置信息;
240.基于目标对象的位置信息和第一对象在第一图像中的二维位置信息,确定图像采集装置的位姿。
241.第四确定模块700基于目标对象的位置信息和第一对象在第一图像中的二维位置信息,确定图像采集装置的位姿的过程,具体可以包括:
242.根据目标对象的位置信息和第一对象在第一图像中的二维位置信息,建立图像采集装置相对于目标对象的几何约束信息;
243.基于几何约束信息确定图像采集装置的位姿。
244.本实施例中,第四确定模块700,具体可以用于:
245.根据目标对象得到多组目标对象组合;
246.根据多组目标对象组合确定图像采集装置的多个候选位姿;
247.根据多个候选位姿之间的差异数据确定图像采集装置的位姿。
248.与上述本技术提供的一种地图存储方法实施例或位姿确定方法实施例相对应的,本技术还提供了应用该地图存储方法或位姿确定方法的电子设备实施例。
249.该电子设备可以包括以下结构:
250.存储器和处理器。
251.存储器,用于至少存储一组指令集;
252.处理器,用于调用并执行存储器中的指令集,通过执行指令集执行如方法实施例1-3中任意一个实施例所介绍的地图存储方法或实施例4-6中任意一个实施例所介绍的位姿确定方法。
253.与上述本技术提供的一种地图存储方法实施例或位姿确定方法实施例相对应,本
申请还提供了一种存储介质的实施例。
254.本实施例中,存储介质存储有实现如方法实施例1-3中任意一个实施例所介绍的地图存储方法或实施例4-6中任意一个实施例所介绍的位姿确定方法的计算机程序,所述计算机程序被处理器执行,实现如方法实施例1-3中任意一个实施例所介绍的地图存储方法或实施例4-6中任意一个实施例所介绍的位姿确定方法。
255.需要说明的是,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
256.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
257.为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本技术时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
258.通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
259.以上对本技术所提供的一种地图存储方法、位姿确定方法及存储介质进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1