一种相机的位姿确定方法及设备

1.本发明涉及计算机技术领域，尤其涉及一种相机的位姿确定方法及设备。


背景技术：

2.相关技术中，随着视觉定位技术进入了鲁棒感知的阶段，人们已经致力于研究方法来进行高层次的场景感知和理解，用来增加视觉定位任务的鲁棒性。目前大多数的方法主要利用语义理解，将语义概念，比如：对象分类、材料组成等，与环境的几何结构联系起来，但这种方法往往需要语义分割等大量的标注信息，在大规模的场景下代价太大。


技术实现要素：

3.本发明的目的在于提供一种相机的位姿确定方法，用于解决如何利用容易获取的信息来加强场景理解能力及提高视觉定位鲁棒性的问题。
4.第一方面，本发明提供一种相机的位姿确定方法，所述相机用于采集图像，所述图像包括多帧图像；所述方法包括：
5.对所述图像进行目标位置跟踪，获得各目标的帧间关系，所述各目标的帧间关系为各所述目标在当前帧图像与下一帧图像间的关系；
6.将所述各目标的帧间关系融合至当前帧图像的全局信息中，获得当前帧图像的融合信息；
7.利用所述融合信息确定所述相机的位姿信息。
8.与现有技术相比，本发明提供的相机的位姿确定方法中，利用相机对各目标进行前后两帧图像的跟踪，获得各目标的帧间关系。这种关系反映了场景中各目标的运动状态。将各目标的帧间关系与当前帧图像提取到的全局信息相结合，获得的融合信息不仅可以体现当前帧图像的各目标位置信息，还可以体现各目标在下一帧图像的位置相关信息，从而保证融合信息含有丰富的三维真实场景，增强了对三维真实场景的理解能力，同时这种对三维真实场景的理解能力可以为相机的位姿估计提供更鲁棒的融合信息，从而提高视觉定位的鲁棒性和准确度。
9.第二方面，本发明还提供一种相机的位姿确定设备，包括处理器以及与处理器耦合的通信接口；所述处理器用于运行计算机程序或指令，以实现上述任一项所述相机的位姿确定方法。
10.与现有技术相比，本发明提供的相机的位姿确定设备的有益效果与上述技术方案所述相机的位姿确定方法的有益效果相同，此处不做赘述。
附图说明
11.此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
12.图1a为本发明实施例提供的相机的位姿确定方法的流程示意图一；
13.图1b为本发明实施例提供的当前帧图像与下一帧图像中各目标的位置变化效果示意图；
14.图2a为本发明实施例提供的利用目标框对目标进行标识的效果示意图；
15.图2b为本发明实施例提供的当前帧图像的帧内各目标间距的效果示意图；
16.图3为本发明实施例提供的下一帧图像的帧内各目标间距的效果示意图；
17.图4为本发明实施例提供的当前帧图像的各目标在相应两帧图像间的变化的效果示意图；
18.图5为本发明实施例提供的融合处理过程的效果示意图；
19.图6为本发明实施例提供的相机的位姿确定方法的流程示意图二；
20.图7为本发明实施例提供的相机的位姿确定装置的结构框图；
21.图8为本发明实施例提供的相机的位姿确定设备的硬件结构示意图；
22.图9为本发明实施例提供的芯片的结构示意图。
具体实施方式
23.为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
24.需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
25.本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
26.相关技术中，随着视觉定位技术进入了鲁棒感知的阶段，人们已经致力于研究方法来进行高层次的场景感知和理解，用来增加视觉定位任务的鲁棒性。目前大多数的方法主要利用语义理解，将语义概念，比如：对象分类、材料组成等，与环境的几何结构联系起来，但这种方法往往需要语义分割等大量的标注信息，在大规模的场景下代价太大。
27.针对上述技术问题，本发明实施例提出一种相机的位姿确定方法，所述相机的位姿确定方法能够解决如何利用容易获取的信息来加强场景理解能力及提高视觉定位鲁棒性的问题，增强场景理解能力，提高视觉定位的鲁棒性和准确度。
28.本发明实施例提出的相机的位姿确定方法，应用于相机的位姿确定设备，所述相机用于采集图像，所述图像包括多帧图像；如图1a所示，上述方法包括：
29.步骤101：对所述图像进行目标位置跟踪，获得各目标的帧间关系。
30.这里，利用相机对三维真实场景进行图像采集，得到多帧图像。对多帧图像中的每一帧图像进行目标检测，获得每一帧图像中所包含的各目标，对当前帧图像所包含的各目标进行目标位置跟踪，得到各目标在当前帧图像与下一帧图像间的关系，即各目标的帧间关系。各目标的帧间关系反映了三维真实场景中各目标的运动状态；上述多帧图像中的每一帧图像包含多个目标，目标可以为人或车等。
31.如图1b所示，对当前帧图像11进行目标位置跟踪，得到下一帧图像12。当前帧图像11和下一帧图像12所包含的目标的位置发生变化。
32.比如：对当前帧图像进行目标检测，获得当前帧图像中包含的各目标为：目标1、目标2、目标3；对目标1、目标2、目标3进行目标位置跟踪，得到目标1在当前帧图像与下一帧图像间的关系、目标2在当前帧图像与下一帧图像间的关系、目标3在当前帧图像与下一帧图像间的关系，即目标1的帧间关系、目标2的帧间关系、目标3的帧间关系。
33.在实际应用中，进行目标检测时，可以通过一个目标检测框架进行检测，本发明利用的目标检测框架为faster-rcnn。需要说明的是，任意性能良好的目标检测框架都可以对目标进行检测，本发明对目标检测框架并不进行任何限定。
34.在实际应用中，对各目标进行目标位置跟踪时，可以使用目标跟踪框架。上述目标跟踪框架可以采用分辨尺度空间跟踪器(discriminatiive scale space tracker，dsst)算法，dsst是基于核相关滤波(kernel correlation filter，kcf)算法的改进，在kcf位置跟踪的基础上，增加了尺度跟踪的操作，保证了在目标尺度随着距离的变化而变化时，仍能保证目标框中心点能反映物体在场景中的位置。需要说明的是，本发明对采用的目标跟踪框架不作任何限定，只要能对目标进行位置跟踪即可。
35.步骤102：将所述各目标的帧间关系融合至当前帧图像的全局信息中，获得当前帧图像的融合信息。
36.对当前帧图像进行信息提取，获得当前帧图像的全局信息；需要说明的是，提取当前帧图像的全局信息为现有技术，本发明实施例不再进行赘述。
37.在获得各目标的帧间关系的情况下，将各目标的帧间关系与当前帧图像的全局信息进行融合，获得当前帧图像的融合信息。比如：同上例，将目标1、目标2、目标3的帧间关系与当前帧图像的全局信息融合，得到融合信息。
38.步骤103：利用所述融合信息确定所述相机的位姿信息。
39.在得到融合信息后，利用位姿估计网络对融合信息进行处理，确定相机的位姿信息，从而实现对相机的视觉定位。其中，位姿估计网络可以包括：有监督学习模型和无监督学习模型；有监督学习模型包括：posenet，deepvo等；无监督学习模型包括：sfmlearner等。
40.本发明实施例中，利用相机对各目标进行前后两帧图像的跟踪，获得各目标的帧间关系；各目标的帧间关系是在相邻两个二维图像中提取到的各目标之间建立的帧间位置关系特征，这种关系特征反映了场景中各目标的运动状态。将上述各目标的帧间关系与当前帧图像提取到的全局信息相结合，获得融合信息，增强了对三维真实场景的理解能力，同时这种对三维真实场景的理解能力可以为相机的位姿估计提供更鲁棒的融合信息，从而提高视觉定位的鲁棒性和准确度。
41.在一实施例中，所述对所述图像进行目标位置跟踪，获得各目标的帧间关系，包
括：利用目标框确定每帧图像的帧内各目标间距；在所述目标框的辅助下，根据当前帧图像的帧内各目标间距与下一帧图像的帧内各目标间距，确定各目标的帧间关系。
42.在确定各目标的帧间关系时，利用目标框对每帧图像中所包含的目标进行标识，将每帧图像中各目标框两两之间的距离作为每帧图像的帧内各目标间距。上述帧内各目标间距可以以矩阵形式表示。
43.如图2a所示，对当前帧图像201所包含的目标使用目标框进行标识。
44.如图2b所示，对当前帧图像进行目标检测，获得目标1、目标2、目标3、目标4、目标5；将目标1、目标2、目标3、目标4、目标5分别利用目标框20、目标框21、目标框22、目标框23、目标框24进行标识；将目标框20与目标框21之间的距离d1，将目标框21与目标框22之间的距离d2，将目标框22与目标框23之间的距离d3，将目标框23与目标框24之间的距离d4，将目标框24与目标框20之间的距离d5等，作为当前帧图像的帧内各目标间距。
45.如图3所示，对下一帧图像进行目标检测，获得目标1、目标2、目标3、目标4、目标5；将目标1、目标2、目标3、目标4、目标5分别利用目标框25、目标框26、目标框27、目标框28、目标框29进行标识；将目标框25与目标框26之间的距离d6，将目标框26与目标框27之间的距离d7，将目标框27与目标框28之间的距离d8，将目标框28与目标框29之间的距离d9，将目标框29与目标框25之间的距离d10等，作为下一帧图像的帧内各目标间距。
46.在当前帧图像中各目标框及下一帧图像中各目标框的辅助下，根据当前帧图像的帧内各目标间距与下一帧图像的帧内各目标间距，确定各目标的帧间关系。
47.在一实施例中，每帧所述图像的帧内各目标间距为相应帧图像的各目标框几何中心间距。
48.这里，每帧图像的帧内各目标间距为相应帧图像的各目标框的几何中心间距，如图2所示，当前帧图像的目标框20的几何中心与目标框21的几何中心之间的间距d1，目标框21的几何中心与目标框22的几何中心之间的间距d2，目标框22的几何中心与目标框23的几何中心之间的间距d3，目标框23的几何中心与目标框24的几何中心之间的间距d4，目标框24的几何中心与目标框20的几何中心之间的间距d5等，构成当前帧图像的帧内各目标间距。下一帧图像的帧内各目标间距与当前帧图像的帧内各目标间距类似，本发明不再赘述。
49.所述帧内各目标间距以矩阵形式表示，当前帧图像的帧内各目标间距box(t)的表达式如公式(1)所示：
[0050][0051]
其中，d
i,j
代表第i个目标框的几何中心到第j个目标框的几何中心之间的间距。
[0052]
在一实施例中，所述在所述目标框的辅助下，根据当前帧图像的帧内各目标间距与下一帧图像的帧内各目标间距，确定各目标的帧间关系，包括：确定每帧所述图像的帧内各目标框位置信息；根据每帧所述图像的帧内各目标框位置信息和相邻两帧图像的帧内各目标间距，确定各目标的帧间关系。
[0053]
在确定各目标的帧间关系时，首先确定每帧图像的帧内各目标框的位置信息，上述帧内各目标框的位置信息可以以矩阵形式表示；如图2所示，确定当前帧图像所包括的目标框20的位置信息为位置信息1、目标框21的位置信息为位置信息2，目标框22的位置信息为位置信息3，目标框23的位置信息为位置信息4，目标框24的位置信息为位置信息5。如图3所示，确定下一帧图像所包括的目标框25的位置信息为位置信息6、目标框26的位置信息为位置信息7，目标框27的位置信息为位置信息8，目标框28的位置信息为位置信息9，目标框29的位置信息为位置信息10。
[0054]
根据当前帧图像的帧内各目标框位置信息、当前帧图像的帧内各目标间距与下一帧图像的帧内各目标间距，确定各目标的帧间关系。
[0055]
在一实施例中，每帧所述图像的帧内各目标框位置信息包括：相应帧图像中每个目标框处在对角状态的两个对角点坐标。
[0056]
这里，每帧图像的帧内各目标框位置信息包括：相应帧图像中每个目标框处在对角状态的两个对角点坐标，比如：左上角点坐标(x1,y1)和右下角点坐标(x2,y2)。当每帧图像中包含多个目标框时，可以将多个目标框的两个对角点坐标以矩阵形式表示。
[0057]
在一实施例中，所述根据每帧所述图像的帧内各目标框位置信息和相邻两帧图像的帧内各目标间距，确定各目标的帧间关系，包括：根据相邻两帧图像的各目标框的位置信息确定各目标在相应两帧图像间的变化信息；根据每帧所述图像的帧内各目标框位置信息、相邻两帧图像的帧内各目标间距以及各目标在相应两帧图像间的变化信息，确定各目标的帧间关系。
[0058]
这里，各目标的帧间关系反应当前帧图像中各目标的状态。得到当前帧图像的帧内各目标间距后，采用目标跟踪框架，跟踪下一帧图像中所包含的目标的新位置，并建立下一帧图像的帧内各目标间距，同时还需要确定各目标在相邻两帧图像间的变化信息，即前后两帧间，当前帧图像的各目标对应的目标框的位置与下一帧图像的各目标对应的目标框的位置之间的变化。
[0059]
在确定各目标在相邻两帧图像间的变化信息时，是根据相邻两帧图像的各目标框的位置信息来确定的。将当前帧图像所包含的各目标框的几何中心与下一帧图像所包含的相应目标框的几何中心之间的距离，作为各目标在相应两帧图像间的变化信息。
[0060]
如图4所示，当前帧图像包括目标框24，下一帧图像包括目标框40，目标框24与目标框40标识同一目标：目标1，将目标框24的几何中心与目标框40的几何中心之间的距离d1，作为目标1在相应两帧图像间的变化信息。
[0061]
在获得各目标在相应两帧图像间的变化信息之后，根据当前帧图像的帧内各目标框位置信息、当前帧图像的帧内各目标间距、下一帧图像的帧内各目标间距与各目标在相应两帧图像间的变化信息，确定各目标的帧间关系。
[0062]
在一实施例中，所述各目标的帧间关系，包括：
[0063]
g(t)＝box
t
+box(t)+box(t+1)+box(t,t+1)公式(2)；
[0064]
其中，box
t
为当前帧图像的帧内各目标框位置信息，box(t)和box(t+1)分别为当前帧图像和下一帧图像的帧内各目标间距，box(t,t+1)为各目标在相应两帧图像间的变化信息。
[0065]
这里，box
t
的表达式如公式(3)所示：
[0066][0067]
其中，(x
i,1
,y
i,1
)，(x
i,2
,y
i,2
)分别为第i个目标框的左上角点坐标和右下角点坐标。
[0068]
这里，box(t,t+1)的表达式如公式(4)所示：
[0069][0070]
其中，di为第i个目标在第t帧图像和第t+1帧图像中的位置变化，用差值表示。
[0071]
在一实施例中，所述将所述各目标的帧间关系融合至当前帧图像的全局信息中，获得当前帧图像的融合信息，包括：对所述各目标的帧间关系进行归一化，得到归一化帧间关系；将所述归一化帧间关系和所述当前帧图像的全局信息进行降维处理；将降维后的归一化帧间关系和降维后的当前帧图像的全局信息进行拼接，获得融合信息。
[0072]
这里，获得各目标的帧间关系后，为了使各目标的帧间关系与当前帧图像的全局信息在同一数量级，对上述各目标的帧间关系进行归一化处理，得到归一化帧间关系。
[0073]
在实际应用中，对各目标的帧间关系进行归一化时，可以采用tf.nn.l2_normalize(*)函数进行归一化处理。需要说明的是，本发明采用的归一化方法只要能实现归一化处理即可，本发明实施例对归一化方法不进行任何限定。
[0074]
在获得归一化帧间关系后，分别对归一化帧间关系和当前帧图像的全局信息进行降维处理，得到降维后的归一化帧间关系和降维后的当前帧图像的全局信息。在实际应用中，在进行降维处理时，可以采用flatten(*)函数，对归一化帧间关系和当前帧图像的全局信息进行降维处理，得到一维的归一化帧间关系和一维的当前帧图像的全局信息。
[0075]
在得到降维后的归一化帧间关系和降维后的当前帧图像的全局信息后，对降维后的归一化帧间关系和降维后的当前帧图像的全局信息进行拼接处理，获得融合信息。在进行拼接处理时，可以采用concat(*)函数。
[0076]
如图5所示，第t帧图像30与第t+1帧图像31通过关系特征提取器32进行处理，获得各目标的帧间关系，并对各目标的帧间关系进行归一化处理，获得归一化帧间关系；并通过降维函数33处理，得到降维后的归一化帧间关系；第t帧图像30通过全局特征提取器34进行处理，获得当前帧图像的全局信息；并通过降维函数35处理，得到降维后的当前帧图像的全局信息。将降维后的归一化帧间关系和降维后的当前帧图像的全局信息通过拼接函数36进行拼接，获得融合信息。
[0077]
在一实施例中，所述相机的位姿信息包括：平移矩阵和旋转矩阵；所述利用所述融合信息确定所述相机的位姿信息，包括：利用位姿估计网络对所述融合信息进行处理，确定所述融合信息中的动态特征和静态特征；设定所述动态特征的权重小于所述静态特征的权
重；根据所述动态特征、所述动态特征的权重、所述静态特征、所述静态特征的权重，确定所述相机的平移矩阵和旋转矩阵。
[0078]
这里，获得融合信息后，利用位姿估计网络对融合信息进行处理，确定融合信息中的动态特征和静态特征。同时，对动态特征的权重和静态特征的权重进行调整，减小动态特征的权重，增大静态特征的权重，使得动态特征的权重小于静态特征的权重；进一步地，根据动态特征、动态特征的权重、静态特征、静态特征的权重，确定相机的位姿信息；上述位姿信息包括：平移矩阵和旋转矩阵。需要说明的是，根据动态特征、动态特征的权重、静态特征、静态特征的权重，确定相机的位姿信息属于现有技术，本发明不再进行赘述。
[0079]
本发明通过设定动态特征的权重小于静态特征的权重，动态特征所占权重会在训练中逐渐减小，也就是减小了动态特征对系统的影响，进一步提高了系统了鲁棒性，这样也避免直接去除动态目标所导致的边缘锐化等噪声。
[0080]
本发明还提供一种相机的位姿确定方法，如图6所示，上述方法包括：
[0081]
步骤601：获得当前帧图像，并识别当前帧图像所包含的目标；
[0082]
步骤602：确定当前帧图像的帧内各目标间距；
[0083]
步骤603：对当前帧图像的各目标进行目标跟踪，获得下一帧图像的帧内各目标间距；
[0084]
步骤604：在目标框的辅助下，根据当前帧图像的帧内各目标间距和下一帧图像的帧内各目标间距，确定各目标的帧间关系；
[0085]
步骤605：将各目标的帧间关系与当前帧图像的全局信息进行融合，获得融合信息；
[0086]
步骤606：根据融合信息，获得相机的位姿信息。
[0087]
本发明实施例能够达到如下技术效果：
[0088]
本发明将提取到的目标比如：车，人等标注在二维图像上，并建立各目标之间的帧内各目标间距，对前后两帧图像的目标进行跟踪，并获得跟踪到的前后两帧图像的各目标的帧间关系，这种特征反映了当前场景中目标之间的位置变化关系，增强了在三维场景中对场景整体状态的理解，同时，场景变化中目标位置关系的变化也反映了各目标的运动状态。对各目标的帧间关系进行归一化、降维处理后，与全局信息进行融合，获得融合信息，其中，全局信息实现场景的全局理解。对全局信息进行处理，获得动态特征和静态特征，可以一定程度上区分动态目标和静态目标的不同状态；本发明在深度网络数据驱动下调整动态特征的权重和静态特征的权重，减小动态特征权重甚至去除，在大量数据驱动下，动态特征所占权重会在训练中逐渐减小，也就是减小了动态特征对系统的影响，进一步提高了系统了鲁棒性，这样也避免直接去除动态目标所导致的边缘锐化等噪声。因此，在提高场景理解能力的同时，也可以在一定程度上去除运动状态变化较大的目标的特征，提高了系统在动态场景中的鲁棒性，最终实现视觉定位精度的提高，也就是本发明可以一定程度上增强鲁棒性和对抗动态静态目标的模糊性。
[0089]
在采用对应各个功能划分各个功能模块的情况下，图7示出本发明实施例提供的相机的位姿确定装置的结构框图。如图7所示，该相机的位姿确定装置70包括：通信模块701和处理模块702。
[0090]
通信模块701，用于获得相机采集的图像。
[0091]
处理模块702，用于支持相机的位姿确定装置执行上述实施例中的步骤101至步骤103。
[0092]
上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0093]
在一些可能的实现方式中，上述相机的位姿确定装置还可以包括存储模块703，用于存储基站的程序代码和数据。
[0094]
其中，处理模块可以是处理器或控制器，例如可以是中央处理器(central processing unit，cpu)，通用处理器，数字信号处理器(digital signal processor，dsp)，专用集成电路(application-specific integrated circuit，asic)，现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块可以是收发器、收发电路或通信接口等。存储模块可以是存储器。
[0095]
当处理模块为处理器，通信模块为通信接口，存储模块为存储器时，本发明实施例所涉及的相机的位姿确定装置可以为图8所示的相机的位姿确定设备。
[0096]
图8示出了本发明实施例提供的一种相机的位姿确定设备的硬件结构示意图。如图8所示，该相机的位姿确定设备80包括处理器801和通信接口802。
[0097]
如图8所示，上述处理器可以是一个通用中央处理器(central processing unit，cpu)，微处理器，专用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控制本发明方案程序执行的集成电路。上述通信接口可以为一个或多个。通信接口可使用任何收发器一类的装置，用于与其他设备或通信网络通信。
[0098]
如图8所示，上述相机的位姿确定设备还可以包括通信线路803。通信线路可包括一通路，在上述组件之间传送信息。
[0099]
可选的，如图8所示，该相机的位姿确定设备还可以包括存储器804。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
[0100]
如图8所示，上述存储器可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
[0101]
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
[0102]
在具体实现中，作为一种实施例，如图8所示，处理器801可以包括一个或多个cpu，
如图8中的cpu0和cpu1。
[0103]
在具体实现中，作为一种实施例，如图8所示，相机的位姿确定设备可以包括多个处理器，如图8中的处理器801-1和处理器801-2。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
[0104]
图9是本发明实施例提供的芯片的结构示意图。如图9所示，该芯片90包括一个或两个以上(包括两个)处理器801和通信接口802。
[0105]
可选的，如图9所示，该芯片还包括存储器804，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。
[0106]
在一些实施方式中，如图9所示，存储器存储了如下的元素，执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
[0107]
在本发明实施例中，如图9所示，通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。
[0108]
如图9所示，处理器控制相机的位姿确定设备中任一个的处理操作，处理器还可以称为中央处理单元(central processing unit，cpu)。
[0109]
如图9所示，存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括nvram。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图9中将各种总线都标为总线系统805。
[0110]
如图9所示，上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，dsp)、asic、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0111]
一种可能的实现方式中，如图9所示，通信接口用于获得相机采集的图像。处理器用于执行图1所示的实施例中的相机的位姿确定方法的步骤101至步骤103。
[0112]
一方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令被运行时，实现上述实施例中由相机的位姿确定设备执行的功能。
[0113]
一方面，提供一种芯片，该芯片应用于相机的位姿确定设备中，芯片包括至少一个处理器和通信接口，通信接口和至少一个处理器耦合，处理器用于运行指令，以实现上述实施例中由相机的位姿确定设备执行的功能。
[0114]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序
产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，dvd)；还可以是半导体介质，例如，固态硬盘(solid state drive，ssd)。
[0115]
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0116]
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。