一种相机标定方法、装置、设备及介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种相机标定方法、装置、设备及介质。


背景技术：

2.在建图、定位等场景中，为了增大监测方位，通常需要部署多个相机。以移动机器人为例，为了提高移动机器人的视野，通常在移动机器人上沿不同方位部署多个相机。为便于对上述多个相机采集的图像进行统一处理，需要标定得到上述多个相机的相机坐标系之间的转换关系。
3.相关技术中，可以在多个相机的共视区域中部署标定板，由多个相机针对同一标定板进行图像采集，针对每一相机，基于所采集的该标定板的图像，可以标定得到该相机的相机坐标系相对该标定板的标定板坐标系的转换关系，然后基于上述转换关系计算得到各个相机的相机坐标系之间的转换关系。
4.上述方案虽然可以标定得到不同相机的相机坐标系之间的转换关系，但是当多个相机的共视区域较小、或无共视区域时，例如，移动机器人上所部署的相机分别朝向前方、侧方、后方时，由于上述多个相机难以采集到同一标定板的图像，从而无法得到多个相机的相机坐标系相对同一标定板的标定板坐标系的转换关系，从而难以计算得到各个相机的相机坐标系之间的转换关系。


技术实现要素：

5.本技术实施例的目的在于提供一种相机标定方法、装置、设备及介质，以标定得到多个相机的相机坐标系之间的转换关系。具体技术方案如下：
6.第一方面，本技术实施例提供了一种相机标定方法，所述方法包括：
7.针对多个标定板中的至少两个标定板，获得参考相机采集的包含所述至少两个标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对每一标定板的标定板坐标系的转换关系，利用所获得的转换关系计算所述至少两个标定板的标定板坐标系之间的第一转换关系，其中，所述多个标定板分别位于多个待标定相机的图像采集区域内；
8.根据所计算的第一转换关系，确定各个标定板的标定板坐标系相对参考标定板的参考标定板坐标系的参考转换关系，利用所述参考转换关系，计算各个标定板中的各个标定点在所述参考标定板坐标系中的参考坐标，其中，所述参考标定板为所述多个标定板中的任一标定板；
9.针对每一待标定相机，获得该待标定相机采集的目标标定板的目标图像，利用所述目标图像、及所述目标标定板中各个标定点的参考坐标，获得该待标定相机的相机坐标系相对所述参考标定板坐标系的第二转换关系，其中，所述目标标定板为：该待标定相机对应的标定板，每一待标定相机对应的标定板为：位于该待标定相机的图像采集区域内的标定板；
10.针对任意两个待标定相机，利用所获得的该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
11.本技术的一个实施例中，所述针对多个标定板中的至少两个标定板，获得参考相机采集的包含所述至少两个标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对每一标定板的标定板坐标系的转换关系，利用所获得的转换关系计算所述至少两个标定板的标定板坐标系之间的第一转换关系，包括：
12.针对多个标定板中的第一标定板、第二标定板，获得所述参考相机采集的包含所述第一标定板、第二标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对所述第一标定板的第一标定板坐标系的转换关系、所述参考相机坐标系相对所述第二标定板的第二标定板坐标系的转换关系，利用所获得的转换关系计算所述第二标定板坐标系相对所述第一标定板坐标系之间的第一转换关系；
13.将所述第二标定板作为第一标定板、任一未获得所述第一转换关系的标定板作为第二标定板，返回所述针对多个标定板中的第一标定板、第二标定板、获得所述参考相机采集的包含所述第一标定板、第二标定板的参考图像的步骤，直至遍历所有标定板。
14.本技术的一个实施例中，所述根据所计算的第一转换关系，确定各个标定板的标定板坐标系相对参考标定板的参考标定板坐标系的参考转换关系，包括：
15.获得所述参考相机采集的包含参考标定板、第三标定板的参考图像，利用所述参考图像，获得所述参考相机坐标系相对所述参考标定板的参考标定板坐标系的转换关系、所述参考相机坐标系相对所述第三标定板的第三标定板坐标系的转换关系，利用所获得的转换关系计算所述第三标定板坐标系相对所述参考标定板坐标系之间的辅助转换关系，其中，所述第三标定板为：最后确定的第二标定板，所述参考标定板为初始的第一标定板；
16.利用所述辅助转换关系对各个第一转换关系进行校正；
17.利用校正后的各个第一转换关系，确定各个标定板的标定板坐标系相对所述参考标定板坐标系的参考转换关系。
18.本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；
19.所述利用所述辅助转换关系对各个第一转换关系进行校正，包括：
20.以降低损失为原则，利用所述辅助转换关系对各个第一转换关系进行校正，其中，所述损失的计算方式为：
[0021][0022]
所述objectionf表示所述损失，所述表示所述辅助转换关系，所述表示：第i个待标定相机对应的标定板的标定板坐标系相对第i-1个待标定相机对应的标定板的标定板坐标系之间的第一转换关系，所述n表示所有待标定相机的个数，所述i表示第i个待标定相机对应的标定板，所述表示所述变换至对应的李代数的映射，所述表示所述变换至对应的李代数的映射。
[0023]
本技术的一个实施例中，所述针对任意两个待标定相机，利用所获得的该两个待
标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系，包括：
[0024]
对各个待标定相机的第二转换关系进行优化；
[0025]
针对任意两个待标定相机，利用该两个待标定相机优化后的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0026]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；
[0027]
所述对各个待标定相机的第二转换关系进行优化，包括：
[0028]
按照以下公式对各个待标定相机的第二转换关系进行优化：
[0029][0030][0031]
其中，所述表示第j个待标定相机的第二转换关系，所述s表示优化后的第j个待标定相机的第二转换关系，所述n表示待标定相机的个数，所述j表示第j个待标定相机，所述m表示每一标定板中标定点的个数，所述k表示第k个标定点，所述s表示每一待标定相机所采集的目标图像的图像数量，所述s表示所采集的第s个目标图像，所述x
iks
表示第i个待标定相机对应的标定板中第k个标定点在第s个目标图像中的图像坐标，所述x
jk
表示第j个待标定相机对应的标定板中第k个标定点的参考坐标。
[0032]
本技术的一个实施例中，针对任意两个待标定相机，利用所获得的该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系，包括：
[0033]
针对第i个待标定相机、第j个待标定相机，按照以下公式计算所述第i个待标定相机相对所述第j个待标定相机的相机坐标系之间的目标转换关系
[0034][0035]
其中，所述表示第j个待标定相机的第二转换关系，所述表示第i个待标定相机的第二转换关系。
[0036]
第二方面，本技术实施例提供了一种相机标定装置，所述装置包括：
[0037]
第一关系获得模块，用于针对多个标定板中的至少两个标定板，获得参考相机采集的包含所述至少两个标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对每一标定板的标定板坐标系的转换关系，利用所获得的转换关系计算所述至少两个标定板的标定板坐标系之间的第一转换关系，其中，所述多个标定板分别位于多个待标定相机的图像采集区域内；
[0038]
参考坐标获得模块，用于根据所计算的第一转换关系，确定各个标定板的标定板坐标系相对参考标定板的参考标定板坐标系的参考转换关系，利用所述参考转换关系，计算各个标定板中的各个标定点在所述参考标定板坐标系中的参考坐标，其中，所述参考标定板为所述多个标定板中的任一标定板；
[0039]
第二关系获得模块，用于针对每一待标定相机，获得该待标定相机采集的目标标定板的目标图像，利用所述目标图像、及所述目标标定板中各个标定点的参考坐标，获得该待标定相机的相机坐标系相对所述参考标定板坐标系的第二转换关系，其中，所述目标标定板为：该待标定相机对应的标定板，每一待标定相机对应的标定板为：位于该待标定相机的图像采集区域内的标定板；
[0040]
目标关系获得模块，用于针对任意两个待标定相机，利用所获得的该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0041]
本技术的一个实施例中，所述第一关系获得模块，包括：
[0042]
第一关系获得单元，用于针对多个标定板中的第一标定板、第二标定板，获得所述参考相机采集的包含所述第一标定板、第二标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对所述第一标定板的第一标定板坐标系的转换关系、所述参考相机坐标系相对所述第二标定板的第二标定板坐标系的转换关系，利用所获得的转换关系计算所述第二标定板坐标系相对所述第一标定板坐标系之间的第一转换关系；
[0043]
标定板遍历单元，用于将所述第二标定板作为第一标定板、任一未获得所述第一转换关系的标定板作为第二标定板，返回所述针对多个标定板中的第一标定板、第二标定板、获得所述参考相机采集的包含所述第一标定板、第二标定板的参考图像的步骤，直至遍历所有标定板。
[0044]
本技术的一个实施例中，所述参考坐标获得模块，包括：
[0045]
辅助关系获得单元，用于获得所述参考相机采集的包含参考标定板、第三标定板的参考图像，利用所述参考图像，获得所述参考相机坐标系相对所述参考标定板的参考标定板坐标系的转换关系、所述参考相机坐标系相对所述第三标定板的第三标定板坐标系的转换关系，利用所获得的转换关系计算所述第三标定板坐标系相对所述参考标定板坐标系之间的辅助转换关系，其中，所述第三标定板为：最后确定的第二标定板，所述参考标定板为初始的第一标定板；
[0046]
关系校正单元，用于利用所述辅助转换关系对各个第一转换关系进行校正；
[0047]
参考关系获得单元，用于利用校正后的各个第一转换关系，确定各个标定板的标定板坐标系相对所述参考标定板坐标系的参考转换关系；
[0048]
参考坐标获得单元，用于利用所述参考转换关系，计算各个标定板中的各个标定点在所述参考标定板坐标系中的参考坐标。
[0049]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；
[0050]
所述关系校正单元，具体用于：
[0051]
以降低损失为原则，利用所述辅助转换关系对各个第一转换关系进行校正，其中，所述损失的计算方式为：
[0052][0053]
所述objectionf表示所述损失，所述表示所述辅助转换关系，所述表示：第i个待标定相机对应的标定板的标定板坐标系相对第i-1个待标定相机对应的标定
板的标定板坐标系之间的第一转换关系，所述n表示所有待标定相机的个数，所述i表示第i个待标定相机对应的标定板，所述表示所述变换至对应的李代数的映射，所述表示所述变换至对应的李代数的映射。
[0054]
本技术的一个实施例中，所述目标关系获得模块，包括：
[0055]
关系优化单元，用于对各个待标定相机的第二转换关系进行优化；
[0056]
目标关系获得单元，用于针对任意两个待标定相机，利用该两个待标定相机优化后的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0057]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；
[0058]
所述关系优化单元，具体用于：
[0059]
按照以下公式对各个待标定相机的第二转换关系进行优化：
[0060][0061][0062]
其中，所述表示第j个待标定相机的第二转换关系，所述s表示优化后的第j个待标定相机的第二转换关系，所述n表示待标定相机的个数，所述j表示第j个待标定相机，所述m表示每一标定板中标定点的个数，所述k表示第k个标定点，所述s表示每一待标定相机所采集的目标图像的图像数量，所述s表示所采集的第s个目标图像，所述x
iks
表示第i个待标定相机对应的标定板中第k个标定点在第s个目标图像中的图像坐标，所述x
jk
表示第j个待标定相机对应的标定板中第k个标定点的参考坐标。
[0063]
本技术的一个实施例中，所述目标关系获得模块，具体用于：
[0064]
针对第i个待标定相机、第j个待标定相机，按照以下公式计算所述第i个待标定相机相对所述第j个待标定相机的相机坐标系之间的目标转换关系
[0065][0066]
其中，所述表示第j个待标定相机的第二转换关系，所述表示第i个待标定相机的第二转换关系。
[0067]
第三方面，本技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
[0068]
存储器，用于存放计算机程序；
[0069]
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
[0070]
第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
[0071]
本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行
时，使得计算机执行上述任一所述的相机标定方法。
[0072]
本技术实施例有益效果：
[0073]
本技术实施例提供的相机标定方案中，可以首先利用参考相机标定得到多个标定板的标定板坐标系之间的第一转换关系，然后按照该第一转换关系，将各个标定板中标定点的坐标统一转换至同一参考标定板坐标系下，得到不同标定板中不同标定点在同一坐标系下的参考坐标，然后再针对不同的待标定相机，分别利用不同的标定板中标定点的参考坐标标定得到该待标定相机的相机坐标系相对标定板坐标系的第二转换关系，由于不同的标定板中标定点的参考坐标为同一参考标定板坐标系下的坐标，因此上述第二转换关系可以理解为：不同的待标定相机的相机坐标系相对同一参考标定板坐标系的转换关系。鉴于不同待标定相机的第二转换关系为基于同一参考标定板建立得到的，因此可以直接根据上述第二转关关系，计算得到任意两两待标定相机的相机坐标系之间的目标转换关系。由此可见，应用本技术实施例提供的方案，可以标定得到多个相机的相机坐标系之间的转换关系。
附图说明
[0074]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
[0075]
图1为本技术实施例提供的一种相机标定方法的流程示意图；
[0076]
图2为本技术实施例提供的另一种相机标定方法的流程示意图；
[0077]
图3为本技术实施例提供的一种参考转换关系获得方法的流程示意图；
[0078]
图4为本技术实施例提供的又一种相机标定方法的流程示意图；
[0079]
图5为本技术实施例提供的一种相机标定装置的结构示意图；
[0080]
图6为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0081]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本技术保护的范围。
[0082]
为了标定得到多个相机的相机坐标系之间的转换关系，本技术实施例提供了一种相机标定方法、装置、设备及介质，下面分别进行详细介绍。
[0083]
本技术实施例提供了一种相机标定方法，该方法可以应用于计算机、手机、服务器、平板电脑、nvr(network video recorder，网络视频录像机)等电子设备，该方法包括：
[0084]
针对多个标定板中的至少两个标定板，获得参考相机采集的包含至少两个标定板的参考图像，利用参考图像，获得参考相机的参考相机坐标系相对每一标定板的标定板坐标系的转换关系，利用所获得的转换关系计算至少两个标定板的标定板坐标系之间的第一转换关系，其中，多个标定板分别位于多个待标定相机的图像采集区域内；
[0085]
根据所计算的第一转换关系，确定各个标定板的标定板坐标系相对参考标定板的参考标定板坐标系的参考转换关系，利用参考转换关系，计算各个标定板中的各个标定点在参考标定板坐标系中的参考坐标，其中，参考标定板为多个标定板中的任一标定板；
[0086]
针对每一待标定相机，获得该待标定相机采集的目标标定板的目标图像，利用目标图像、及目标标定板中各个标定点的参考坐标，获得该待标定相机的相机坐标系相对参考标定板坐标系的第二转换关系，其中，目标标定板为：该待标定相机对应的标定板，每一待标定相机对应的标定板为：位于该待标定相机的图像采集区域内的标定板；
[0087]
针对任意两个待标定相机，利用所获得的该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0088]
上述实施例提供的相机标定方案中，可以首先利用参考相机标定得到多个标定板的标定板坐标系之间的第一转换关系，然后按照该第一转换关系，将各个标定板中标定点的坐标统一转换至同一参考标定板坐标系下，得到不同标定板中不同标定点在同一坐标系下的参考坐标，然后再针对不同的待标定相机，分别利用不同的标定板中标定点的参考坐标标定得到该待标定相机的相机坐标系相对标定板坐标系的第二转换关系，由于不同的标定板中标定点的参考坐标为同一参考标定板坐标系下的坐标，因此上述第二转换关系可以理解为：不同的待标定相机的相机坐标系相对同一参考标定板坐标系的转换关系。鉴于不同待标定相机的第二转换关系为基于同一参考标定板建立得到的，因此可以直接根据上述第二转关关系，计算得到任意两两待标定相机的相机坐标系之间的目标转换关系。由此可见，应用上述实施例提供的方案，可以标定得到多个相机的相机坐标系之间的转换关系。
[0089]
下面对上述相机标定方法进行详细介绍。
[0090]
参见图1，图1为本技术实施例提供的一种相机标定方法的流程示意图，该方法包括如下步骤s101-s104：
[0091]
s101，针对多个标定板中的至少两个标定板，获得参考相机采集的包含至少两个标定板的参考图像，利用参考图像，获得参考相机的参考相机坐标系相对每一标定板的标定板坐标系的转换关系，利用所获得的转换关系计算至少两个标定板的标定板坐标系之间的第一转换关系。
[0092]
其中，多个标定板分别位于多个待标定相机的图像采集区域内，每一标定板中包含多个标定点，上述标定板可以是棋盘格标定板等。
[0093]
参考相机为预先已标定内参的相机，上述内参指的是相机坐标系中的三维坐标与该相机采集的图像中的图像坐标之间的转换关系，参考相机的内参可以采用张氏标定法标定得到。
[0094]
每一标定板的标定板坐标系指的是：基于该标定板建立的三维坐标系，例如，可以是：以标定板的长边为x轴、短边为y轴、所在平面为z＝0建立的右手系坐标系。
[0095]
每一相机的坐标系指的是：基于该相机建立的三维坐标系，例如，可以是：以相机的光心为坐标原点、所采集图像的长边所在的方向为x轴、所采集图像的短边所在的方向为y轴、垂直于所采集图像的平面的方向为z轴建立的左手系坐标系、或右手系坐标系。
[0096]
具体的，针对多个标定板中的至少两个标定板，可以利用参考相机采集该至少两个标定板的图像，作为参考图像，然后针对其中任一标定板，基于预先获得的该参考相机的内参、该标定板中各个标定点在该标定板对应的标定板坐标系中的坐标、图像中该标定板
的各个标定点的图像坐标，可以计算得到该参考相机的参考相机坐标系相对该标定板的标定板坐标系的转换关系。也就是说，针对上述至少两个标定板中的每一标定板，均可以得到参考相机的参考相机坐标系相对各个标定板的标定板坐标系的转换关系。后续，可以利用上述转换关系，进一步计算各个标定板的标定板坐标系之间的转换关系，作为第一转换关系，直至遍历所有标定板。
[0097]
本技术的一个实施例中，在计算参考相机坐标系相对标定板坐标系之间的转换关系时，可以基于参考相机的内参、标定板中各个标定点在标定板坐标系中的坐标、图像中该标定板的各个标定点的图像坐标，利用pnp(perspective-n-point，n点透视)算法，计算得到上述参考相机的参考相机坐标系相对标定板的标定板坐标系的转换关系。除此之外，也可以利用其它算法标定得到，本技术实施例并不对此进行限定。
[0098]
本技术的一个实施例中，可以利用以下公式计算两个标定板的标定板坐标系之间的第一转换关系：
[0099][0100]
其中，表示第i个标定板与第i+1个标定板的标定板坐标系之间的第一转换关系，表示参考相机的参考相机坐标系相对第i个标定板的标定板坐标系的转换关系；表示参考相机的参考相机坐标系相对第i+1个标定板的标定板坐标系的转换关系。
[0101]
本技术的一个实施例中，标定板的数量可以与待标定相机的数量相同，也可以在保证每一待标定相机的图像采集范围内均包含至少一完整的标定板的基础上，控制标定板的数量少于待标定相机的数量，这种情况下，存在至少一标定板至少同时处于两个待标定相机的图像采集范围内。
[0102]
s102，根据所计算的第一转换关系，确定各个标定板的标定板坐标系相对参考标定板的参考标定板坐标系的参考转换关系，利用参考转换关系，计算各个标定板中的各个标定点在参考标定板坐标系中的参考坐标。
[0103]
其中，参考标定板为多个标定板中的任一标定板。
[0104]
具体的，可以从上述多个标定板中任选一标定板，作为参考标定板，针对除参考标定板之外的每一标定板，可以利用上述步骤s101中所获得的第一转换关系，计算该标定板的标定板坐标系相对上述参考标定板的参考标定板坐标系的转换关系，作为参考转换关系，然后利用该参考转换关系，对该标定板中各个标定点在标定板坐标系中的坐标进行转换，得到该标定板中各个标定点在上述参考标定板坐标系中的坐标，作为参考坐标。
[0105]
例如，假设存在4个标定板，上述步骤s101中获得的第一转换关系中包括：第一标定板的标定板坐标系f1与第二标定板的标定板坐标系f2之间的转换关系q1、第二标定板的标定板坐标系f2与第三标定板的标定板坐标系f3之间的转换关系q2、第三标定板的标定板坐标系f3与第四标定板的标定板坐标系f4之间的转换关系q3，选择第一标定板为参考标定板，标定板坐标系f1为参考标定板坐标系；
[0106]
针对第二标定板，可以将该第二标定板中标定点在标定板坐标系f2中的坐标与上述转换关系q1相乘，得到第二标定板中标定点在参考标定板坐标系f1中的坐标；
[0107]
针对第三标定板，可以计算q1*q2，作为标定板坐标系f1与标定板坐标系f3之间的转换关系，将该第三标定板中标定点在标定板坐标系f3中的坐标与上述转换关系q1*q2相
乘，得到第三标定板中标定点在参考标定板坐标系f1中的坐标；
[0108]
针对第四标定板，可以计算q1*q2*q3，作为标定板坐标系f1与标定板坐标系f4之间的转换关系，将该第四标定板中标定点在标定板坐标系f4中的坐标与上述转换关系q1*q2*q3相乘，得到第四标定板中标定点在参考标定板坐标系f1中的坐标。
[0109]
本技术的一个实施例中，可以保持各个标定板的位置固定，以保证各个标定板的相对位置关系不变。这种情况下，在得到各个标定板中的各个标定点在参考标定板坐标系中的参考坐标后，可以对上述参考坐标进行存储，以便于后续重复使用上述参考坐标，从而在后续进行相机标定时，无需重复计算各个标定板中的各个标定点在参考标定板坐标系中的参考坐标，节省计算资源，提高相机标定效率。
[0110]
s103，针对每一待标定相机，获得该待标定相机采集的目标标定板的目标图像，利用目标图像、及目标标定板中各个标定点的参考坐标，获得该待标定相机的相机坐标系相对参考标定板坐标系的第二转换关系。
[0111]
其中，目标标定板为：该待标定相机对应的标定板，每一待标定相机对应的标定板为：位于该待标定相机的图像采集区域内的标定板。
[0112]
每一待标定相机的内参已预先标定得到，上述内参指的是待标定相机的相机坐标系中的三维坐标与该待标定相机采集的图像中的图像坐标之间的转换关系，待标定相机的内参可以采用张氏标定法标定得到。
[0113]
具体的，针对每一待标定相机，可以将位于该待标定相机的图像采集区域内的一标定板作为目标标定板，利用该待标定相机采集上述目标标定板的图像，作为目标图像，然后检测图像中目标标定板上各个标定点的图像坐标，利用上述图像坐标、目标标定板中各个标定点的参考坐标、以及待标定相机的内参，可以计算得到该待标定相机的相机坐标系相对该目标标定板的标定板坐标系的转换关系，由于上述参考坐标为目标标定板中各个标定点在参考标定板坐标系中的坐标，因此上述转换关系为：待标定相机的相机坐标系相对参考标定板坐标系的目标转换关系。
[0114]
本技术的一个实施例中，在计算待标定相机的相机坐标系相对参考标定板坐标系之间的目标转换关系时，可以基于待标定相机的内参、目标标定板中各个标定点在参考标定板坐标系中的参考坐标、图像中该目标标定板的各个标定点的图像坐标，利用pnp算法，计算得到上述待标定相机的相机坐标系相对参考标定板坐标系的转换关系。除此之外，也可以利用其它算法标定得到，本技术实施例并不对此进行限定。
[0115]
s104，针对任意两个待标定相机，利用所获得的该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0116]
具体的，两两待标定相机之间，可以利用该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0117]
本技术的一个实施例中，针对第i个待标定相机、第j个待标定相机，可以按照以下公式计算第i个待标定相机相对第j个待标定相机的相机坐标系之间的目标转换关系
[0118][0119]
其中，表示第j个待标定相机的第二转换关系，表示第i个待标定相机的第二转换关系。
[0120]
本技术的一个实施例中，可以对各个待标定相机的第二转换关系进行优化；针对任意两个待标定相机，利用该两个待标定相机优化后的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0121]
具体的，上述步骤s103中所获得的各个待标定相机的第二转换关系可能存在误差，为了提高相机标定的准确度，可以首先利用预设的优化算法对各个待标定相机的第二转换关系进行优化，然后再基于优化后的第二转换关系，计算两两待标定相机的相机坐标系之间的目标转换关系。
[0122]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；在此基础上，可以按照以下公式对各个待标定相机的第二转换关系进行优化：
[0123][0124][0125]
其中，所述表示第j个待标定相机的第二转换关系，所述s表示优化后的第j个待标定相机的第二转换关系，所述n表示待标定相机的个数，所述j表示第j个待标定相机，所述m表示每一标定板中标定点的个数，所述k表示第k个标定点，所述s表示每一待标定相机所采集的目标图像的图像数量，所述s表示所采集的第s个目标图像，所述x
iks
表示第i个待标定相机对应的标定板中第k个标定点在第s个目标图像中的图像坐标，所述x
jk
表示第j个待标定相机对应的标定板中第k个标定点的参考坐标。
[0126]
上述实施例提供的相机标定方案中，可以首先利用参考相机标定得到多个标定板的标定板坐标系之间的第一转换关系，然后按照该第一转换关系，将各个标定板中标定点的坐标统一转换至同一参考标定板坐标系下，得到不同标定板中不同标定点在同一坐标系下的参考坐标，然后再针对不同的待标定相机，分别利用不同的标定板中标定点的参考坐标标定得到该待标定相机的相机坐标系相对标定板坐标系的第二转换关系，由于不同的标定板中标定点的参考坐标为同一参考标定板坐标系下的坐标，因此上述第二转换关系可以理解为：不同的待标定相机的相机坐标系相对同一参考标定板坐标系的转换关系。鉴于不同待标定相机的第二转换关系为基于同一参考标定板建立得到的，因此可以直接根据上述第二转关关系，计算得到任意两两待标定相机的相机坐标系之间的目标转换关系。由此可见，应用上述实施例提供的方案，可以标定得到多个相机的相机坐标系之间的转换关系。
[0127]
参见图2，图2为本技术实施例提供的另一种相机标定方法的流程示意图，对于上述步骤s101在获得第一转换关系时，可以包括如下步骤s1011-s1012：
[0128]
s1011，针对多个标定板中的第一标定板、第二标定板，获得参考相机采集的包含第一标定板、第二标定板的参考图像，利用参考图像，获得参考相机的参考相机坐标系相对第一标定板的第一标定板坐标系的转换关系、参考相机坐标系相对第二标定板的第二标定板坐标系的转换关系，利用所获得的转换关系计算第二标定板坐标系相对第一标定板坐标系之间的第一转换关系。
[0129]
具体的，可以从多个标定板中选择两个标定板，分别作为第一标定板、第二标定
板，该第一标定板、第二标定板可以是距离相近的标定板，也可以是朝向相同的标定板等，以使得该第一标定板、第二标定板均处于参考相机的图像采集范围内。
[0130]
可以利用参考相机采集该同时包含上述第一标定板、第二标定板的图像，作为参考图像，然后针对第一标定板，基于该参考相机的内参、该第一标定板中各个标定点在该第一标定板对应的第一标定板坐标系中的坐标、图像中该第一标定板的各个标定点的图像坐标，可以计算得到该参考相机的参考相机坐标系相对该第一标定板坐标系的转换关系g1；并且，针对第二标定板，基于该参考相机的内参、该第二标定板中各个标定点在该第二标定板对应的第二标定板坐标系中的坐标、图像中该第二标定板的各个标定点的图像坐标，可以计算得到该参考相机的参考相机坐标系相对该第二标定板坐标系的转换关系g2。后续可以利用上述转换关系g1、g2，进一步计算第一标定板坐标系、第二标定板坐标系之间的第一转换关系。
[0131]
s1012，将第二标定板作为第一标定板、任一未获得第一转换关系的标定板作为第二标定板，返回步骤s1011，直至遍历所有标定板。
[0132]
具体的，在获得第一标定板坐标系、第二标定板坐标系之间的第一转换关系后，可以将第二标定板作为新的第一标定板，然后从尚未获得第一转换关系的标定板中选择一标定板，作为新的第二标定板，所选择的标定板可以是与新的第一标定板相邻的、或朝向相同的标定板，然后返回上述步骤s1011，得到新的第一标定板对应的第一标定板坐标系、新的第二标定板对应的第二标定板坐标系之间的第一转换关系，直至遍历所有标定板，最终得到两两标定板之间标定板坐标系的第一转换关系。
[0133]
在上述方案的基础上，本技术实施例对于上述步骤s102在获得参考转换关系时，提供了一种参考转换关系获得方法，下面进行详细介绍。
[0134]
参见图3，图3为本技术实施例提供的一种参考转换关系获得方法的流程示意图，包括如下步骤s301-s303：
[0135]
s301，获得参考相机采集的包含参考标定板、第三标定板的参考图像，利用参考图像，获得参考相机坐标系相对参考标定板的参考标定板坐标系的转换关系、参考相机坐标系相对第三标定板的第三标定板坐标系的转换关系，利用所获得的转换关系计算第三标定板坐标系相对参考标定板坐标系之间的辅助转换关系。
[0136]
其中，第三标定板为：最后确定的第二标定板，参考标定板为初始的第一标定板。
[0137]
具体的，可以将最后一第二标定板作为第三标定板，将最初的第一标定板作为参考标定板，在按照上述步骤s1011-s1012遍历各个标定板后，再次利用参考相机采集上述参考标定板、第三标定板的图像，作为参考图像，然后利用该参考图像，得到第三标定板坐标系相对参考标定板坐标系之间的转换关系，作为辅助转换关系。
[0138]
s302，利用辅助转换关系对各个第一转换关系进行校正。
[0139]
具体的，理论上而言，利用两两标定板之间标定板坐标系的第一转换关系，可以计算得到参考标定板坐标系与第三标定板坐标系之间的转换关系，该转换关系与上述辅助转换关心一致，而由于计算误差等原因，可能导致计算得到的转换关系与上述辅助转换关系之间存在差异，可以基于上述差异，对各个第一转换关系进行校正，以提高第一转换关系的准确度。
[0140]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不
同标定板，在此基础上，可以以降低损失为原则，利用辅助转换关系对各个第一转换关系进行校正，其中，损失的计算方式为：
[0141][0142]
其中，上述objectionf表示损失，表示辅助转换关系，表示：第i个待标定相机对应的标定板的标定板坐标系相对第i-1个待标定相机对应的标定板的标定板坐标系之间的第一转换关系，n表示所有待标定相机的个数，i表示第i个待标定相机对应的标定板。
[0143]
s303，利用校正后的各个第一转换关系，确定各个标定板的标定板坐标系相对参考标定板坐标系的参考转换关系。
[0144]
具体的，在得到校正后的各个第一转换关系后，可以基于上述校正后的标定板的标定板坐标系，计算各个标定板对应的参考转换关系。
[0145]
参见图4，图4为本技术实施例提供的又一种相机标定方法的流程示意图，该方法包括如下步骤s401-s409：
[0146]
s401，针对多个标定板中的第一标定板、第二标定板，获得参考相机采集的包含第一标定板、第二标定板的参考图像，利用参考图像，获得参考相机的参考相机坐标系相对第一标定板的第一标定板坐标系的转换关系、参考相机坐标系相对第二标定板的第二标定板坐标系的转换关系，利用所获得的转换关系计算第二标定板坐标系相对第一标定板坐标系之间的第一转换关系。
[0147]
其中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板。
[0148]
s402，将第二标定板作为第一标定板、任一未获得第一转换关系的标定板作为第二标定板，返回步骤s401，直至遍历所有标定板。
[0149]
s403，获得参考相机采集的包含参考标定板、第三标定板的参考图像，利用参考图像，获得参考相机坐标系相对参考标定板的参考标定板坐标系的转换关系、参考相机坐标系相对第三标定板的第三标定板坐标系的转换关系，利用所获得的转换关系计算第三标定板坐标系相对参考标定板坐标系之间的辅助转换关系。
[0150]
其中，第三标定板为：最后确定的第二标定板，参考标定板为初始的第一标定板。
[0151]
s404，利用辅助转换关系对各个第一转换关系进行校正。
[0152]
s405，利用校正后的各个第一转换关系，确定各个标定板的标定板坐标系相对参考标定板坐标系的参考转换关系。
[0153]
s406，利用参考转换关系，计算各个标定板中的各个标定点在参考标定板坐标系中的参考坐标。
[0154]
s407，针对每一待标定相机，获得该待标定相机采集的目标标定板的目标图像，利用目标图像、及目标标定板中各个标定点的参考坐标，获得该待标定相机的相机坐标系相对参考标定板坐标系的第二转换关系。
[0155]
其中，目标标定板为：该待标定相机对应的标定板，每一待标定相机对应的标定板为：位于该待标定相机的图像采集区域内的标定板。
[0156]
s408，对各个待标定相机的第二转换关系进行优化。
[0157]
s409，针对任意两个待标定相机，利用该两个待标定相机优化后的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0158]
上述实施例提供的相机标定方案中，可以首先利用参考相机标定得到多个标定板的标定板坐标系之间的第一转换关系，然后按照该第一转换关系，将各个标定板中标定点的坐标统一转换至同一参考标定板坐标系下，得到不同标定板中不同标定点在同一坐标系下的参考坐标，然后再针对不同的待标定相机，分别利用不同的标定板中标定点的参考坐标标定得到该待标定相机的相机坐标系相对标定板坐标系的第二转换关系，由于不同的标定板中标定点的参考坐标为同一参考标定板坐标系下的坐标，因此上述第二转换关系可以理解为：不同的待标定相机的相机坐标系相对同一参考标定板坐标系的转换关系。鉴于不同待标定相机的第二转换关系为基于同一参考标定板建立得到的，因此可以直接根据上述第二转关关系，计算得到任意两两待标定相机的相机坐标系之间的目标转换关系。由此可见，应用上述实施例提供的方案，可以标定得到多个相机的相机坐标系之间的转换关系。
[0159]
与上述相机标定方法相对应地，本技术实施例还提供了一种相机标定装置，下面进行详细介绍。
[0160]
参见图5，图5为本技术实施例提供的一种相机标定装置的结构示意图，所述装置包括：
[0161]
第一关系获得模块501，用于针对多个标定板中的至少两个标定板，获得参考相机采集的包含所述至少两个标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对每一标定板的标定板坐标系的转换关系，利用所获得的转换关系计算所述至少两个标定板的标定板坐标系之间的第一转换关系，其中，所述多个标定板分别位于多个待标定相机的图像采集区域内；
[0162]
参考坐标获得模块502，用于根据所计算的第一转换关系，确定各个标定板的标定板坐标系相对参考标定板的参考标定板坐标系的参考转换关系，利用所述参考转换关系，计算各个标定板中的各个标定点在所述参考标定板坐标系中的参考坐标，其中，所述参考标定板为所述多个标定板中的任一标定板；
[0163]
第二关系获得模块503，用于针对每一待标定相机，获得该待标定相机采集的目标标定板的目标图像，利用所述目标图像、及所述目标标定板中各个标定点的参考坐标，获得该待标定相机的相机坐标系相对所述参考标定板坐标系的第二转换关系，其中，所述目标标定板为：该待标定相机对应的标定板，每一待标定相机对应的标定板为：位于该待标定相机的图像采集区域内的标定板；
[0164]
目标关系获得模块504，用于针对任意两个待标定相机，利用所获得的该两个待标定相机的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0165]
本技术的一个实施例中，所述第一关系获得模块501，包括：
[0166]
第一关系获得单元，用于针对多个标定板中的第一标定板、第二标定板，获得所述参考相机采集的包含所述第一标定板、第二标定板的参考图像，利用所述参考图像，获得所述参考相机的参考相机坐标系相对所述第一标定板的第一标定板坐标系的转换关系、所述参考相机坐标系相对所述第二标定板的第二标定板坐标系的转换关系，利用所获得的转换关系计算所述第二标定板坐标系相对所述第一标定板坐标系之间的第一转换关系；
[0167]
标定板遍历单元，用于将所述第二标定板作为第一标定板、任一未获得所述第一
转换关系的标定板作为第二标定板，返回所述针对多个标定板中的第一标定板、第二标定板、获得所述参考相机采集的包含所述第一标定板、第二标定板的参考图像的步骤，直至遍历所有标定板。
[0168]
本技术的一个实施例中，所述参考坐标获得模块502，包括：
[0169]
辅助关系获得单元，用于获得所述参考相机采集的包含参考标定板、第三标定板的参考图像，利用所述参考图像，获得所述参考相机坐标系相对所述参考标定板的参考标定板坐标系的转换关系、所述参考相机坐标系相对所述第三标定板的第三标定板坐标系的转换关系，利用所获得的转换关系计算所述第三标定板坐标系相对所述参考标定板坐标系之间的辅助转换关系，其中，所述第三标定板为：最后确定的第二标定板，所述参考标定板为初始的第一标定板；
[0170]
关系校正单元，用于利用所述辅助转换关系对各个第一转换关系进行校正；
[0171]
参考关系获得单元，用于利用校正后的各个第一转换关系，确定各个标定板的标定板坐标系相对所述参考标定板坐标系的参考转换关系；
[0172]
参考坐标获得单元，用于利用所述参考转换关系，计算各个标定板中的各个标定点在所述参考标定板坐标系中的参考坐标。
[0173]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；
[0174]
所述关系校正单元，具体用于：
[0175]
以降低损失为原则，利用所述辅助转换关系对各个第一转换关系进行校正，其中，所述损失的计算方式为：
[0176][0177]
所述objectionf表示所述损失，所述表示所述辅助转换关系，所述表示：第i个待标定相机对应的标定板的标定板坐标系相对第i-1个待标定相机对应的标定板的标定板坐标系之间的第一转换关系，所述n表示所有待标定相机的个数，所述i表示第i个待标定相机对应的标定板，所述表示所述变换至对应的李代数的映射，所述表示所述变换至对应的李代数的映射。
[0178]
本技术的一个实施例中，所述目标关系获得模块504，包括：
[0179]
关系优化单元，用于对各个待标定相机的第二转换关系进行优化；
[0180]
目标关系获得单元，用于针对任意两个待标定相机，利用该两个待标定相机优化后的第二转换关系，计算该两个待标定相机的相机坐标系之间的目标转换关系。
[0181]
本技术的一个实施例中，每一待标定相机对应一标定板，不同待标定相机对应不同标定板；
[0182]
所述关系优化单元，具体用于：
[0183]
按照以下公式对各个待标定相机的第二转换关系进行优化：
[0184][0185][0186]
其中，所述表示第j个待标定相机的第二转换关系，所述s表示优化后的第j个待标定相机的第二转换关系，所述n表示待标定相机的个数，所述j表示第j个待标定相机，所述m表示每一标定板中标定点的个数，所述k表示第k个标定点，所述s表示每一待标定相机所采集的目标图像的图像数量，所述s表示所采集的第s个目标图像，所述x
iks
表示第i个待标定相机对应的标定板中第k个标定点在第s个目标图像中的图像坐标，所述x
jk
表示第j个待标定相机对应的标定板中第k个标定点的参考坐标。
[0187]
本技术的一个实施例中，所述目标关系获得模块504，具体用于：
[0188]
针对第i个待标定相机、第j个待标定相机，按照以下公式计算所述第i个待标定相机相对所述第j个待标定相机的相机坐标系之间的目标转换关系
[0189][0190]
其中，所述表示第j个待标定相机的第二转换关系，所述表示第i个待标定相机的第二转换关系。
[0191]
上述实施例提供的相机标定方案中，可以首先利用参考相机标定得到多个标定板的标定板坐标系之间的第一转换关系，然后按照该第一转换关系，将各个标定板中标定点的坐标统一转换至同一参考标定板坐标系下，得到不同标定板中不同标定点在同一坐标系下的参考坐标，然后再针对不同的待标定相机，分别利用不同的标定板中标定点的参考坐标标定得到该待标定相机的相机坐标系相对标定板坐标系的第二转换关系，由于不同的标定板中标定点的参考坐标为同一参考标定板坐标系下的坐标，因此上述第二转换关系可以理解为：不同的待标定相机的相机坐标系相对同一参考标定板坐标系的转换关系。鉴于不同待标定相机的第二转换关系为基于同一参考标定板建立得到的，因此可以直接根据上述第二转关关系，计算得到任意两两待标定相机的相机坐标系之间的目标转换关系。由此可见，应用上述实施例提供的方案，可以标定得到多个相机的相机坐标系之间的转换关系。
[0192]
本技术实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
[0193]
存储器603，用于存放计算机程序；
[0194]
处理器601，用于执行存储器603上所存放的程序时，实现相机标定方法步骤。
[0195]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0196]
通信接口用于上述电子设备与其他设备之间的通信。
[0197]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0198]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0199]
在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一相机标定方法的步骤。
[0200]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一相机标定方法。
[0201]
上述实施例提供的相机标定方案中，可以首先利用参考相机标定得到多个标定板的标定板坐标系之间的第一转换关系，然后按照该第一转换关系，将各个标定板中标定点的坐标统一转换至同一参考标定板坐标系下，得到不同标定板中不同标定点在同一坐标系下的参考坐标，然后再针对不同的待标定相机，分别利用不同的标定板中标定点的参考坐标标定得到该待标定相机的相机坐标系相对标定板坐标系的第二转换关系，由于不同的标定板中标定点的参考坐标为同一参考标定板坐标系下的坐标，因此上述第二转换关系可以理解为：不同的待标定相机的相机坐标系相对同一参考标定板坐标系的转换关系。鉴于不同待标定相机的第二转换关系为基于同一参考标定板建立得到的，因此可以直接根据上述第二转关关系，计算得到任意两两待标定相机的相机坐标系之间的目标转换关系。由此可见，应用上述实施例提供的方案，可以标定得到多个相机的相机坐标系之间的转换关系。
[0202]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0203]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0204]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0205]
以上所述仅为本技术的较佳实施例，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。