相机外参标定方法、装置、设备及存储介质与流程

本技术实施例涉及自动驾驶，尤其涉及一种相机外参标定方法、装置、设备及存储介质。

背景技术：

1、随着无人驾驶技术的不断发展，车辆行驶环境越发开放、复杂，为保证车辆行驶安全，需要对车辆所在环境进行持续检测。在环境检测方面，激光雷达或相机等单一传感器数据很难满足需求。因此相关技术中，通常会使用多传感器数据融合算法，以发挥各传感器的长处，应对复杂场景的感知需求。在多传感器数据融合处理中，需要首先保证相机与其他传感器得到的数据所对应的坐标系相统一。由此，需要对相机中用于转换不同坐标系间数据的外参矩阵进行标定，即外参标定。

2、由于无人驾驶车辆体积较大，相关技术中的外参标定方法通常会使用棋盘格标定板进行标定。但由于激光雷达测量得到点云数据的稀疏分布不均，容易出现扫描到棋盘格的某条边上的点很少的情况，导致标定板拟合误差较大，标定精度不足，导致车辆对环境检测的准确性不足和可靠性的问题。

技术实现思路

1、本技术实施例提供了一种相机外参标定方法、装置、设备及存储介质，以解决自动驾驶车辆对环境检测的准确性不足和可靠性的问题。

2、第一方面，本技术提供了一种相机外参标定方法，相机外参标定方法包括：

3、基于第一传感器检测到的设定标定板的点云数据，确定第一传感器对应的设定标定板的第一特征，设定标定板为二维码标定板，第一特征包括第一法向量和第一中心点；

4、确定待标定相机基于设定标定板得到的第二特征，第二特征包括第二法向量和第二中心点；

5、基于特征约束方程、第一特征和第二特征，得到待标定相机对应的外参矩阵。

6、可见，通过基于第一传感器检测到的设定标定板的点云数据，确定第一传感器对应的设定标定板的第一特征，并确定待标定相机基于设定标定板得到的第二特征，然后基于特征约束方程、第一特征和第二特征，得到待标定相机对应的外参矩阵。由此，可以利用与待标定相机不同种类的传感器得到的标定板特征，对待标定相机进行外参标定，通过使用包含二维码的平板作为标定板进行标定，不需要对标定板进行加厚、镂空等复杂加工，节省成本，同时通过相机精准检测二维码，保证相机测量得到的第二特征的精度，进而保证外参矩阵的精准度，从而保证自动驾驶车辆环境检测的准确性和可靠性。

7、可选地，第一传感器为激光传感器。

8、可见，通过将激光传感器作为与待标定相机配合的第一传感器，利用设定标定板为二维码标定板时，结构简单的特点，方便激光检测，保证第一传感器得到的第一特征的精度和可靠性，进而保证标定得到的外参矩阵的精准度。

9、可选地，基于特征约束方程、第一特征和第二特征，得到待标定相机对应的外参矩阵，包括：获取设定组数的第一特征和第二特征；将设定组数的第一特征和第二特征代入特征约束方程，将第一传感器和待标定相机的方向一致性、方向匹配度和距离匹配度最优化时的参数矩阵，确定外参矩阵。

10、可见，通过以第一传感器与待标定相机的方向一致性、方向匹配度和距离匹配度为指标，进行优化，确保得到的外参矩阵能够保证待标定相机和第一传感器检测的结果能在这些指标上最优，进而保证相机与第一传感器坐标系的最大限度统一，从而保证自动驾驶车辆对环境检测的准确性和可靠性。

11、可选地，特征约束方程，包括：

12、

13、t(r,t)＝argmint(r,t)(ed+er+et)；

14、其中，ed为方向一致性指标，er为方向匹配度指标，et为距离匹配度指标，m为设定组数，t(r,t)为外参矩阵，r为外参矩阵中的旋转矩阵，t为外参矩阵中的平移矩阵，ol为第一中心点的坐标，nl为第一法向量，oc为第二中心点的坐标，nc为第二法向量。

15、可见，由于方向一致性、方向匹配度和距离匹配度三个指标均为之和均为非负数值，当其和最小时，也即是第一传感器得到的第一特征与待标定相机得到的第二特征的三个指标最优之时，由此，可以保证外参矩阵将第二特征迁移至第一特征同一坐标系下，实现坐标系的最大限度统一，从而保证自动驾驶车辆对环境检测的准确性和可靠性。

16、可选地，基于第一传感器检测到的设定标定板的点云数据，确定第一传感器对应的设定标定板的第一特征，包括：基于点云数据，确定设定标定板所在平面的平面方程和平面对应的第一法向量；基于平面方程，确定点云数据中的边缘点；基于边缘点，确定设定标定板中的第一中心点。

17、可见，通过点云数据确定设定标定板的平面方程和第一方向量，并找出边缘点，然后基于边缘点确定中心点，由此，能够方便的通过点云数据确定设定标定板的第一特征，以便结合第二特征，对待标定相机的进行外参标定。且计算量小，计算效率高，结构准确性强。

18、可选地，基于平面方程，确定点云数据中的边缘点，包括：将点云数据投影到设定标定板所在平面，得到投影点点云；将投影点点云中与相邻的两个投影点的不同相同的投影点确定为边缘点，并确定边缘点的坐标。

19、可见，通过将点云数据投影到设定标定板所在平面，使所有投影点位于同一平面，此时原本位于同一平面的点对应的投影点的相对位置会保持不变，而非同一平面的点对应的投影点的相对位置就会出现变化，由此，可以将方便地将边缘点和非边缘点区分开，快速识别边缘点，以据此确定第一特征。

20、可选地，设定标定板为圆形标定板，圆形标定板中包含二维码；基于边缘点，确定设定标定板中的第一中心点，包括：确定到所有边缘点的距离相同且位于设定标定板所在平面的目标点；将目标点确定为第一中心点。

21、可见，通过将设定标定板设置为圆形，从而可以方便地根据设定标定板的所有边缘点构成的圆形的圆心，直接确定目标点，进而确定第一中心点，减小第一中心点计算难度，提高计算效率，以便据此确定第一特征。

22、可选地，确定待标定相机基于设定标定板得到的第二特征，包括：根据设定标定板的种类，确定对应的定位算法；基于定位算法和待标定相机采集到的图像数据，确定第二特征。

23、可见，通过根据设定标定板种类确定对应的相机定位算法，可以利用现有的相机定位算法，快速获取所述第二特征，处理方便，且与设定标定板的种类相适应，保证相机测量结果的准确性。

24、第二方面，本技术提供了一种相机外参标定装置，该相机外参标定装置包括：

25、第一检测模块，用于基于第一传感器检测到的设定标定板的点云数据，确定所述第一传感器对应的所述设定标定板的第一特征；

26、第二检测模块，用于确定待标定相机基于所述设定标定板得到的第二特征，所述第二特征包括第二法向量和第二中心点；

27、处理模块，用于基于特征约束方程、所述第一特征和所述第二特征，得到所述待标定相机对应的外参矩阵。

28、可选地，第一检测模块具体包括，第一传感器为激光传感器。

29、可选地，处理模块具体用于，获取设定组数的第一特征和第二特征；将设定组数的第一特征和第二特征代入特征约束方程，将第一传感器和待标定相机的方向一致性、方向匹配度和距离匹配度最优化时的参数矩阵，确定外参矩阵。

30、可选地，处理模块具体包括，特征约束方程，包括：

31、

32、t(r,t)＝argmint(r,t)(ed+er+et)；

33、其中，ed为方向一致性指标，er为方向匹配度指标，et为距离匹配度指标，m为设定组数，t(r,t)为外参矩阵，r为外参矩阵中的旋转矩阵，t为外参矩阵中的平移矩阵，ol为第一中心点的坐标，nl为第一法向量，oc为第二中心点的坐标，nc为第二法向量。

34、可选地，第一检测模块具体用于，基于点云数据，确定设定标定板所在平面的平面方程和平面对应的第一法向量；基于平面方程，确定点云数据中的边缘点；基于边缘点，确定设定标定板中的第一中心点。

35、可选地，第一检测模块具体用于，将点云数据投影到设定标定板所在平面，得到投影点点云；将投影点点云中与相邻的两个投影点的不同相同的投影点确定为边缘点，并确定边缘点的坐标。

36、可选地，第一检测模块具体用于，若设定标定板为圆形标定板，圆形标定板中包含二维码，确定到所有边缘点的距离相同且位于设定标定板所在平面的目标点；将目标点确定为第一中心点。

37、可选地，第二检测模块具体用于，根据设定标定板的种类，确定对应的定位算法；基于定位算法和待标定相机采集到的图像数据，确定第二特征。

38、第三方面，本技术还提供了一种控制设备，该控制设备包括：

39、至少一个处理器；

40、以及与至少一个处理器通信连接的存储器；

41、其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使控制设备执行如本技术第一方面中任一实施例对应的相机外参标定方法。

42、第四方面，本技术还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如本技术第一方面任一的相机外参标定方法。

43、第五方面，本技术还提供了一种计算机程序产品，该程序产品包含计算机执行指令，计算机执行指令被处理器执行时用于实现如本技术第一方面对应的任一实施例的相机外参标定方法。