一种鱼眼镜头外参的标定方法与流程

本技术涉及机器视觉领域，尤其涉及一种鱼眼镜头外参的标定方法。

背景技术：

1、智能车辆在使用辅助驾驶或自动驾驶时，需要通过车载感知传感器如相机、超声、鱼眼镜头等对周围环境进行观测，以此来确保后续辅助驾驶功能可以精准的完成。较差的感知结果会导致智能车辆对周围环境评估不准确，严重的甚至会导致事故的发生。因此需要对于车载的感知传感器进行合理的标定以获得对周围环境准确的感知结果。

2、标定是指利用标准器具对传感器进行标度的过程。传感器在经过一段时间使用后，需要对其进行复测，以检测传感器的基本性能是否发生变化，判断它是否可以继续使用。如果传感器的某些指标发生了变化，应对其进行修正或重新标定。

3、车载鱼眼镜头是安装在车体上的广角镜头。每辆车出厂时都需要针对鱼眼镜头的外参进行单独的标定，标定结果的精度和准确性直接影响后续智能辅助驾驶或自动驾驶的效果。如何对鱼眼镜头外参进行标定，能够满足方便且不依赖复杂环境的需求是亟需解决的问题。

技术实现思路

1、为了解决上述的问题，本技术的实施例提供了一种鱼眼镜头外参的标定方法，用于标定安装于车体上的多个鱼眼镜头的外参，所述多个鱼眼镜头分别设置于车体的前、后、左、右部位，所述方法包括：根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系；所述多个棋盘格标定板平放于车体的左前、左后、右前、右后四个角点的地面上；根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参；所述第一、第二车轮靶标分别紧贴所述车体的左、右后轮两侧平放。以此，只需使用标定板和车轮靶标就可以进行外参标定，抛弃常见方法中固定使用的车轮固定器等固定车辆位置的方法解决鱼眼镜头由于安装的问题出现与初始位置发生偏移时的外参标定问题，标定空间容易获得，能够满足智能车辆在后续使用中随时周期性标定鱼眼镜头的要求，利于标定的推广赋能同时降低成本，满足随时随地快速进行车辆的鱼眼镜头外参标定的需求。

2、在一个可以实现的实施方式中，所述多个鱼眼镜头中的第一鱼眼镜头设置于车体的前、后、左、右部位之一，第二鱼眼镜头设置于车体的前、后、左、右部位之一，与所述第一鱼眼镜头相邻，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系，包括：获得所述第一鱼眼镜头拍摄的第一图像，根据所述第一图像上的第一棋盘格标定板确定第一鱼眼镜头坐标系；所述第一棋盘格标定板为所述多个棋盘格标定板之一；获得所述第二鱼眼镜头拍摄的第二图像，根据所述第二图像上的第一棋盘格标定板确定所述第二鱼眼镜头坐标系；根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一转换关系，所述第一转换关系为所述第一鱼眼镜头坐标系与所述第二鱼眼镜头坐标系之间的转换关系。以此，利用同一个棋盘格标定板确定两个相邻鱼眼镜头坐标系之间的转换关系，实现双目标定，标定空间设置简单便捷，利于推广、标定成本低。

3、在一个可以实现的实施方式中，所述根据所述第一图像的第一棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，确定第一转换关系，包括：根据所述第一图像的棋盘格标定板和第二图像的第一棋盘格标定板中多对相同位置点的坐标，计算所述第一鱼眼镜头坐标系与所述第二鱼眼镜头坐标系之间的旋转矩阵和平移变换矩阵，确定第一转换关系。以此，可以实现双目标定，得到相邻的第一与第二鱼眼镜头坐标系之间的位置关系。

4、在一个可以实现的实施方式中，所述多个鱼眼镜头中的第三鱼眼镜头，设置于车体的前、后、左、右部位之一，与所述第一鱼眼镜头相邻，与所述第二鱼眼镜头相对，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定多个鱼眼镜头坐标系之间的转换关系，包括：获得所述第一鱼眼镜头拍摄的第三图像，所述第三图像为包括第三棋盘格标定板的图像；所述第三棋盘格标定板为所述多个棋盘格标定板之一；获得所述第三鱼眼镜头拍摄的第四图像，根据所述第四图像上的所述第三棋盘格标定板确定所述第三鱼眼镜头坐标系；根据所述第三图像和第四图像中所述第三棋盘格标定板上多对相同位置点的坐标，确定第二转换关系，所述第二转换关系为所述第三鱼眼镜头坐标系与所述第一鱼眼镜头坐标系之间的转换关系；根据所述第二转换关系和所述第一转换关系确定第三转换关系，所述第三转换关系为所述第三鱼眼镜头坐标系和所述第二鱼眼镜头坐标系之间的转换关系。以此，可以根据两个相邻鱼眼镜头坐标系之间的转换关系和两个相邻鱼眼镜头各自图像上的同一个棋盘格标定板的相同位置点的坐标，通过双目标定的方法确定拍摄的视图区域不重合的两个鱼眼镜头坐标系之间的转换关系。

5、在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头坐标系之间的转换关系和第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定所述多个鱼眼镜头中每一个鱼眼镜头的外参，包括：根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，所述第五转换关系为所述多个鱼眼镜头坐标系中每一个鱼眼镜头坐标系和对应的棋盘格标定板坐标系之间的转换关系；所述棋盘格标定板坐标系为由所述棋盘格标定板确定的坐标系；根据所述多个鱼眼镜头坐标系之间的转换关系和所述第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定第六转换关系，所述第六转换关系为车体平面坐标系与多个所述棋盘格标定板坐标系之间的转换关系；所述车体平面坐标系为以车体的左、右后轮中心点为圆心，所述第二车轮靶标到第一车轮靶标方向为y轴正方向，车前方向为x轴正方向的坐标系；根据所述第五转换关系和所述第六转换关系，确定第七转换关系，所述第七转换关系为所述每一个鱼眼镜头坐标系与所述车体平面坐标系之间的转换关系；根据所述第七转换关系确定所述多个鱼眼镜头中每一个鱼眼镜头的外参。以此，在获得的鱼眼镜头坐标系两两之间转换关系后，可以使用车轮靶标确定车后轮位置在鱼眼镜头坐标系中的坐标，从而确定车体平面坐标系和鱼眼镜头镜坐标系之间的转换关系，得到鱼眼镜头的外参。

6、在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头拍摄的多个棋盘格标定板的图像确定第五转换关系，包括：获得所述多个鱼眼镜头中每一个鱼眼镜头拍摄的第五图像，所述第五图像为包括所述多个棋盘格标定板中的一个棋盘格标定板的图像；根据所述第五图像和对应的所述一个棋盘格标定板上多对相同位置点的坐标获得第五转换关系，所述第五转换关系包括所述每一个鱼眼镜头坐标系与对应的棋盘格标定板坐标系之间的倍率矩阵、旋转矩阵和平移变换矩阵。以此，可以得到所述每一个鱼眼镜头坐标系与对应的棋盘格标定板坐标系之间的转换关系。

7、在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头坐标系之间的转换关系和所述第一、第二车轮靶标在所述多个鱼眼镜头中的图像确定第六转换关系，包括：获得所述多个鱼眼镜头中第二、三鱼眼镜头拍摄的第六、七图像；所述第六图像为所述第二鱼眼镜头拍摄的包括所述第一车轮靶标的图像，所述第七图像为所述第三鱼眼镜头拍摄的包括所述第二车轮靶标的图像；根据所述第六、七图像和所述多个鱼眼镜头坐标系之间的转换关系中第二、三鱼眼镜头坐标系之间的转换关系，确定所述第一、二车轮靶标之间的中点在第一棋盘格标定板坐标系或第三棋盘格标定板坐标系中的坐标；根据所述第一、二车轮靶标之间的中点在所述第一或第三棋盘格标定板坐标系中的坐标、第一、第二车轮靶标在所述第二或三棋盘格标定板坐标系中的坐标，以及所述第二车轮靶标指向第一车轮靶标的方向确定第六转换关系。以此可以获得车体平面坐标系与所述多个棋盘格标定板坐标系之间的转换关系。

8、在一个可以实现的实施方式中，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述第二鱼眼镜头坐标系与对应的第一棋盘格标定板坐标系之间的第五转换关系，和所述第一棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第二鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。以此，可以得到车体平面坐标系与所述第二鱼眼镜头坐标系之间的转换关系。

9、在一个可以实现的实施方式中，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的第五转换关系，和所述第三棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第三鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。以此，可以得到车体平面坐标系与所述第三鱼眼镜头坐标系之间的转换关系。

10、在一个可以实现的实施方式中，所述根据所述第五转换关系和第六转换关系，确定第七转换关系，包括：根据所述多个鱼眼镜头坐标系之间的转换关系中所述第一、三鱼眼镜头坐标系之间的转换关系、所述第三鱼眼镜头坐标系与对应的第三棋盘格标定板坐标系之间的第五转换关系，和所述第三棋盘格标定板坐标系与所述车体平面坐标系之间的第六转换关系，确定所述第一鱼眼镜头坐标系与所述车体平面坐标系之间的第七转换关系。以此，可以得到车体平面坐标系与所述第一鱼眼镜头坐标系之间的转换关系。

11、在一个可以实现的实施方式中，所述根据所述第七转换关系确定所述多个鱼眼镜头中每一个鱼眼镜头的外参，包括：所述第七转换关系包括每一个鱼眼镜头坐标系和车体平面坐标系之间的旋转矩阵和平移变换矩阵；根据多个鱼眼镜头中所述第一、二、三、四鱼眼镜头坐标系与所述车体平面坐标系之间的旋转矩阵和平移变换矩阵，确定所述第一、二、三、四鱼眼镜头坐标系的外参。以此可以标定每一个鱼眼镜头坐标系的初步外参。

12、在一个可以实现的实施方式中，在车体底盘设置有惯性测量单元，所述惯性测量单元用于确定所述车体的横滚角、俯仰角和航向角的值；所述方法还包括：获得所述惯性测量单元输出的横滚角、俯仰角和航向角的值；根据所述横滚角、俯仰角和航向角的值确定imu坐标系；所述横滚角、俯仰角和航向角的值指示所述imu坐标系与车体平面坐标系上的y轴、x轴和z轴三个轴的偏转角度；确定所述多个鱼眼镜头坐标系与所述imu坐标系的转换关系；根据所述多个鱼眼镜头坐标系与所述imu坐标系的转换关系调整所述多个鱼眼镜头的外参。以此，通过imu信息处理后得到的车体标定时位姿，与初步鱼眼镜头外参结合，可以修正标定时车体的姿态对鱼眼镜头外参的影响，使得车身对于地面的相对抖动和倾斜会被修正，得到标准位姿时鱼眼镜头外参。

13、在一个可以实现的实施方式中，所述确定所述多个鱼眼镜头坐标系与所述imu坐标系的转换关系，包括：根据所述俯仰角、横滚角、航向角的值获得imu坐标系与所述车体平面坐标系的旋转矩阵；根据所述imu坐标系与车体平面坐标系之间的旋转矩阵、所述车体平面坐标系与所述鱼眼镜头坐标系之间的转换关系确定所述多个鱼眼镜头坐标系与所述imu坐标系的转换关系。以此，可以得到多个鱼眼镜头坐标系与所述imu坐标系的转换关系。

14、在一个可以实现的实施方式中，所述根据所述多个鱼眼镜头坐标系与所述imu坐标系的转换关系调整所述多个鱼眼镜头的外参，包括：在车辆行驶过程中，根据所述惯性测量单元实时采集的imu信息动态调整所述多个鱼眼镜头的外参，所述imu信息包括所述车体的横滚角、俯仰角和航向角的值。以此，可以实时修正车体相对地面之间的姿态对鱼眼镜头拍摄角度的影响，即使车身在抖动，根据时刻变化的镜头参数，获得的感知图像不会发生变化。

15、本技术的实施例提供的鱼眼镜头外参的标定方法，基于视觉和imu的联合对车载鱼眼镜头的外参进行标定，能够满足车厂的实际流水线对于鱼眼镜头外参标定快速标定的需求，对于新车的鱼眼镜头外参标定能够在数十秒内完成。在确保高效率完成标定的同时，本技术的实施例提供的鱼眼镜头外参的标定方法能够排除车况因素的影响，实时确保鱼眼镜头外参标定的高精度。