鱼眼相机的标定方法、全景影像的获取方法及车辆与流程

本发明涉及图像处理，尤其涉及一种鱼眼相机的标定方法、全景影像的获取方法及车辆。

背景技术：

1、鱼眼摄像机被广泛用于高级驾驶辅助系统。在鱼眼相机中，捕捉到的鱼眼相机图像具有较大的畸变，尤其是在鱼眼相机图像边缘附近。这种失真导致校准精度下降，为了消除失真，必须对鱼眼摄像机进行标定。

2、相关的单目鱼眼相机标定方案对于标定场地的固定位置及相机的布置位置要求严格，完成鱼眼相机标定需要时间成本较高，每次进行相机标定流程重复，且无法复用。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种鱼眼相机的标定方法，可根据鱼眼相机图像完成对不同鱼眼相机内外参数的标定，对标定的场地和鱼眼相机的分布位置没有限制，并具有标定过程简单和可复用的优点。

2、本发明的第二个目的在于提出一种全景影像的获取方法。

3、本发明的第三个目的在于提出一种计算机可读存储介质。

4、本发明的第四个目的在于提出一种电子设备。

5、本发明的第五个目的在于提出一种车辆。

6、为达到上述目的，本发明第一方面实施例提出了一种鱼眼相机的标定方法，包括：构建基于三角函数的等距投影模型，其中，所述等距投影模型采用神经网络结构；获取训练集，其中，所述训练集包括多个鱼眼相机图像及其对应的鱼眼相机参数真实值，所述鱼眼相机图像通过鱼眼相机拍摄得到；利用所述训练集中的鱼眼相机图像训练所述等距投影模型，其中，所述等距投影模型的输入为鱼眼相机图像，输出为所述鱼眼相机图像对应的鱼眼相机参数预测值，基于所述鱼眼相机参数真实值和所述鱼眼相机参数预测值，构建损失函数，根据所述等距投影模型的损失函数，调整所述等距投影模型的参数，得到训练好的等距投影模型；获取待标定鱼眼相机图像，利用训练好的等距投影模型对所述待标定鱼眼相机图像进行鱼眼相机参数的标定。

7、根据本发明实施例的鱼眼相机的标定方法，利用训练好的等距投影模型，完成对单一鱼眼相机图像在不同鱼眼相机位置下的内外参数标定，并具有标定过程简单和可复用的优点，其中，本公开实施例构建和训练的等距投影模型具备较少的预测参数，等距投影模型需要学习的参数较少，等距投影模型的损失函数优化需要的计算资源少，训练速度更快。

8、另外，根据本发明上述实施例提出的鱼眼相机的标定方法还可以具有如下附加的技术特征：

9、根据本发明的一个实施例，在将鱼眼相机图像输入至所述等距投影模型之前，还对所述鱼眼相机图像进行二值化处理。

10、根据本发明的一个实施例，所述等距投影模型包括依次连接的densenet网络、最大池化层、全连接层和激活函数，其中，所述densenet网络用以对鱼眼相机图像进行特征提取，得到所述鱼眼相机图像各像素点到对应鱼眼相机中心点的距离。

11、根据本发明的一个实施例，所述鱼眼相机参数包括内参焦距、外参倾斜角和外参滚转角，所述等距投影模型的表达式为：

12、r＝2fsin(η/2)

13、其中，r表示鱼眼相机图像中像素点到鱼眼相机中心点的距离，f表示所述鱼眼相机的内参焦距，η表示投影角，根据所述鱼眼相机的外参倾斜角θ和外参滚转角得到。

14、根据本发明的一个实施例，在利用所述训练集中的鱼眼相机图像训练所述等距投影模型时，在每个训练周期得到的损失函数如下：

15、

16、其中，lloss表示所述损失函数，lθ表示外参倾斜角θ的损失，表示外参滚转角的损失，lf表示内参焦距f的损失，wθ、和wf分别表示损失lθ、和lf的权重。

17、根据本发明的一个实施例，利用所述损失函数分别对内参焦距f、外参倾斜角θ、外参滚转角进行梯度下降求解，将最优极值点所在训练周期的等距投影模型作为训练好的等距投影模型。

18、根据本发明的一个实施例，所述获取训练集，包括：确定一个或多个拍摄场景；针对每个拍摄场景，在多个视角多组鱼眼相机参数下拍摄得到鱼眼相机图像，并记录各鱼眼相机图像对应的鱼眼相机参数为鱼眼相机参数真实值。

19、为达到上述目的，本发明第二方面实施例提出了一种全景影像的获取方法，包括：获取多个视角下同一拍摄场景的鱼眼相机图像；利用如权利要求1-7中任一项所述的鱼眼相机的标定方法对各鱼眼相机图像进行鱼眼相机参数标定；针对每一标定结果，根据该标定结果对相应的鱼眼相机图像进行矫正；对矫正后的各鱼眼相机图像进行拼接，得到全景影像。

20、为达到上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如本发明第一方面实施例提出的鱼眼相机的标定方法，或者，如本发明第二方面实施例提出的全景影像的获取方法。

21、为达到上述目的，本发明第四方面实施例提出了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如本发明第一方面实施例提出的鱼眼相机的标定方法，或者，如本发明第二方面实施例提出的全景影像的获取方法。

22、为达到上述目的，本发明第五方面实施例提出了一种车辆，包括多个鱼眼摄像头和如本发明第四方面实施例提出的电子设备。

23、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种鱼眼相机的标定方法，其特征在于，包括：

2.根据权利要求1所述的鱼眼相机的标定方法，其特征在于，在将鱼眼相机图像输入至所述等距投影模型之前，所述方法还包括：对所述鱼眼相机图像进行二值化处理。

3.根据权利要求1所述的鱼眼相机的标定方法，其特征在于，所述等距投影模型包括依次连接的densenet网络、最大池化层、全连接层和激活函数，其中，所述densenet网络用以对鱼眼相机图像进行特征提取，得到所述鱼眼相机图像各像素点到对应鱼眼相机中心点的距离。

4.根据权利要求3所述的鱼眼相机的标定方法，其特征在于，所述鱼眼相机参数包括内参焦距、外参倾斜角和外参滚转角，所述等距投影模型的表达式为：

5.根据权利要求4所述的鱼眼相机的标定方法，其特征在于，在利用所述训练集中的鱼眼相机图像训练所述等距投影模型时，在每个训练周期得到的损失函数如下：

6.根据权利要求5所述的鱼眼相机的标定方法，其特征在于，利用所述损失函数分别对内参焦距f、外参倾斜角θ、外参滚转角进行梯度下降求解，将最优极值点所在训练周期的等距投影模型作为训练好的等距投影模型。

7.根据权利要求1所述的鱼眼相机的标定方法，其特征在于，所述获取训练集，包括：

8.一种全景影像的获取方法，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的鱼眼相机的标定方法，或者，如权利要求8所述的全景影像的获取方法。

10.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现如权利要求1-7中任一项所述的鱼眼相机的标定方法，或者，如权利要求8所述的全景影像的获取方法。

11.一种车辆，其特征在于，包括多个鱼眼摄像头和如权利要求10所述的电子设备。

技术总结
本发明公开了一种鱼眼相机的标定方法、全景影像的获取方法及车辆，标定方法，包括：构建基于三角函数的等距投影模型；获取训练集；利用训练集中的鱼眼相机图像训练等距投影模型，其中，等距投影模型的输入为鱼眼相机图像，输出为鱼眼相机图像对应的鱼眼相机参数预测值，基于鱼眼相机参数真实值和鱼眼相机参数预测值，构建损失函数，根据等距投影模型的损失函数，调整等距投影模型的参数，得到训练好的等距投影模型；获取待标定鱼眼相机图像，利用训练好的等距投影模型对待标定鱼眼相机图像进行鱼眼相机参数的标定。该方法可完成对不同鱼眼相机内外参数的标定，对标定的场地和鱼眼相机的分布位置没有限制，并具有标定过程简单和可复用的优点。

技术研发人员：贾程鹏,杨冬生,王欢,徐驰
受保护的技术使用者：比亚迪股份有限公司
技术研发日：
技术公布日：2024/3/11