一种高精度的AR-HUD畸变校准方法与流程

本发明属于图像处理，具体涉及一种高精度的ar-hud畸变校准方法。

背景技术：

1、现有ar-hud的畸变校准可分为基于重投影的、基于单应性的和基于结构光的三类。然而，由于畸变的存在，基于重投影的方案具有难以避免的误差，基于单应性的方案则可能存在难以估计及杜绝的误差，而基于结构光的方案则存在精度高的速度慢，精度低的速度快等速度与精度的矛盾问题。

2、如图5所示，ar-hud的光路复杂，存在多重透射、反射等，鉴于透射、反射及挡风玻璃等材料的均匀性、各装置安装的公差以及挡风玻璃的自由曲面等问题，其最终成像通常存在需要校准的畸变。

3、现有ar-hud的畸变校准方案可分为三类：

4、1）基于重投影的。此类方案借助投影点阵和样本点阵之间的对应估计重投影关系，并利用该关系将基准点阵转到投影原图上，然后根据其与投影点阵间的差异计算预畸变参数。但是，由于畸变的存在，该重投影关系的计算存在难以避免的误差，具体如图2中的投影点阵和图3中的样本点阵所示：投影点阵是规则排列的，而样本点阵是不规则分布的，难以找到精确的关系以保证两者之间点对点的重叠。

5、2）基于单应性的。此类方案通常借助基准点阵与投影点阵之间的对应确定单应性关系，并利用该关系将样本点阵转到投影原图上，然后利用其与投影点阵之间的差异计算预畸变参数。但是，此类方案可能存在难以估计及杜绝的误差，具体如图3所示：基准点阵在样本点阵所确定的区域内，而单应性关系通常在计算该单应性关系的点所在的区域内及附近才能够保证精度，因而利用该单应性关系将在基准点阵区域之外的样本点阵进行转换可能存在难以估计、从而难以杜绝的误差。

6、3）基于结构光的。与本专利最相似的cn117872602a一种基于结构光的ar-hud畸变校准方法即属于此类，其借助结构光的解码值确定基准点阵在投影原图上的对应，并基于这些对应的点与投影点阵之间差异计算ar-hud的畸变校准量。此类方案虽然可以绕过前两类方案中重投影关系及单应性关系计算，但整体而言依然存在精度与速度之间的矛盾问题。结构光可大体分为空间结构光和时间结构光，其中，

7、a.空间结构光是根据图像空间中特殊的灰度分布来进行编、解码的（如伪随机阵列），其优点是可以借助一幅图来完成编、解码，缺点是其最小编码接解码单元需要借助一个局部区域来确定，因而其编码密度难以做到与原图像的大小相同。此外，由于环境等噪声的引入，在对区域进行解码时也难以得到其精确的坐标。由于其可以使用单幅图像进行编、解码，在需要投影图像、采集图像及解码等流程的ar-hud畸变校准中具有速度优势。

8、b.时间结构光是将图像中同一个位置的码值编到不同的图像（即编码序列图）中去，在解码时需要获取该序列图像并按一定规则进行解码。此类方法克服了空间结构光的缺点，能够做到与图像分辨率大小相同的解码密度，并且借助插值等方法可以其精度可以达到亚像素级。缺点则是通常需要多幅序列图像来完成，在需要投影图像、采集图像及解码等流程的ar-hud畸变校准中，过程是比较耗时的。

技术实现思路

1、本发明的目的在于提供一种高精度的ar-hud畸变校准方法，可以跳过重投影参数及单应性参数的计算，以解决上述背景技术中提出现有技术中的问题。

2、为实现上述目的，本发明采用了如下技术方案：一种高精度的ar-hud畸变校准方法，包括：

3、加载信息，包括投影原图及其特征类型、投影点阵的行列和坐标信息，以及视点相机与车前虚像或基准点阵之间的标定关系；

4、给予投影点阵中的各点以特定规则的码值，形成投影点阵的码值映射；

5、投影图像，显示所述投影原图；

6、拍摄图像，通过视点相机采集投影图像，得到包含样本点阵的样本图像；

7、检测图像，识别样本图像中的样本点阵；

8、确定目标区域，基于检测到的样本点阵，确定车前虚像或样本图像上的显示区域；

9、对目标区域内的点阵进行拟合或插值处理，根据已知的点阵码值，生成整个目标区域的码值矩阵；

10、找出对应点阵，利用目标区域内的码值矩阵与样本点阵或基准点阵的坐标匹配，确定样本点阵或基准点阵在投影原图上的对应点阵；

11、计算校准参数，基于对应点阵与投影点阵之间的位置差异，计算ar-hud的预畸变参数，最终得到预畸变矩阵。

12、优选的，所述特定规则的码值赋予方式包括：根据点阵中点的位置直接映射到预定义的码值序列上。

13、优选的，还包括：在投影点阵之外的其他点阵按照与投影点阵相对应的规则或不同规则赋码，用于保持码值的对应关系。

14、优选的，所述样本图像的获取是通过视点相机拍摄ar-hud显示的图像。

15、优选的，所述检测图像中利用opencv库中的findcirclesgrid函数进行斑点检测以识别样本点阵。

16、优选的，所述确定目标区域中还包括计算视点相机坐标系原点与样本点阵中各点连线与虚像平面的交点，以确定车前虚像上的样本点阵对应位置。

17、优选的，所述拟合或插值中使用三次样条插值方法，对目标区域内的点阵码值进行二维空间的插值。

18、优选的，所述找出对应点阵中，在交点点阵的包络线内寻找最大内接矩形，并据此确定基准点阵。

19、优选的，所述计算校准参数中，采用双线性插值方法对预畸变参数进行插值处理，用于覆盖整个投影原图的每一点。

20、优选的，还包括：利用所得预畸变矩阵对ar-hud系统进行实时或定期的畸变补偿。

21、本发明的技术效果和优点：本发明提出的一种高精度的ar-hud畸变校准方法，与现有技术相比，具有以下优点：

22、本发明具有与基于结构光的方案相同的优势：可以跳过重投影参数及单应性参数的计算，与基于结构光的方案相比，本方案不需要借助复杂的基于灰度分布差异的编码及解码，且与空间结构光相比具有精度优势、与时序结构光相比具有速度优势。

技术特征：

1.一种高精度的ar-hud畸变校准方法，其特征在于，包括：

2.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述特定规则的码值赋予方式包括：根据点阵中点的位置直接映射到预定义的码值序列上。

3.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，还包括：在投影点阵之外的其他点阵按照与投影点阵相对应的规则或不同规则赋码，用于保持码值的对应关系。

4.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述样本图像的获取是通过视点相机拍摄ar-hud显示的图像。

5.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述检测图像中利用opencv库中的findcirclesgrid函数进行斑点检测以识别样本点阵。

6.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述确定目标区域中还包括计算视点相机坐标系原点与样本点阵中各点连线与虚像平面的交点，以确定车前虚像上的样本点阵对应位置。

7.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述拟合或插值中使用三次样条插值方法，对目标区域内的点阵码值进行二维空间的插值。

8.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述找出对应点阵中，在交点点阵的包络线内寻找最大内接矩形，并据此确定基准点阵。

9.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，所述计算校准参数中，采用双线性插值方法对预畸变参数进行插值处理，用于覆盖整个投影原图的每一点。

10.根据权利要求1所述的一种高精度的ar-hud畸变校准方法，其特征在于，还包括：利用所得预畸变矩阵对ar-hud系统进行实时或定期的畸变补偿。

技术总结
本发明属于图像处理技术领域，具体涉及一种高精度的AR‑HUD畸变校准方法，要求投影原图中投影点阵中各点之间的位置关系是确定的，进而借助该关系可以杜绝复杂的编解码过程直接确定这些点之间的顺序关系。在实现上可以以一定规则直接对投影点阵赋值得到其码值，并对样本图像、车前虚像或其他与车前虚像平面存在确定关系的平面上的基准点阵或样本点阵进行相同的赋值或按其他规则赋值得到其码值；基于稀疏的基准点阵或样本点阵中各点的位置关系，借助拟合或插值得到这些点阵所确定区域内个坐标处的码值，得到码值矩阵；最后，根据样本点阵或基准点阵中各点坐标在码值矩阵中找到它们对的码值，并根据该码值找到它们在投影原图上对应点阵。

技术研发人员：郭俊佳,桂冬冬,张紫锋
受保护的技术使用者：深圳市路畅科技股份有限公司
技术研发日：
技术公布日：2024/8/20