一种用于HUD畸变矫正的离线修正系统及方法与流程

一种用于hud畸变矫正的离线修正系统及方法
技术领域
1.本发明涉及hud技术领域，特别涉及一种用于hud畸变矫正的离线修正系统及方法。


背景技术：

2.抬头显示(head up display，hud)是一种将虚拟影像呈现在驾驶员前向视野的显示设备。车载hud将驾驶辅助信息投射到挡风玻璃，再反射到驾驶员前向视域内，既能扩展驾驶员的环境感知信息，又能避免驾驶员过多地低头查看仪表，从而有效地提高了驾驶的安全性。
3.但是，hud自身光学系统以及挡风玻璃曲率不一等原因，使得hud投射到汽车挡风玻璃上的图像发生畸变，驾驶员所观察到的hud投影图像出现扭曲变形等问题。因此，车载hud系统的需要对投影图像进行标定，进行预畸变处理，改善投影图像出现扭曲变形的问题。
4.目前车载hud系统在车辆出厂下线时会进行检测和标定来管控hud系统的成像质量。但车辆出现意外情况，拆解或更换hud系统后，需要重新对hud系统的畸变矫正参数进行矫正。而下线检测和标定设备价格昂贵且对场要求较高，难以在售后维修网点搭建。
5.中国专利(公布号：cn 110271497)公开了一种hud售后便携式标定设备与方法，通过整车固定装置及摄像头来实现在离线场景下对hud系统进行标定的方法，但该方法所使用的整车固定装置与摄像仪难以安装，操作复杂且标定精度不高，无法在工程实际中应用。在离线场景下对hud系统畸变矫正参数的修正，在行业内目前尚未提出有效的解决方案。


技术实现要素：

6.针对现有技术中hud在离线场景下标定效率较低的问题，本发明提出一种用于hud畸变矫正的离线修正系统及方法，通过诊断仪和控制器对hud投影图像进行离线自动矫正，不需要安装其他设备，从而节约了时间和成本，提高标定效率。
7.为了实现上述目的，本发明提供以下技术方案：
8.一种用于hud畸变矫正的离线修正系统，包括控制器、诊断仪、摄像装置、标定物；
9.所述控制器通过usb接口与诊断仪相连，诊断仪通过obd接口与待修正车辆的hud相连，摄像装置与控制器相连。
10.优选地，所述控制器将计算得到的预畸变参数表通过诊断仪传输到hud，用于对投影图像进行校正。
11.优选地，所述标定物，安装在车位的正前方，距离为d，用于接收hud投影图像。
12.优选地，所述摄像装置，采用手持相机，用于拍摄标定物上的hud投影图像并上传到控制器进行处理。
13.本发明还提供一种用于hud系统畸变矫正的离线修正方法，具体包括以下步骤：
14.s1：将车辆停放至车位，启动hud畸变矫正离线修正系统，获取hud投影点阵图并上
传到控制器；
15.s2：控制器对hud投影点阵图进行提取处理，获取点阵与标定物内角点的像素坐标，若点阵图中的点阵数量与设定值相等，则计算计算相机外参，并执行s3.，若不相等，则再次获取hud投影点阵图；
16.s3：计算hud投影点阵图中心点的三维坐标，并与设计值进行比较，获得偏移量,再根据偏移量调整hud投影位置；
17.s4：调整hud投影位置后，根据hud中原始图像与hud投影点阵图的映射关系进行畸变修正，并将修正参数传入至hud。
18.优选地，所述s1中，hud畸变矫正离线修正系统启动后，控制器通过诊断仪向车辆的hud发送控制信号，使hud投影图像到标定物，再用摄像装置对标定物进行拍摄，从而获取标定物上的hud投影点阵图。
19.优选地，所述s3包括：
20.s3-1：摄像装置的投影模型：
[0021][0022]
公式(1)中，u、v表示hud投影点阵图中心点像素坐标；k是内参矩阵，r和t分别是相机坐标系与世界坐标系的旋转矩阵和平移矩阵，表示hud投影点阵图中心点在世界坐标系下的三维坐标；m1、m2、m3共同构成m矩阵，m矩阵是三维空间点到二维成像平面的映射变换矩阵，通过像机标定得到，这个矩阵是三行四列，m1、m2和m3分别代表m矩阵的第一行、第二行和第三行。
[0023]
s3-2：将三维坐标(xw,yw,zw)与设计值(x,y,z)进行比较，得到偏移量d：
[0024]
s3-3：根据偏移量d，控制器通过诊断仪向hud发送调节指令，调节hud的位置，从而修正hud投影位置。
[0025]
优选地，所述s4包括：
[0026]
s4-1：建立原始图像与hud投影点阵图的映射关系f；
[0027]
hud投影点阵图中一点pi(xi,yi,zi),i＝1,2,
…
n，在原始图像对应的特征点为ui(ui,vi),i＝1,2,
…
n，则映射关系f满足：
[0028]
ui＝f(pi)(i＝1,2,
…
n)
ꢀꢀꢀ
(4)
[0029]
即：
[0030][0031]
s4-2：根据上述映射关系f，依次遍历hud投影点阵图的像素点，建立hud投影点阵图与原始图像的预畸变参数表，并将预畸变参数表写入hud，hud将根据预畸变参数表投影图像，实现畸变修正。
[0032]
综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益
效果：
[0033]
本发明通过诊断仪和控制器对hud的投影位置和畸变进行离线自动矫正，改善hud的成像效果，同时不需要安装其他设备，降低了标定难度，从而节约了时间和成本，提高了标定效率。
附图说明：
[0034]
图1为根据本发明示例性实施例的一种用于hud畸变矫正的离线修正系统示意图。
[0035]
图2为根据本发明示例性实施例的标定物示意图。
[0036]
图3为根据本发明示例性实施例的hud投影点阵图示意图。
[0037]
图4为根据本发明示例性实施例的一种hud系统畸变矫正离线修正方法流程示意图。
[0038]
图5为根据本发明示例性实施例的hud投影点阵图各像素点与原始图像的映射关系示意图。
具体实施方式
[0039]
下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
[0040]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0041]
如图1所示，本发明提供一种用于hud畸变矫正的离线修正系统，包括控制器、诊断仪、摄像装置、标定物。
[0042]
本实施例中，通过诊断仪通过usb接口与控制器相连，诊断仪通过obd(on board diagnostics，车载诊断系统)接口与待修正车辆相连，摄像装置与控制器相连。
[0043]
诊断仪有数据解析的作用，预畸变参数表是在控制器中计算完成，传入到诊断仪中，诊断仪通过诊断报文传入到hud中。畸变率的计算也是在控制器中，是由摄像装置将采集到的图像数据传入到控制器中，由控制器计算器畸变率。
[0044]
摄像装置，可采用手持相机，用于拍摄标定物上的图像。
[0045]
标定物，形状为矩形或正方形，安装在车位的正前方，距离为d，用于接收hud系统的投影点阵图。标定物的样式如图2所示。
[0046]
控制器，用于对hud投影点阵图进行处理，从而实现畸变修正。
[0047]
如图4所示，基于上述装置，本发明提供一种用于hud畸变矫正离线修正方法，具体包括以下步骤：
[0048]
s1：将车辆停放至车位，启动hud畸变矫正离线修正系统，获取hud投影点阵图并上传到控制器。
[0049]
本实施例中，指定车位的前方安装有标定物，用于接收hud投影点阵图，用于确定
相机位姿的(即相机外参)，图2的标定物设计中间的黑色区域是为了方便程序对图像中的点阵进行识别。
[0050]
本实施例中，hud畸变矫正离线修正系统启动后，控制器通过诊断仪向车辆的hud发送控制信号，使hud投影图像到标定物，再用摄像装置进行拍摄(在hud的eyebox区域内)，从而获取标定物上的hud投影点阵图，如图3所示。
[0051]
s2：控制器对hud投影点阵图进行提取处理，获取点阵与标定板内角点的像素坐标，若点阵数与设定值匹配，则进入s3，若点阵数和标定物内角点数与设定值不匹配，则再次获取hud投影点阵图。
[0052]
s2-1：识别hud投影点阵图的点阵，若点阵图中的数量与设定值相等(数量相等)，则执行s2-2，否则再次获取hud投影图像；
[0053]
s2-2：识别标定板内角点，计算相机外参。
[0054]
标定物内角点在世界坐标系下的坐标是已知的，为此，通过张正友标定法，可计算出相机外参，即(1)式中的[r|t]矩阵。
[0055]
相机外参描述了世界坐标系下的点，经过平移和旋转变换，转化为相机坐标系下的点。
[0056][0057]
公式(1)中，表示相机坐标系下的坐标；表示世界坐标系下的坐标；[r|t]表示相机的外参矩阵，其中r表示旋转矩阵，t表示平移矩阵。
[0058][0059]
公式(2)中，u、v为hud投影点阵图的像素坐标，表示相机坐标系下的坐标，k表示相机的内参矩阵；s代表在相机坐标系下映射点的空间深度信息。
[0060]
s3：计算hud投影点阵图中心点的三维坐标，并与设计值进行比较，获得偏移量,再根据偏移量调整hud投影位置。
[0061]
s3-1：本实施例中，摄像装置的投影模型：
[0062][0063]
公式(3)中，u、v表示hud投影点阵图中心点像素坐标；k是内参矩阵，r和t分别是相机坐标系与世界坐标系的旋转矩阵和平移矩阵，表示hud投影点阵图中心点在世界坐
标系下的三维坐标；m1、m2、m3共同构成m矩阵，m矩阵是三维空间点到二维成像平面的映射变换矩阵，通过像机标定得到，这个矩阵是三行四列，m1、m2和m3分别代表m矩阵的第一行、第二行和第三行。s3-2：将三维坐标(xw,yw,zw)与设计值(x,y,z)进行比较，得到偏移量d：
[0064][0065]
s3-3：根据偏移量d，控制器通过诊断仪向hud发送调节指令，调节hud的位置，从而修正hud投影位置。
[0066]
例如当hud投影位置向下偏移，则控制器调节hud往上移动距离d。
[0067]
本实施例中，hud投影出的图像是一个不规则的图像，为呈现一个良好的显示效果，需要对hud投影出来的图像进行预畸变处理，即图像在hud投影出来之前进行预处理，使处理后的图像在hud投影后有一个良好的视觉效果。首先通过相机采集hud系统投射的预设点阵图。计算点阵图中各特征点的空间坐标，并以此获取上述内容中的hud虚拟投影屏幕坐标，并将投影屏幕离散化为预设分辨率。再通过虚拟投影屏幕中各特征点与原输入图像特征点的对应关系，建立虚拟投影屏幕各像素点与原输入图像的映射关系，并以映射表的形式保存，最后将hud所投射的图像通过映射表中的对应关系，对图像进行处理，以此改善hud系统产生的畸变问题。
[0068]
s4：调整hud投影位置后，根据hud中原始图像与hud投影点阵图的映射关系进行畸变修正。
[0069]
s4-1：建立原始图像与hud投影点阵图的映射关系f。
[0070]
如图5，a为hud投影点阵图，b为原始图像，已知hud投影点阵图中一点pi(xi,yi,zi),i＝1,2,
…
n，在原始图像对应的特征点为ui(ui,vi),i＝1,2,
…
n，则映射关系f满足：
[0071]
ui＝f(pi) (i＝1,2,
…
n) (4)
[0072]
即：
[0073][0074]
对于hud投影点阵图a中的任意一点p，可得到原始图像b中唯一点u，使得：
[0075]
u＝f(p)(p∈a,u∈b)。
[0076]
上述的映射关系f可通过插值方法获取。首先分别获取所述虚拟投影屏幕中各特征点之外的每一个像素点q的3个邻近凸组合特征点，通过基于临近3特征点凸组合的线性插值法获取像素点q在虚拟投影屏幕中的坐标与3个邻近凸组合特征点之间的权值。设点q在车辆坐标系下的坐标表示为(xq,yq,zq)，其邻近的3个特征点在的车辆坐标系的坐标分别表示为q1(x1,y1,z1)，q2(x2,y2,z2)，q3(x3,y3,z3)，则点q可表示为：
[0077]
(x,y,z)＝α1(x1,y1,z1)+α2(x2,y2,z2)+α3(x3,y3,z3)
ꢀꢀꢀ
(6)式中α1、α2、α3分别表示q1、q2、q33个特征点对应的权值
[0078]
设q1、q2、q3三个特征点在原输入图像中的像素坐标分别为(u1,v1)、(u2,v2)、(u3,v3)，则点q在原输入图像对应的像素坐标(u,v)可表示为：
[0079]
(u,v)＝α1(u1,v1)+α2(u2,v2)+α3(u3,v3)
ꢀꢀꢀ
(7)
[0080]
通过上述方法可以确定虚拟投影屏幕中所有像素在其原输入图像中的像素坐标，即建立了投影虚像到原输入图像的逆映射关系。
[0081]
s4-2：根据上述映射关系，依次遍历hud投影点阵图的像素点，以此建立hud投影点阵图各像素点与原始图像的映射关系，并将其保存为预畸变参数表。
[0082]
控制器通过诊断仪将预畸变参数表写入到hud控制器的指定位置。在hud系统工作时中，观察者期望看到的虚像由视觉设计程序根据目标检测、增强显示等要素设计输出的图像，通过上述的预畸变参数，将输出图像逐像素的变换到虚拟投影屏幕对应的像素中，从而实现图像的预畸变处理，改善观察者所观察到的虚像成像效果。
[0083]
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。