一种汽车盲区显示识别方法及系统与流程

本发明属于汽车盲区显示的，具体地涉及一种汽车盲区显示识别方法及系统。

背景技术：

1、对于一般的车辆而言，汽车前挡风玻璃与汽车前排两侧窗户之间的部分为汽车的a柱，为了提升汽车的强度，通常汽车a柱较宽且具备良好的强度，但如此使得在驾驶员实际驾驶时，a柱会阻挡驾驶员的视线，进而导致驾驶盲区，驾驶员无法看到盲区处的障碍物与行人。

2、在现有技术中，通常通过在汽车外安装相机拍摄盲区的图像或者通过全景相机拍摄盲区图像，由于角度、视角范围、位置等影响，导致拍摄的图像与实际的盲区图像之间存在较大偏差，使得驾驶员无法直观的观察盲区内的交通情况，影响驾驶安全。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种汽车盲区显示识别方法及系统，用于解决现有技术中的技术问题。

2、一方面，本发明提供以下技术方案，一种汽车盲区显示识别方法，包括：

3、计算不同位姿下的标定板组合的误差调整矩阵，基于所述误差调整矩阵对盲区拍摄相机进行标定，以得到所述盲区拍摄相机的标定参数；

4、获取所述盲区拍摄相机所拍摄的盲区图像，对所述盲区图像进行投影图像处理，以得到相机投影变换关系，基于所述相机投影变换关系确定投影设备的标定参数；

5、基于所述盲区拍摄相机的标定参数与所述投影设备的标定参数确定车内投影图像，确定所述车内投影图像的投影区域，基于所述投影区域对所述车内投影图像进行形变调整处理，以得到调整投影图像；

6、获取驾驶员头部图像，对所述驾驶员头部图像进行特征点识别，以得到头部姿态信息与瞳孔识别结果；

7、若所述瞳孔识别结果为成功识别到瞳孔位置，则根据所述瞳孔识别结果中的瞳孔坐标对所述调整投影图像进行第一图像调整，以得到第一最终投影图像，将所述第一最终投影图像在盲区显示区上进行盲区显示，若所述瞳孔识别结果为未成功识别到瞳孔位置，则根据所述头部姿态信息对所述调整投影图像进行第二图像调整，以得到第二最终投影图像，将所述第二最终投影图像在盲区显示区上进行盲区显示。

8、相比现有技术，本发明的有益效果为：本发明首先计算不同位姿下的标定板组合的误差调整矩阵，基于误差调整矩阵对盲区拍摄相机进行标定，以得到盲区拍摄相机的标定参数；之后获取盲区拍摄相机所拍摄的盲区图像，对盲区图像进行投影图像处理，以得到相机投影变换关系，基于相机投影变换关系确定投影设备的标定参数；然后基于盲区拍摄相机的标定参数与投影设备的标定参数确定车内投影图像，确定车内投影图像的投影区域，基于投影区域对车内投影图像进行形变调整处理，以得到调整投影图像；而后获取驾驶员头部图像，对驾驶员头部图像进行特征点识别，以得到头部姿态信息与瞳孔识别结果；若瞳孔识别结果为成功识别到瞳孔位置，则根据瞳孔识别结果中的瞳孔坐标对调整投影图像进行第一图像调整，以得到第一最终投影图像，将第一最终投影图像在盲区显示区上进行盲区显示，若瞳孔识别结果为未成功识别到瞳孔位置，则根据头部姿态信息对调整投影图像进行第二图像调整，以得到第二最终投影图像，将第二最终投影图像在盲区显示区上进行盲区显示，本技术通过误差调整矩阵对相机进行标定，大幅度降低了标定板图像噪声与标定点识别误差对标定参数的影响，提升了标定参数的精度，且本技术通过对车内投影图像进行形变调整处理，使得投影图像在投影在非规则平面上时也具备良好的显示效果，同时图像特征丰富、质量高，最后本发明可通过瞳孔坐标或者头部姿态对图像的位置进行调整，以满足多样的驾驶环境同时也确保盲区显示区上的图像与实际盲区图像之间的一致性，提高了驾驶员的安全性。

9、较佳的，所述计算不同位姿下的标定板组合的误差调整矩阵，基于所述误差调整矩阵对盲区拍摄相机进行标定，以得到所述盲区拍摄相机的标定参数的步骤包括：

10、获取第个位姿下的标定板组合上的标定点在盲区拍摄相机的相机坐标系上的转换坐标，基于所述转换坐标确定第一矩阵：

11、；

12、式中，为转置符号；

13、获取所述转换坐标与所述盲区拍摄相机所拍摄的盲区图像上测量得到的标定点的像素坐标之间的差值，基于所述差值确定第二矩阵：

14、；

15、式中，表示转换坐标与盲区拍摄相机所拍摄的盲区图像上测量得到的标定点的像素坐标在轴上的差值，表示转换坐标与盲区拍摄相机所拍摄的盲区图像上测量得到的标定点的像素坐标在轴上的差值；

16、基于所述第一矩阵与所述第二矩阵确定误差调整矩阵，并基于所述误差调整矩阵确定所述盲区拍摄相机的标定参数。

17、较佳的，所述基于所述第一矩阵与所述第二矩阵确定误差调整矩阵，并基于所述误差调整矩阵确定所述盲区拍摄相机的标定参数的步骤包括：

18、基于所述第一矩阵与所述第二矩阵计算误差调整矩阵：

19、；

20、基于所述误差调整矩阵确定最优标定板组合：

21、；

22、；

23、；

24、；

25、式中，表示最小奇异值计算，、分别表示标定板位姿的下限、上限，表示标定点在像素坐标系上的坐标，、分别表示盲区拍摄相机所拍摄的盲区图像的长、宽，表示标定板上棋盘格上的标定点数量，表示标定板的位姿自由度数量；

26、基于所述最优标定板组合并通过张正友标定法对盲区拍摄相机进行标定，以得到所述盲区拍摄相机的标定参数。

27、较佳的，所述对所述盲区图像进行投影图像处理，以得到相机投影变换关系，基于所述相机投影变换关系确定投影设备的标定参数的步骤包括：

28、控制投影设备投射出第一黑色背景图像并获取所述盲区拍摄相机的第二黑色背景图像，将所述投影设备投射出的图像转换为第一彩色编码投影图像并将所述盲区图像转换为第二彩色编码投影图像；

29、将所述第一黑色背景图像与所述第一彩色编码投影图像、所述第二黑色背景图像与所述第二彩色编码投影图像进行差分处理，以得到第一差分图像与第二差分图像：

30、；

31、；

32、对所述第一差分图像与所述第二差分图像进行失真处理，以得到第一处理图像与第二处理图像：

33、；

34、；

35、式中，、、分别表示第一差分图像中的色区被判断为红色、绿色、蓝色，、、分别表示第一差分图像中的色区中红色、绿色、蓝色的分量，、、分别表示第二差分图像中的色区被判断为红色、绿色、蓝色，、、分别表示第二差分图像中的色区中红色、绿色、蓝色的分量，、、分别表示红色、绿色、蓝色的颜色阈值；

36、提取所述第一处理图像与所述第二处理图像中每个色区的四个角点的横纵坐标均值，以分别得到若干第一色区坐标与若干第二色区坐标；

37、基于所述第一色区坐标与所述第二色区坐标确定变换方程，基于所述变换方程确定投影设备的标定参数。

38、较佳的，所述基于所述第一色区坐标与所述第二色区坐标确定变换方程，基于所述变换方程确定投影设备的标定参数的步骤包括：

39、基于所述第一色区坐标与所述第二色区坐标之间的对应关系构建相机投影变换关系的变换方程：

40、

41、式中，为比例系数，表示投影变换矩阵；

42、基于所述变换方程求解投影变换矩阵，采用多项式对所述投影变换矩阵进行拟合处理，以得到拟合补偿值；

43、基于所述拟合补偿值与所述投影变换矩阵将所述盲区图像的平面坐标进行表达，以得到表达方程：

44、；

45、式中，表示所述盲区图像的平面坐标，表示投影设备的平面坐标，、分别表示轴、轴上的拟合补偿值；

46、基于所述表达方程求解投影设备的平面坐标，并基于投影设备的平面坐标与所述盲区拍摄相机的标定参数确定投影设备的标定参数。

47、较佳的，所述基于所述盲区拍摄相机的标定参数与所述投影设备的标定参数确定车内投影图像，确定所述车内投影图像的投影区域，基于所述投影区域对所述车内投影图像进行形变调整处理，以得到调整投影图像的步骤包括：

48、对所述车内投影图像进行图像预处理，以得到处理图像，对所述处理图像进行外接矩形检测，并确定最小外接矩形的中心坐标；

49、以所述最小外接矩形的中心坐标为起点进行8邻域遍历并进行迭代进行遍历，确定遍历得到的内接矩形面积，将内接矩形面积最大时对应的内接矩形作为投影区域；

50、向投影平面投射与所述盲区图像特征点颜色相反的投影图，将所述投影图与所述处理图像进行差分处理，以得到离散图像；

51、对所述离散图像依次进行开运算与闭运算，以得到连通图像，对所述连通图像进行边缘检测并根据轮廓矩确定相应的质心坐标，以得到若干图像特征点；

52、对若干所述图像特征点依次进行三角网格处理与线性插值变换，以得到调整投影图像。

53、较佳的，所述对若干所述图像特征点依次进行三角网格处理与线性插值变换，以得到调整投影图像的步骤包括：

54、将若干所述图像特征点存入特征点集中，对所述特征点集进行三角网格化处理，以得到第一三角网格集；

55、基于所述盲区拍摄相机的标定参数与所述投影设备的标定参数确定车内投影图像与盲区图像之间的第一映射关系，基于所述第一映射关系与所述第一三角网格集确定第二三角网格集；

56、确定所述第一三角网格集与所述第二三角网格集中对应三角形区域的第二映射关系，将所述第二映射关系作为映射矩阵集合；

57、对所述车内投影图像中的每一个三角形区域通过映射矩阵集合进行线性插值变换，以得到若干调整三角形区域，将若干所述调整三角形区域进行拼接并根据所述投影区域进行缩放，以得到调整投影图像。

58、较佳的，所述根据所述瞳孔识别结果中的瞳孔坐标对所述调整投影图像进行第一图像调整，以得到第一最终投影图像的步骤具体包括：

59、确定驾驶员的左右瞳孔的横坐标，基于所述左右瞳孔的横坐标确定驾驶员的视线位置，并以所述投影区域为滑动窗口确定所述滑动窗口在盲区显示区上的横坐标，确定所述左右瞳孔的横坐标与所述滑动窗口在盲区显示区上的横坐标之间的投影映射关系，基于所述投影映射关系分割出与驾驶员的视线位置对应的实际盲区图像，以得到第一最终投影图像。

60、较佳的，所述根据所述头部姿态信息对所述调整投影图像进行第二图像调整，以得到第二最终投影图像的步骤具体包括：

61、基于所述头部姿态信息确定驾驶员的头部移动距离以及移动前后的头部坐标，基于所述头部移动距离与移动前后的头部坐标确定图像偏移量，以所述投影区域为滑动窗口并基于所述图像偏移量对所述滑动窗口进行平移调整，以得到第二最终投影图像，其中，图像偏移量为：

62、；

63、式中，表示盲区拍摄相机在x轴上的归一化焦距，为移动前后的头部坐标之间的连线投影到盲区显示区上的距离，表示移动前后的头部坐标与盲区显示区之间的最短距离，、分别表示投影区域、盲区图像的面积。

64、第二方面，本发明提供以下技术方案，一种汽车盲区显示识别系统，所述系统包括：

65、第一标定模块，用于计算不同位姿下的标定板组合的误差调整矩阵，基于所述误差调整矩阵对盲区拍摄相机进行标定，以得到所述盲区拍摄相机的标定参数；

66、第二标定模块，用于获取所述盲区拍摄相机所拍摄的盲区图像，对所述盲区图像进行投影图像处理，以得到相机投影变换关系，基于所述相机投影变换关系确定投影设备的标定参数；

67、调整模块，用于基于所述盲区拍摄相机的标定参数与所述投影设备的标定参数确定车内投影图像，确定所述车内投影图像的投影区域，基于所述投影区域对所述车内投影图像进行形变调整处理，以得到调整投影图像；

68、识别模块，用于获取驾驶员头部图像，对所述驾驶员头部图像进行特征点识别，以得到头部姿态信息与瞳孔识别结果；

69、显示模块，用于若所述瞳孔识别结果为成功识别到瞳孔位置，则根据所述瞳孔识别结果中的瞳孔坐标对所述调整投影图像进行第一图像调整，以得到第一最终投影图像，将所述第一最终投影图像在盲区显示区上进行盲区显示，若所述瞳孔识别结果为未成功识别到瞳孔位置，则根据所述头部姿态信息对所述调整投影图像进行第二图像调整，以得到第二最终投影图像，将所述第二最终投影图像在盲区显示区上进行盲区显示。