一种汽车后视全景图像处理系统的制作方法

1.本发明涉及计算机、电子与光学领域，具体涉及一种汽车后视全景图像处理系统。
技术背景
2.现代社会智能化越来越应用在汽车领域，车辆的安全运行是最重要的一个部分，特别是驾驶员的盲区是事故高发区域，所以在汽车后方的多个区域安装摄像头，提供实时后方路况信息十分重要，但是多角度，多镜头的拍摄会有图像拼接的问题，在图像拼接的过程中会有拼接处不自然，亮度，梯度突变等负面情况，同时对于广角镜头边缘会造成几何位置的畸变从而造成图像两侧的画面有一定的倾角，整体拼接的图像噪声大，使得图像的质量精度都出现较大的误差，从而造成驾驶员的错误判断，而发生事故。目前对于高清视频和高清图像的实际需求场景越来越多，但是目前常见的视频编码器主要是关注视频信号的压缩，传输，功能等，重点都仅仅放在视频的清晰度，连续性等，从而忽略了车载实时视频最重要的延时参数，在特定的使用场景中，如图像追踪，运动捕捉，往往难以达到高帧率，高清，低延时同时兼备的效果，与此同时，高清，高帧率的视频的采集储存与处理难题也随之而来，处理时间约变为了原有硬件的数倍，在高帧率和高图像质量的实时视频难以保证图像处理的速度与精度，从cmos传感器接受信号，到fpga进行处理，送到显示屏，有较长的延时。


技术实现要素：

3.本发明针对现有技术的不足，公开了一种汽车后视全景图像处理系统，在不过多增加芯片计算量的情况下，首先通过透镜组对抓拍图像进行一定程度的畸变矫正，并且对车尾多个镜头的拍摄画面进行处理拼接，使图像亮度平缓渐变，减小突变梯度，改善图像质量，同时因为透镜的原因，可以使得图像边缘的畸变更小，方便后续处理，从而获得一个较为完整的汽车后部实时清晰的影像。
4.本发明的目的至少通过如下技术方案之一实现。
5.一种汽车后视全景图像处理系统，包括多个透镜组、多个摄像头、a/d转换模块、图像处理模块、图像拼接模块、图像补偿模块、d/a转换模块、显示器；
6.其中，多个摄像头分别通过对应的透镜组获取图像，输入a/d转换模块进行信号采样，将模拟信号转化为数字信号并输入图像处理模块；图像处理模块对图像进行甄选并将甄选的图像信息输入图像拼接模块；图像拼接模块将甄选的图像进行缩放拼接得到全景图片并输入图像补偿模块；图像补偿模块对全景图片进行补偿处理，最后将补偿后的全景图片信息通过d/a转换模块转换为模拟信号，通过显示器输出影像。
7.进一步地，一个透镜组对应一个摄像头，多个摄像头和对应的透镜组分别安装在车辆后视镜与汽车尾部。
8.进一步地，每个透镜组都带有自由曲面，调节广角镜头从硬件角度纠正带来的图像畸变，通过改变透镜组各个自由曲面的边缘的曲率来调整画面边缘相对于图像中心的倾斜角度。
9.进一步地，图像处理模块中，对整个图像采用sift算法检测尺度空间极值，定位关键点，进行关键点主方向分配，最后完成关键点的特征描述，得到特征描述向量。
10.进一步地，图像处理模块中，将关键点的特征描述向量归一化，进一步去除光照不均匀的影响。
11.进一步地，图像处理模块中，通过框列亮度色彩和锐利度的相似度超过阈值的图像，找到多个图像之间图像重叠的部分。
12.进一步地，图像处理模块中，图像匹配不仅是图像拼接的重要一步，也是图像拼接的基础；对于相同的目标，但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配，通过观察各对图像之间的对应关系来计算最佳几何变换，具体如下：
13.通过预估的几何变换把多源图像排列在一个共同的参考系中，通过匹配图像之间的模板，或通过匹配从图像中提取的特征，或者通过利用在频域中的相位相关属性，如果多源图像的关键点排列在一起，则图像匹配成功。
14.进一步地，图像拼接模块中，被甄选出来的图像经过图像的像素值加权融合，将多个角度的图片缩放拼接为一个全景图片。
15.进一步地，图像缩放长宽比为国际iso标准：
[0016][0017]
其中，d为从车镜到物体的距离；视角β为光线离开物体并在反射到车镜面后到达眼睛点之间的总角度；m(β,d＝∞)为当物体与镜面距离无穷大时，各个角度与镜面形成的不同放大率；m
hor
为物体与镜面平行且β＝90
°
时物体到镜面的放大率；m0为物体与透镜水平时物体到镜面的放大倍数；m
ver
为物体与镜面垂直且β＝0
°
时放大率；但是，补偿幅度较大会使得全景图片的亮度不均匀，边缘都有一些明显的变化造成拼接后全景图片不自然。
[0018]
进一步地，图像补偿模块中，把全景图片数据经过一个图像平滑(低通滤波)，主要是卷积插值法，对原图像素点周围的15个像素点做卷积操作，使得处理后图像更加平滑；
[0019]
使得最后的图像在色彩，亮度，噪声上面都呈现出一个较好的质量。
[0020]
相比于现有技术，本发明的优点在于：
[0021]
本发明在不过多增加芯片计算量的情况下，首先通过透镜组对抓拍图像进行一定程度的畸变矫正，并且对车尾多个镜头的拍摄画面进行处理拼接，使图像亮度平缓渐变，减小突变梯度，改善图像质量，同时因为透镜的原因，可以使得图像边缘的畸变更小，方便后续处理，
[0022]
并且本发明通过电路内部分为并行的3组fpga对一秒接收的60帧图像同时进行处理，每组处理20帧，从原理上相当于把串行的数据改为并行处理，通过3重并行，减少处理时间，大大加速编码速度，编码完成的视频信号转换为单帧的图像序列，最后通过降低对中间帧的需求来进一步降低没帧处理的延时，处理完毕的数据分别存入外接的sdram，再由电路将把并行处理的帧数据合并通过vga接口传输到汽车显示器。
[0023]
从而获得一个较为完整的汽车后部实时清晰的影像。
附图说明
[0024]
图1为本发明实施例中一种汽车后视全景图像处理系统的结构示意图；
[0025]
图2为本发明实施例中透镜组结构示意图；
[0026]
图3为本发明实施例中图像处理模块和图像拼接模块的步骤流程图；
[0027]
图4为本发明实施例中多个摄像头的位置示意图。
具体实施方式
[0028]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图并举实施例，对本发明的具体实施进行详细说明。
[0029]
实施例1：
[0030]
一种汽车后视全景图像处理系统，如图1所示，包括3个透镜组、3个摄像头、a/d转换模块、图像处理模块、图像拼接模块、图像补偿模块、d/a转换模块、显示器；
[0031]
其中，3个摄像头分别通过对应的透镜组获取图像，输入a/d转换模块进行信号采样，将模拟信号转化为数字信号并输入图像处理模块；图像处理模块对图像进行甄选并将甄选的图像信息输入图像拼接模块；图像拼接模块将甄选的图像进行缩放拼接得到全景图片并输入图像补偿模块；图像补偿模块对全景图片进行补偿处理，最后将补偿后的全景图片信息通过d/a转换模块转换为模拟信号，通过显示器输出影像。
[0032]
如图4所示，一个透镜组对应一个摄像头，本实施例中，3个摄像头和对应的透镜组分别安装在车辆后视镜与汽车尾部。
[0033]
进一步地，每个透镜组都带有自由曲面，调节广角镜头从硬件角度纠正带来的图像畸变，通过改变透镜组各个自由曲面的边缘的曲率来调整画面边缘相对于图像中心的倾斜角度。如图2所示，透镜1通过对入射光线的折射变换，减小入射角，透镜4为自由曲面，减小图像边缘的角度畸变。
[0034]
如图3所示，图像处理模块中，对整个图像采用sift算法检测尺度空间极值，定位关键点，进行关键点主方向分配，最后完成关键点的特征描述，得到特征描述向量。
[0035]
如图3所示，图像处理模块中，将关键点的特征描述向量归一化，进一步去除光照不均匀的影响。
[0036]
如图3、图4所示，图像处理模块中，通过框列亮度色彩和锐利度的相似度超过阈值的图像，找到多个图像之间图像重叠的部分，如图4中的黑色圆圈填充部分。
[0037]
如图3所示，图像处理模块中，图像匹配不仅是图像拼接的重要一步，也是图像拼接的基础；对于相同的目标，但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配，通过观察各对图像之间的对应关系来计算最佳几何变换，具体如下：
[0038]
通过预估的几何变换把多源图像排列在一个共同的参考系中，通过匹配图像之间的模板，或通过匹配从图像中提取的特征，或者通过利用在频域中的相位相关属性，如果多源图像的关键点排列在一起，则图像匹配成功。
[0039]
如图3所示，图像拼接模块中，被甄选出来的图像经过图像的像素值加权融合，将多个角度的图片缩放拼接为一个全景图片。
[0040]
进一步地，图像缩放长宽比为国际iso标准：
[0041][0042]
其中，d为从车镜到物体的距离；视角β为光线离开物体并在反射到车镜面后到达
眼睛点之间的总角度；m(β,d＝∞)为当物体与镜面距离无穷大时，各个角度与镜面形成的不同放大率；m
hor
为物体与镜面平行且β＝90
°
时物体到镜面的放大率；m0为物体与透镜水平时物体到镜面的放大倍数；m
ver
为物体与镜面垂直且β＝0
°
时放大率；但是，补偿幅度较大会使得全景图片的亮度不均匀，边缘都有一些明显的变化造成拼接后全景图片不自然。
[0043]
进一步地，图像补偿模块中，把全景图片数据经过一个图像平滑(低通滤波)，主要是卷积插值法，对原图像素点周围的15个像素点做卷积操作，使得处理后图像更加平滑；
[0044]
使得最后的图像在色彩，亮度，噪声上面都呈现出一个较好的质量。
[0045]
实施例2：
[0046]
一种汽车后视全景图像处理系统，如图1所示，包括4个透镜组、4个摄像头、a/d转换模块、图像处理模块、图像拼接模块、图像补偿模块、d/a转换模块、显示器；
[0047]
其中，多个摄像头分别通过对应的透镜组获取图像，输入a/d转换模块进行信号采样，将模拟信号转化为数字信号并输入图像处理模块；图像处理模块对图像进行甄选并将甄选的图像信息输入图像拼接模块；图像拼接模块将甄选的图像进行缩放拼接得到全景图片并输入图像补偿模块；图像补偿模块对全景图片进行补偿处理，最后将补偿后的全景图片信息通过d/a转换模块转换为模拟信号，通过显示器输出影像。
[0048]
一个透镜组对应一个摄像头，本实施例中，2个摄像头和对应的透镜组分别安装在车辆后视镜，2个摄像头和对应的透镜组安装在车尾。
[0049]
进一步地，每个透镜组都带有自由曲面，调节广角镜头从硬件角度纠正带来的图像畸变，通过改变透镜组各个自由曲面的边缘的曲率来调整画面边缘相对于图像中心的倾斜角度。如图2所示，透镜1通过对入射光线的折射变换，减小入射角，透镜4为自由曲面，减小图像边缘的角度畸变。
[0050]
如图3所示，图像处理模块中，对整个图像采用sift算法检测尺度空间极值，定位关键点，进行关键点主方向分配，最后完成关键点的特征描述，得到特征描述向量。
[0051]
如图3所示，图像处理模块中，将关键点的特征描述向量归一化，进一步去除光照不均匀的影响。
[0052]
如图3、图4所示，图像处理模块中，通过框列亮度色彩和锐利度的相似度超过阈值的图像，找到多个图像之间图像重叠的部分。
[0053]
如图3所示，图像处理模块中，图像匹配不仅是图像拼接的重要一步，也是图像拼接的基础；对于相同的目标，但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配，通过观察各对图像之间的对应关系来计算最佳几何变换，具体如下：
[0054]
通过预估的几何变换把多源图像排列在一个共同的参考系中，通过匹配图像之间的模板，或通过匹配从图像中提取的特征，或者通过利用在频域中的相位相关属性，如果多源图像的关键点排列在一起，则图像匹配成功。
[0055]
如图3所示，图像拼接模块中，被甄选出来的图像经过图像的像素值加权融合，将多个角度的图片缩放拼接为一个全景图片。
[0056]
进一步地，图像缩放长宽比为国际iso标准：
[0057][0058]
其中，d为从车镜到物体的距离；视角β为光线离开物体并在反射到车镜面后到达
眼睛点之间的总角度；m(β,d＝∞)为当物体与镜面距离无穷大时，各个角度与镜面形成的不同放大率；m
hor
为物体与镜面平行且β＝90
°
时物体到镜面的放大率；m0为物体与透镜水平时物体到镜面的放大倍数；m
ver
为物体与镜面垂直且β＝0
°
时放大率；但是，补偿幅度较大会使得全景图片的亮度不均匀，边缘都有一些明显的变化造成拼接后全景图片不自然。
[0059]
进一步地，图像补偿模块中，把全景图片数据经过一个图像平滑(低通滤波)，主要是卷积插值法，对原图像素点周围的15个像素点做卷积操作，使得处理后图像更加平滑；
[0060]
使得最后的图像在色彩，亮度，噪声上面都呈现出一个较好的质量。
[0061]
实施例3：
[0062]
一种汽车后视全景图像处理系统，如图1所示，包括6个透镜组、6个摄像头、a/d转换模块、图像处理模块、图像拼接模块、图像补偿模块、d/a转换模块、显示器；
[0063]
其中，6个摄像头分别通过对应的透镜组获取图像，输入a/d转换模块进行信号采样，将模拟信号转化为数字信号并输入图像处理模块；图像处理模块对图像进行甄选并将甄选的图像信息输入图像拼接模块；图像拼接模块将甄选的图像进行缩放拼接得到全景图片并输入图像补偿模块；图像补偿模块对全景图片进行补偿处理，最后将补偿后的全景图片信息通过d/a转换模块转换为模拟信号，通过显示器输出影像。
[0064]
一个透镜组对应一个摄像头，本实施例中，6个摄像头和对应的透镜组，两两一组，分别安装在车辆后视镜与汽车尾部。
[0065]
进一步地，每个透镜组都带有自由曲面，调节广角镜头从硬件角度纠正带来的图像畸变，通过改变透镜组各个自由曲面的边缘的曲率来调整画面边缘相对于图像中心的倾斜角度。如图2所示，透镜1通过对入射光线的折射变换，减小入射角，透镜4为自由曲面，减小图像边缘的角度畸变。
[0066]
如图3所示，图像处理模块中，对整个图像采用sift算法检测尺度空间极值，定位关键点，进行关键点主方向分配，最后完成关键点的特征描述，得到特征描述向量。
[0067]
如图3所示，图像处理模块中，将关键点的特征描述向量归一化，进一步去除光照不均匀的影响。
[0068]
如图3、图4所示，图像处理模块中，通过框列亮度色彩和锐利度的相似度超过阈值的图像，找到多个图像之间图像重叠的部分。
[0069]
如图3所示，图像处理模块中，图像匹配不仅是图像拼接的重要一步，也是图像拼接的基础；对于相同的目标，但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配，通过观察各对图像之间的对应关系来计算最佳几何变换，具体如下：
[0070]
通过预估的几何变换把多源图像排列在一个共同的参考系中，通过匹配图像之间的模板，或通过匹配从图像中提取的特征，或者通过利用在频域中的相位相关属性，如果多源图像的关键点排列在一起，则图像匹配成功。
[0071]
如图3所示，图像拼接模块中，被甄选出来的图像经过图像的像素值加权融合，将多个角度的图片缩放拼接为一个全景图片。
[0072]
进一步地，图像缩放长宽比为国际iso标准：
[0073][0074]
其中，d为从车镜到物体的距离；视角β为光线离开物体并在反射到车镜面后到达
眼睛点之间的总角度；m(β,d＝∞)为当物体与镜面距离无穷大时，各个角度与镜面形成的不同放大率；m
hor
为物体与镜面平行且β＝90
°
时物体到镜面的放大率；m0为物体与透镜水平时物体到镜面的放大倍数；m
ver
为物体与镜面垂直且β＝0
°
时放大率；但是，补偿幅度较大会使得全景图片的亮度不均匀，边缘都有一些明显的变化造成拼接后全景图片不自然。
[0075]
进一步地，图像补偿模块中，把全景图片数据经过一个图像平滑(低通滤波)，主要是卷积插值法，对原图像素点周围的15个像素点做卷积操作，使得处理后图像更加平滑；
[0076]
使得最后的图像在色彩，亮度，噪声上面都呈现出一个较好的质量。