车辆行进全景系统及其方法
【专利摘要】本发明提供一种车辆行进全景系统，其包括广角摄像头、与广角摄像头电性连接的图像存储处理模块，图像处理模块包括图像存储单元和图像处理模块，图像处理模块将图像存储单元存储的前一位置的图像和广角摄像头摄取的当前位置的图像合成全景图像、并把合成的全景图像输送给显示器，图像存储单元存储摄取的图像和合成的全景图像。本发明结构简单且安装简便，实现了清晰度均匀且无缝平滑过渡的全景图像。本发明同时公开了一种图像无缝平滑过渡且清晰地均匀的车辆行进全景的方法。
【专利说明】
车辆行进全景系统及其方法
技术领域
[0001]本发明涉及汽车电子领域，尤其是一种车辆行进全景系统及其方法。
【背景技术】
[0002]汽车作为现代社会的主要交通工具，在满足基本使用功能的基础上，人们希望扩大驾驶时的视野范围，进而更有效地提供安全驾驶。车辆行进全景系统或者全景倒车鸟瞰系统就是扩大汽车驾驶时的视野范围。而现有的车辆行进全景系统通常采用四路摄像头，即在车辆的前、后、左、右各安装一个摄像头，通过四个摄像头分别拍摄车辆在某一位置前后左右的图像，然后将拍摄的四个图像拼凑成车辆该位置的全景视图。由于现有的车辆行进全景系统的全景视图需要四个图像拼合，而四个图像的拼合经常会出现拼合处过渡不自然问题。其次，现有车辆行进全景系统的左摄像头和右摄像头安装在车辆的左右后视镜上，而在左右后视镜上打孔安装的难度较大，且极容易损伤后视镜;加之不同的驾驶者会调整左右后视镜的角度，使得左右摄像头拍摄的角度也在变化，进而导致左右摄像头难以调整到合适的拍摄位置，并最终影响现有车辆行进全景系统的全景视图。
[0003]另外，中国专利文献号为CN204836349U公开了一种无缝非拼接式全景实时图像成像设备，该专利文献通过在摄像头的顶部设置反射镜、以及多个平凸透镜组成的图像收集组件及图像矫正组件实现无拼接的单一全景视图。结构复杂且对多个平凸透镜的凸面曲率及组装位置关系要求精准。
【发明内容】
[0004]有鉴于此，有必要针对【背景技术】提到的问题，提供一种结构简单、安装简便且图像无缝平滑过渡显示、图像清晰度均匀的车辆行进全景系统及其方法。
[0005]为了解决现有技术存在的问题，本发明的技术方案包括广角摄像头、与广角摄像头电性连接的图像存储处理模块，所述图像处理模块包括图像存储单元和图像处理模块，所述图像处理模块将图像存储单元存储的前一位置的图像和广角摄像头摄取的当前位置的图像合成全景图像、并把合成的全景图像输送给显示器，所述图像存储单元存储所述广角摄像头摄取的图像和图像处理模块合成的全景图像。
[0006]具体地，本发明车辆行进全景系统为倒车全景系统，倒车全景系统的广角摄像头置于所述车辆尾部。
[0007]具体地，本发明车辆行进全景系统为车辆前进全景系统，车辆前进全景系统的广角摄像头置于车辆头部。
[0008]作为对本发明车辆行进全景系统的改进，本发明车辆行进全景系统具有两个广角摄像头，分别为前置广角摄像头和后置广角摄像头，前置广角摄像头置于车辆头部，后置广角摄像头置于车辆尾部；图像处理模块将广角摄像头摄取的当前位置的前、后图像和图像存储单元存储的前一位置的前、后图像合成全景图像，并把合成的全景图像输送给显示器。
[0009]—种车辆行进全景的方法，包括如下步骤:
[0010]步骤S1:广角摄像头摄取车辆行进的图像；
[0011]步骤S2:图像存储单元存储摄取的图像；
[0012]步骤S3:图像处理模块分别识别当前位置摄取的图像及前一位置的图像中的若干特征点；
[0013]步骤S4:将当前位置摄取的图像中的若干特征点及前一位置的图像中的若干特征点配准，计算出两幅图像的变换关系；
[0014]步骤S5:根据两幅图像的变换关系，将前一位置的图像变换到当前位置摄取的图像中，保留当前位置摄取的图像区域之外的图像合成全景图像，并把合成的图像存储到图像存储单元；
[0015]步骤S6:重复步骤S3至S5，建立全景图像。
[0016]进一步地，本发明车辆行进全景的方法在步骤S3中，通过图像识别算法提取图像中的若干特征点。
[0017]进一步地，本发明车辆行进全景的方法在步骤S4中，通过迭代求系数法计算出两幅图像的二维图像变换矩阵。
[0018]进一步地，本发明在步骤S5中，将前一位置的图像做两幅图像变换关系相反的变换与当前位置摄取的图像重合。
[0019]较佳地，本发明车辆行进全景的方法在步骤SI之前设有步骤S0:校正广角摄像头的外部参数和内部参数。
[0020]相对于现有技术，本发明车辆行进全景系统结构简单、安装简便。同时通过广角摄像头摄取图像后存储在图像存储单元，然后图像处理模块将当前位置的图像和前一位置的图像合成后形成全景图像并输送给显示器，实现了图像无缝平滑过渡且清晰度均匀。而且本发明根据广角摄像头的位置可形成倒车全景系统或车辆前进全景系统。本发明车辆行进全景的方法通过识别当前位置摄取的图像及前一位置的图像中的特征点、对两幅图的特征点配准、计算出两幅图像的变换关系、将前一位置的图像变换到当前位置摄取的图像，实现了图像无缝平滑过渡且清晰度均匀。
【附图说明】
[0021 ]图1为本发明车辆行进全景系统示意图；
[0022]图2为图像处理模块合成全景图像示意图；
[0023]图3为前后双摄像头合成全景图像示意图；
[0024]图4为本发明车辆行进全景的方法流程示意图。
[0025]图中，I为广角摄像头；2为图像存储处理模块；
[0026]21为图像存储单元； 22为图像处理模块；
[0027]3为显示器。
【具体实施方式】
[0028]现结合【附图说明】本发明车辆行进全景系统的【具体实施方式】。
[0029]请参阅图1所示，本发明一种车辆行进全景系统，包括图像摄取部件即广角摄像头
1、与广角摄像头I电性连接的图像存储处理模块2，图像处理模块2包括图像存储单元21和图像处理模块22，图像处理模块22将图像存储单元存储的前一位置的图像和广角摄像头摄取的当前位置的图像合成全景图像、并把合成的全景图像输送给显示器3，图像存储单元21存储广角摄像头I摄取的图像和图像处理模块22合成的全景图像。
[0030]其中，图像存储单元21可以是双倍速率同步动态随机存储器缩称DDR，也可以是其他存储器；图像处理模块22可以是中央处理器缩称CPU;显示器3可以是独立的显示器，也可以是车载显示器。
[0031]本发明一种车辆行进全景系统的工作方式是:广角摄像头I摄像车辆行进中的图像，并将摄取的图像存储在图像存储单元21中，图像处理模块22将当前摄取的图像与前一位置摄取的图像经过处理计算后合成一副全景图像，如图2所示，当车辆行进到下一个位置时，图像处理模块22再将下一个位置的图像与当前合成的图像再次合成为一副全景图像。
[0032]本发明车辆行进全景系统为倒车全景系统，倒车全景系统的广角摄像头I置于所述车辆尾部，具体地，可以是车辆尾部的车牌框处或者后备箱拉手处。
[0033]本发明车辆行进全景系统为车辆前进全景系统，车辆前进全景系统的广角摄像头置于车辆头部，具体地，可以是车辆前端的车牌框处。
[0034]本发明车辆行进全景系统通过广角摄像头摄取图像后存储在图像存储单元，然后图像处理模块将当前位置的图像和前一位置的图像合成后形成全景图像并输送给显示器，实现了图像无缝平滑过渡且清晰度均匀。同时结构简单、安装简便。而且本发明根据广角摄像头的位置可形成倒车全景系统或车辆前进全景系统。
[0035]较佳地，本发明车辆行进全景系统具有两个广角摄像头，分别为前置广角摄像头和后置广角摄像头，前置广角摄像头置于车辆头部，后置广角摄像头置于车辆尾部;如图3所示，图像处理模块将广角摄像头摄取的当前位置的前、后图像和图像存储单元存储的前一位置的前、后图像合成全景图像，并把合成的全景图像输送给显示器。另一种方式，倒车时，图像处理模块将广角摄像头摄取的当前位置的前、后图像和图像存储单元存储的前一位置的后图像合成全景图像可以更好地实现清晰度均匀且无缝平滑过渡的全景图像;或者汽车前进时，图像处理模块将广角摄像头摄取的当前位置的前、后图像和图像存储单元存储的前一位置的前图像合成全景图像。而且前后双置摄像头的车辆行进全景系统可以降低车速较低时图像延时的问题。因为车速很低会出现图像延时问题，例如车速为5km/h时，每秒移动的距离为5000/3600 = 1.39米，如果每秒钟处理数据为30帧，则帧与帧之间的车辆移动为0.046，假设车辆的长度为5米，显示的范围为车身两米范围，则最大的延时为5秒，而车辆关键安全区域(例如车身周围)的延时则需要小于4秒，图像处理模块将前后双置摄像头的当前位置和前一位置摄取的图像经过处理合成，使得图像延时控制在4秒内。
[0036]本发明还提供一种车辆行进全景的方法，请参见图4，包括如下步骤:
[0037]步骤S1:广角摄像头摄取车辆行进的图像；
[0038]步骤S2:图像存储单元存储摄取的图像；
[0039]步骤S3:图像处理模块分别识别当前位置摄取的图像及前一位置的图像中的若干特征点；
[0040]步骤S4:将当前位置摄取的图像中的若干特征点及前一位置的图像中的若干特征点配准，计算出两幅图像的变换关系；
[0041]步骤S5:根据两幅图像的变换关系，将前一位置的图像变换到当前位置摄取的图像中，保留当前位置摄取的图像区域之外的图像合成全景图像，并把合成的图像存储到图像存储单元；
[0042]步骤S6:重复步骤S3至S5，建立全景图像。
[0043]其中，对于步骤S4，当车辆以120km/h速度行驶时，每秒移动的距离为120000/3600= 33.33米，如果每秒钟处理的帧数是30帧，则帧与帧之间的车辆的移动为1.1米，两帧之间相交区域可以达到1.9米，满足图像配准的需求。而关于两幅图像的变换关系，即是车辆的速度和转向数据。
[0044]进一步地，本发明车辆行进全景的方法在步骤S3中，通过图像识别算法提取图像中的若干特征点。
[0045]进一步地，本发明车辆行进全景的方法在步骤S4中，通过迭代求系数法计算出两幅图像的二维图像变换矩阵，包含了图像的平移和旋转变换，即车辆的速度和转向数据，即是说该矩阵可以理解为，其表达了车辆在两幅图像的时间间隔内，在第一幅图上所移动的距离和转弯的角度。
[0046]进一步地，本发明在步骤S5中，将前一位置的图像做两幅图像变换关系相反的变换与当前位置摄取的图像重合，此时前一位置的图像中的某些区域补足当前位置的图像的视野范围外的相应区域。如此一来，在车辆行进的移动过程中，重复这一过程，经过极短一段时间，即可以通过摄像头建立一个360度全景图像。
[0047]较佳地，本发明车辆行进全景的方法在步骤SI之前设有步骤S0:校正广角摄像头的外部参数和内部参数，广角摄像头矫正后可以覆盖的地面离车头或车尾的距离大于3米。
[0048]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种车辆行进全景系统，其特征在于，包括广角摄像头、与广角摄像头电性连接的图像存储处理模块，所述图像处理模块包括图像存储单元和图像处理模块，所述图像处理模块将图像存储单元存储的前一位置的图像和广角摄像头摄取的当前位置的图像合成全景图像、并把合成的全景图像输送给显示器，所述图像存储单元存储所述广角摄像头摄取的图像和图像处理模块合成的全景图像。2.根据权利要求1所述的车辆行进全景系统，其特征在于，所述车辆行进全景系统为倒车全景系统，倒车全景系统的广角摄像头置于所述车辆尾部。3.根据权利要求1所述的车辆行进全景系统，其特征在于，所述车辆行进全景系统为车辆前进全景系统，车辆前进全景系统的广角摄像头置于车辆头部。4.根据权利要求1所述的车辆行进全景系统，其特征在于，所述车辆行进全景系统具有两个广角摄像头，分别为前置广角摄像头和后置广角摄像头，前置广角摄像头置于车辆头部，后置广角摄像头置于车辆尾部；图像处理模块将广角摄像头摄取的当前位置的前、后图像和图像存储单元存储的前一位置的前、后图像合成全景图像，并把合成的全景图像输送给显示器。5.一种车辆行进全景的方法，其特征在于，包括如下步骤: 步骤S1:广角摄像头摄取车辆行进的图像； 步骤S2:图像存储单元存储摄取的图像； 步骤S3:图像处理模块分别识别当前位置摄取的图像及前一位置的图像中的若干特征占.V ， 步骤S4:将当前位置摄取的图像中的若干特征点及前一位置的图像中的若干特征点配准，计算出两幅图像的变换关系； 步骤S5:根据两幅图像的变换关系，将前一位置的图像变换到当前位置摄取的图像中，保留当前位置摄取的图像区域之外的图像合成全景图像，并把合成的图像存储到图像存储单元； 步骤S6:重复步骤S3至S5，建立全景图像。6.根据权利要求5所述的车辆行进全景的方法，其特征在于，在步骤S3中，通过图像识别算法提取图像中的若干特征点。7.根据权利要求5所述的车辆行进全景的方法，其特征在于，在步骤S4中，通过迭代求系数法计算出两幅图像的二维图像变换矩阵。8.根据权利要求5所述的车辆行进全景的方法，其特征在于，在步骤S5中，将前一位置的图像做两幅图像变换关系相反的变换与当前位置摄取的图像重合。9.根据权利要求5所述的车辆行进全景的方法，其特征在于，在步骤SI之前设有步骤SO:校正广角摄像头的外部参数和内部参数。
【文档编号】B60R1/00GK106080390SQ201610399552
【公开日】2016年11月9日
【申请日】2016年6月7日
【发明人】唐旭, 陈贤德
【申请人】深圳市灵动飞扬科技有限公司