一种倒车引导系统及方法与流程

本发明涉及汽车领域，尤其涉及一种倒车引导系统及方法。

背景技术：

倒车一直是汽车驾驶的一个难点，其主要是因为坐在驾驶座位上的驾驶员很难看到汽车后面的实际情况。因此，现在的汽车厂商都会或多或少的给汽车装上倒车引导系统。这些装置可分为两种：一种是倒车雷达，当车身靠近障碍物时发出警报信号以警告驾驶员；另外一种是倒车诱导装置，其将车尾摄像头拍摄到的画面、车后方的安全距离(即车幅延长线)及预想路线等实时显示在驾驶室内的多媒体显示屏上。

比较高级的汽车上会同时配备这两种装置，但即便如此，由于倒车雷达仅仅是一种被动的倒车安全装置，而倒车引导系统也仅仅显示了车后面的图像，没有车子周围的画面，驾驶员依然很难掌握到汽车全局的信息，而轻松地完成倒车过程。因此，近期汽车厂商通过结合全景技术，推出了360°全景倒车系统，大大加强了车尾倒车引导系统的诱导功能，其给驾驶员提供了倒车时的汽车全景俯瞰视角，能非常方便直接的了解到汽车四周的各种情况，给倒车带来了极大的便利。但是，这种全景倒车系统存在以下问题：

1.价格昂贵：目前的全景倒车系统基本都是通过多个摄像头的画面拼接来实现的，因此多个摄像头本身的价格和其带来的对硬件处理能力的要求将大大的提高系统的成本，而成本的提高最终将转嫁给消费者，也就是我们看到的价格昂贵。

2.安装难度大：由于多个摄像头的拼接涉及到图像畸变矫正、透视变换和融合拼接等各个问题，其跟摄像头的安装位置和镜头本身的质量息息相关，因此会极大的增加安装的难度。

3.前期工作复杂：由于每次安装不可能做到完全的按照标准进行，所以每次安装后需要对系统进行调整，这些调整包括摄像头画面的投影参数设置，融合参数设置等等，即便是专业人员也需要花费大量的时间。

4.对硬件的要求：由于每个摄像头都需要对图像进行畸变矫正、投影变换等预处理，最后还需要对图像进行融合、拼接成全景图像，因此该系统对硬件的性能要求很高，很难做到高清实时，这也是目前市面上基本看不到高清的全景倒车系统画面的一个重要原因。

综上，这种全景倒车系统由于存在以上问题，目前很难普及开来。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能克服上述缺陷的倒车引导系统及方法。

本发明解决其技术问题所采用的技术方案是：构造一种倒车引导系统，与汽车上的显示屏相连，包括：

设置在汽车尾部且倾斜向下安装的摄像头，用于每间隔预设时间对监控区域进行一次拍摄，以获取相应的图像帧；

姿态获取模块，用于获取汽车在每个图像帧的拍摄时刻的姿态信息；

处理模块，用于对所拍摄的图像帧进行畸变矫正处理及透视变换处理，以获取多个连续的在同一个平面的图像帧；

拼接模块，用于根据所检测的姿态信息对所述图像帧进行调整，且将调整后的图像帧进行拼接以获取全景图像；

截取模块，用于在所述全景图像中虚拟出当前汽车的位置，且以所述全景图像中当前汽车的位置为中心截取预设范围的图像；

发送模块，用于将所截取的图像发送至所述显示屏。

优选地，所述姿态信息包括角度数据及位移数据，所述拼接模块包括：

第一角度调整单元，用于根据待拼接的当前图像帧的拍摄时刻的角度数据对当前图像帧进行角度调整，以获取角度调整后的当前图像帧；

第一偏移计算单元，用于获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所获取的位移差值所对应的偏移像素量；

第一拼接单元，用于根据所计算的偏移像素量，将角度调整后的当前图像帧与当前已拼接图像进行拼接，以更新当前已拼接图像。

优选地，所述姿态信息包括角度数据及位移数据，所述拼接模块包括：

角度计算单元，用于计算待拼接的当前图像帧的拍摄时刻的角度数据与其前一图像帧的拍摄时刻的角度数据的角度差值；

第二角度调整单元，用于将当前图像帧的位置固定，且根据所计算的角度差值调整当前已拼接图像的角度；

第二偏移计算单元，用于获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所述位移差值所对应的偏移像素量；

第二拼接单元，用于根据所计算的偏移像素量，将当前图像帧与角度调整后的当前已拼接图像进行拼接，以更新当前已拼接图像。

优选地，所述摄像头为广角摄像头。

优选地，所述姿态获取模块为姿态传感器。

本发明还构造一种倒车引导方法，包括：

S10.设置在汽车尾部且倾斜向下安装的摄像头每间隔预设时间对监控区域进行一次拍摄，以获取相应的图像帧；

S20.获取汽车在每个图像帧的拍摄时刻的姿态信息；

S30.对所拍摄的图像帧进行畸变矫正处理及透视变换处理，以获取多个连续的在同一个平面的图像帧；

S40.根据所检测的姿态信息对所述图像帧进行调整，且将调整后的图像帧进行拼接以获取全景图像；

S50.在所述全景图像中虚拟出当前汽车的位置，且以所述全景图像中当前汽车的位置为中心截取预设范围的图像；

S60.将所截取的图像发送至显示屏以进行显示。

优选地，所述姿态信息包括角度数据及位移数据，所述步骤S40包括：

S401.根据待拼接的当前图像帧的拍摄时刻的角度数据对当前图像帧进行角度调整，以获取角度调整后的当前图像帧；

S402.获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所获取的位移差值所对应的偏移像素量；

S403.根据所计算的偏移像素量，将角度调整后的当前图像帧与当前已拼接图像进行拼接，以更新当前已拼接图像。

优选地，所述姿态信息包括角度数据及位移数据，所述步骤S40包括：

S411.计算待拼接的当前图像帧的拍摄时刻的角度数据与其前一图像帧的拍摄时刻的角度数据的角度差值；

S412.将当前图像帧的位置固定，且根据所计算的角度差值调整当前已拼接图像；

S413.获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所述位移差值所对应的偏移像素量；

S414.根据所计算的偏移像素量，将当前图像帧与角度调整后的当前已拼接图像进行拼接，以更新当前已拼接图像。

优选地，所述摄像头为广角摄像头。

优选地，所述姿态获取模块为姿态传感器。

实施本发明的技术方案，由于仅需要在汽车上安装一个摄像头就能实现倒车过程中360°全景图像的获取。所以，相比现有的360°全景倒车系统，大大的降低了硬件成本和前期的工作成本，如果普及开来，甚至可以成为行业的标杆，让大多数汽车厂商都使用这一技术，因此其经济效益将十分可观。此外，由于硬件成本和前期工作成本的降低，本发明的倒车引导系统的售价也将随之降低，这将有利于越来越多的消费者购买此产品，大大的加强了倒车的安全性，对于交通安全也将有十分积极的促进作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明倒车引导系统实施例一的逻辑结构图；

图2A-2D是汽车在倒车时生成全景图像的示意图；

图3A和图3B分别是图像帧在透视变换前后的示意图；

图4是本发明倒车引导方法实施例一的流程示意图。

具体实施方式

在图1示出的本发明倒车引导系统实施例一的逻辑结构图中，该实施例的倒车引导系统包括摄像头10、姿态获取模块20、处理模块30、拼接模块40、截取模块50和发送模块60，其中，摄像头10设置在汽车尾部且倾斜向下安装，而且，摄像头10用于每间隔预设时间对监控区域进行一次拍摄，以获取相应的图像帧，这样在倒车过程中可获取到多个连续的图像帧。姿态获取模块20用于获取汽车在每个图像帧的拍摄时刻的姿态信息，即，在拍摄图像帧的同时检测汽车的姿态信息，姿态信息包括位移数据和角度数据。处理模块30用于对所拍摄的图像帧进行畸变矫正处理及透视变换处理，以获取多个连续的在同一个平面的图像帧。拼接模块40用于根据所检测的姿态信息对所述图像帧进行调整，且将调整后的图像帧进行拼接以获取全景图像。截取模块50用于在所述全景图像中虚拟出当前汽车的位置，且以所述全景图像中当前汽车的位置为中心截取预设范围的图像。发送模块60用于将所截取的图像发送至所述显示屏。

优选地，处理模块30、拼接模块40、截取模块50可通过内置在嵌入式SoC芯片中的程序实现。发送模块60例如为数字或模拟视频线，也可为WIFI模块、蓝牙模块等。

下面以倒车中非常常见且难度较大的倒车入库为例进行说明，如图2A所示，若汽车需要从A处行驶到B处，然后在B处开始倒车，到C处完成整个倒车过程。由于汽车尾部安装有摄像头10，其可对T1、T2、T3等区域进行图像拍摄，如图2B所示。为了能获得更大的视角(也就是为了区域T1、T2、T3等更大)，摄像头10优选广角摄像头。汽车在行驶时，摄像头每隔预设时间就可对监控区域的画面进行一次拍摄，该预设时间可设置的小一些，例如为20ms，也可设置的大一些，例如为300ms。而且，在该过程中，由于不停地进行拍摄、处理、拼接，所以，当汽车到B处时，便可获得从A处到B处的全景图像。然后在倒车过程中，也会继续不断地进行拍摄、处理、拼接，此时可实时获得此过程中倒车轨迹上的全景图像，如图2C所示。接着，在倒车的过程中，还在已经取得的全景图像中以汽车为中心截取其周围的区域，如图2D中的箭头所示。然后将所截取的图像传送至显示屏，以显示给驾驶员。

在该倒车引导系统的实施例中，还需说明的是，摄像头10装在汽车的尾部，方向倾斜向下安装。在出厂之前需要对摄像头进行内部参数标定，以便后面对画面做畸变矫正。安装固定后还需要做外部参数标定，以便后面对画面做透视变换。

下面说明该倒车引导系统的工作原理：

首先，可在缓存区中预留一块足够大的区域用于存放全景图像。当汽车运行时，通过摄像头10和姿态获取模块20获取每一个时刻的摄像头画面和汽车姿态。

然后，处理模块30对每一张图像帧进行畸变矫正及透视变换处理。之所以要进行畸变矫正处理，是因为几乎所有的镜头本身都存在着畸变，尤其是使画面有桶形失真的广角摄像头。通过畸变矫正处理，可将画面中由于畸变导致的直线变曲线重新矫正成直线。在畸变矫正处理之后还需要对图像帧进行透视变换处理，在此需说明的是，由于摄像头是固定在汽车尾部，而且是倾斜向下安装的，可认为其与水平面的相对距离是固定的，所以，其所拍摄的画面的视角都是倾斜向下的，如图3A所示，摄像头拍摄的各个画面都不在同一个平面上。在此有必要将摄像头拍摄的画面通过透视变换将视角变换为俯视视角，使得摄像头拍摄的各个画面都出在同一个平面上，如图3B所示。

在处理模块20完成了图像帧的处理后，便可得到多个连续的待拼接的图像帧。再通过姿态获取模块20所获取的姿态信息对这些图像帧进行调整，例如，旋转或平移，然后拼接模块40再将这些调整后的图像帧融合到预先准备好的全景图片区域，从而拼接成全景图像。最后，在拼接成的全景图像中虚拟出当前汽车的位置，并以该车为中心截取全景图像的一部分显示给司机看，以供司机倒车。

下面具体说明拼接模块拼接全景图像的过程：

在一个实施例中，拼接模块40具体包括第一角度调整单元、第一偏移计算单元和第一拼接单元。其中，第一角度调整单元用于根据待拼接的当前图像帧的拍摄时刻的角度数据对当前图像帧进行角度调整，以获取角度调整后的当前图像帧；第一偏移计算单元用于获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所获取的位移差值所对应的偏移像素量；第一拼接单元用于根据所计算的偏移像素量，将角度调整后的当前图像帧与当前已拼接图像进行拼接，以更新当前已拼接图像，并作为全景图像。

在另一个实施例中，拼接模块40具体包括角度计算单元、第二角度调整单元、第二偏移计算单元和第二拼接单元。其中，角度计算单元用于计算待拼接的当前图像帧的拍摄时刻的角度数据与其前一图像帧的拍摄时刻的角度数据的角度差值；第二角度调整单元用于将当前图像帧的位置固定，且根据所计算的角度差值调整当前已拼接图像的角度；第二偏移计算单元用于获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所述位移差值所对应的偏移像素量；第二拼接单元用于根据所计算的偏移像素量，将当前图像帧与角度调整后的当前已拼接图像进行拼接，以更新当前已拼接图像，并作为全景图像。

关于图像的拼接，可用新的图像帧中像素点的像素值替换旧图像帧中相应像素点的像素值，也可对新旧两个图像帧中相应像素点的像素值进行融合处理，例如求均值。

另外，关于本发明中的姿态获取模块20，其优选为姿态传感器，例如可将该姿态传感器与摄像头一起安装在汽车尾部。当然，在其它一些实施例中，姿态获取模块20可通过图像匹配算法实现，具体为：分别提取每个图像帧的特征点，并对任意两个图像帧进行特征点的匹配，匹配完成后即可获取到该两个图像帧的相对位置。

图4是本发明倒车引导方法实施例一的流程示意图，该倒车引导方法包括以下步骤：

S10.设置在汽车尾部且倾斜向下安装的摄像头每间隔预设时间对监控区域进行一次拍摄，以获取相应的图像帧。

在该步骤中，摄像头优选广角摄像头；

S20.获取汽车在每个图像帧的拍摄时刻的姿态信息。

在该步骤中，优选通过安装在汽车尾部的姿态传感器来获取汽车的姿态信息，姿态信息例如包括角度数据和位移数据。

S30.对所拍摄的图像帧进行畸变矫正处理及透视变换处理，以获取多个连续的在同一个平面的图像帧。

在该步骤中，畸变矫正处理是为了将画面中由于畸变导致的直线变曲线重新矫正成直线；透视变换处理是为了将摄像头所拍摄的各个画面由不在同一平面变换成在同一平面内。

S40.根据所检测的姿态信息对所述图像帧进行调整，且将调整后的图像帧进行拼接以获取全景图像。

S50.在所述全景图像中虚拟出当前汽车的位置，且以所述全景图像中当前汽车的位置为中心截取预设范围的图像。

S60.将所截取的图像发送至显示屏以进行显示。

在该步骤中，可通过模拟或数字的视频线传送所截取的图像，也可通过WIFI、蓝牙传送所截取的图像。

在一个实施例中，步骤S40包括：

S401.根据待拼接的当前图像帧的拍摄时刻的角度数据对当前图像帧进行角度调整，以获取角度调整后的当前图像帧；

S402.获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所获取的位移差值所对应的偏移像素量；

S403.根据所计算的偏移像素量，将角度调整后的当前图像帧与当前已拼接图像进行拼接，以更新当前已拼接图像。

在另一个实施例中，步骤S40具体包括：

S411.计算待拼接的当前图像帧的拍摄时刻的角度数据与其前一图像帧的拍摄时刻的角度数据的角度差值；

S412.将当前图像帧的位置固定，且根据所计算的角度差值调整当前已拼接图像；

S413.获取当前图像帧的拍摄时刻与其前一图像帧的拍摄时刻的位移差值，并根据预先存储的单位位移数据所对应的偏移像素量，计算所述位移差值所对应的偏移像素量；

S414.根据所计算的偏移像素量，将当前图像帧与角度调整后的当前已拼接图像进行拼接，以更新当前已拼接图像。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。