一种基于车载环视逆投影的近目标快速检测方法及系统与流程

[0001]
本发明涉及智能交通技术领域，尤其涉及一种基于车载环视逆投影的近目标快速检测方法及系统。


背景技术：

[0002]
近年来，随着车辆智能化技术的飞速发展，许多辅助驾驶乃至自动驾驶技术被广泛研究，特别是针对智能车的泊车辅助系统(parking assistance system)，车辆智能泊停也是更高级别的无人驾驶系统必不可缺的组成部分。
[0003]
在车辆智能泊停系统中，均需要快速准确的检测出停车位是否存在障碍物的情况。现有车位检测障碍物的技术按照工作原理可以分为两类，第一类为基于超声波雷达、毫米波雷达、激光雷达等距离传感器进行三维重建方法，同时基于立体摄像机进行深度检测。在该类方法中，传感器的传感精度依赖于相邻车辆的位置，检测速度和检测精度都难以满足实用性要求，同时各种传感器的高昂的成本阻碍了其作为汽车配件商业化的应用。第二类则为基于目标检测与识别的方法，一般采用深度学习进行车位障碍物情况的检测，虽然在特定目标的识别(车、人等)上有较好的优越性，但对其他障碍物(路障、柱子等)的鲁棒性较差，且只适用于单一场景。综上，现有车位检测障碍物技术实现方法复杂，且检测速度和检测精度都难以有效地满足实时要求，因此，如何提出一种快速、准确进行近目标障碍物的方法是亟待解决的问题。


技术实现要素：

[0004]
有鉴于此，有必要提供一种基于车载环视逆投影的近目标快速检测方法及系统，用以解决现有技术中障碍物检测方法复杂，且检测速度和检测精度都难以有效地满足实时要求的问题。
[0005]
本发明提供一种基于车载环视逆投影的近目标快速检测方法，包括：
[0006]
获取多个鱼眼相机的拍摄图片，其中，所述多个鱼眼相机用于采集车辆行驶过程中不同方向道路的所述拍摄图片；
[0007]
根据针对所述拍摄图片的畸变校正预处理，确定矫正图片；
[0008]
根据所述多个鱼眼相机的联合标定外参数，将所述矫正图片的逆投影图像确定统一在同一坐标系下；
[0009]
根据针对统一在同一坐标系下的逆投影图像的图像差分处理，确定二值化后的差分图像，其中，像素为1表示障碍像素点，像素为0表示地面点；
[0010]
根据障碍物的定位信息确定所述差分图像中的感兴趣区域，遍历所述感兴趣区域中的所述障碍像素点，确定障碍物到车的距离。
[0011]
进一步地，所述拍摄图片包括第一方向图片和第二方向图片，其中，前视鱼眼相机或后视鱼眼相机用于拍摄所述第一方向图片，左视鱼眼相机或右视鱼眼相机用于拍摄所述第二方向图片。
[0012]
进一步地，所述矫正图片包括第一矫正图片和第二矫正图片，所述根据针对所述拍摄图片的畸变校正预处理，确定矫正图片包括：
[0013]
根据所述多个鱼眼相机的单独标定内参数，通过鱼眼相机成像模型和畸变校正原理，分别对所述第一方向图片和第二方向图片进行校正，其中，所述内参数通过对所述多个鱼眼相机进行单独标定而确定，所述单独标定内参数通过对所述多个鱼眼相机进行单独标定而确定；
[0014]
对校正后的第一方向图片进行灰度化处理，确定对应的所述第一矫正图片；
[0015]
对校正后的第二方向图片进行灰度化处理，确定对应的所述第二矫正图片。
[0016]
进一步地，所述联合标定外参数包括所述第一矫正图片和所述第二矫正图片对应鱼眼相机之间的r、t矩阵，所述根据所述多个鱼眼相机的联合标定外参数，将所述矫正图片的逆投影图像确定统一在同一坐标系下包括：
[0017]
根据所述多个鱼眼相机的单独标定外参数，分别对所述第一矫正图片和所述第二矫正图片进行逆映射；
[0018]
根据所述第一矫正图片和所述第二矫正图片对应的鱼眼相机之间的的r、t矩阵，通过坐标系转换，确定统一在同一坐标系下的对应的第一逆投影图像和第二逆投影图像。
[0019]
进一步地，所述根据针对统一在同一坐标系下的逆投影图像的图像差分处理，确定二值化后的差分图像包括：
[0020]
根据所述第一逆投影图像和所述第二逆投影图像的差分结果，确定对应的视差图；
[0021]
根据预设的二值化阈值，对所述对应的视差图进行二值化处理，确定二值化后的所述差分图像。
[0022]
进一步地，在所述根据针对统一在同一坐标系下的逆投影图像的图像差分处理，确定二值化后的差分图像的步骤之后，还包括：
[0023]
根据所述第一矫正图片和所述第二矫正图片对应的鱼眼相机之间的基线长度，确定膨胀腐蚀核函数；
[0024]
通过所述膨胀腐蚀核函数，对所述差分图像进行先腐蚀后膨胀的形态学滤波。
[0025]
进一步地，所述根据障碍物的定位信息确定所述差分图像中的感兴趣区域，遍历所述感兴趣区域中的所述障碍像素点，确定障碍物到车的距离包括：
[0026]
根据所述障碍物的定位信息，确定所述差分图像中的感兴趣区域；
[0027]
遍历所述感兴趣区域中的障碍像素点，确定与相机中点最近的第一障碍像素点；
[0028]
根据第一距离和第二距离之和，确定所述障碍物到车的距离，其中，所述第一距离为逆投影开始点与所述第一障碍像素点之间的距离，所述第二距离为所述逆投影开始点到车之间的距离。
[0029]
进一步地，该方法还包括：
[0030]
统计所述感兴趣区域中的障碍像素点，并确定对应在所述感兴趣区域中的占比；
[0031]
根据所述占比和预设的比率阈值的比较结果，判断所述第一方向图片和所述第二方向图片对应检测的车辆盲区是否有障碍物，其中，所述车辆盲区为所述第一方向图片对应的相机和所述第二方向图片对应的相机之间的视野公共区域。
[0032]
本发明还提供一种基于车载环视逆投影的近目标快速检测系统，包括基于车载环
视逆投影的近目标快速检测装置、多个鱼眼相机、稳压直流电源、图像数据传输线、电源线，其中，所述基于车载环视逆投影的近目标快速检测装置包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的基于车载环视逆投影的近目标快速检测方法，所述多个鱼眼相机用于采集车辆行驶过程中不同方向道路的拍摄图片，所述图像数据传输线用于将所述拍摄图片传输至所述基于车载环视逆投影的近目标快速检测装置，所述稳压直流电源与所述电源线用于提供电源。
[0033]
与现有技术相比，本发明的有益效果包括：通过预处理对拍摄图片畸变校正预处理，以保证图像处理的准确性；进而通过联合标定外参数，有效将多种矫正图片的逆投影图像统一在同一坐标系下，确定其实际位置坐标；在通过差分处理，得到障碍物大致位置和形状，进一步通过二值化处理，获得更加精确稳定的障碍物轮廓信息；最后，结合障碍物的定位信息进行遍历，实现对盲区中障碍物的精确定位。综上，本发明不需要利用明确的目标检测或三维重建等复杂的算法，仅提出简单的图像变换算法，实现快速的近目标障碍物检测与定位，同时保证障碍物检测的精准度，且节约了成本。
附图说明
[0034]
图1为本发明提供的基于车载环视逆投影的近目标快速检测方法的流程示意图；
[0035]
图2为本发明提供的逆投影的流程示意图；
[0036]
图3为本发明提供的逆投影模型示意图；
[0037]
图4为本发明提供的平面投影示意图；
[0038]
图5为本发明提供的差分处理的流程示意图；
[0039]
图6为本发明提供的障碍物测距的流程示意图；
[0040]
图7为本发明提供的障碍物检测原理图；
[0041]
图8为本发明提供的基于车载环视逆投影的近目标快速检测系统的结构示意图；
[0042]
图9为本发明提供的基于车载环视逆投影的近目标快速检测装置的结构示意图。
具体实施方式
[0043]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0044]
实施例1
[0045]
本发明实施例提供了一种基于车载环视逆投影的近目标快速检测方法，结合图1来看，图1为本发明提供的基于车载环视逆投影的近目标快速检测方法的流程示意图，上述基于车载环视逆投影的近目标快速检测方法包括步骤s1至步骤s5，其中：
[0046]
在步骤s1中，获取多个鱼眼相机的拍摄图片，其中，多个鱼眼相机用于采集车辆行驶过程中不同方向道路的拍摄图片；
[0047]
在步骤s2中，根据针对拍摄图片的畸变校正预处理，确定矫正图片；
[0048]
在步骤s3中，根据多个鱼眼相机的联合标定外参数，将所述矫正图片的逆投影图像确定统一在同一坐标系下；
[0049]
在步骤s4中，根据针对统一在同一坐标系下的逆投影图像的图像差分处理，确定二值化后的差分图像，其中，像素为1表示障碍像素点，像素为0表示地面点；
[0050]
在步骤s5中，根据障碍物的定位信息确定差分图像中的感兴趣区域，遍历感兴趣区域中的障碍像素点，确定障碍物到车的距离。
[0051]
在本发明实施例中，对两个鱼眼相机拍摄的图片进行预处理，再将两个鱼眼相机获取的两张视图逆投影到参考平面以生成两个逆投影图像，并通过这两张逆投影图像之差生成差分图像，实现障碍物检测，得到障碍物大致位置和形状，再根据差分图像计算出障碍物位置信息，实现对盲区中障碍物的精确定位。
[0052]
优选地，拍摄图片包括第一方向图片和第二方向图片，其中，前视鱼眼相机或后视鱼眼相机用于拍摄第一方向图片，左视鱼眼相机或右视鱼眼相机用于拍摄第二方向图片。
[0053]
由此，本发明通过结合第一方向图片和第二方向图片，可以有效探测多个视角盲区，其中包括车辆左前、右前、左后和右后方视觉盲区。
[0054]
需要说明的是，鱼眼相机包括车载环视相机的前视相机、后视相机、左视相机和右视相机，用于拍摄车辆各方盲区的图片，每张图片中至少应包含盲区的地面信息。前视摄像机嵌入于车辆前“logo”位置；左右摄像机安装于左右后视镜下方，和竖直方向成一角度，视角朝车辆外侧；后视摄像机安装于后备箱“鸭尾”下，与竖直方向成一角度，视角向后。除此之外，鱼眼相机拍摄角度更广，使用前需要对的四个鱼眼相机进行单独标定和联合标定。
[0055]
优选地，矫正图片包括第一矫正图片和第二矫正图片，步骤s2具体包括以下三个步骤：
[0056]
根据多个鱼眼相机的单独标定内参数，通过鱼眼相机成像模型和畸变校正原理，分别对第一方向图片和所述第二方向图片进行校正，其中，单独标定内参数通过对多个鱼眼相机进行单独标定而确定；
[0057]
对校正后的第一方向图片进行灰度化处理，确定对应的第一矫正图片；
[0058]
对校正后的第二方向图片进行灰度化处理，确定对应的第二矫正图片。
[0059]
由此，鱼眼相机相对普通相机具有更大的成像视野，但是其拍摄的图片有严重的畸变，所以，在使用鱼眼相机拍摄的图片之前需要对其进行畸变校正，比如，当车载计算机接收到前视相机和右视相机拍摄的图片后对其进行预处理，先根据鱼眼相机成像模型和畸变校正原理把图片校正，再把校正后的图片灰度化，使彩色图片变为灰度图，以便后续的逆投影处理。
[0060]
优选地，结合图2来看，图2为本发明提供的逆投影的流程示意图，步骤s3具体包括步骤s31至步骤s32，其中：
[0061]
在步骤s31中，根据多个鱼眼相机的单独标定外参数，分别对第一矫正图片和第二矫正图片进行逆映射；
[0062]
在步骤s32中，根据第一矫正图片和第二矫正图片对应的鱼眼相机之间的r、t矩阵，通过坐标系转换，确定统一在同一坐标系下的对应的第一逆投影图像和第二逆投影图像。
[0063]
由此，对得到的第一矫正图片和第二矫正图片分别进行逆投影，即利用标定得到的摄像机外参数对摄像机图像进行逆映射，获取世界坐标系下某一平面图像上的实际坐标，由二维点得到三维点信息。该变换主要包括透视形变和物体的三维特征。由于感兴趣的主要是物体本身的三维特征，因此需要通过坐标系转换的方式去除掉透视形变。根据两鱼眼相机之间的r、t矩阵和逆投影公式，可通过坐标系转换，把两个鱼眼相机的逆投影统一在
同一坐标系下，便于后续的图形差分变换，保证逆投影处理的准确性。
[0064]
在本发明一个具体的实施例中，以左视相机和前视相机的投影模型为例，结合图3、图4来看，图3为本发明提供的逆投影模型示意图，图4为本发明提供的投影示意图，其中，相机高度为h，点o为左视相机c1光心到地面的垂直投影，定义点o为原点，oc1为z轴建立图中相机坐标系，abcd为摄像机拍摄到的路平面上的梯形区域，a、b、c、d、p各点在投影平面内的对应点如图4所示，分别为像平面矩形4个端点a1、b1、c1、d1以及p1。定义矩形中点为原点，平行于x、y轴方向为u和v方向建立图像坐标系，h和w分别为像平面的高和宽。
[0065]
若点(x
l
，y
l
)
t
为道路平面上一点,则前视相机投影平面内的对应点坐标为可得前视相机的逆投影公式为：
[0066][0067]
式中，h为摄像机的安装高度,2β0为摄像机镜头的水平视野角,2α0为摄像机镜头的垂直视野角，γ0为摄像机的俯仰角。
[0068]
已知某一相机的逆投影坐标，通过两个相机之间的外参数标定，可获得另一相机对应坐标。假设空间中一点(x
l
，y
l
，z
l
)
t
在前视相机投影平面的位置为根据成像原理有:
[0069][0070]
同样可得右视相机成像公式：
[0071][0072]
由于两相机坐标系之间可通过空间矩阵m相互转换。其中r为旋转矩阵，t为平移矩阵，则空间矩阵m表示为下式：
[0073]
m＝[r t]
ꢀꢀꢀ
(4)
[0074]
则前视相机和右视相机位置变换关系表示为下式：
[0075][0076]
其中，r和t可以通过相机的外参数标定而得，此时右视相机逆投影坐标为：
[0077][0078]
由式(1)、(6)可得，右视鱼眼相机逆投影公式表示为下式：
[0079][0080]
其中，通过公式(1)(7)，可将两个鱼眼相机的逆投影统一在同一坐标系下，便于后续的图形差分变换。
[0081]
优选地，结合图5来看，图5为本发明提供的差分处理的流程示意图，步骤s4具体包括步骤s41至步骤s42，其中：
[0082]
在步骤s41中，根据第一逆投影图像和第二逆投影图像的差分结果，确定对应的视差图；
[0083]
在步骤s42中，根据预设的二值化阈值，对对应的视差图进行二值化处理，确定二值化后的差分图像。
[0084]
由此，通过差分计算，得到障碍物的形状和位置，再通过二值化，进一步得到障碍物的轮廓。
[0085]
在本发明一个具体的实施例中，定义p
l
(x
l
，y
l
)和p
r
(x
r
，y
r
)为坐标补偿后的第一逆投影图像、第二逆投影图像，则它们的视差图d(x，y)表示为下式：
[0086]
d(x，y)＝p
l
(x
l
，y
l
)-p
r
(x
r
，y
r
)
ꢀꢀꢀ
(8)
[0087]
对视差图进行二值化处理，并设置二值化阈值，突出目标区域，二值化处理过程表示为下式：
[0088][0089]
其中，b(x，y)为二值化后的差分图像，τ为二值化阈值，b(x，y)＝0表示地面，b(x，y)＝1表示非地面的障碍物。需要说明的是，二值化阈值τ通过迭代阈值法而确定。
[0090]
优选地，在根据障碍物的定位信息确定差分图像中的感兴趣区域，遍历感兴趣区域中的障碍像素点，确定障碍物到车的距离的步骤之后，还包括：
[0091]
根据第一矫正图片和第二矫正图片对应的鱼眼相机之间的基线长度，确定膨胀腐蚀核函数；
[0092]
通过膨胀腐蚀核函数，对差分图像进行先腐蚀后膨胀的形态学滤波。
[0093]
由此，用二值化对差分图分割后，图像通常会有很多噪声点。因此，我们需要对差分图进行后处理，进一步区分出地面平面点和平面外点。对此，本发明提出使用开运算的形态学滤波方法将噪点消除，通过进一步地腐蚀膨胀操作，对差分图像进行滤波，保证清晰凸显障碍物的轮廓。
[0094]
在本发明的一个具体的实施例中，通过开运算的形态学滤波方法将噪点消除，表示为下式：
[0095][0096]
其中，g(x，y)表示为滤波后的差分图像，b(x，y)为二值化后的差分图，像为腐蚀，为膨胀，s为膨胀腐蚀核函数。
[0097]
需要说明的是，本发明提供的膨胀腐蚀核函数s根据两个鱼眼相机间的基线长度d设置，即s小于或等于d。
[0098]
优选地，结合图6来看，图6为本发明提供的障碍物测距的流程示意图，步骤s5包括步骤s51至步骤s53，其中：
[0099]
在步骤s51中，根据障碍物的定位信息，确定差分图像中的感兴趣区域；
[0100]
在步骤s52中，遍历感兴趣区域中的障碍像素点，确定与相机中点最近的第一障碍像素点；
[0101]
在步骤s53中，根据第一距离和第二距离之和，确定障碍物到车的距离，其中，第一距离为逆投影开始点与第一障碍像素点之间的距离，第二距离为逆投影开始点到车之间的距离。
[0102]
由此，在感兴趣区域(roi区域)遍历g(x，y)＝1的点，并获取对应的坐标，将与相机最近的点设置为障碍物位置计算的起点，可由图像上两点的距离得到世界坐标系下的第一距离，由于两个鱼眼相机视场角的影响，逆投影的位置并不能从原点o开始，所以逆投影开始点与车辆有一偏差距离，即第二距离(结合图2来看，第二距离为o到cd之间的距离)，所以最终以第一距离和第二距离之和计算障碍物到车的距离。
[0103]
具体地，结合图7来说明，图7为本发明提供的障碍物检测原理图，其中，相机跟随车以速度v向前移动，在某一时刻，前视相机光心为点c1，右视相机光心为点c2。由图可知，对于地面上一点q1，相机在c1与c2处的成像在地面上的投影均为q1，灰度值相同；而对于高于地面上一点q2，成像在地面的投影分别为q3和q4，像素值存在差异。
[0104]
优选地，上述方法还包括：
[0105]
统计感兴趣区域中的障碍像素点，并确定对应在感兴趣区域中的占比；
[0106]
根据占比和预设的比率阈值的比较结果，判断第一方向图片和第二方向图片对应检测的车辆盲区是否有障碍物。
[0107]
由此，由于通过两个鱼眼相机逆投影图像获取了二进制的差值图，检测到的障碍物点可以直接用来定位，通过设置比率阈值，可以确定所检测的车辆右前方盲区是否有障碍物或停车位是否被占用。
[0108]
在本发明的一个具体的实施例中，为获取障碍物位置和距离信息，首先在二值化之后的图片中将想要检测的区域设置为感兴趣区域(roi区域)；对于停车位的障碍物检测，需先使用霍夫变换等方法对车位线进行识别，获取车位的位置信息，同时设置为感兴趣区域(roi)。通过下式可计算roi中二值图像上的像素数，并计算障碍物像素点的比例，表示为下式：
[0109][0110]
其中，(x，y)为roi区域内的坐标；∑g(x，y)表示为滤波后的差分图像中g(x，y)＝1的像素点的统计和，即障碍物像素点之和；∑(1-g(x，y))表示滤波后的差分图像中g(x，y)＝0的像素点的统计和，即地面像素点之和。
[0111]
需要说明的是，结合图8来看，图8为本发明提供的近目标障碍物快速检测的系统的结构示意图，以前视相机2、右视相机3为例，包括车载计算机1、前视相机2、右视相机3、稳
压直流电源4、图像数据传输线5、电源线6、当前车辆7、障碍物8(可以是人、路障、车等)。其中，图中检测的是右前方盲区9，显示的是当前车辆7的右前方盲区9，即前视相机和右视相机视野公共区域。
[0112]
其中，前视相机2、右视相机3用于拍摄当前车辆右前方盲区的图片，即图像数据，包含右前方盲区中的地面信息和凸出地面的障碍物信息，各相机的图像数据传输线5连接车载计算机1，将拍摄到的图像数据传输给车载计算机1，其中，车载计算机1预存有前视相机2、右视相机3单独标定得到的内参数、联合标定得到的外参数，调用上述算法处理拍摄的右前方盲区图片。
[0113]
实施例2
[0114]
本发明实施例提供了一种近目标障碍物快速检测的装置，结合图9来看，图9为本发明提供的近目标障碍物快速检测的装置的结构示意图，其中，近目标障碍物快速检测的装置900包括：
[0115]
获取单元901，用于获取多个鱼眼相机的拍摄图片，其中，多个鱼眼相机用于采集车辆行驶过程中不同方向的道路信息；
[0116]
预处理单元902，用于根据针对拍摄图片的畸变校正预处理，确定矫正图片；
[0117]
逆投影单元903，用于根据针对矫正图片的逆投影处理，确定统一在同一坐标系下的逆投影图像；
[0118]
差分单元904，用于根据针对逆投影图像的图像差分处理，确定二值化后的差分图像，其中，像素为1表示障碍像素点，像素为0表示地面点；
[0119]
数据处理单元905，用于根据障碍物的定位信息确定差分图像中的感兴趣区域，遍历感兴趣区域中的障碍像素点，确定障碍物到车的距离。
[0120]
实施例3
[0121]
本发明实施例提供了一种近目标障碍物快速检测的装置，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上的基于车载环视逆投影的近目标快速检测方法。
[0122]
实施例4
[0123]
本发明实施例提供了一种近目标障碍物快速检测的系统，包括实施例3所提供的近目标障碍物快速检测的装置，还包括多个鱼眼相机、稳压直流电源4、图像数据传输线5、电源线6，其中，多个鱼眼相机用于采集车辆行驶过程中不同方向道路的拍摄图片，图像数据传输线5用于将拍摄图片传输至近目标障碍物快速检测的装置，稳压直流电源4与电源线6用于提供电源。
[0124]
结合图8来看，本发明实施例3所提供的近目标障碍物快速检测的装置包括但不限于图8中的车载计算机1，只要能实现相关的图像处理功能即可。
[0125]
实施例5
[0126]
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机该程序被处理器执行时，实现如上所述的基于车载环视逆投影的近目标快速检测方法。
[0127]
本发明公开了一种基于车载环视逆投影的近目标快速检测方法及系统，在该方法中，通过预处理对拍摄图片畸变校正预处理，以保证图像处理的准确性；进而通过逆投影处理，有效将多种矫正图片统一在统一坐标系下，确定其实际位置坐标；在通过差分处理，得
到障碍物大致位置和形状，进一步通过二值化处理，快速获得更加精确稳定的障碍物轮廓信息；最后，结合障碍物的定位信息进行遍历，快速实现对盲区中障碍物的精确定位。
[0128]
本发明技术方案，不需要利用明确的目标检测或三维重建等复杂的算法，提出简单的图像变换算法，在快速简单的算法基础上，实现快速的近目标障碍物检测与定位，同时保证障碍物检测的精准度，且节约了成本。
[0129]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。