一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
【技术领域】
[0001 ]本发明涉及一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪的方法 技术背景
[0002] 随着中国物流行业的快速发展，载重货车的需求也越来越多，货车的车身也越来 越长，载货量也越来越多，由载重货车引起的交通事故也在不断增加，后果一般非常严重， 尤其是由于倒车和拐弯的不当操作产生的碰撞事故在其中占了相当的比例。相当于直行驾 驶而言，载重货车倒车和拐弯的难度非常大，由于车身过长，货厢体积又太大，倒车和拐弯 时的盲区面积非常大，一般看不清车尾后和车侧旁的物体和行人状况，从而导致碰撞事故 越来越多。货车运行在大风雪或气候恶劣的环境居多，夜晚倒车更是成为一个盲点，货车司 机在开车的过程中完全看不到车后的情况。此外，由于车身过长，货车拐弯时不容易发现旁 边的行人或行驶的车辆，容易造成事故，这是一个很大的安全隐患。
[0003] 目前针对货车倒车安全的方法有以下两个:一、在倒车时，一个人在车后拿对讲机 指挥倒车，要是晚上的话，还会用到手电筒，边用手电筒画圈边用对讲机指挥，可是还是避 免不了灾难的降临;二、为了减少车辆的盲区，车辆需要安装一些辅助的设备来帮助驾驶员 倒车，倒车影像系统能使驾驶员能够更轻松的掌握到车后面的环境及情况，可以提高安全 系数，减少事故发生。
[0004] 当货车拐弯时，由于车厢很长，司机一边要观察车辆前行的情况，又要注意避让车 侧的车辆或行人，保持安全距离，同时还要时刻观察他们的行驶状态，做好预防措施，但是 司机很难全面的观察到这些情况，而且会分散司机的注意力，有一定的安全隐患。
[0005] 倒车影像系统以声音和图像的形式告知驾驶员汽车周围的障碍物情况，解除了驾 驶员在泊车或倒车时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和实现模 糊的缺陷，独立完成倒车操作，提高驾驶的安全性。
[0006] 专利CN201210430928.4(公开号CN102923000A)提出一种基于普通双目摄像头的 倒车障碍物检测方法，虽然这种方法能利用哈尔特征分类法判断出车后的行人和车辆，但 是没有进一步提出对障碍物进行跟踪的方法，而本发明可以做到障碍物的实时检测追踪， 此外，鱼眼摄像头的使用可以提供足够广阔的视野，保证了覆盖车后所有障碍物。
[0007] 专利CN2015102994001(公开号CN104835118A)提出一种通过两路鱼眼摄像头采集 全景图像的方法，但是没有提到对全景图像的进一步应用，而本发明除了对两幅图像进行 拼接外还实现了对障碍物的监测和追踪。
[0008] 专利CN2010101972159(公开号CN101859376A)公开了一种基于鱼眼摄像头的人体 检测的自动监控系统，利用分类器检测鱼眼图像中的人体，而本发明用两个双目鱼眼摄像 头视觉系统检测障碍物，并进行障碍物跟踪。
[0009] 专利CN201110193257X(公开号CN102874196A)提出一种基于机器视觉的汽车防撞 方法，这种方法不仅通过立体视觉信息得出障碍物与汽车的距离，而且还能计算出安全范 围，但是并没有对摄像头进行标定和图像拼接等预处理与处理阶段进行说明，而且只解决 了汽车前行的避障问题，而本发明提供了详细的预处理算法，并且解决了大货车转弯或变 道时侧面障碍物的检测和预警。
[0010]所以，有必要发明视野更宽、检测范围更广、跟踪效果跟稳定的的载重货车行驶障 碍物检测及跟踪的方法，提高障碍物检测的准确率和鲁棒性，无论是在货车倒车还是拐弯 时都能检测障碍物，辅助驾驶员安全驾驶，提高载重货车的安全性。
【发明内容】
[0011] 本发明的目的是提供一种基于双目鱼眼的载重货车行驶障碍物检测及跟踪的方 法，在倒车时，能够使驾驶员观察到一个大视场的车后环境，检测并追踪到障碍物的同时发 出提醒，辅助载重货车驾驶员直观、动态、清晰的实施倒车操作，降低倒车难度，有效避免由 于倒车而发生的交通事故。当货车拐弯时，启动车侧的超声波雷达，实时检测有无障碍物并 发出提醒，避免发生事故。
[0012] 该发明方法包括以下步骤：
[0013] A倒车障碍物信息采集
[0014] 汽车的电子控制中心检测到汽车挡位置于倒挡上时，启动安装在货车车尾两端呈 俯视角的两个采样频率相同的全天候红外鱼眼摄像头，获取倒车实时视频。
[0015] B双目鱼眼摄像头标定
[0016] 首先进行单目标定，获取摄像机内参数(焦距、摄像机中心主点、畸变向量)和外参 数(旋转矩阵和平移向量）。
[0017] 由于鱼眼摄像头具有成像视野广和高畸变特性，本发明提出一种利用特定的椭圆 标定板提供精确的点线特征来完成摄像头标定的算法，根据特征椭圆检测和参数拟合技术 对检测到的特征点进行可靠性分析，得到鱼眼摄像头的内外参数。
[0018] 标定板特征提取的流程主要包括以下方面：
[0019] B1、平滑滤波
[0020] 用5 X 5模板对图像进行Gauss滤波，消除噪声影响；
[0021] B2、边缘检测
[0022]利用Canny算子进行边缘检测；
[0023] B3、轮廓线搜索
[0024]在Canny边沿检测得到的图像中，对每一行搜索最左边和最右边的两个边缘点 (Xleft，yieft)和(Xright，yright)，并依据成像区域的左右对称性对每彳丁两个边缘点的有效性进 行验证：
[0025] L= I Xright+Xleft-ff
[0026] 其中，W为图像宽度。如果L大于某个阈值T，则认为两个边缘点偏离实际成像边界 较远，予以抛弃；否则将其保留，视为该椭圆是一个有效特征椭圆。实际实现过程中，阈值Τ = 20.
[0027] Β4、椭圆参数拟合
[0028]利用基于最小二乘法的特征参数拟合算法对每个轮廓的像素点进行椭圆拟合，得 到能够表征鱼眼视觉成像区域边界的椭圆参数。将拟合得到的椭圆圆心（XQ，yQ)作为特征 点，以便于后期标定过程中的初始参数确定和图像的去畸变处理。
[0029] B5、摄像头内外参数确定
[0030] 根据摄像机坐标矩阵投影模型和旋转、平移变换和单应性原理：
[0031]
[0032] 丄J
[0033] 式中s为一常系数，选取P所在平面为世界坐标平面，故可以设距离Z = 0。
[0034] 考虑到镜头畸变的影响，Po所对应的坐标必须要经过校正，所以引入3个径向畸变 参数lu k2 k3和2个切向畸变向量P1 p2。用r = 0位置泰勒级数展开，可以列出下式：
[0035]
[0036] 式中第一项为消除镜头的径向畸变，第二项为消除镜头的切向畸变。模型确立后， 联系这两个式子，再通过椭圆标定板引入多个已知参数，通过最小二乘法，可以求得内参数 (焦距f x、fy、摄像机中心主点cx、Cy、畸变向量ki k2 k3、pi P2)和外参数(旋转矩阵ri Γ2 Γ3和 平移向量t)。
[0037] 利用两个单目摄像机的外参数，由下式得两个摄像机之间的相对位置关系，即两 个摄像机之间的旋转矩阵Rs和平移向量Ts:
[0038]
[0039] C双目鱼眼摄像头畸变校正
[0040] 由于鱼眼摄像头存在非常严重的畸变，本发明利用基于球面透镜投影约束的鱼眼 校正方法进行矫正处理，并用双线性插值法对校正后的图像进行填充，为鱼眼镜头障碍物 识别的实现做准备工作，调整摄像