专利名称：摄影机和距离传感器数据的多物体外观增强融合的制作方法
技术领域：
本发明总体上涉及用于自动追踪物体的方法和系统，更具体地，涉及利用摄影机、 距离传感器以及计算机执行的融合算法改进物体追踪的方法和系统。
背景技术：
许多现代车辆包括相对低成本的距离传感器，例如超宽带短距离雷达。距离传感器通常在车辆前部和/或后部中沿纵向方向定向，并且令人满意地确定从传感器到物体， 例如其他车辆的距离。尽管该在纵向感测方面的性能尚且说得过去，但是距离传感器在横向测量方面的分辨率有限，这是因为它们相当小的光圈尺寸。因此，虽然有助于确定主车辆在相同车道中前方的另一个车辆或者其他物体后面的距离，但是它们无助于测量在相邻车道中的车辆的运动学特征。并且，距离传感器通常仅追踪每个物体的一个或两个点，它们通常混淆互相靠近的多个物体，例如在切换车道时交错的两辆车辆。许多现代车辆包括视觉系统，其包括至少一个摄影机。在一个实例中，单眼摄影机具有良好的像素量(例如640像素)，其在相对较小的视域(例如，50度)上分布。摄影机通常被指向盲点区域，例如主车辆的附近或后面，用于提供视觉信息给司机。但是这种摄影机不能依靠以用来精确测量纵向距离。已经付出努力以通过使用摄影机来检测物体邻近地面的底部并且假设地面总是平坦的来估算到物体的距离。然而这个方法不能可靠地产生精确结果，因为地面当然几乎不会是精确平坦的，由于像排水坡度、倾斜度、下降度、变化的车辆俯仰角、物体被遮挡、以及高隆起(例如，高速公路转弯处的向内倾斜)的因素。
发明内容
本发明涉及一种运输车辆，其构造成追踪在车辆外部的物体。该车辆包括摄影机、 距离传感器以及车载计算机。所述车载计算机包括处理器；以及包括指令的实体非瞬态计算机可读介质，所述指令在由处理器执行时导致处理器执行选择的步骤。所述步骤包括确定与该物体匹配的新物体数据是可基于从车辆的传感器子系统接收的输入获得的。所述步骤还包括记录新物体数据以及根据预测算法估计物体的预期位置和预期外观以产生与该物体匹配的预测轨迹。所述步骤还包括分析物体的运动，包括将预测轨迹和与该物体相关的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。本发明还涉及一种用于融合摄影机和距离传感器数据以在具有传感器子系统和车载计算机的车辆中追踪至少一个外部物体的方法，所述子系统包括摄影机和距离传感器。所述方法包括所述车载计算机确定与该物体匹配的新物体数据是可基于从车辆的传感器子系统接收的输入获得的。所述方法还包括所述车载计算机记录新物体数据，以及根据预测算法估计物体的预期位置和预期外观以产生与该物体匹配的预测轨迹。所述方法还包括所述车载计算机分析物体的运动，包括将预测轨迹和与该物体相关的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。
本发明还涉及一种包括指令的计算机可读介质，所述指令当由处理器执行时导致处理器执行以下步骤，包括确定与该物体匹配的新物体数据是可基于从车辆的传感器子系统接收的输入获得的。所述指令还导致处理器记录新物体数据以及根据预测算法估计物体的预期位置和预期外观以产生与该物体匹配的预测轨迹。所述指令还导致处理器分析物体的运动，包括将预测轨迹和与该物体相关的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。本发明的其他方面在下文中将部分地明晰以及部分地被指出。本发明还提供了如下方案
方案I. 一种用于融合摄影机和距离传感器数据以在车辆中追踪至少一个外部物体的方法，所述车辆具有包括摄影机和距离传感器的传感器子系统、以及车载计算机，所述方法包括
所述车载计算机确定可基于从车辆的传感器子系统接收的输入获得与该物体相应的新物体数据；
所述车载计算机记录新物体数据；
所述车载计算机根据预测算法估计该物体的预期位置和预期外观以产生与该物体相应的预测轨迹；以及
所述车载计算机分析该物体的运动，包括将预测轨迹和与该物体相关联的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。方案2.如方案I所述的方法，其中根据预测算法估计该物体的预期位置和预期外观包括计算相应于该物体的预测轨迹。方案3.如方案I所述的方法，其中新物体数据包括
以相应于该物体的数据点形式来自距离传感器的雷达数据；以及以像素形式来自摄影机的图像；以及记录数据包括
获得雷达数据；以及
投影雷达信息到来自摄影机的图像的平面。方案4.如方案I所述的方法，其中
来自距离传感器的雷达数据(oKi)包括
(i)来自参考点的纵向偏移量(ξ P ;
( )横向偏移量Ui);以及 (iii)纵向速度(Vi)0方案5.如方案I所述的方法，其中
根据包括矩阵乘法的线性投影计算在相应于该物体的底部的图像平面内构成摄影机图像的像素的基本像素；以及
包括矩阵乘法的线性投影表示为
权利要求
1.一种用于融合摄影机和距离传感器数据以在车辆中追踪至少一个外部物体的方法，所述车辆具有包括摄影机和距离传感器的传感器子系统、以及车载计算机，所述方法包括所述车载计算机确定可基于从车辆的传感器子系统接收的输入获得与该物体相应的新物体数据；所述车载计算机记录新物体数据；所述车载计算机根据预测算法估计该物体的预期位置和预期外观以产生与该物体相应的预测轨迹；以及所述车载计算机分析该物体的运动，包括将预测轨迹和与该物体相关联的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。
2.如权利要求I所述的方法，其中根据预测算法估计该物体的预期位置和预期外观包括计算相应于该物体的预测轨迹。
3.如权利要求I所述的方法，其中新物体数据包括以相应于该物体的数据点形式来自距离传感器的雷达数据；以及以像素形式来自摄影机的图像；以及记录数据包括获得雷达数据；以及投影雷达信息到来自摄影机的图像的平面。
4.如权利要求I所述的方法，其中来自距离传感器的雷达数据(oKi)包括(i)来自参考点的纵向偏移量(ξ P ;( )横向偏移量Ui);以及 (iii)纵向速度(Vi)0
5.如权利要求I所述的方法，其中根据包括矩阵乘法的线性投影计算在相应于该物体的底部的图像平面内构成摄影机图像的像素的基本像素；以及包括矩阵乘法的线性投影表示为
6.如权利要求I所述的方法，其中记录新物体数据包括执行摄影机标定过程以及确定在图像平面中的雷达物体像素。
7.如权利要求I所述的方法，其中根据预测算法估计该物体的预期位置和预期外观包括基于该物体过去的运动学特征估计该物体的预期当前运动学特征。
8.如权利要求I所述的方法，其中车载计算机将预测轨迹和现有轨迹进行比较包括车载计算机考虑标准匹配函数，其表示为J .----\|/{IIT-.Ir .·%/ItI￥-(IlWf\其中K为子图像； τ；为模板； w为变换；U为在模板Ti;的坐标框架中的图像的像素；W(M1Ij)为在图像:L的坐标框架中的子像素位置；以及 q表示变换的参数。
9.一种构造成追踪车辆外部物体的运输车辆，所述车辆包括摄影机；距离传感器；以及车载计算机，其包括处理器；以及包括指令的实体非瞬态计算机可读介质，所述指令在由处理器执行时导致处理器执行以下步骤，包括确定相应于该物体的新物体数据是可以基于从车辆的传感器子系统接收的输入获得的；记录新物体数据；根据预测算法估计该物体的预期位置和预期外观以产生相应于该物体的预测轨迹；以及分析该物体的运动，包括将预测轨迹和与该物体相关的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。
10.一种包括指令的计算机可读介质，所述指令当由处理器执行时导致处理器执行以下步骤，包括确定相应于物体的新物体数据是可以基于从车辆的传感器子系统接收的输入获得的；记录新物体数据；根据预测算法估计该物体的预期位置和预期外观以产生相应于该物体的预测轨迹；以及分析该物体的运动，包括将预测轨迹和与该物体相关的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。
全文摘要
本发明涉及摄影机和距离传感器数据的多物体外观增强融合。一种运输车辆，构造成追踪车辆外部物体。所述车辆包括摄影机、距离传感器、以及车载计算机。车载计算机包括处理器和实体非瞬态计算机可读介质，计算机可读介质包括指令，在由处理器执行时，所述指令导致处理器执行选择的步骤。所述步骤包括确定相应于物体的新物体数据是可以基于从车辆的传感器子系统接收的输入获得的。所述步骤还包括记录新物体数据并且根据预测算法估计物体的预期位置和预期外观以产生相应于物体的预测轨迹。所述步骤还包括分析物体的运动，包括将预测轨迹和与物体相关的并且存储在车载计算机的数据库中的任何现有轨迹进行比较。
文档编号G06T7/20GK102609953SQ20111039499
公开日2012年7月25日 申请日期2011年12月2日 优先权日2010年12月2日
发明者S.曾 申请人:通用汽车环球科技运作有限责任公司