本公开总体上涉及一种融合激光雷达数据和照相机数据的数据融合系统，并且更具体而言涉及一种系统，其基于来自照相机的图像确定物体的反射率特征，并在物体的反射率特征使得来自激光雷达的光能中的照射到物体上并被该物体朝向激光雷达反射的光能所占的反射份数(reflection-fraction)低于份数阈值时，对激光雷达的检测特征进行调整。
背景技术
已知激光雷达在检测黑色/非反射性物体以及铬物体方面存在问题，因为反射信号的信号强度弱或者不存在反射信号。
技术实现要素：
根据一个实施例，提供了一种融合自动化车辆的激光雷达数据和照相机数据的数据融合系统。所述系统包括照相机、激光雷达和控制器。所述照相机呈现接近主车辆的物体的图像。所述激光雷达基于所述物体反射的光的反射信号而检测相对于所述物体的距离和方向。所述控制器与所述照相机和所述激光雷达通信。所述控制器被配置为基于所述图像和所述反射信号确定所述物体的反射率特征，并且在所述物体的反射率特征使得激光雷达难以检测到相对于所述物体的距离和方向时调整激光雷达的检测特征。
在阅读了优选实施例的以下具体实施方式之后，其它特征和优点将变得更加显而易见，优选实施例的具体实施方式仅通过非限制性示例的方式并参考附图给出。
附图说明
现在将参考附图通过示例的方式描述本发明，在附图中：
图1是根据一个实施例的数据融合系统的示图；以及
图2是根据一个实施例的图1的系统所遇到的场景的侧视图。
具体实施方式
图1示出了下文被称为系统10的数据融合系统10的非限制性示例。如下文更详细地解释的，系统10的一个方面在于对激光雷达数据和照相机数据进行融合或者协同合并，以供例如主车辆12的自动化车辆使用。如文中使用的，术语“自动化车辆”可以应用于主车辆12按照自动化模式14(即，完全自主模式)工作的情况，在所述模式下主车辆12的人类操作者可以仅仅需要指定目的地就能操作主车辆12。然而完全自动化不是必须的。可以设想，文中介绍的教导在主车辆12以人工模式16操作时是有用的，在该模式下自动化程度或水平可以仅仅是向总体上控制主车辆12的转向、加速器和制动器的人类操作者提供可听或可视警告。例如，系统10可以只是根据需要辅助人类操作者改变车道和/或避免与诸如另一车辆22(图2)的物体20发生干扰和/或碰撞和/或以一定安全距离跟在另一车辆22的后面。
系统10包括照相机24，其呈现接近主车辆12的，即，处于两百米(200m)以内，并且通常处于主车辆12的视线内的物体20(例如，另一车辆22)的图像26。照相机24可以是从单个视角提供图像26的单一成像装置，或者照相机24可以包括安装在主车辆12周围的不同位置上的多个成像装置，其中，所述多个成像装置的输出被合并以形成图像26，例如，形成三百六十度(360°)图像。在市面上可以获得各种类型的适于在主车辆12上使用的照相机，如本领域技术人员将认识到的。
系统10还包括检测相对于物体20的距离32和方向34的激光雷达30。与照相机24类似，在市面上可获得各种适合在主车辆12上使用的激光雷达30的各种示例。如图1所建议的，照相机24和激光雷达30可以是被称为物体检测器的一体化组件的部分；然而这并不是要求。使照相机24和激光雷达30处于共同位置上可以有利于更容易地使照相机24和激光雷达30各自的视场对准，但是已经建议了用于使来自这些相应装置的输出电对准的各种技术。
系统10还包括与照相机24和激光雷达30通信的控制器36。控制器30可以包括诸如微处理器的处理器(未具体示出)或者诸如模拟和/或数字控制电路的其它控制电路，所述其它控制电路包括用于处理数据的专用集成电路(asic)，这对于本领域技术人员而言是显然的。控制器36可以包括存储器(未具体示出)，其包括非易失性存储器，例如用于存储一个或多个例程、阈值和采集的数据的电可擦可编程只读存储器(eeprom)。如下文更详细地解释的，一个或多个例程可以由处理器执行，以执行用于判断激光雷达30何时难以基于控制器36从照相机24接收到的图像26检测到物体20的步骤。
已经观察到激光雷达有时在检测强烈吸收激光雷达所发射的红外激光束的物体或者将红外激光束朝激光雷达以外的方向强烈反射的物体时会有问题。例如，被涂黑的表面倾向于强烈地吸收来自激光束的光中的大部分，至少与其它颜色相比吸收更强。作为另一示例，车辆上的铬保险杠倾向于将来自激光束的光的大部分朝向除激光雷达之外的其它方向反射，例如，朝向天空或者朝向地面。在任一种情况下，反射信号，即，激光雷达发射的激光束的被反射回激光雷达的部分都可能很弱，使得激光雷达难以检测到反射信号。
图2示出了另一车辆22位于主车辆12前面或者前方的场景40的非限制性示例。本领域技术人员将认识到，激光雷达30发射多个激光束42，所述激光束42中的一些可以照射或者撞击物体20，并被物体20反射回激光雷达30，以产生或者提供反射信号44的一个或多个实例。另一车辆22可以配备有铬保险杆46，其作用类似于反射镜，并将激光束42a和激光束42b几乎全部朝向除了激光雷达30以外的方向反射，至少对于激光束42a和激光束42b而言，物体20，或者更具体而言铬保险杆46变得不能被激光雷达30检测到。另一车辆22的全部或部分可能被涂黑或者可能具有对光具有高度吸收性(即，以非反射性为特征)的某种其它表面处理。例如，激光束42c可能撞击或者照射到另一车辆22上的对光具有高度吸收性或者非反射性的点上。
作为克服这一问题的第一步骤，系统10或者更具体而言控制器36被配置为或者编程为基于来自照相机24的图像26和/或由激光雷达30检测到的反射信号44来确定物体20的反射率特征38或者物体20的部分的反射率特征38。有很多种能够确定反射率特征38的方式，现在将通过非限制性示例的方式描述其中的一些。
能够确定或者估算物体20的反射率特征38的一种方式是将反射信号44的信号强度48与图像26中的物体20的尺寸进行比较。在图2中，反射信号44被例示为源自于激光束42的单个实例，以简化说明。本领域技术人员将认识到，可能有反射信号44的多个实例，其源自于比如所示的撞击到物体20上的激光束42的三个实例多得多的实例。可以基于检测到反射信号44的多少个实例并将该值与基于图像26中的物体20的尺寸而预计或者估算激光束42的多少实例撞击到物体20上的估值进行比较，来确定信号强度48。也就是说，与物体20相距较远和/或物体20相对较小的情况相比，如果同一物体20相对较大和/或相对较近，那么预计会有激光束42的更多实例撞击到物体20上。
替代地，可以基于由激光雷达30检测到的反射信号44的强度或者亮度来确定反射信号44的信号强度48。反射信号44可以是受到物体20的反射的这一点可以是通过在图像26中的物体20周围建立边界框，之后依赖于照相机24与激光雷达30之间的前述对准来确定激光束42中的哪些激光束可能撞击到物体20上而确定的。也就是说，能够判断反射信号44可能源自于边界框以内还是以外，并且如果源自于边界框以内，那么可以推断反射信号44是被物体20反射的。由该强度测量结果确定信号强度48，并且由信号强度48和距离32能够确定物体20或者物体20的部分的反射率特征。
如上文所提出的，物体20的反射率特征38的某些类型或者分类使得激光雷达30难以检测到相对于物体20的距离32和方向34。一种表征使得激光雷达30难以检测到反射信号44的物体20或者物体20的表面的方式是在来自激光雷达30的光能(例如，激光束42)中的撞击到物体20上并被物体20朝向激光雷达30反射的光能所占的反射份数50小于份数阈值52时。
作为示例而非限制，反射份数50可以是基于由激光雷达30检测的反射信号44的信号强度48而确定的。也就是说，如果假定距离32的某一值，因而可以考虑因激光束42以及反射信号44的散射/发散造成的信号损失，那么可以使用反射信号44的信号强度48(即，强度)确定反射份数50。替代地，照相机24可以被配置或者选择为能够检测激光束42的红外光，从而可以由图像26确定反射信号44的信号强度。作为另一种替代方案，可以使用图像处理对图像26进行分析，从而确定物体20周围的环境光强度，之后检查图像26中的物体20的亮度。
可以通过经验性测试确定份数阈值52的值。然而可以设想，计算机建模可以用于确定何时应当针对各种环境条件对份数阈值52进行调整，例如，在下雨或者下雪时或者在有雾时。作为另一非限制性示例，在物体20的表面被表征为非反射性54时，例如，在物体20的颜色为黑色，即，被涂黑或者被覆盖黑色(无光泽黑色)贴膜时，或者在物体20受到其它处理从而使物体20的表面基本上不反射光时，反射份数50可能低于份数阈值52。图2示出了源自于撞击到另一车辆22的涂色表面上的激光束42c的反射信号44。如果该涂色表面是黑色或者无光泽黑色，那么反射信号44可能非常弱，因为反射份数50可能低于份数阈值52。
另一种表征使得激光雷达30难以检测到反射信号44的物体20或者物体20的表面的方式是在反射份数50因物体20或者物体20的表面被表征为具有高反射性56(即，类似于反射镜)而似乎小于份数阈值52时。这种情况与物体被表征为非反射性54时似乎是两个相反的极端。然而，如图2中所暗示的，如果激光束42a和激光束42b照射到铬保险杠46上，那么这些激光束的反射几乎完全朝向远离激光雷达30的方向，如所示。因而，即使物体20被表征为具有高反射性56，但是在物体20的表面为铬时反射份数50也可能低于份数阈值52。
一旦确定了物体20的反射率特征38，就可以有利地在物体20的反射率特征38使得来自激光雷达30的光能中的撞击到物体20上并且被物体20朝向激光雷达30反射的光能所占的反射份数50低于份数阈值时调整激光雷达30的检测特征60(例如，检测器增益62和/或检测阈值64)。检测器增益62和检测阈值64的基线校准值可以是通过经验性测试确立的，从而在噪声抑制和灵敏度之间寻求到平衡。也就是说，如果激光雷达30的检测器增益62过大，那么激光雷达30的检测相对于物体20的距离32和方向34的能力可能因过多的假检测而被削弱。类似地，如果检测阈值64被设置得过低，那么可能类似地发生假检测方面的问题。相比之下，如果检测器增益62过低和/或检测阈值64过大，那么激光雷达30可能检测不到反射信号44和/或可能无法确定反射信号44源自于物体20。
然而，假定物体20的存在和大致位置可以由图像26确定，那么在反射份数50低于份数阈值52时可以提高检测器增益62和/或可以降低检测阈值64。也就是说，由于物体20的存在是由图像已知的，那么即使认识到噪声和/或假检测的风险增大，也可以对激光雷达30的检测特征60做出调整，从而更好地检测相对于物体20的距离32和/或方向34。可以设想，对检测特征60所做的改变可以局限于激光雷达30的视场的对应于前述置于图像26中的物体20的周围的边界框或者与所述边界框对准的部分。
相应地，提供了一种数据融合系统(系统10)、一种用于系统10的控制器36以及一种操作系统10的方法。系统10提供了一种基于物体20的反射率特征对激光雷达30的检测特征60进行动态调整以优化检测特征60的单元。
尽管已经联系本发明的优选实施例描述了本发明，但是这并非意在使本发明受到这样的限制，相反本发明仅限制于下述权利要求中阐述的范围。