传感器数据的基于多假设的融合的制作方法

传感器数据的基于多假设的融合


背景技术：

1.在一些汽车中，传感器融合系统或所谓的“融合跟踪器”组合从多个传感器获得的信息以描绘围绕可阻碍行驶的对象的边界框。相组合的传感器数据可更好地估计各种条件下每个对象在视场(fov)内的位置。调整这些边界框的大小或者重新定位这些边界框通常涉及使用昂贵的硬件，这些硬件可关联低级跟踪并以足够的速度融合传感器数据，以支持用于自主控制或半自主控制的计算机决策。一些融合跟踪器根据误差协方差对低级跟踪进行加权。误差协方差通常从视觉相机获得，且可能不是在所有驾驶场景中都是可靠的。可使用扩展卡尔曼滤波器(ekf)降低数据融合的复杂性。为了最大化性能，ekf可以关注最线性的传感器数据；ekf可能会错过相关性，或者显得不太准确，放弃大量速度的传感器数据。


技术实现要素：

2.本文档描述了对传感器数据的基于多假设的融合。在一个示例中，一种方法包括由传感器融合系统根据从第一组传感器获得的第一传感器数据确定多个第一对象跟踪。所述方法进一步包括由传感器融合系统根据从第二组传感器获得的第二传感器数据确定一组第二对象跟踪。在所述方法中还包括从多个伪测量类型中选择伪测量类型，选择的该伪测量类型比来自多个伪测量类型的每个其他伪测量类型更有可能是准确的，所述选择至少部分地基于与所述第一组传感器相关联的预定义的误差协方差。所述方法进一步包括使用伪测量类型来确定由多个第一对象跟踪和一组第二对象跟踪表示的边界框。所述方法接着将边界框的指示输出为：来自多个第一对象跟踪的一个或多个对象跟踪与来自一组第二对象跟踪的至少一个对象跟踪之间的匹配。
3.在一个示例中，系统包括配置用于执行本文所述的此方法和其他方法的处理器。在另一示例中，描述了包括用于执行该方法和其他方法的装置的系统。本文档还描述了具有指令的非瞬态计算机可读存储介质，这些指令在被执行时配置处理器以执行上述总结的方法和本文所述的其他方法。
4.本发明内容介绍了对传感器数据的基于多假设的融合的简化概念，下面将在具体实施方式和附图中进一步描述该简化概念。本发明内容并非旨在标识出要求保护的主题的必要特征，亦非旨在用于确定要求保护的主题的范围。因此，虽然在改进融合跟踪器匹配算法的情境中进行主要描述，然而对传感器数据的基于多假设的融合也可应用于其中期望以高速率来匹配多个低级跟踪的其他应用。
附图说明
5.在本文档中参照以下附图描述了对传感器数据的基于多假设的融合的一个或多个方面的细节。贯穿附图通常使用相同的数字来引用相似的特征和部件。图1示出了根据本公开内容的技术的示例环境，在该示例环境中，系统被配置为执行对传感器数据的基于多假设的融合。图2示出了根据本公开内容的技术的被配置为执行对传感器数据的基于多假设的
融合的汽车系统的示例。图3示出了来自图1-1的更详细地进行显示的环境。图4-1和图4-2示出了根据本公开内容的技术的在对传感器数据的基于多假设的融合下定义的示例伪边界框。图5示出了根据本公开内容的技术的用于对传感器数据的基于多假设的融合的示例方法。
具体实施方式
概述
6.确定不同传感器跟踪(例如雷达、视觉相机、激光雷达)之间的高级匹配可能是具有挑战性的。单个对象周围的边界框可对应于一个或多个低级对象跟踪，所述一个或多个低级对象跟踪由具有重叠的或几乎相邻的fov的多个传感器融合而成。在拥挤场景(其中，在组合视场中可识别多个对象)中，融合跟踪器可能难以尝试在多个附近对象周围调整边界框的大小和定位边界框。这些边界框的准确度可能让人怀疑。在依赖这些数据之前，一些融合跟踪器可根据从视觉相机获得的误差协方差来对对象跟踪进行加权。然而，作为一个实际问题，该误差协方差对于融合跟踪而言并非总是可靠的。ekf可有助于性能，但要改善速度，则不使用大量低级跟踪数据，低级跟踪数据对改善边界框准确度没有作用。
7.传感器可输出伪测量，以帮助融合跟踪器计算被分配给对象的边界框的位置和尺寸。伪测量可具有不同程度的准确度；从视觉相机输出的伪测量可能不如例如雷达准确。从视觉相机输出的范围或纵向位置可能在前向驾驶情景中无法使用。即便如此，视觉角度或者基于视觉的横向位置可能对于大多数情况是足够的，并且可帮助将边界框定位至正确参考点。另一方面，对于距离和边界框计算，雷达可能比这些基于视觉的伪状态更可靠且准确。因此，当评估来自特定类型传感器的伪测量是否应当用于相对定位估计时，存在有多个假设要考虑。
8.根据本公开内容的技术和系统，描述了一种基于多假设的数据融合跟踪器。每一个假设都与不同的伪测量类型一致。融合跟踪器使用与雷达关联的预定义误差协方差自动确定哪个伪测量类型在当前情况下更有可能是准确的。融合跟踪器可依赖于两个相组合的雷达和视觉计算中的一个，或者融合跟踪器可忽略基于视觉的伪测量，而是仅依赖于雷达伪测量。通过在三个不同的边界框(基于视觉角度的框、基于视觉横向位置的框或者仅基于雷达的框)之间进行选择，即使在拥挤的交通或其他高流量情况下，融合跟踪器也可以在绘制、重新定位或调整边界框大小时平衡准确度和速度。示例环境
9.图1示出了根据本公开内容的技术的示例环境100，在示例环境100中，系统102被配置为执行对传感器数据的基于多假设的融合。在所描绘的环境100中，系统102是汽车。有时也称为交通工具102，系统102可以表示任何类型的装置或机械，包括可用于各种目的的有人系统和无人系统。交通工具102的一些非详尽和非限制性示例包括摩托车、公共汽车、拖拉机、半挂车、水运工具、飞行器或其他装备或机器。
10.对象可位于交通工具102附近，例如，图1描绘了在交通工具102的前方并以与交通工具102相同的方向行驶的另一交通工具110。利用传感器融合系统104，交通工具102具有
仪器fov 114，仪器fov 114涵盖另一交通工具110。传感器融合系统104可从交通工具102的任何外表面捕获fov 114。制造商可定位与传感器融合系统104相接的雷达和视觉相机组件，以使传感器融合系统104具有特定的fov。例如，以某种方式定位雷达和/或视觉相机可确保传感器融合系统104的fov包括在交通工具102可能行驶的道路上方(above)、该道路附近或该道路上(on)的区域。制造商可将传感器融合系统104的至少一部分集成到侧视镜、保险杠、车顶或交通工具102的任何其他部分。
11.传感器融合系统104包括融合模块108和一个或多个传感器接口106，传感器接口106包括雷达接口106-1和视觉相机接口106-2。尽管未在图1中精确示出，但融合模块108在处理器或其他硬件上执行。在执行期间，融合模块108可基于在雷达接口106-1和视觉相机接口106-2处获得的传感器数据来跟踪对象。雷达接口106-1从交通工具102的至少一个雷达接收雷达数据，并且视觉相机从交通工具102的一个或多个视觉相机接收相机数据。传感器融合系统104的融合模块108访问雷达接口106-1和视觉相机接口106-2，从而分别获取雷达数据和视觉相像机数据。如将从本说明书的其他部分了解到的，传感器融合系统可包括除图1中所示的那些之外的附加传感器接口106(例如，激光雷达)。
12.融合模块108配置传感器融合系统104以将从传感器接口106获得的不同类型的传感器数据组合成用于跟踪fov 114中的对象的对象跟踪、边界框112-1、112-2或其他可用形式。传感器融合模块108生成边界框112-1和112-2，边界框112-1和112-2各自(在概念上)指示另一交通工具110的估计的大小、形状和相比于交通工具102的相对位置。融合模块108根据(例如，从雷达接口106-1获得的)第一传感器数据确定多个对象跟踪，并且融合模块108根据(例如，从相机接口106-2获得的)第二传感器数据标识一组对象跟踪。边界框112-1对应于根据在雷达接口106-1处获得的雷达数据中包括的一个或多个雷达对象跟踪推断出的给定信息的另一交通工具110的估计的大小和位置。从视觉相机接口106-2，基于视觉相机对象跟踪生成边界框112-2，以估计另一交通工具110的大小和位置。
13.边界框112-1和边界框112-1偏移；或换句话说，两个边界框112-1、112-2将另一交通工具跟踪为两个不同的对象，所述两个不同的对象具有唯一的大小、形状以及相对于交通工具102的相对位置。即便边界框112-1、112-2两者都在跟踪相同的交通工具110，边界框112-1、112-2也看起来为分离的。融合模块108最终涉及将边界框112-1与边界框112-2相关联，以使边界框112-1和边界框112-2看起来大小、形状和位置相似，以对应于相同的交通工具110的相同部分，而不是跟踪和跟随一个或两个不同交通工具的不同部分。
14.为了将雷达数据与视觉相机数据相关联，融合模块108执行传感器融合过程，该传感器融合过程将出现在雷达数据中的低级对象跟踪与出现在视觉相机数据中的对应的低级对象跟踪相匹配。从第一传感器数据和第二传感器数据推断出的每个对象跟踪与fov 114中的对象(例如，另一交通工具110)相关联。融合模块108识别来自不同传感器接口106的对应于相同的对象的对象跟踪。通过将在接口106中的两个或更多个处获得的传感器数据相互关联，融合模块108生成另一交通工具110或另一交通工具110的一部分的准确表示，以作为相对于交通工具102的位置的单个边界框。通过执行传感器融合，传感器融合系统104在各种驾驶情景中可靠且准确地跟踪需要避开的对象。通过融合或组合传感器数据，融合模块108使交通工具102能够准确跟踪并避开fov114内的障碍物。
15.当将多组大的候选对象跟踪融合在一起时，融合模块108可生成如schiffmann等
人在美国专利第10,565,468号(本文中此后称为“schiffmann”)中所描述的可行性矩阵。在schiffmann中，传感器融合系统将标识符分配给与使用视觉相机检测到的对象候选相关联的每个候选对象跟踪，且传感器融合系统将标识符分配给使用雷达获得的每个候选对象跟踪(例如，检测)。创建两维可行性矩阵；第一维度表示总列数，每个分配的雷达标识符为一列。第二维度表示总行数，分配给相机数据的每个相机标识符为一行。针对由可行性矩阵表示的相机候选和雷达候选的每个组合，确定概率。
16.这些概率可表示证据矩阵。可基于视觉相机和雷达对象跟踪之间的误差确定证据矩阵的元(entry)，且证据矩阵的元指示用视觉相机检测到的对象跟踪与和由于雷达从而维持的对象跟踪相同的对象相对应的置信度或可行性的程度。对于可行性矩阵的列与行的每个交点，证据矩阵包括相应的元，该相应的元可以是从零到百分之一百之间的值或范围内的某个其他等效数值。该值指示特定的雷达和视觉相机对象跟踪对(映射至可行性矩阵的该交点)是否跟踪到相同的对象的概率。
17.可以将ekf或者其他过滤器应用至随时间变化而计算的概率。例如，可假设至少一对雷达和视觉相机检测有合理的匹配机会，并且如此的话，ekf可标识具有最大发生概率的将被依赖的融合的对象跟踪的组合，而非具有过低概率(例如，值不满足阈值)的其他组合。正确选择伪测量类型(如下所述)对于使用ekf进行准确的测量更新而言可能为至关重要的，这是由于伪边界框的不正确定义引起对正在被跟踪的对象的大小、形状和位置的不良估计。示例架构
18.图2示出了根据本公开内容的技术的被配置为执行对传感器数据的基于多假设的融合的汽车系统200的示例。汽车系统200可被整合于图1中所示并于该上下文中描述的交通工具102中。例如，汽车系统200包括控制器202以及传感器融合系统104-1，传感器融合系统104-1为传感器融合系统104的示例。传感器融合系统104-1和控制器202通过链路212来进行通信。链路212可以是有线或无线的链路，且在某些情况下包括通信总线。控制器202基于通过链路212接收到的信息(诸如，当fov中的对象根据处理和合并对象跟踪而被识别出时从传感器融合系统104-1输出的边界框的指示)来执行操作。
19.控制器202包括处理器204-1和计算机可读存储介质(crm)206-1(例如，存储器、长期存储、短期存储)，crm 206-1存储用于汽车模块208的指令。除了视觉相机接口106-2之外，传感器融合系统104-1还包括雷达接口106-1。可使用任何数量的其他传感器接口106，包括或不包括激光雷达接口或者其他传感器接口106-n。传感器融合系统104-1可包括处理硬件，所述处理硬件包括处理器204-2(例如硬件处理器、处理单元)和计算机可读存储介质(crm)206-2，计算机可读存储介质(crm)206-2存储与融合模块108-1相关联的指令。作为融合模块108的示例的融合模块108-1包括数据类型选择器子模块210-1以及匹配子模块210-2。
20.处理器204-1和204-2可以是两个单独的处理单元、或单个处理单元(例如微处理器)、或者是计算设备、控制器或控制单元的一对片上系统或单个片上系统。处理器204-1和204-2执行存储在crm 206-1和crm 206-2内的计算机可执行指令。作为示例，处理器204-1可以执行汽车模块208以执行汽车系统200的驾驶功能(例如自主车道改变操纵、半自主车道保持特征)或其他操作。类似地，处理器204-2可执行融合模块108-1，来基于从系统102的
多个不同的传感器接口106获得的传感器数据来推断fov中的对象。汽车模块208，当在处理器204处执行时，可响应于融合模块108-1组合和分析在传感器接口106中的每一个处生成的传感器数据，接收对由融合模块108-1检测到的一个或多个对象的指示。
21.通常，汽车系统200执行汽车模块208，以使用来自传感器融合系统104-1的输出来执行汽车功能。例如，汽车模块208可提供自动巡航控制和针对fov 114中或fov 114附近的对象的存在的监测，以降低速度和防止与交通工具110的后端的碰撞。在这样的示例中，融合模块108-1提供传感器数据或其衍生物(例如，可行性矩阵)作为给汽车模块208的输出。当从融合模块108-1获得的数据指示一个或多个对象在交通工具102前方穿过时，汽车模块208可以提供警报或者导致特定的操纵。
22.为简单起见，主要参考雷达接口106-1和视觉相机接口106-2(而未参考激光雷达或另一传感器接口106-n)来描述数据类型选择器子模块210-1和匹配子模块210-2。然而，应当理解，融合模块108-1可组合来自不止两种不同类型的传感器的传感器数据，并可依赖于从除了仅视觉相机和雷达之外的其他类型的传感器输出的传感器数据。为了进一步降低描述的复杂性，匹配子模块210-2可以根据雷达接口106-1可检测视觉相机接口106-2能够检测的任何交通工具的规则来进行操作。另外，视觉相机接口106-2可以被配置为针对fov 114中的每个感兴趣对象产生最多一个对象跟踪；而雷达接口106-1可以被配置为针对fov 114中的每个感兴趣对象来生成数个对象跟踪(例如，在半卡车和拖车的情况下为四十或五十个对象跟踪)。
23.雷达接口106-1可独立于视觉相机接口106-2操作，并且可以独立于激光雷达/其他传感器接口106-n操作。雷达接口106-1可维护“检测”和相对应的检测时间的列表，其被假设为主要是正在跟踪其所检测到的交通工具的分散中心。每个检测通常由距离值、距离变化率值和方位角值组成。对于在fov 114中不被遮挡并且距离交通工具102相当近的每个交通工具，通常都有不止一个检测。
24.与雷达接口106-1类似，视觉相机接口106-2提供了基于视觉相机的对象跟踪列表。视觉相机接口106-2输出传感器数据(传感器数据可以以各种形式(诸如正在被跟踪的候选对象的列表)被提供)、和针对对象的位置、速度、对象类别和参考角(例如，到对象上的“质心”参考点(诸如移动的交通工具110的后表面的中心)的方位角，到移动的交通工具110后表面的近角(near corner)的其他“延伸角”)中的每一个的估计。视觉相机接口106-2可以比其他传感器类型更准确地估计方位角和对象分类，然而，视觉相机接口106-2可能在估计一些参数方面存在缺陷，诸如，纵向位置或范围、速度等等。雷达接口106-1可准确地测量对象距离和距离变化率，但在测量方位角时可能不太准确(这是视觉相机优越的地方)。视觉相机和雷达的互补特性造成在匹配传感器接口106之间的数据时的准确度。
25.根据本公开内容的技术，融合模块108-1执行对传感器数据的多个基于假设的融合，其寻求在不因忽略数据而牺牲准确度的情况下提高融合跟踪的性能。融合模块108-1所考虑的每个假设与不同的伪测量类型一致。融合跟踪器108-1可以使用与雷达接口106-1关联的预定义误差协方差自动确定哪个伪测量类型对于当前情况更有可能是准确的。
26.在没有特定顺序的情况下，第一个伪测量类型是视觉相机角度和雷达距离计算。参考点(例如，交通工具102的位置)处的雷达距离测量和视觉相机角度测量用于计算伪边界框的对应参考点。第二个伪测量类型是视觉相机横向位置和雷达距离计算。该伪测量会
导致另一伪边界框的参考点，这次是根据雷达距离和视觉横向位置而计算得到的。第三个伪测量类型是仅雷达信息计算。与此计算相关联的伪测量对应于仅根据雷达信息(包括雷达范围)计算出的边界框的参考点。
27.融合模块108-1可依赖于两个相组合的雷达和视觉范围计算中的一个，或者融合模块108-1可忽略基于视觉的伪测量，而仅依赖于雷达伪测量。数据类型选择器子模块210-1通过使匹配子模块210-2避免评估不太可能与同一对象关联的一些匹配，来提高匹配子模块210-2的速度和效率。
28.匹配子模块210-2针对每个基于相机的对象跟踪有效地计算该基于相机的对象跟踪应与有限数量的候选的基于雷达的候选对象跟踪中的每一个匹配的概率。匹配子模块210-2将在雷达接口106-1处产生的候选检测的列表与在视觉相机接口106-2处报告的候选对象的列表进行关联。当相对于基于视觉相机的对象跟踪评估基于雷达的对象跟踪时，数据类型选择器子模块210-1消除了由匹配子模块210-2以其他方式执行的猜测工作中的一些。基于雷达和基于视觉相机的对象跟踪的一些组合被消除而不是被评估，这使得匹配能以比没有数据类型选择器子模块210-1的情况下更少的步骤而发生。融合模块108-1可使用不同的伪测量类型来生成一个或多个伪边界框。通过在三个不同的边界框(基于视觉角度的框、基于视觉横向位置的框或者仅基于雷达的框)之间进行选择，即使在拥挤的交通或其他高流量情况下，融合跟踪器也可以在绘制、重新定位或调整边界框大小时平衡准确度和速度。示例场景
29.图3示出了来自图1-1的环境，其中部分300被更详细进行显示。融合模块108报告相对于参考点的信息，该参考点对应于交通工具102与另一交通工具110之间的在给定它们的当前跟踪的情况下的所估计的碰撞点。注意，对于一些融合跟踪器(例如融合模块108-1)，与每个低级跟踪相关联的参考点可在融合期间被同步。也就是说，由一个低级跟踪所报告的信息由融合模块108-1相对于针对对应的低级跟踪而推断的参考点进行转换和传送。描绘了相对于交通工具102和雷达范围304的视觉角度302。从图1放大，边界框112-1、112-2清楚地出现偏移；每一个来自雷达接口106-1处的雷达数据或视觉相机接口106-2处的视觉相机数据。边界框112-1位于与边界框112-2不同的位置；造成这种偏移的原因在于雷达和视觉相机如何可感知同一交通工具110的不同部分的技术差异。
30.融合模块108-1可应用附加融合技术来关于公共参考点融合边界框112-1、112-2。因此，融合模块108-1寻求同步低级对象跟踪的参考点，以融合两个数据源。边界框112-1是基于相对于某个参考点报告的基于雷达的低级对象跟踪而生成的，该某个参考点可与交通工具102和边界框112-1所表示的对象之间的预测碰撞点相重合。边界框112-2可以根据基于低级视觉相机的对象跟踪相对于另一参考点绘制。
31.融合模块108-1转换雷达和视觉相机所报告的信息，并用于创建边界框112-1、112-2，以创建用于产生融合边界框的融合信息，该融合边界框在融合参考点处替换的边界框112-1、112-2。将雷达和视觉相机组合到融合跟踪器中可以从视觉相机获得非常好的方位角估计，同时还提供关于参考点的准确距离预测。
32.图4-1和图4-2示出了根据本公开内容的技术的在对传感器数据的基于多假设的融合下定义的示例伪边界框。这些伪边界框可以使得融合模块108-1能够将两个以其他方
式偏移的边界框解析为围绕公共参考点，这提高了操纵交通工具102以避免与另一交通工具110的碰撞的准确度。
33.图4-1包括与图1中的环境100类似的环境400-1。交通工具102在它的fov中具有另一交通工具110(未示出)。在视觉相机接口106-2处报告视觉角度402-1；在雷达接口106-1处报告雷达范围404-1。基于雷达的边界框406-1朝向基于相机的边界框408-1的右下方偏移。
34.图4-2包括与图1中的环境100同样地类似的环境400-2。交通工具102在它的fov中具有另一交通工具110(未示出)。在视觉相机接口106-2处报告视觉角度402-2；在雷达接口106-1处报告雷达范围406-2。然而，这次基于雷达的边界框406-2朝向基于相机的边界框408-2的右上方偏移。
35.如以上所指示的，雷达接口106-1可以提供雷达距离伪测量。另外，视觉相机接口106-2可以报告包括视觉范围、视觉角度、横向位置和纵向位置的伪测量。来自雷达接口106-1的伪测量可在大部分时间是可靠的；而从视觉相机获得的一些伪测量比其他的更可靠。例如，前向驾驶情景中，视觉范围和纵向位置不太可能足够准确用于重新定位指示雷达与视觉相机对象跟踪之间的融合的边界框。然而，为了评估边界框是否准确的目的，从视觉相机接口106-2获得的视觉角度和横向位置是可靠的。因此，当考虑到基于融合的边界框的重新定位时，融合模块108-1可以考虑伪测量类型的多个组合，如下表1中概述的：表1注意，这些只是一些示例组合；当其他传感器或其他类型的伪测量可用时，可以考虑伪测量类型的其他组合。
36.首先转到图4-1，在考虑来自上表的组合a时，数据类型选择器子模块210-1使用对象跟踪的参考点处的雷达范围404-1和视觉相机角度402-1来计算伪边界框410-1的参考点。数据类型选择器子模块210-1选择组合a作为伪测量类型，其比伪测量类型的每个其他组合b和c具有更大可能性是准确的。组合a表示从由来自多个第一对象跟踪的一个或多个对象跟踪所指示的雷达范围导出并进一步从由来自一组第二对象跟踪的至少一个对象跟踪推断出的视觉角度导出的第一伪测量。在笛卡尔坐标系中，相对于边界框410-1的参考点a(x
伪
,y
伪
)在x方向上表示为雷达范围404-1和视觉角度402-1的余弦之间的乘积，在y方向上表示为雷达范围404-1和视觉角度402-1的正弦之间的乘积，如下文等式1所示：等式1其中，x
伪
、y
伪
表示伪边界框410-1上的、笛卡尔坐标系中的参考点位置，该参考点位置从雷达和视觉而导出。r
雷达
表示由雷达接口106-1报告的到参考点的雷达距离404-1测量，并且θ
视觉
是视觉角度402-1，其是由视觉相机接口106-2报告的同一参考点的方位角。
37.切换至图4-2，在考虑来自上表的组合a时，数据类型选择器子模块210-1使用对象跟踪的参考点处的雷达范围和视觉相机角度以计算伪边界框410-1的参考点。数据类型选择器子模块210-1选择在笛卡尔坐标系中相对于边界框410-1的组合a参考点a(x
伪
,y
伪
)，根据等式1，该参考点a(x
伪
,y
伪
)在x方向上表示为雷达范围404-2和视觉角度402-2的余弦之间的乘积，并且在y方向上表示为雷达范围404-2和视觉角度402-2的正弦之间的乘积，并因此x
伪
、y
伪
在伪边界框410-2上。r
雷达
表示由雷达接口106-1报告的到参考点的雷达范围404-2测量，并且θ
视觉
是视觉角度402-2。
38.转到图4-1，在考虑来自上表的组合b时，数据类型选择器子模块210-1使用对象跟踪的参考点处的雷达范围和视觉相机角度以计算伪边界框412-1的参考点。数据类型选择器子模块210-1选择组合b作为伪测量类型，组合b比其他伪测量类型的每个其他组合a和c具有更大可能性是准确的。组合b表示从由来自多个第一对象跟踪的一个或多个对象跟踪所指示的雷达范围404-1导出的并进一步从由来自一组第二对象跟踪的至少一个对象跟踪推断出的视觉横向位置导出的第二伪测量。在笛卡尔坐标系中相对于边界框412-1的参考点b(x
伪
,y
伪
)在x方向上表示为雷达范围404-1的平方和视觉横向位置的平方之间的差的平方根，并且在y方向上表示为视觉横向位置的乘积，如下文等式2所示：等式2其中，r
雷达
表示由雷达接口106-2报告的在参考点处的雷达距离404-2伪测量，并且y
视觉
是由视觉相机接口106-2报告的同一参考点的在笛卡尔坐标系中的横向位置。
39.转回到图4-2，在考虑来自上表的组合b时，数据类型选择器子模块210-1使用对象跟踪的参考点处的雷达范围和视觉横向位置以计算伪边界框412-2的参考点。数据类型选择器子模块210-1在笛卡尔坐标系中选择相对于边界框412-2的组合b参考点b(x
伪
,y
伪
)。依据等式2，边界框412-2在x方向上表示为雷达范围404-2的平方和视觉横向位置的平方之间的差的平方根，且边界框412-2在y方向上表示为视觉横向位置的乘积。r
雷达
表示由雷达接口106-2报告的雷达距离404-2测量，并且y
视觉
是由视觉相机接口106-2报告的同一参考点的在笛卡尔坐标系中的横向位置。
40.最后，在本示例中，返回图4-1，当考虑上表中的组合c时，数据类型选择器子模块210-1使用雷达接口106-1处的包括雷达范围404-1的雷达信息，而不考虑来自视觉相机接口106-2的任何伪测量。数据类型选择器子模块210-1选择组合c作为伪测量类型，组合c比由组合a和b表示的每个其他伪测量类型具有更大可能性是准确的。数据类型选择器子模块210-1选择第三伪测量，该第三伪测量从由来自多个第一对象跟踪的一个或多个对象跟踪所指示的雷达信息(包括雷达范围404-1)导出并且不是从由来自一组第二对象跟踪的至少一个对象跟踪推断出的视觉角度或者视觉横向位置导出。笛卡尔坐标系中的相对于边界框的参考点c(x,y)表示为具有与由雷达接口106-1报告的边界框406-1相同的位置，而不考虑视觉相机接口106-2。
41.图4-1和图4-2示出边界框如何可以用不同的伪测量类型来生成。由数据类型选择器子模块210-1进行的对伪测量类型的恰当选择可以有助于ekf过滤，这是由于伪边界框的
以其他方式不正确的定义可能导致关于正被跟踪的对象的不良估计。由于不同的伪测量类型被推荐以用于在不同的跟踪情境下使用，因此由数据类型选择器子模块210-1采取基于多假设的方法以作出针对伪测量类型的决定。
42.假设雷达接口106-1的位置误差协方差σ
雷达
已知，或者如果并非已知，则也可以通过随时间变化实验和观察雷达接口106-1而根据经验来导出。假设雷达跟踪位置为x
雷达
＝[xr,yr]^t，并且它的误差协方差σ
雷达
在等式3中：等式3
[0043]
注意，如果仅提供雷达距离准确度σr和雷达方位准确度σ
θ
作为在雷达接口106-1处获得的附加伪测量值，假设雷达距离准确度σr和雷达方位准确度σ
θ
是独立的，则笛卡尔坐标系下的位置误差协方差可被导出，如等式4中表示：等式4
[0044]
为了确定每个位置假设(例如，每个组合a、b、c)的概率，当与组合c的参考点(即雷达边界框406-1、406-2的位置)进行比较时，组合a和b的参考点之间的平方马氏距离(mahalanobis distance)，如等式5所示。d2(xh,x
雷达
)＝(x
h-x
雷达
)
t
σ
雷达-1
(x
h-x
雷达
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式5
[0045]
xh是由每个组合a、b或c定义的参考点位置。根据直觉，马氏距离越大，指示了对应的伪测量类型的概率越小，这可以提供更好的性能估计。众所周知，马氏距离的平方遵循2个自由度的卡方(chi-square)分布，且其累积分布被定义为方程式6：1-e-x/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式6
[0046]
当x是平方马氏距离时，组合a和组合b的概率可被定义为2次(2-degree)卡方分布从正无穷大到其平方马氏距离的累积分布，即：等式7
[0047]
注意，组合a和b不是独立的，因此组合c(其为仅雷达伪测量类型)的可能性可被定义为：pc＝1-(pa+p
b-p(a,b))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式8
[0048]
组合a和组合b的联合概率可通过贝叶斯定理定义，如等式9所示：p(a,b)＝pa*p(b|a)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式9
[0049]
给定组合a，组合b测量类型的条件分布是准确的，可被定义为：
等式10
[0050]
使用等式10的平方马氏距离被定义如下：d2(xb,xa)＝(x
b-xa)
t
σ
雷达-1
(x
b-xa)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式11
[0051]
因此，“仅雷达”伪测量类型的可能性可进一步推导为：等式12在使用等式1-12很好地定义了每个假设的概率值的情况下，对于特定情况，融合模块108-1可以使用伪测量类型的三种组合a、b和c中最准确的组合来融合来自多个接口106的传感器数据。示例方法
[0052]
图5示出了根据本公开内容的技术的用于对传感器的基于多假设的融合的示例方法。方法500被示出为以(但不必限于)所示出或描述的操作的次序或组合被执行的一组操作(或动作)。此外，可以重复、组合或重组操作中的任何操作以提供其他方法。在以下讨论的部分中，在描述方法500的一些非限制性示例时，可参考前面介绍的附图。
[0053]
在502处，根据从第一组传感器获得的第一传感器数据来确定多个第一候选对象跟踪。来自多个第一候选对象跟踪的每个对象跟踪可以是与静止对象的至少一部分或移动对象(诸如，交通工具110)的一部分相关联的。
[0054]
在504处，根据从第二组传感器获得的第二传感器数据来确定一组第二对象跟踪。在一些示例中，第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，且第二组传感器包括一个或多个视觉传感器，包括光学相机或红外相机。
[0055]
在506处，从多个伪测量类型中选择比每一个其他的伪测量类型具有更大可能性是准确的伪测量类型。融合模块108-1基于第一概率、第二概率和第三概率选择伪测量类型，该伪测量类型与其他两个伪测量类型相比具有更大可能性是准确的。例如，数据类型选择器子模块210-2可确定第一伪测量的第一概率，该第一伪测量是从由来自多个第一对象跟踪的一个或多个对象跟踪所指示的雷达范围导出并且进一步从由来自一组第二对象跟踪的至少一个对象跟踪推断出的视觉角度导出的。数据类型选择器子模块210-2可以确定第二伪测量的第二概率，该第二伪测量是从所述雷达范围导出并且进一步从由来自一组第二对象跟踪的至少一个对象跟踪推断出的视觉横向位置导出的。数据类型选择器子模块210-2可确定第三伪测量的第三概率，该第三伪测量是从包括雷达范围的雷达信息中导出的，且不是从视觉角度或视觉横向位置进一步导出的。融合模块108-1选择与第一概率、第二概率以及第三概率中较大者相关联的伪测量类型。
[0056]
在508处，所选择的伪测量类型用于确定由多个第一对象跟踪和一组第二对象跟踪表示的边界框。在一些示例中，从多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的伪测量类型包括：基于在先前更新周期期间选择的伪测量类型的历史来选择伪测量类型。例如，伪测量类型可以被保持为固定直到模式出现为止。利用选择特定的
伪测量类型的历史，融合模块108-1获得所选择的伪测量是正确的并且应当被使用的置信度。
[0057]
在506处，输出边界框的指示，作为来自多个第一对象跟踪的一个或多个对象跟踪与来自一组第二对象跟踪的至少一个对象跟踪之间的匹配。附加示例
[0058]
在以下部分中，提供了对传感器数据的多假设融合的附加示例。
[0059]
示例1.一种方法，包括：由传感器融合系统根据从第一组传感器获得的第一传感器数据来确定多个第一对象跟踪；由传感器融合系统根据从第二组传感器获得的第二传感器数据确定一组第二对象跟踪；从多个伪测量类型中选择比多个伪测量类型中的每个其他伪测量类型具有更大可能性是准确的伪测量类型，所述选择至少部分地基于与所述第一组传感器相关联的预定义误差协方差；使用所述伪测量类型来确定由所述多个第一对象跟踪和所述一组第二对象跟踪表示的边界框；以及将所述边界框的指示输出为：来自所述多个第一对象跟踪的一个或多个对象跟踪与来自所述一组第二对象跟踪的至少一个对象跟踪之间的匹配。
[0060]
示例2.任何前述示例的方法，其中所述第一组传感器与所述第二组传感器不同。
[0061]
示例3.前述示例的方法，其中所述第一组传感器包括一个或多个雷达传感器、激光雷达传感器或超声波传感器，并且所述第二组传感器包括一个或多个视觉传感器，所述一个或多个视觉传感器包括光学相机或红外相机。
[0062]
示例4.前述示例中任一个的方法，其中从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：选择第一伪测量，所述第一伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围导出，且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉角度导出。
[0063]
示例5.示例4的方法，其中在笛卡尔坐标系中到所述边界框的参考点(x,y)在x方向上表示为所述雷达范围与所述视觉角度的余弦之间的乘积，并且在y方向上表示为所述雷达范围与所述视觉角度的正弦之间的乘积。
[0064]
示例6.前述示例中任一个的方法，其中从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：选择第二伪测量，所述第二伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉横向位置导出。
[0065]
示例7.示例6的方法，其中在笛卡尔坐标系中到所述边界框的参考点(x,y)在x方向上表示为所述雷达范围的平方和所述视觉横向位置的平方之间的差的平方根，并且在y方向上表示为所述视觉横向位置的乘积。
[0066]
示例8.前述示例中任一个的方法，其中从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：选择第三伪测量，所述第三伪测量从包括由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围的雷达信息导出，并且不从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉角度或者视觉横向位置导出。
[0067]
示例9.示例8的方法，其中所述笛卡尔坐标系中到所述边界框的参考点(x,y)在所
述y方向上表示为所述雷达距离。
[0068]
示例10.前述示例中任一个的方法，其中从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：确定第一伪测量的第一概率，所述第一伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉角度导出；确定第二伪测量的第二概率，所述第二伪测量从所述雷达范围导出，并且进一步从由来自所述一组第二对象跟踪的所述至少一个对象跟踪推断出的视觉横向位置导出；确定第三伪测量的第三概率，所述第三伪测量从由来自所述多个第一对象跟踪的所述一个或多个对象跟踪指示的雷达信息导出，所述雷达信息包括所述雷达范围，所述第三伪测量不进一步从所述视觉角度或所述视觉横向位置导出。
[0069]
示例11.前述示例中任一个的方法，进一步包括：确定与所述第一组传感器相关联的所述误差协方差。
[0070]
示例12.前述示例中任一个的方法，其中从所述多个伪测量类型中选择比每个其他伪测量类型具有更大可能性是准确的所述伪测量类型包括：基于所述第一传感器数据和所述第二传感器数据的先前帧来选择所述伪测量类型的历史，来选择所述伪测量类型。
[0071]
示例13.一种系统，所述系统包括：处理器，所述处理器被配置用于执行前述示例中任一个的方法。
[0072]
示例14.示例13的系统，进一步包括交通工具，所述交通工具包括所述处理器。
[0073]
示例15.一种系统，所述系统包括用于执行前述示例中任一个的方法的装置。
[0074]
示例16.一种包括指令的非瞬态计算机可读存储介质，所述指令在被执行时使系统的至少一个处理器执行前述示例中任一个的方法。结语
[0075]
虽然在前述描述中描述并且在附图中示出了本公开的各种实施例，但应当理解，本公开不限于此，而是可以在接下来的权利要求的范围内以各种方式实施为实践。从前述描述中，将显而易见的是，可以做出各种更改而不偏离由所附权利要求所限定的本公开的范围。与组合爆炸相关联的问题也可能出现在解决其中代理或任务的数量大的分配问题的其他系统中。因此，尽管被描述为改进基于交通工具的匹配技术的一种方式，上述说明书的技术可以应用于其他分配问题，以减少任务与代理之间的分配总数。
[0076]
除非上下文另有明确规定，否则“或”和语法上相关的术语的使用表示无限制的非排他性替代方案。如本文所使用的，引述一列项目中的“至少一者”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：a、b、c、a-b、a-c、b-c、和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c、和c-c-c，或者a、b和c的任何其他排序)。