用于为能高度自动化驾驶的车辆的驾驶辅助系统预测对象的未来动作的方法和设备与流程

1.本方案从用于为能高度自动化驾驶的车辆的驾驶辅助系统预测对象的未来动作的一种设备或者一种方法出发。本方案的主题还有一种计算机程序。


背景技术：

2.如今，自主的驾驶员系统非常类似于工艺流水线地构造，始于传感器，然后对传感器进行融合。然后将经融合的对象列表输送给规划器，在执行器中结束。


技术实现要素：

3.在此背景下，借助在此所提出的方案提出一种用于为能高度自动化驾驶的车辆的驾驶辅助系统预测对象的未来动作的方法，此外还提出一种使用该方法的设备，以及最后提出一种相应的计算机程序。通过在优选实施方式中所列举的措施能够实现本发明所提出的方法的有利扩展方案和改善。
4.借助所提出的方案所能够实现的优点在于，在数据融合时产生特别准确的结果，以便能够做出关于对象的行为预测的更精确的陈述。
5.提出一种用于为能高度自动化驾驶的车辆的驾驶辅助系统预测对象的未来动作的方法。该方法包括读取步骤、融合步骤和确定步骤。在读取步骤中，从车辆的至少一个车辆传感器读取至少一个传感器信号，其中，所述传感器信号代表至少一个关于由所述车辆传感器在当前时间点所探测到的对象的运动学对象信息，并且从该自主的驾驶辅助系统的规划器读取规划器信号，其中，该规划器信号代表至少一个关于该对象或者该对象的环境在一个过去时间点的语义信息。在融合步骤中，将所述运动学对象信息与语义信息融合以便获得融合信号，该融合信号代表经融合的关于该对象的信息。在确定步骤中，在使用该融合信号的情况下确定预测信号，其中，该预测信号代表该对象的未来动作。
6.该方法例如可以以软件或者硬件或以由软件和硬件所组成的混合形式例如在控制器中实施。
7.对象可以是人或者物体，例如另外的车辆，该对象在被探测到后被跟踪(getrackt/verfolgt)。规划器构造为用于关于下述内容做出预测：交通中的其他对象/车辆打算做什么，然后规划本车辆应做什么。语义信息可以是关于对象或者对象的环境的信息，该语义信息描述当前的上下文。例如，这种语义信息可以显示在另外的车辆的前方的车道结束，因此能够预测该另外的车辆的驾驶员极可能将进行变道。还可以使用如另外的车辆的激活的闪光指示灯那样的语义信息，以便预测该另外的车辆的转弯，或者另外的车辆的识别到的刹车灯能够预测该另外的车辆的即将到来的制动机动动作。语义信息可以由驾驶辅助系统的或者规划器的堆栈存储器(stapelspeicher/kellerspeicher)提供和/或读取。由于在这里所提出的方法中不仅将车辆传感器的运动学对象信息、而且此外还将来自下游的规划器的语义信息引回用于融合，所以该预测有利地能够更准确。
8.在融合步骤中可以使用α-β滤波器，特别是卡尔曼滤波器或卡尔曼滤波器的衍生，以便获得融合信号。这种α-β滤波器，亦称“g-h滤波器”，适合用于执行数据融合/信息融合。
9.根据一种实施方式，该方法还可以具有生成步骤，在该生成步骤中，规划器信号至少部分地从时间上在先的融合信号中生成。
10.在读取步骤中，从该车辆的另外的车辆传感器读取至少一个另外的传感器信号，其中，所述另外的传感器信号代表至少一个关于由所述另外的车辆传感器所探测到的对象的或者由所述另外的车辆传感器所探测到的另外的对象的另外的运动学对象信息，其中，在融合步骤中还融合所述另外的运动学对象信息，以便获得融合信号。因此能够融合多个车辆传感器的传感器数据。越多地融合来自不同车辆传感器的数据，则能够越准确地跟踪对象并做出预测。
11.根据一种实施方式，在融合步骤中可以抑制运动学对象信息的重复。这能够避免存在不必要的多个信息，例如双重信息，所述不必要的多个信息可能影响数据处理时的速度。
12.可以多次实施该方法的所述步骤，以便基于递归规划来确定分别获得的预测信号。因此能够进一步提高预测时的精度。
13.此外有利的是，该方法根据一种实施方式包括输出步骤，在该输出步骤中，在使用预测信号的情况下输出用于操控车辆的执行器的控制信号。因此能够从该预测出发自动化地控制该车辆。在一种实施方式中，执行器是车辆的制动系统。因此，当已确定到也显示出对象的制动过程的预测信号时，能够通过控制信号例如将车辆制动以便提高驾驶安全性。
14.在读取步骤中可以从车辆传感器读取传感器信号，该车辆传感器构型为摄像机、雷达系统特别是激光雷达系统，或超声波系统。这类车辆传感器能够实现运动学对象信息的提供。相应地还可以在读取步骤中从另外的车辆传感器读取另外的传感器信号，该另外的车辆传感器构型为另外的摄像机、另外的雷达系统特别是另外的激光雷达系统，或者另外的超声波系统。
15.根据一种实施方式，在读取步骤中可以读取传感器信号，该传感器信号包括对象的或者车辆的位置、速度、加速度、取向和/或尺寸作为运动学对象信息。相应地，在读取步骤中还可以读取另外的传感器信号，该另外的传感器信号包括对象的或者该车辆的另外的位置、另外的速度、另外的加速度、另外的取向和/或另外的尺寸作为另外的运动学对象信息。这类运动学对象信息能够实现对对象的未来动作的预测。
16.此外有利的是，根据一种实施方式，在读取步骤中将规划器信号的语义信息变换成运动学信息，其中，在融合步骤中将所述运动学对象信息与运动学信息融合，以便获得融合信号。因此融合能够在技术上受益。在此所执行的到运动学中的变换例如可以是将所识别到的左侧闪光指示灯转换成向左的加速，从而预测该车辆在未来短时间内将向左运动而非保持直线航行轨道(flugbahn)。
17.在此所提出的方案还提出一种设备，该设备构造为用于在相应的装置中执行、操控或实现在此所提出的方法的任一变型的步骤。通过本方案的呈设备形式的这种实施变型也能够快速且高效地解决本方案所基于的任务。
18.为此，该设备可以具有至少一个用于处理信号或者数据的计算单元、至少一个用于存储信号或者数据的存储器单元、至少一个用于读取传感器的传感器信号或者用于向执
行器输出数据信号或者控制信号输出的与传感器或者执行器的接口，和/或至少一个用于读取或者输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器等，其中，存储器单元可以是闪存、eeprom或者磁存储器单元。通信接口可以构造为用于无线地和/或有线地读取或者输出数据，其中，能够读取或者输出有线的数据的通信接口例如可以以电气的或者光学的方式从相应的数据传输线路中读取这些数据或者将这些数据输出到相应的数据传输线路中。
19.在当前情况下，设备能够理解为电设备，该电设备处理传感器信号并且根据所述传感器信号输出控制信号和/或数据信号。所述设备可以具有接口，该接口可以按硬件方式和/或按软件方式来构造。在以硬件的方式的构造方案中，所述接口例如可以是所谓的系统asic的一部分，该部分包含设备的各种功能。然而也可能的是，接口是自有的集成电路或者至少部分地由分立的构件组成。在按软件方式构造的情况下，接口例如可以是与其他软件模块并存于微控制器上的软件模块。
20.此外提出一种用于能高度自动化驾驶的车辆的驾驶辅助系统，其中，该驾驶辅助系统具有前述设备。这种驾驶辅助系统可以用于高度自动化地控制车辆，并且在此实现设备的前述优点。
21.还有利的是一种具有程序代码的计算机程序产品或计算机程序，所述计算机程序产品或计算机程序可以存储在机器可读的载体或者存储介质如半导体存储器、硬盘存储器或者光存储器上，并且特别是当所述程序产品或程序在计算机或者设备上执行时用于实施、实现和/或操控根据前述实施方式中的一种实施方式所述的方法的步骤。
附图说明
22.在附图中示出并在下文的说明书中更详细地阐述在此所提出的方案的实施例。附图示出：
23.图1：具有根据一个实施例的用于预测对象的未来动作的设备的车辆的示意图；和
24.图2：根据一个实施例的用于为能高度自动化驾驶的车辆的驾驶辅助系统预测对象的未来动作的方法的流程图。
具体实施方式
25.在以下对本方案的有利实施例的描述中，对于在不同附图中所示出的作用相似的元素使用相同或相似的参考标记，其中省略了对这些元素的重复性描述。
26.图1示出具有根据一个实施例的用于预测对象110的未来动作的设备105的车辆100的示意图。
27.根据该实施例的设备105仅仅示例性地实现到车辆100的驾驶辅助系统115中，该车辆根据该实施例仅仅示例性地构型为能高度自动化驾驶的车辆100。
28.设备100至少具有读取接口120、融合装置125和规划器130。读取接口120构造为用于从车辆100的至少一个车辆传感器140读取至少一个传感器信号135，其中，传感器信号135代表至少一个关于由车辆传感器信号140在当前时间点所探测到的对象110的运动学对象信息。此外，读取接口120构造为用于从自主的驾驶辅助系统110的规划器130读取规划器信号145，其中，规划器信号145代表至少一个关于该对象110或者该对象110的环境在一个
过去时间点的语义信息。融合装置125构造为用于将运动学对象信息与语义信息融合，以便获得融合信号150，该融合信号代表经融合的关于对象110的信息。规划器130构造为用于在使用融合信号150的情况下确定预测信号155，其中，预测信号155代表对象110的未来动作。
29.根据该实施例，对象110是另外的车辆，根据该实施例，该另外的车辆在车辆100的前方行驶。根据一个替代的实施例，对象110是其他物体或人。根据该实施例，车辆传感器140、融合装置125和规划器130在其功能运行方面按顺序依次连接，除了规划器信号145从规划器130反馈给融合装置125之外。根据该实施例，语义信息是关于对象110或者对象110的环境的信息，该信息描述当前的上下文。根据不同的实施例，该语义信息作为语义学信号160经由规划器130从车辆内部的或者车辆外部的状况识别装置读取。根据一个替代的实施例，规划器130附加或替代地构造为用于在使用环境信号165的情况下确定语义信息本身。根据一个实施例，该语义信息由驾驶辅助系统115的或者规划器130的堆栈存储器提供。根据该实施例，规划器130还具有生成装置168，该生成装置构造为用于至少部分地从时间上在先的融合信号中生成规划器信号145。因此，在此所提出的设备105构造为用于不仅融合车辆传感器140的运动学对象信息，此外还将来自在融合装置125下游的规划器130的语义信息引回至融合装置125用于融合，以便特别准确地预测对象110的未来动作。
30.根据该实施例，读取接口120构造为用于还从车辆100的另外的车辆传感器175读取至少一个另外的传感器信号170，其中，该另外的传感器信号175代表至少一个关于由所述另外的车辆传感器175所探测到的对象110的或者由所述另外的车辆传感器175所探测到的另外的对象的另外的运动学对象信息，其中，融合装置125还融合所述另外的运动学对象信息，以便获得融合信号150。相应地还可以从任意数量的附加车辆传感器读取任意数量的附加传感器信号并融合成融合信号150。根据该实施例，读取接口120构造为用于从车辆传感器140读取传感器信号135和/或从另外的车辆传感器175读取另外的传感器信号170，该车辆传感器根据该实施例构型为摄像机、雷达系统特别是激光雷达系统，或超声波系统。根据该实施例，读取接口120构造为用于读取传感器信号135和/或另外的传感器信号170，该传感器信号包括对象110的或者车辆100的位置、速度、加速度、取向和/或尺寸作为运动学对象信息。根据该实施例，读取装置120或者融合装置125构造为用于将规划器信号145的语义信息变换成运动学信息，其中，融合装置125构造为用于在融合时将该运动学对象信息和/或另外的运动学对象信息与该运动学信息融合，以便获得融合信号150。
31.根据该实施例，融合装置125构造为用于使用α-β波器，特别是卡尔曼滤波器或卡尔曼滤波器的衍生，以便获得融合信号150。根据该实施例，融合装置125构造为用于抑制运动学对象信息的重复。
32.根据该实施例，规划器130构造为用于在使用预测信号155的情况下输出用于操控车辆100的执行器185的控制信号180。根据该实施例，执行器185是车辆100的制动系统。根据一个实施例，当已确定到显示出对象110的制动过程的预测信号155时，通过控制信号180例如将车辆100制动，以便提高驾驶安全性。
33.在此所提出的设备105有利地能够实现“规划器向融合部反馈”用于在驾驶辅助系统115的传感器融合的情况下的更好的预测，该驾驶辅助系统亦称自主的驾驶系统或者自主的驾驶员系统。如今，自主的驾驶员系统115，简称“ad系统”，非常类似于工艺流水线地构造，始于传感器140、175如摄像机、雷达、激光雷达和/或超声波等，然后融合传感器140、
175，将经融合的对象列表输送给规划器130，在执行器185中结束。在传感器融合时，借助融合装置125将所探测到的对象的流与不同传感器140、175的相应信息如位置、速度、加速度、取向和/或尺寸等合并，其中，信息的重复被避免。以这种方式产生被所有传感器140、175“看到”或者器知到的对象110的流，而不由于多个传感器140、175看到同一对象110而导致重复。
34.为了辅助所谓的“跟踪(verfolgung或tracking)”对象110的任务，使用一种g-h滤波器，根据该实施例，该g-h滤波器典型地是卡尔曼滤波器的实现或是其衍生。在内部，融合部/融合装置125放眼那些具有运动学对象信息的对象110。每次由传感器140、175获得新的测量到的对象时，对被跟踪的对象110关于接收到新信息时的时间戳进行“预测”。这是可以实现的，因为最后的位置和速度和/或加速度是已知的。这在卡尔曼滤波器或者任意其他g-h滤波器中是关键步骤。该预测的质量确定了将新获得的对象与现存的被跟踪的对象110正确进行配属的概率。
35.现在，在此所提出的设备105有利地能够实现：除了来自输入传感器140、175的运动学信息/动力学信息之外，来自规划器130的回馈或者语义信息也附加地流入到融合部/融合装置125中，以便帮助预测被跟踪的对象110。根据该实施例，特别是从ad系统堆栈/堆栈存储器的其他区块(block)进行回馈，所述回馈帮助进行这种预测。
36.规划器130负责预测例交通中的对象110如其他车辆打算做什么，根据该实施例，其方式是，规划器典型地进行递归规划，然后规划本车辆100应做什么。该规划器130的预测在根本上区别于在融合时所使用的预测，因为该规划器的预测典型地使用的不是运动学信息，而是其他可供使用的语义信息。如果例如车道终端处于另一车辆的前方，则能够预测，该另一车辆的驾驶员极可能将要进行变道。也可以使用信息如闪光指示灯，用于预测转弯，或者刹车灯，用于预测制动机动动作。现在，这些重要的可用的语义信息在在此所提出的设备105中被融合装置125使用，用于在融合进程中做出更好的预测。
37.因此实现从规划器130到融合系统125中的反馈回路，在该反馈回路中，所有对于预测而言重要的信息被引回到融合部中。这些信息在经过可能的到运动学中的变换之后在预测步骤中在跟踪器的内部滤波器中被使用。所述到运动学中的变换例如可以是，将左侧闪光指示灯转换成向左的加速，从而预测，另一车辆110在未来短时间内将向左运动而非保持直线航行轨道。
38.总而言之，在在此所提出的方案中，在自主的驾驶系统115中实现从规划器130到传感器融合系统——先前被称为融合装置125——中的反馈回路，在该反馈回路中，所有对于预测而言重要的信息被回送给传感器融合。这些信息在经过可能的到运动学中的变换之后在预测步骤中在跟踪器的内部滤波器中被使用，该跟踪器跟踪对象110。在此，不是从融合部125发送信息到传感器140、175中，而是从规划器130发送信息到融合部125中，以便在融合部125中的预测能够提供更好的结果。
39.图2示出根据一个实施例的用于为能高度自动化驾驶的车辆的驾驶辅助系统预测对象的未来动作的方法200的流程图。在此可以是能够由根据图1所描述的设备所实施和/或操控的方法200。
40.该方法200包括读取步骤205、融合步骤210和确定步骤215。在读取步骤205中，从车辆的至少一个车辆传感器读取至少一个传感器信号，其中，所述传感器信号代表至少一
个关于由车辆传感器在当前时间点所探测到的对象的运动学对象信息，并且从该自主的驾驶辅助系统的规划器读取规划器信号，其中，该规划器信号代表至少一个关于该对象或者该对象的环境在一个过去时间点的语义信息。在融合步骤210中，将运动学对象信息与语义信息融合以便获得融合信号，该融合信号代表关于该对象的经融合的信息。在确定步骤215中，在使用该融合信号的情况下确定预测信号，其中，该预测信号代表该对象的未来动作。
41.根据该实施例，方法200可选地还包括生成步骤220和/或输出步骤225。在生成步骤220中，规划器信号至少部分地从时间上在先的融合信号中生成。在输出步骤225中，在使用预测信号的情况下输出用于操控车辆执行器的控制信号。
42.根据一个实施例，多次实施该方法200的步骤205、210、215、220、225，以便基于递归规划来确定分别获得的预测信号。
43.在此所提出的方法步骤可以重复地以及按与所描述的顺序不同的顺序实施。
44.若实施例包括第一特征与第二特征之间的“和/或”关联，则对此可以如此解读，即该实施例根据一种实施方式不仅包括第一特征而且包括第二特征，而根据另一种实施方式要么仅具有第一特征要么仅具有第二特征。