障碍物轨迹预测方法、装置、电子设备及存储介质与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种障碍物轨迹预测方法、装置、电子设备及存储介质。


背景技术：

2.随着互联网和智能终端技术的发展，自动驾驶技术日趋成熟，自动驾驶车辆逐渐走入人们的视野，为人们的生活提供了极大的便利。为了安全出行，自动驾驶汽车需要准确预测其他交通参与者的未来运动情况。自动驾驶系统根据获得的机动车、非机动车以及行人等对象的历史运动轨迹以及高精地图信息，预测车辆周围交通参与者的行为意图和预测轨迹，为自动驾驶车辆的规划决策提供参考信息。
3.现有技术中，在对车辆周围障碍物进行轨迹预测时，通常采用基于概率或者运动意图的方法对预测对象的行驶轨迹进行计算和预测。然而，在车辆实际驾驶环境中，车辆周围的环境较为复杂，影响车辆行驶的障碍物种类繁多、密度高、间隙小，从而导致障碍物的行驶轨迹预测不准确的情况，进而极大的影响自动驾驶车辆准确规划自身的行驶轨迹。


技术实现要素：

4.本发明提供了一种障碍物轨迹预测方法、装置、电子设备及存储介质，以解决车辆周围障碍物的行驶轨迹预测不准确的问题。
5.根据本发明的一方面，提供了一种障碍物轨迹预测方法，该方法包括：
6.获取目标车辆在预设感知范围内的原始标注数据，其中，原始标注数据包括备选障碍物在连续多个时刻的轨迹点位置数据和目标车辆的定位数据；
7.将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据；
8.根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物；
9.基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测。
10.根据本发明的另一方面，提供了一种障碍物轨迹预测装置，该装置包括：
11.数据获取模块，用于获取目标车辆在预设感知范围内的原始标注数据，其中，原始标注数据包括备选障碍物在连续多个时刻的轨迹点位置数据和目标车辆的定位数据；
12.坐标转换模块，用于将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据；
13.障碍物确定模块，用于根据所述目标标注数据中所述备选障碍物的轨迹点位置数据和所述目标车辆的定位数据，确定待预测障碍物；
14.轨迹预测模块，用于基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测。
15.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的障碍物轨迹预测方法。
19.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的障碍物轨迹预测方法。
20.本发明实施例的技术方案，通过获取目标车辆在预设感知范围内的原始标注数据，然后，将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据，进一步的，根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物，最终，基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测，解决了现有技术中由于车辆周围的环境较为复杂，影响车辆行驶的障碍物种类繁多、密度高、间隙小，从而导致障碍物的行驶轨迹预测不准确的情况，通过采用实车采集数据提升了障碍物轨迹预测模型的预测效果，提高了障碍物轨迹预测的准确度。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是根据本发明实施例一提供的一种障碍物轨迹预测方法的流程图；
24.图2是根据本发明实施例二提供的一种障碍物轨迹预测方法的流程图；
25.图3是根据本发明实施例三提供的一种障碍物轨迹预测方法中原始标注数据处理方法的流程图；
26.图4是根据本发明实施例三提供的一种障碍物轨迹预测方法中的算法流程图；
27.图5是根据本发明实施例四提供的一种障碍物轨迹预测装置的结构示意图；
28.图6是实现本发明实施例的障碍物轨迹预测方法的电子设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.实施例一
32.图1为本发明实施例一提供了一种障碍物轨迹预测方法的流程图，本实施例可适用于对车辆周围障碍物的行驶轨迹进行预测的情况，该方法可以由障碍物轨迹预测装置来执行，该障碍物轨迹预测装置可以采用硬件和/或软件的形式实现，该障碍物轨迹预测装置可配置于终端和/或服务器中。如图1所示，该方法包括：
33.s110、获取目标车辆在预设感知范围内的原始标注数据。
34.在本实施例中，目标车辆可以为需要进行周围障碍物轨迹预测的主车车辆。预设感知范围可以为预先设置的，用于实现数据信息感知的距离范围。需要说明的是，预设感知范围是可变的，可以根据数据采集装置的感知距离进行设置，本实施例对预设感知范围的设置不作限定。示例性的，预设感知范围可以为50米、100米或者200米等。原始标注数据可以为经过标注处理后得到的数据。原始标注数据可以包括定位数据、感知数据以及点云数据等多通道的数据。可选的，原始标注数据包括备选障碍物在连续多个时刻的轨迹点位置数据和目标车辆的定位数据。其中，备选障碍物可以为位于目标车辆周围的所有交通参与者。示例性的，备选障碍物可以为机动车辆、非机动车辆或者行人等。轨迹点位置数据可以为备选障碍物在其运动环境中的某一固定坐标系下的坐标数据。目标车辆的定位数据为目标车辆在某一时间点的位置坐标数据。
35.可选的，获取目标车辆在预设感知范围内的原始标注数据，包括：通过设置于目标车辆上的雷达感知装置采集预设感知范围内的原始采样数据，并对原始采样数据进行标注，得到原始标注数据。
36.其中，雷达感知装置可以为通过发射微波和接收反射波来识别目标对象的装置。示例性的，雷达检测装置可以为超声波雷达、激光雷达、微波雷达以及毫米波雷达等。
37.在实际应用中，可以通过设置于目标车辆上的雷达感知装置采集其感知范围内的一系列点云图像，根据三维点云数据标注标准对采集的点云图像中的备选障碍物标注对应的身份标识符(identity document，id)和相对于目标车辆在连续多个时刻的轨迹点坐标数据，从而完成标注过程，得到原始标注数据。这样设置的好处在于：可以根据标识符区分不同的交通参与者，并且可以通过数据标注把需要机器进行识别的数据打上标签，以使终端设备不断学习这些数据的特征，最终达到终端设备自主识别目标数据的效果。
38.在具体实施中，通过设置在目标车辆上的雷达感知装置对感知范围内的备选障碍物进行扫描，得到目标车辆关于备选障碍物的原始采样数据，然后，通过对原始采样数据进行标注的方式确定备选障碍物的标识符和相对于目标车辆在连续多个时刻的轨迹点位置坐标数据，将标注后的备选障碍物的轨迹点位置坐标数据和目标车辆的位置数据作为原始标注数据。
39.s120、将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据。
40.在本实施例中，由于原始标注数据是通过设置于目标车辆上的雷达感知装置采集得到的，因此，原始标注数据中的目标车辆的位置数据是位于雷达坐标系下的坐标数据，又由于原始标注数据中的备选障碍物的轨迹点位置数据是以目标车辆为参照对象确定的相对坐标数据，因此，备选障碍物的轨迹点位置数据是位于主车坐标系下的坐标数据，主车坐标系和雷达坐标系就可以为原始标注数据的原始坐标系。
41.一般情况下，当对目标车辆周围的所有障碍物的行驶轨迹进行预测时，需要根据障碍物周围的道路信息以及障碍物在世界坐标系中的相关信息对其行驶轨迹进行精准预测，因此，需要将原始标注数据从原始坐标系转换到世界坐标系下。其中，世界坐标系为依据笛卡尔右手坐标系来确定图像中的各点位置，x轴为水平方向，y轴为垂直方向，z轴为垂直于xy平面的方向，远点o的坐标为(0,0,0)。世界坐标系是一个固定不变的坐标系，用于描述地球上的绝对位置和相对位置关系。
42.示例性的，将原始标注数据由原始坐标系转换到世界坐标系可以通过转换矩阵进行坐标转换。以备选障碍物的轨迹点位置数据为例，其坐标转换过程为从主车坐标系转换到雷达坐标系，再从雷达坐标系转换到惯性测量单元(inertial measurement unit，imu)坐标系，最后转换到世界坐标系。进一步的，以主车坐标系转换到雷达坐标系为例，基于如下公式可以得到转换后的坐标：
43.new_positon＝r*[position,1]
[0044]
其中，new_positon表示世界坐标系下的坐标，position表示主车坐标系下的坐标，r表示转换矩阵。
[0045]
在实际应用中，转换矩阵r基于四元数和位移确定，具体的，基于如下公式确定转换矩阵：
[0046][0047]
其中，四元数为qua＝{q0,q1,q2,q3}，位移为trans＝{t
x
,ty,tz}。
[0048]
可选的，将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据可以基于如下公式实现转换过程：
[0049]
world_position＝r_imu*r_lidar*r_av*[act_position，1]
[0050]
其中，world_position表示世界坐标系下的备选障碍物的轨迹点位置数据，r_av表示从主车坐标系转换到雷达坐标系的转换矩阵，r_lidar表示从雷达坐标系转化到imu坐标系的转换矩阵，r_imu表示从imu坐标系转换到世界坐标系的转换矩阵，act_position表示原始坐标系下备选障碍物的轨迹点位置数据。
[0051]
需要说明的是，原始标注数据中的目标车辆的定位数据也通过上述坐标转换公式从雷达坐标系转换到世界坐标下，得到世界坐标系下的目标车辆的定位数据，并将该数据与世界坐标下备选障碍物的轨迹点位置数据作为目标标注数据。
[0052]
s130、根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物。
[0053]
在本实施例中，待预测障碍物可以在目标车辆周围所有障碍物中符合预测条件，需要进行轨迹预测的障碍物。
[0054]
一般情况下，在目标车辆周围的所有障碍物中，并不是每个障碍物的行驶轨迹均具有预测价值，因此，需要通过各种筛选条件确定最终的待预测障碍物，其他障碍物可以作为参与者。
[0055]
可选的，根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物，包括：确定目标车辆与备选障碍物之间的感知距离；确定备选障碍物的轨迹点位置数据的数据缺失率；确定备选障碍物的轨迹长度；当感知距离、数据缺失率和轨迹长度中的至少一项满足预设筛选条件时，则将备选障碍物确定为待预测障碍物。
[0056]
其中，感知距离可以为设置在目标车辆上的雷达感知装置对周围障碍物的感知范围。一般情况下，由于车载雷达感知装置的感知范围有限，并且并不是所有备选障碍物的感知效果都准确，因此，需要确定目标车辆与备选障碍物之间的感知距离，根据感知距离确定其是否为待预测障碍物。
[0057]
示例性的，目标车辆与备选障碍物之间的感知距离可以基于如下公式确定：
[0058]
l＝dist{av_positioni,positioni}
[0059]
其中，dist{
·
}表示距离，av_positioni表示第i个时刻目标车辆的位置数据，positioni表示第i个时刻备选障碍物的轨迹点位置数据。
[0060]
在本实施例中，数据缺失率可以为备选障碍物的轨迹点位置数据中由于感知不稳定造成的数据缺失占总数据的比例。一般情况下，由于车载雷达感知装置的感知的不稳定性，可能会造成在采集轨迹点位置数据的过程中出现部分数据的缺失，为了使得最终的轨迹预测结果准确，因此，需要确保待预测障碍物的轨迹点位置数据的数据缺失率处于一定阈值。
[0061]
可选的，确定备选障碍物的轨迹点位置数据的数据缺失率，包括：基于如下公式确定备选障碍物的数据缺失率：
[0062]
r＝1-((count(agent_track))/conut(av_track))
[0063]
其中，r表示备选障碍物的数据缺失率，count(
·
)表示计数器，agent_track表示备选障碍物的轨迹点序列，av_track表示目标车辆的轨迹点序列。
[0064]
一般情况下，在对目标车辆周围的障碍物的行驶轨迹进行预测时，处于运动状态的障碍物的行驶轨迹是具有预测价值的，因此，需要确定备选障碍物的轨迹长度，可以通过轨迹长度确定其备选障碍物的运动状态，轨迹长度过短的障碍物可能是静止的状态，可能不属于本实施例的考虑范围。
[0065]
可选的，备选障碍物的轨迹长度可以基于如下公式确定：
[0066]
d＝dist{position
起点
,position
终点
}
[0067]
其中，position
起点
表示备选障碍物的轨迹点位置数据中的起点位置坐标，position
终点
表示备选障碍物的轨迹点位置数据中的终点位置坐标。
[0068]
在本实施例中，预设筛选条件可以为预先设置的，用于对备选障碍物中的待预测障碍物进行筛选的各项条件。示例性的，对于感知距离，预设筛选条件为感知距离小于一定的距离阈值，例如，距离阈值可以为100米；对于数据缺失率，预设筛选条件为数据缺失率小于一定的缺失率阈值，例如，缺失率阈值可以为70％；对于轨迹长度，预设筛选条件为轨迹
长度大于一定的长度阈值，例如，长度阈值可以为10米。
[0069]
具体的，在得到完成坐标系转换的目标标注数据后，可以根据目标标注数据中的备选障碍物的轨迹点位置数据和目标车辆的定位数据确定备选障碍物与目标车辆之间的感知距离、轨迹点位置数据的数据缺失率和备选障碍物的轨迹长度，当感知距离、数据缺失率和轨迹长度中的至少一项满足预设筛选条件时，则可以将该备选障碍物确定为待预测障碍物，从而可以对确定的待预测障碍物的行驶轨迹进行预测。
[0070]
s140、基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测。
[0071]
在本实施例中，障碍物轨迹预测模型可以为用于对目标车辆周围的障碍物的行驶轨迹进行预测的神经网络模型。示例性的，障碍物轨迹预测模型可以是卷积神经网络、循环神经网络或者深度神经网络中的至少一个构成，本实施例对此不作限定。
[0072]
可选的，障碍物轨迹预测模型可以包括特征处理模块、特征融合模块和轨迹预测模块。其中，特征处理模块可以将目标车辆周围的地图信息抽象成拓扑网络结构，将待预测的轨迹点位置数据处理成特征向量；特征融合模块通过特征金字塔网络(feature pyramid network，fpn)和地图卷积网络(lane graph convolutional network，lgcn)分别提取待预测障碍物的轨迹信息和地图信息，然后再按照顺序进行特征融合；轨迹预测模块通过多层感知机(multi-layer perception，mlp)进行解码，得到若干条未来轨迹的预测结果和对应的置信度，并将置信度最高的预测轨迹作为障碍物轨迹预测模型的输出。
[0073]
具体的，在目标车辆周围的所有备选障碍物中确定待预测障碍物后，可以基于预先训练完成的障碍物轨迹预测模型以及待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测，以便可以根据预测结果确定待预测障碍物的未来行驶轨迹，减少待预测障碍物地目标车辆行驶轨迹的影响。
[0074]
在上述技术方案的基础上，还包括：根据预设数据处理方式对待预测障碍物的轨迹点位置数据进行处理，并以预设文件格式保存。
[0075]
其中，预设数据处理方式可以为预先设置的，用于对各项数据进行处理的方法。可选的，预设数据处理方式包括平滑处理和插值处理。预设文件格式可以为预先设置的，用于实现轨迹点位置数据保存的文件格式。例如，预设文件格式可以为逗号分割值(comma-separated values，csv)文件格式。
[0076]
在实际应用中，由于待预测障碍物的轨迹点位置数据为车载雷达感知装置采集的感知数据，可能会出现存在误差，从而造成待预测障碍物的行驶轨迹有一定程度的抖动的问题，因此，需要对待预测障碍物的轨迹点位置数据进行平滑处理。
[0077]
可选的，根据预设数据处理方式对待预测障碍物的轨迹点位置数据进行处理，包括：基于高斯滤波方法对待预测障碍物的轨迹点位置数据进行平滑处理。
[0078]
在本实施例中，高斯滤波实质上是一种信号的滤波器，其用途为信号的平滑处理。示例性的，高斯滤波一般有两种实现方式：离散化窗口滑动卷积和傅里叶变换。本实施例采用离散化窗口滑动卷积的方式来实现轨迹点位置数据的平滑处理。
[0079]
可选的，高斯滤波方法中的高斯核基于如下公式确定：
[0080]
[0081]
其中，g
σ
表示高斯核，x,y表示轨迹点位置坐标，σ表示超参数。
[0082]
在实际应用中，基于雷达感知装置采集的原始标注数据的采样频率为3赫兹，而障碍物轨迹预测模型中的输入数据的采样频率为10赫兹，为了弥补数据的缺失，因此，需要对基于雷达感知装置获取的待预测障碍物的轨迹点位置数据进行插值处理。示例性的，数据插值方法可以包括但不限于反距离加权插值法、最小曲率、自然邻点插值法、最近邻点插值法或者三次样条插值法等。例如，本实施采用三次样条插值法拓展轨迹点位置数据，具体做法可以为将原始轨迹点位置数据分成n个区间，在区间[ti,t
i+1
](i∈(0,
…
,n-1))上采用三次多项式进行拟合x和y的坐标。以拟合x坐标为例，三次多项式为s＝ai+bix+cix2+dx3，在区间[ti,t
i+1
]上满足s(ti)＝xi，且s(t
i+1
)＝x
i+1
，则插入的数据为(t，,x，)，其中，t,＝t+0.1，x,＝s(t，)。
[0083]
具体的，将待预测障碍物的轨迹点位置数据经过平滑以及插值等处理完成后，将处理后的轨迹点位置数据以预先设置的文件格式保存，以便后续可以输入至障碍物轨迹预测模型中进行轨迹预测。
[0084]
本发明实施例的技术方案，通过获取目标车辆在预设感知范围内的原始标注数据，然后，将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据，进一步的，根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物，最终，基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测，解决了现有技术中由于车辆周围的环境较为复杂，影响车辆行驶的障碍物种类繁多、密度高、间隙小，从而导致障碍物的行驶轨迹预测不准确的情况，通过采用实车采集数据提升了障碍物轨迹预测模型的预测效果，提高了障碍物轨迹预测的准确度。
[0085]
实施例二
[0086]
图2为本发明实施例二提供的一种障碍物轨迹预测方法的流程图，本实施例是对上述实施例中s140的细化。如图2所示，该方法包括：
[0087]
s210、获取目标车辆在预设感知范围内的原始标注数据。
[0088]
s220、将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据。
[0089]
s230、基于预设滑动窗口对备选障碍物的轨迹点位置数据进行切分处理。
[0090]
在本实施例中，预设滑动窗口可以为预先设置的，可以将两个边界向某一方向滑动的窗口。其中，滑动窗口是数组或者字符串问题中常用的抽象概念，窗口通常是在数组或者字符串中由开始和结束索引定义的一系列元素的集合。
[0091]
在实际应用中，障碍物轨迹预测模型的模型输入数据为数据大小固定的数据，然而，备选障碍物的轨迹点位置数据的每个片段长度均大于模型的输入数据的片段长度，因此，需要对备选障碍物的轨迹点位置数据进行数据切分处理。示例性的，每个预设滑动窗口中切分的数据包括备选障碍物的历史轨迹点位置数据和预测的真实轨迹点位置数据。例如，障碍物轨迹预测模型的模型输入数据是5秒的数据，其中前2秒为历史轨迹点位置数据，后3秒是预测的真实轨迹点位置数据，而备选障碍物的轨迹点位置数据为50秒的数据，因此，需要按照5秒的窗口大小切分所有备选障碍物的轨迹点位置数据。
[0092]
s240、根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物。
[0093]
s250、获取待预测障碍物在预设搜索范围内的地图数据。
[0094]
其中，预设搜索范围可以为预先设置的，用于搜索待检测障碍物周围的地图数据的范围阈值。示例性的，预设搜索范围可以为50米、100米或者200米等。
[0095]
在本实施例中，地图数据可以为待预测障碍物周围的车道数据。可选的，地图数据包括车道坐标、车道是否左转、车道是否右转、是否为交通路口以及是否进行交通管制中的至少一项。示例性的，对于待预测障碍物周围的每一条车道，可以按照预设采样距离将车道划分为若干个道路结点，例如，按照1米的距离对每一条车道进行道路节点采样，即lane＝{node0,
…
,node
i-1
,nodei}，i＝length(lane)/1，其中，lane表示待预测障碍物周围的车道，node表示每一条车道上的道路结点，每一个node中包括车道道路结点的位置坐标、是否左转、是否右转、是否为交通路口以及是否进行交通管制等信息。
[0096]
在实际应用中，由于待预测障碍物所处的实际预测场景的复杂多样性，并且，预测场景中待预测障碍物周围的地图特征信息对其行驶轨迹的预测有十分重要的价值，因此，需要在确定待预测障碍物后，获取该待预测障碍物周围的地图数据，以使待预测障碍物最终的轨迹预测结果更加准确。
[0097]
s260、将待预测障碍物的轨迹点位置数据和地图数据输入至预先训练完成的障碍物轨迹预测模型中，得到待预测障碍物的未来轨迹数据的预测结果。
[0098]
在具体实施中，将待预测障碍物的轨迹点位置数据和地图数据输入至预先训练完成的障碍物轨迹预测模型中，首先，通过特征处理模块将地图数据抽象成拓扑网络结构，将待预测障碍物的轨迹点位置数据处理成特征向量的形式，然后，通过特征融合模块先分别提取轨迹点位置数据中的轨迹特征信息和地图数据中的地图特征信息，再按照顺序互相进行特征融合，最后，通过轨迹预测模块进行解码，得到与待预测障碍物的轨迹点位置数据对应的若干条未来轨迹数据及其对应的置信度，并将置信度最高的那条预测轨迹对应的未来轨迹数据作为障碍物轨迹预测模型的预测结果。
[0099]
需要说明的是，障碍物轨迹预测模型基于公开数据集和目标车辆的自采实车数据集中的备选障碍物的轨迹点位置数据和与备选障碍物对应的地图数据训练得到。
[0100]
其中，公开数据集可以为从公开数据库获取的数据集。例如，公开数据集可以为argo预测数据集。公开数据集可以在城市或郊区等某一些场景下利用传感器雷达等设备采集得到，可以包括运动物体的轨迹信息和周围环境的地图信息。
[0101]
在本实施例中，采用公开数据集和目标车辆的自采实车数据集对障碍物轨迹预测模型进行训练的好处在于：可以使模型在已有的特征基础之上，加入实车场景的特征，从而达到提升模型的预测结果，使模型不受限于公开的数据集，增加了障碍物轨迹预测模型的可用信息量。
[0102]
本发明实施例的技术方案，通过获取目标车辆在预设感知范围内的原始标注数据，然后，将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据，进一步的，基于预设滑动窗口对备选障碍物的轨迹点位置数据进行切分处理，根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物，最后，获取待预测障碍物在预设搜索范围内的地图数据，将待预测障碍物的轨迹点位置数据和地图数据输入至预先训练完成的障碍物轨迹预测模型中，得到待预测障碍物的未来轨迹数据的预测结果，解决了现有技术中由于车辆周围的环境较为复杂，影响车辆行驶的障碍物种类繁多、
密度高、间隙小，从而导致障碍物的行驶轨迹预测不准确的情况，通过采用实车采集数据提升了障碍物轨迹预测模型的预测效果，提高了障碍物轨迹预测的准确度，提升了模型在实车场景下的预测能力。
[0103]
实施例三
[0104]
图3为本发明实施例三提供的一种障碍物轨迹预测方法中原始标注数据处理方法的流程图，图4为本发明实施例三提供的一种障碍物轨迹预测方法中的算法流程图。本发明实施例为上述各发明实施例的一个优选实施例，如图3和图4所示，本发明实施例可以包括如下步骤：
[0105]
一、原始标注数据处理流程：
[0106]
1、通过设置于目标车辆上的雷达感知装置采集原始采样数据，并进行标注处理，得到原始标注数据；
[0107]
2、由于轨迹预测所应用的数据仅与雷达感知装置中的感知模块和定位模块有关，因此，筛选原始标注数据的数据通道，只保留感知模块和定位模块的数据信息；
[0108]
3、将原始标注数据从原始坐标系转换到世界坐标系，得到目标标注数据；
[0109]
4、通过预设滑动窗口对目标标注数据进行切分处理；
[0110]
5、根据预设筛选条件遍历每一条备选障碍物的轨迹点位置数据，确定待预测障碍物；
[0111]
6、采用高斯滤波进行平滑处理；
[0112]
7、对轨迹点位置数据进行插值处理，并保存；
[0113]
8、获取待预测障碍物周围的地图数据，并与待预测障碍物的轨迹点位置数据一并作为障碍物轨迹预测模型的模型输入数据。
[0114]
二、算法流程
[0115]
1、获取目标车辆的原始标注数据；
[0116]
2、经过上述原始标注数据处理流程，得到目标车辆的自采实车数据集；
[0117]
3、对自采实车数据集和公开数据集进行预处理，对障碍物轨迹预测模型进行模型训练；
[0118]
4、评估模型预测效果。使用训练好的障碍物轨迹预测模型进行实车预测，验证模型的预测效果，如果效果好，停止模型迭代；如果效果差，则确定预测效果差的场景，收集该场景的数据重新迭代模型。
[0119]
本发明实施例的技术方案，通过获取目标车辆在预设感知范围内的原始标注数据，然后，将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据，进一步的，根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物，最终，基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测，解决了现有技术中由于车辆周围的环境较为复杂，影响车辆行驶的障碍物种类繁多、密度高、间隙小，从而导致障碍物的行驶轨迹预测不准确的情况，通过采用实车采集数据提升了障碍物轨迹预测模型的预测效果，提高了障碍物轨迹预测的准确度。
[0120]
实施例四
[0121]
图5为本发明实施例四提供的一种障碍物轨迹预测装置的结构示意图。如图5所
示，该装置包括：数据获取模块310、坐标转换模块320、障碍物确定模块330和轨迹预测模块340。
[0122]
其中，数据获取模块310，用于获取目标车辆在预设感知范围内的原始标注数据，其中，原始标注数据包括备选障碍物在连续多个时刻的轨迹点位置数据和目标车辆的定位数据；坐标转换模块320，用于将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据；障碍物确定模块330，用于根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物；轨迹预测模块340，用于基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测。
[0123]
本发明实施例的技术方案，通过获取目标车辆在预设感知范围内的原始标注数据，然后，将原始标注数据从原始坐标系转换到世界坐标系下，得到目标标注数据，进一步的，根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物，最终，基于预先训练完成的障碍物轨迹预测模型和待预测障碍物的轨迹点位置数据对待预测障碍物的未来轨迹数据进行预测，解决了现有技术中由于车辆周围的环境较为复杂，影响车辆行驶的障碍物种类繁多、密度高、间隙小，从而导致障碍物的行驶轨迹预测不准确的情况，通过采用实车采集数据提升了障碍物轨迹预测模型的预测效果，提高了障碍物轨迹预测的准确度。
[0124]
可选的，数据获取模块310，还用于通过设置于目标车辆上的雷达感知装置采集预设感知范围内的原始采样数据，并对原始采样数据进行标注，得到原始标注数据。
[0125]
可选的，障碍物确定模块330包括距离确定单元、数据缺失率确定单元、轨迹长度确定单元和障碍物确定单元；其中，距离确定单元，用于确定目标车辆与备选障碍物之间的感知距离；数据缺失率确定单元，用于确定备选障碍物的轨迹点位置数据的数据缺失率；轨迹长度确定单元，用于确定备选障碍物的轨迹长度；障碍物确定单元，用于当感知距离、数据缺失率和轨迹长度中的至少一项满足预设筛选条件时，则将备选障碍物确定为待预测障碍物。
[0126]
可选的，数据缺失率确定单元，还用于基于如下公式确定备选障碍物的数据缺失率：
[0127]
r＝1-((count(agent_track))/conut(av_track))
[0128]
其中，r表示备选障碍物的数据缺失率，count(
·
)表示计数器，agent_track表示备选障碍物的轨迹点序列，av_track表示目标车辆的轨迹点序列。
[0129]
可选的，所述装置还包括：数据处理模块，用于根据预设数据处理方式对待预测障碍物的轨迹点位置数据进行处理，并以预设文件格式保存，其中，预设数据处理方式包括平滑处理和插值处理。
[0130]
可选的，数据处理模块，还用于基于高斯滤波方法对待预测障碍物的轨迹点位置数据进行平滑处理。
[0131]
可选的，所述高斯滤波方法中的高斯核基于如下公式确定：
[0132][0133]
其中，g
σ
表示高斯核，x,y表示轨迹点位置坐标，σ表示超参数。
[0134]
可选的，轨迹预测模块340，还用于获取待预测障碍物在预设搜索范围内的地图数据，其中，地图数据包括车道坐标、车道是否左转、车道是否右转、是否为交通路口以及是否进行交通管制中的至少一项；将待预测障碍物的轨迹点位置坐标数据和地图数据输入至预先训练完成的障碍物轨迹预测模型中，得到待预测障碍物的未来轨迹数据的预测结果，其中，障碍物轨迹预测模型基于公开数据集和目标车辆的自采实车数据集中的备选障碍物的轨迹点位置数据和与备选障碍物对应的地图数据训练得到。
[0135]
可选的，在根据目标标注数据中备选障碍物的轨迹点位置数据和目标车辆的定位数据，确定待预测障碍物之前，所述装置还包括：数据切分模块，用于基于预设滑动窗口对备选障碍物的轨迹点位置数据进行切分处理，其中，每个预设滑动窗口中切分的数据包括备选障碍物的历史轨迹点位置数据和预测的真实轨迹点位置数据。
[0136]
本发明实施例所提供的障碍物轨迹预测装置可执行本发明任意实施例所提供的障碍物轨迹预测方法，具备执行方法相应的功能模块和有益效果。
[0137]
实施例五
[0138]
图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0139]
如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0140]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0141]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如障碍物轨迹预测方法。
[0142]
在一些实施例中，障碍物轨迹预测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的障碍物轨迹预测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)
而被配置为执行障碍物轨迹预测方法。
[0143]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0144]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0145]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0146]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0147]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0148]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的
管理难度大，业务扩展性弱的缺陷。
[0149]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0150]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。