行人轨迹预测方法、装置、设备及计算机可读存储介质与流程

本技术涉及行人轨迹预测，具体涉及一种行人轨迹预测方法、装置、设备及计算机可读存储介质。

背景技术：

1、行人轨迹预测是计算机视觉和自动驾驶领域的研究重点之一，在驾驶辅助、视频监控和服务型机器人中扮演着重要的角色。行人轨迹预测是根据行人的历史轨迹来预测每个行人的未来轨迹坐标的任务。前人的做法主要有设计社会力量之类的模型，该模型通过组成各种力量(吸引力和排斥力)在动态场景中对行人相互作用进行建模。一般来说，行人的轨迹预测通常以两个维度(空间和时间维度)来进行建模。现有的一些技术方案在空间维度(互动)中模拟行人之间的社交互动，利用社交social-lstm(long short-term memory)模型应用社交合并来整合社交特征。社交social-gan(generative adversarialnetworks)模型将社交汇总的能力扩展了一些新的合并方案。stgat模型采用了图注意力网络gat(graph attention network)，这些网络(gat)在不同行人之间传播空间和时间相互作用。还有近期一些基于transformer的技术方案，利用transformer里的自注意力机制来充分挖掘出单个行人历史轨迹特征的时序关系，也能很好地解决这个任务。

2、现有的基于transformer的技术方案在模型建模的时候是step-by-step的步骤，通过行人轨迹点的时序关系，根据观测轨迹点坐标来预测下一帧轨迹坐标，模型根据第一帧的输入轨迹特征通过自注意力机制来计算每个轨迹点之间的特征注意力关联性，通过这种方式来一帧一帧的预测下一帧轨迹点坐标。在这个过程中，模型只考虑了整段轨迹序列里的局部轨迹点特征注意力，没有在整个轨迹序列上建模，从而忽略了全局轨迹特征注意力这个重要信息。这会导致一个问题，就是模型如果只考虑了局部轨迹特征注意力来建模，若在中间某一帧预测的轨迹点坐标与真实值差距过大，这会导致模型在后续轨迹点的预测过程中会将前面预测错的那一步也考虑进去参与计算，从而产生累计误差。这会导致模型在一些复杂场景，行人的一些不规则运动如加速、减速、静止上的预测效果较差，会带来一定程度上的性能降低。

技术实现思路

1、本技术提供一种行人轨迹预测方法、装置、设备及计算机可读存储介质，可以解决上述现有技术中存在相关技术问题。

2、第一方面，本技术实施例提供一种行人轨迹预测方法，采用如下技术方案：

3、一种行人轨迹预测方法，其特征在于，所述方法包括：

4、获取行人在多个采集时刻下的真实轨迹坐标点；

5、根据预设的第一模型和所述真实轨迹坐标点，逐一计算得到未来一段时间内多个时刻行人的初始预测坐标点；其中，各个初始预测坐标点根据之前所有时刻的所述真实轨迹坐标点和所述初始预测坐标点得到；

6、根据预设的第二模型、目标时刻之前的所述真实轨迹坐标点和/或所述初始预测坐标点，以及目标时刻之后的所述初始预测坐标点，优化目标时刻的所述初始预测坐标点，得到目标时刻下的最终预测坐标点。

7、结合第一方面，在一种实施方式中，所述根据预设的第二模型、目标时刻之前的所述真实轨迹坐标点和/或所述初始预测坐标点，以及目标时刻之后的所述初始预测坐标点，优化目标时刻的所述初始预测坐标点，得到目标时刻下的最终预测坐标点中，

8、将所述未来一段时间多个时刻逐一作为目标时刻进行优化，得到多个目标时刻下的最终预测坐标点，其中，对目标时刻进行优化的步骤包括：

9、根据所述目标时刻之前的所述真实轨迹坐标点和所述最终预测坐标点，以及目标时刻之后的所述初始预测坐标点进行优化，得到目标时刻下的最终预测坐标点。

10、结合第一方面，在一种实施方式中，所述根据预设的第二模型、目标时刻之前和目标时刻之后的所述真实轨迹坐标点和所述初始预测坐标点，优化目标时刻的所述初始预测坐标点，得到目标时刻下的最终预测坐标点中，

11、根据所述多个目标时刻之前的所述真实轨迹坐标点和所述初始预测坐标点，以及对应目标时刻之后的所述初始预测坐标点对目标时刻进行优化，得到所述多个目标时刻下的最终预测坐标点。

12、结合第一方面，在一种实施方式中，所述第二模型由初始的第二模型完成全局训练方法后得到，所述全局训练方法包括以下步骤：

13、获取第一时间段内行人的第一真实轨迹坐标点和第二时间段内行人的第二真实轨迹坐标点；其中，所述第一时间段与所述第二时间段连续；

14、获取所述第一模型基于所述第一真实轨迹坐标点，预测得到的所述第二时间段内行人的多个第一预测坐标点；

15、获取所述第二模型基于所述第一真实轨迹坐标点和所述第一预测坐标点，得到的所述第二时间段内行人的第一优化坐标点；

16、根据所述第一优化坐标点与所述第二真实轨迹坐标点之间的损失，训练更新所述第二模型直至符合设定的损失要求。

17、结合第一方面，在一种实施方式中，所述第二模型由初始的第二模型完成全局训练方法后得到，所述全局训练方法包括以下步骤：

18、获取第一时间段内行人的第一真实轨迹坐标点和第二时间段内行人的第二真实轨迹坐标点；其中，所述第一时间段与所述第二时间段连续；

19、获取所述第一模型基于所述第一真实轨迹坐标点，预测得到的所述第二时间段内行人的多个第一预测坐标点；

20、融合所述第一预测坐标点和所述第二真实轨迹坐标点，得到第二预测坐标点；

21、获取所述第二模型基于所述第一真实轨迹坐标点和所述第二预测坐标点，得到的所述第二时间段内行人的第二优化坐标点；

22、根据所述第一优化坐标点与所述第二真实轨迹坐标点的损失，训练更新所述第二模型直至符合设定的损失要求。

23、结合第一方面，在一种实施方式中，所述第二模型由初始的第二模型完成全局训练方法后得到，所述全局训练方法包括以下步骤：

24、获取第一时间段内行人的第一真实轨迹坐标点和第二时间段内行人的第二真实轨迹坐标点；其中，所述第一时间段与所述第二时间段连续；

25、获取所述第一模型基于所述第一真实轨迹坐标点，预测得到的所述第二时间段内行人的多个第一预测坐标点；

26、融合所述第一预测坐标点和所述第二真实轨迹坐标点，得到更加接近真实轨迹的第二预测坐标点；

27、获取第一训练路线上的所述第二模型基于所述第一真实轨迹坐标点和所述第一预测坐标点，得到的所述第一优化坐标点；

28、获取第二训练路线上的所述第二模型基于所述第一真实轨迹坐标点和所述第二预测坐标点，得到的所述第二时间段内行人的第二优化坐标点；

29、根据所述第一优化坐标点和所述第二优化坐标点的损失，在所述第一训练路线上训练更新所述第二模型直至符合设定的损失要求。

30、结合第一方面，在一种实施方式中，所述获取第二训练路线上的所述第二模型基于所述第一真实轨迹坐标点和所述第二预测坐标点，得到的所述第二时间段内行人的第二优化坐标点之后，包括以下步骤：

31、根据所述第二优化坐标点和所述第二真实轨迹坐标点的损失，在所述第二训练路线上训练更新所述第二模型直至符合设定的损失要求。

32、第二方面，本技术实施例提供了一种行人轨迹预测装置，采用如下技术方案：

33、一种行人轨迹预测装置，所述装置包括：

34、获取模块，其被配置为获取行人在多个采集时刻下的真实轨迹坐标点；

35、第一预测模块，其被配置为根据预设的第一模型和所述真实轨迹坐标点，逐一计算得到未来一段时间内多个时刻行人的初始预测坐标点；其中，各个初始预测坐标点根据之前所有时刻的所述真实轨迹坐标点和所述初始预测坐标点得到；

36、第二预测模块，其被配置为根据预设的第二模型、目标时刻之前的所述真实轨迹坐标点和/或所述初始预测坐标点，以及目标时刻之后的所述初始预测坐标点，优化目标时刻的所述初始预测坐标点，得到目标时刻下的最终预测坐标点。

37、第三方面，本技术实施例提供了一种行人轨迹预测设备，采用如下技术方案：

38、一种行人轨迹预测设备，所述行人轨迹预测设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的行人轨迹预测程序，其中所述行人轨迹预测程序被所述处理器执行时，实现如上所述的行人轨迹预测方法的步骤。

39、第四方面，本技术实施例提供了一种计算机可读存储介质，采用如下技术方案：

40、一种计算机可读存储介质，所述计算机可读存储介质上存储有行人轨迹预测程序，其中所述行人轨迹预测程序被处理器执行时，实现如上所述的行人轨迹预测方法的步骤。

41、本技术实施例提供的技术方案带来的有益效果包括：

42、通过在第一模型根据已获取到的相关坐标点逐步计算得到未来一段时间各个时刻的初始预测坐标点之后，第二模型将再次利用全部获取和预测到的真实轨迹坐标点和初始预测坐标点对各个初始预测坐标点进行优化，实现利用全局轨迹数据综合考虑行人轨迹，相对于仅利用当前时刻之前的历史数据来进行局部预测的现有技术而言，最终预测结果更加符合行人全局移动逻辑，具有更高的准确性。