基于双流LSTM的行人轨迹预测和意图估计方法与流程

本发明涉及轨迹预测，具体为基于双流lstm的行人轨迹预测和意图估计方法。

背景技术：

1、为了应对行人安全带来的问题，相关研究人员提出多种方法，例如行人检测，然而行人的移动随机性很强，特别是突然出现在车辆前方的行人。因此，即便检测到了行人，汽车也很可能来不及避让，行人轨迹预测不同，可以通过观察到的历史轨迹来预测行人未来的轨迹，从而为车辆避让留出充足的操作时间，此外，轨迹能够呈现出一定的行人意图，而意图能够直接反映行人的真实行为，多以，通过对行人的轨迹预测和意图估计能够辅助车辆做出预判，从而为流出更多的操作时间，大大降低交通事故的发生。

2、尽管行人的轨迹和意图具有重要的现实意义，但现有的大多数方法仅能解决其中一个，而不能在一个方法中同时预测轨迹和估计意图，两个问题分开解决，导致轨迹与意图之间的相关性缺失，这不利于对行人行为的理解，此外，由于两者密切相关，分开解决时的轨迹预测精度和意图估计准确率会降低，因此提出基于双流lstm的行人轨迹预测和意图估计方法。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了基于双流lstm的行人轨迹预测和意图估计方法，解决了现有的大多数方法仅能解决其中一个，而不能在一个方法中同时预测轨迹和估计意图，两个问题分开解决，导致轨迹与意图之间的相关性缺失，这不利于对行人行为的理解，此外，由于两者密切相关，分开解决时的轨迹预测精度和意图估计准确率会降低的问题。

3、(二)技术方案

4、为实现上述目的，本发明提供如下技术方案：

5、基于双流lstm的行人轨迹预测和意图估计方法，包括以下步骤：

6、s1：总体架构设计，搭建一个encodertra-decodertra架构的lstm利用行人的方向和历史轨迹对行人的未来轨迹进行预测；

7、s2：脚点，在大多数行人轨迹预测和意图估计任务中，行人的位置通常用边界框的左上角(xtl,ytl)和右下角(xbr,ybr)的像素坐标进行表示，描述为bounding_box＝[(xtl,ytl),(xbr,ybr)]，一些工作将脚点坐标当作行人位置，定义为边界框底线上的中间点，形式上可表示为

8、s3：相对位移，行人在图片中的位置，无论是边界框角点还是脚点都采用像素坐标表示，它仅代表行人在图片中的绝对位置，是一种独立的存在，缺少与上下文信息的关联，然而，行人的位置与汽车之间的相对位置关系往往决定了行人将做出的某种行为，用相对位移(relative displacement)来表示这个相对值，以模拟行人和车辆之间的相对位置关系；

9、s4：行人轨迹预测流，行人轨迹预测流主要利用观察到的历史轨迹以及每个时刻的行人方向做为输入，在编码器中对这些特征进行编码，轨迹预测流的解码器对编码信息进行解码，解码器的每一时刻输出做为行人的未来轨迹记；

10、s5：行人意图估计流，行人意图估计流中编码器将行人与车辆的历史相对位移和预测流中编码器的输出做为输入，在编码器中完成以上特征的编码。在意图估计流中解码器接收编码特征和未来相对位移，解码器的最终状态为行人的意图估计结果。

11、作为本发明再进一步的方案，所述s3中包括相对位移生成单元，由于行人图片是在第一视角下拍摄的，所以行人与车辆的距离在图片中主要以横向距离的形式体现，首先在图片中定义两条边界线，分别是左边线ll和右边线lr，两条边界线之间的宽度可表示为车辆的宽度，也可以表示图片中汽车将要通过的区域，因为图像上部四分之三的区域距离车辆较远且行人较小，而更远处是天空，因此这部分区域可以忽略，两条边界线从图片底边开始向上一直延长到远处，线段高度大约为图片高度的四分之一，图片根据两条边界线被划分成不同的区域，即车辆两侧区域以及汽车前方的行驶区域(，那么行人处在不同的区域，也会直接影响他过马路的意图，当行人处在m时即表示他正在过马路，而当行人处在l或r时，根据他的方向不同可能预示着他将要过马路或不过马路，两条边界线在像素坐标系中可表示为

12、

13、根据以上描述可知，相对位移由行人脚点分别到两条边界线的距离构成，记为其中和分别表示脚点到左边线和右边线的距离，在数学上表示为

14、

15、在观察序列中的每一帧中的行人都需要计算相对位移，它们连接起来构成观察序列的相对位移由公式(2)可知，两个相对位移的组合可以体现出行人在l、r和m中的哪个区域，即在l区域时和均为负，在r区域时和均为正，在m区域时为正而为负，这再一次说明相对位移不仅表示行人与汽车之间距离的动态变化，还具有很强的行人位置指向性，因此，相对位移作为估计行人意图的特征之一，增强了特征的表达能力，也使得网络更容易学习到具有辨别性的特征。

16、进一步的，所述s4中行人的行为不仅与历史轨迹密切相关，更与未来轨迹高度相关，t时刻行人在l区域，那么在未来的某个时刻t+m可能会走到m区域或者仍然停留在l区域，即表示他将要过马路或不过马路，以往的一些方法在预测行人未来轨迹时通常是基于行人的历史轨迹序列fpobs，即学习分布p(fpf|fpobs)，其中表示行人未来的轨迹，采用行人脚点坐标的形式进行表示，然而，即使多个行人有着相同的历史轨迹，但在未来也可能走出不同的轨迹，因为行人的方向往往能够展现出他的注意力，而行人的注意力将会对未来轨迹产生直接影响，所以，在该模块增加了一种行人方向作为输入，即学习分布p(fpf|fpobs,orobs)，行人轨迹预测流通过一个基本的seq2seq的lstm构成，采用encodertra-decodertra的架构，编码器的输入为一段时间t内观察到的行人脚点坐标序列和方向序列，解码器将输出从t+1到t+m时间步的行人未来的脚点坐标，在数学上，轨迹预测流的编码器和解码器隐藏状态可以分别表示为

17、

18、

19、在训练时，行人轨迹预测模块通过最小化均方误差(mean square error，mse)进行训练，损失函数表示为

20、

21、在前述方案的基础上，所述s5中行人意图估计为一个二分类问题，根据观察到的行人方向历史相对位移和未来相对位移预测第i个行人的过马路意图int∈{0,1}，即学习分布p(int|oobs,rdobs,rdf)，其中未来相对位移由相对位移生成单元接收未来轨迹计算得到，行人意图估计流使用与轨迹预测流类似的encoder-decoder架构，记为encoderint-decoderint，不同的是，encoderint将会接收encoderint中每一步的输出作为输入，因为encodertra将每一步的方向和历史轨迹编码在一起，这些信息对意图估计起到关键性作用，所以它们将与历史相对位移拼接在一起作为encoderint的输入，此外，在decoderint阶段会接受来自decodertra的输出，由于未来相对位移蕴含的行人未来位置以及与汽车之间距离的动态变化更能捕捉到行人意图的隐含信息，因此decodertra与decoderint之间增加相对位移生成单元，用于将未来行人轨迹转化为未来相对位移，在decoderint接收encoderint的输出以及一系列未来相对位移后，最终输出行人意图的分类结果，在数学上，意图估计流中编码器和解码器的隐藏状态可以分别表示为

22、

23、

24、行人意图估计流使用二元交叉熵(cross-entropy)损失函数进行训练，定义为

25、

26、行人轨迹预测流和意图估计流可以联合训练，从而实现端到端的学习，单个样本序列的总损失为

27、l＝ltrajectory+lintention(9)。

28、(三)有益效果

29、与现有技术相比，本发明提供了基于双流lstm的行人轨迹预测和意图估计方法，具备以下有益效果：

30、1、本发明中，对行人轨迹的预测和意图的估计可以帮助自动驾驶汽车躲避行人，有利于安全驾驶，此外，对行人行为的理解还有助于提高自动驾驶汽车的通行效率，从而缓解交通拥堵问题。

31、2、本发明中，利用行人边界框底边的中心点坐标来表示行人的位置，与边界框角点相比，中心点更形象的表示了行人双脚与地面接触点的位置，因此它更适合表示行人位置。

32、3、本发明中，行人与汽车之间的位置关系具有高度相关性，因此提出相对位移用于表示行人的相对位置，它可以模拟行人和汽车之间距离和位置的动态变化，增强了行人与汽车之间的交互，利用行人未来的轨迹来进一步提高行人意图估计的准确率。