1.基于双流lstm的行人轨迹预测和意图估计方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于双流lstm的行人轨迹预测和意图估计方法,其特征在于,所述s3中包括相对位移生成单元,由于行人图片是在第一视角下拍摄的,所以行人与车辆的距离在图片中主要以横向距离的形式体现,首先在图片中定义两条边界线,分别是左边线ll和右边线lr,两条边界线之间的宽度可表示为车辆的宽度,也可以表示图片中汽车将要通过的区域,因为图像上部四分之三的区域距离车辆较远且行人较小,而更远处是天空,因此这部分区域可以忽略,两条边界线从图片底边开始向上一直延长到远处,线段高度大约为图片高度的四分之一,图片根据两条边界线被划分成不同的区域,即车辆两侧区域以及汽车前方的行驶区域(,那么行人处在不同的区域,也会直接影响他过马路的意图,当行人处在m时即表示他正在过马路,而当行人处在l或r时,根据他的方向不同可能预示着他将要过马路或不过马路,两条边界线在像素坐标系中可表示为
3.根据权利要求1所述的基于双流lstm的行人轨迹预测和意图估计方法,其特征在于,所述s4中行人的行为不仅与历史轨迹密切相关,更与未来轨迹高度相关,t时刻行人在l区域,那么在未来的某个时刻t+m可能会走到m区域或者仍然停留在l区域,即表示他将要过马路或不过马路,以往的一些方法在预测行人未来轨迹时通常是基于行人的历史轨迹序列fpobs,即学习分布p(fpf|fpobs),其中表示行人未来的轨迹,采用行人脚点坐标的形式进行表示,然而,即使多个行人有着相同的历史轨迹,但在未来也可能走出不同的轨迹,因为行人的方向往往能够展现出他的注意力,而行人的注意力将会对未来轨迹产生直接影响,所以,在该模块增加了一种行人方向作为输入,即学习分布p(fpf|fpobs,orobs),行人轨迹预测流通过一个基本的seq2seq的lstm构成,采用encodertra-decodertra的架构,编码器的输入为一段时间t内观察到的行人脚点坐标序列和方向序列,解码器将输出从t+1到t+m时间步的行人未来的脚点坐标,在数学上,轨迹预测流的编码器和解码器隐藏状态可以分别表示为
4.根据权利要求1所述的基于双流lstm的行人轨迹预测和意图估计方法,其特征在于,所述s5中行人意图估计为一个二分类问题,根据观察到的行人方向历史相对位移和未来相对位移预测第i个行人的过马路意图int∈{0,1},即学习分布p(int|oobs,rdobs,rdf),其中未来相对位移由相对位移生成单元接收未来轨迹计算得到,行人意图估计流使用与轨迹预测流类似的encoder-decoder架构,记为encoderint-decoderint,不同的是,encoderint将会接收encoderint中每一步的输出作为输入,因为encodertra将每一步的方向和历史轨迹编码在一起,这些信息对意图估计起到关键性作用,所以它们将与历史相对位移拼接在一起作为encoderint的输入,此外,在decoderint阶段会接受来自decodertra的输出,由于未来相对位移蕴含的行人未来位置以及与汽车之间距离的动态变化更能捕捉到行人意图的隐含信息,因此decodertra与decoderint之间增加相对位移生成单元,用于将未来行人轨迹转化为未来相对位移,在decoderint接收encoderint的输出以及一系列未来相对位移后,最终输出行人意图的分类结果,在数学上,意图估计流中编码器和解码器的隐藏状态可以分别表示为