一种行人的意图分析方法及系统与流程

1.本技术涉及意图分析领域，更具体地，涉及一种行人的意图分析方法及系统。


背景技术：

2.近年来，行人的意图分析是自动驾驶领域的核心任务，一直以来受到社会各界的追捧，是计算机视觉领域中一个极具研究价值和挑战性的热门课题。
3.然而，现有行人意图分析技术中，通常采用基于运动学模型的预测方法和基于数据驱动的预测方法，该方法无法充分融合不同模态的信息且融合效率较低，由此得到的通用意图分析模型难以为动态变化的行人提供准确的意图预测。
4.并且，受行人主观意图的影响,行人行走轨迹具有较强的不确定性,使得传统的意图分析方法具有一定的局限性。


技术实现要素：

5.本发明实施例的目的在于提供一种行人的意图分析方法及系统，保留局部环境细节，将行车速度数据与行人意图数据结合，获取更准确的行人意图分析结果。具体技术方案如下：
6.在本发明实施例的第一方面，提供一种行人的意图分析方法，包括：s110、获取行人图像数据；s120、根据所述行人图像数据，提取局部地图数据；s130、将所述行人图像数据输入第一意图分析模型，获取行人动作编码；s140、将所述局部地图数据输入第二意图分析模型，获取局部环境编码；s150、将所述行人动作编码及所述局部环境编码融合，获取行人意图数据；s160、获取行车速度数据；s170、基于所述行车速度数据及所述行人意图数据获得意图分析结果。
7.可选地，所述s110、获取行人图像数据，包括：采集目标车辆前方当前时刻图像，以获取所述行人图像数据。
8.可选地，所述s120、根据所述行人图像数据，提取局部地图数据，包括：s121、将所述行人图像数据进行边界框处理，获取所述行人图像数据的坐标；s122、根据预设规则扩展所述行人图像数据的边界框，获取扩展边界框的坐标；s123、根据所述扩展边界框的坐标提取局部地图数据。
9.可选地，所述s130、将所述行人图像数据输入第一意图分析模型，获取行人动作编码，包括：s131、编码所述图像数据，获得编码后的图像数据；s132、将编码后的图像数据输入双向长短时记忆网络，解码输出行人动作编码。
10.可选地，所述s140、将所述局部地图数据输入第二意图分析模型，获取局部环境编码，包括：s141、采用图像识别技术，确定所述局部地图数据中的多个目标；s142、对所述多个目标进行边界框处理，分别获取每一目标的目标边界框；s143、提取每一目标的目标边界框的左上角和右下角顶点，并对各个顶点进行分组；s144、将分组后的顶点输入高效神经网络，获取局部环境编码。
11.可选地，所述s150、将所述行人动作编码及所述局部环境编码融合，获取行人意图数据，包括：s151、将所述行人动作编码及所述局部环境编码进行拼接，获取复合编码序列；s152、将所述复合编码序列输入双向长短时记忆网络，输出复合编码向量；s153、将所述复合编码向量输入全连接层，获取行人意图数据。
12.可选地，所述s160、获取行车速度数据，包括：采集目标车辆当前时刻速度数据。
13.可选地，所述行人意图数据，包括：快速穿过、低速穿过及等待。
14.可选地，所述s170、基于所述行车速度数据及所述行人意图数据获得意图分析结果，包括：根据如下公式确定意图分析结果：
[0015][0016]
其中，v是行车速度数据；th是行车速度阈值；s是行人意图数据，s＝0表示等待意图，s＝1表示低速穿过意图，s＝2表示快速穿过意图；r是意图分析结果。
[0017]
在本发明实施例的又一方面，提供一种行人的意图分析系统，包括：图像数据获取模块，用于获取行人图像数据；地图数据提取模块，用于根据所述行人图像数据，提取局部地图数据；行人动作编码模块，用于将所述行人图像数据输入第一意图分析模型，获取行人动作编码；局部环境编码模块，用于将所述局部地图数据输入第二意图分析模型，获取局部环境编码；行人意图数据获取模块，用于将所述行人动作编码及所述局部环境编码融合，获取行人意图数据；行车速度获取模块，用于获取行车速度数据；意图分析模块，用于基于所述行车速度数据及所述行人意图数据获得意图分析结果。
[0018]
可选地，所述图像数据获取模块具体用于：采集目标车辆前方当前时刻图像，以获取所述行人图像数据。
[0019]
可选地，所述地图数据提取模块具体用于：s121、将所述行人图像数据进行边界框处理，获取所述行人图像数据的坐标；s122、根据预设规则扩展所述行人图像数据的边界框，获取扩展边界框的坐标；s123、根据所述扩展边界框的坐标提取局部地图数据。
[0020]
可选地，所述行人动作编码模块具体用于：s131、编码所述图像数据，获得编码后的图像数据；s132、将编码后的图像数据输入双向长短时记忆网络，解码输出行人动作编码。
[0021]
可选地，所述局部环境编码模块具体用于：s141、采用图像识别技术，确定所述局部地图数据中的多个目标；s142、对所述多个目标进行边界框处理，分别获取每一目标的目标边界框；s143、提取每一目标的目标边界框的左上角和右下角顶点，并对各个顶点进行分组；s144、将分组后的顶点输入高效神经网络，获取局部环境编码。
[0022]
可选地，所述行人意图数据获取模块具体用于：s151、将所述行人动作编码及所述局部环境编码进行拼接，获取复合编码序列；s152、将所述复合编码序列输入双向长短时记忆网络，输出复合编码向量；s153、将所述复合编码向量输入全连接层，获取行人意图数据。
[0023]
可选地，所述行车速度获取模块具体用于：采集目标车辆当前时刻速度数据。
[0024]
可选地，所述行人意图数据，包括：快速穿过、低速穿过及等待。
[0025]
可选地，所述意图分析模块具体用于：根据如下公式确定意图分析结果：
[0026][0027]
其中，v是行车速度数据；th是行车速度阈值；s是行人意图数据，s＝0表示等待意图，s＝1表示低速穿过意图，s＝2表示快速穿过意图；r是意图分析结果。
[0028]
有益效果：
[0029]
(1)本技术首先，根据行人图像数据，通过边界框扩展的方法，提取局部地图数据；然后，根据局部地图数据中的多个目标所对应的目标边界框，提取左上角和右下角顶点，对各个顶点分组，将分组后的顶点输入高效神经网络，获取局部环境编码；通过该方案获取的局部环境编码，保留了局部环境细节，能够更准确地分析行人所在的局部环境。
[0030]
(2)本技术通过行人图像数据和局部环境数据的信息融合，结合双向长短时记忆网络和全连接层，获取行人意图数据，提高计算性能和预测准确度。
[0031]
(3)由于行人的意图会随着当前车辆行驶速度而发生变化，因此本技术进一步获取行车速度数据，将行车速度数据与行人意图数据结合，获取更准确的行人意图分析结果。
附图说明
[0032]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]
图1是本技术实施例提供的一种行人的意图分析方法的流程示意图；
[0034]
图2是本技术实施例提供的局部环境编码的流程示意图；
[0035]
图3是本技术实施例提供的获取行人意图数据的流程示意图；
[0036]
图4是本技术实施例提供的一种行人的意图分析系统的结构示意图。
具体实施方式
[0037]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0038]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0039]
相关技术中，行人的意图分析是自动驾驶领域的核心任务，一直以来受到社会各界的追捧，是计算机视觉领域中一个极具研究价值和挑战性的热门课题。然而，现有行人意图分析技术中，通常采用基于运动学模型的预测方法和基于数据驱动的预测方法，该方法无法充分融合不同模态的信息且融合效率较低，由此得到的通用意图分析模型难以为动态
变化的行人提供准确的意图预测。并且，受行人主观意图的影响,行人行走轨迹具有较强的不确定性,使得传统的意图分析方法具有一定的局限性。
[0040]
为此，本技术实施例提供了行人的意图分析方法，通过获取行人图像数据；根据所述行人图像数据，提取局部地图数据；将所述行人图像数据输入第一意图分析模型，获取行人动作编码；将所述局部地图数据输入第二意图分析模型，获取局部环境编码；将所述行人动作编码及所述局部环境编码融合，获取行人意图数据；获取行车速度数据；基于所述行车速度数据及所述行人意图数据获得意图分析结果。通过该方法获取更准确的行人意图分析结果。
[0041]
其中，该行人的意图分析方法及系统具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personal computer，pc)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
[0042]
在一些实施例中，该行人的意图分析方法及系统还可以集成在多个电子设备中，比如，该行人的意图分析方法及系统可以集成在多个服务器中，由多个服务器来实现本技术的行人的意图分析方法及系统。
[0043]
可以理解的是，本实施例的该行人的意图分析方法及系统可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本技术的限制。
[0044]
图1示出了本技术实施例提供的一种行人的意图分析方法的流程示意图，请参考图1，一种行人的意图分析方法包括如下步骤：
[0045]
s110、获取行人图像数据。
[0046]
其中，行人图像数据可以是目标范围内行人的图像数据。在一种实施方式中，可以采集目标车辆前方当前时刻图像，以获取所述行人图像数据。
[0047]
可选地，可以通过图像传感器对行车前方当前时刻图像进行采集，并使用无线通信技术将数据上传到服务器，同时为了便于直观的感受区域点的实时图像信息，还可以应用usb camara对行人图像数据进行捕获并上传至服务器，服务器接收相关数据并存储。
[0048]
需要说明的是，行人图像数据可以采用实时采样方式或等效时间采样方式获取，在此不做具体限定。
[0049]
s120、根据所述行人图像数据，提取局部地图数据。
[0050]
可选地，在该步骤之前，可以对所述行人图像数据进行预处理，如降噪、灰度化处理等。
[0051]
在一种实施方式中，步骤s120可以具体包括以下步骤：
[0052]
s121、将所述行人图像数据进行边界框处理，获取所述行人图像数据的坐标。
[0053]
其中，可以将行人图像数据的坐标表示为(x
lt1
,y
lt1
,x
rb1
,y
rb1
)，x
lt1
、y
lt1
、x
rb1
及y
rb1
分别代表边界框的左上角、右上角、左下角及右下角。
[0054]
s122、根据预设规则扩展所述行人图像数据的边界框，获取扩展边界框的坐标。
[0055]
其中，可以将扩展边界框的坐标表示为(x
lt2
,y
lt2
,x
rb2
,y
rb2
)，x
lt2
、y
lt2
、x
rb2
及y
rb2
分别代表扩展边界框的左上角、右上角、左下角及右下角。
[0056]
可选地，可以根据如下公式扩展边界框：
[0057][0058][0059][0060][0061]
其中，k是扩展倍数。
[0062]
s123、根据所述扩展边界框的坐标(x
lt2
,y
lt2
,x
rb2
,y
rb2
)提取局部地图数据。
[0063]
可选地，可以对扩展边界框中的图像等比例缩放，当图像缩放至预设大小时，填充非图像区域的像素值，进而利用卷积神经网络提取当前局部地图数据。其中，填充的像素值可以是0。
[0064]
s130、将所述行人图像数据输入第一意图分析模型，获取行人动作编码。
[0065]
可选地，所述第一意图分析模型可以是深度神经网络中的一种模型，也可以是深度神经网络中的多种模型构成的组合模型。
[0066]
在一种实施方式中，步骤s130可以具体包括以下步骤：
[0067]
s131、编码所述图像数据，获得编码后的图像数据。
[0068]
其中，可以采用多个独立的vgg-16或vgg-19网络作为编码器，同时利用imagenet预训练该网络。
[0069]
s132、将编码后的图像数据输入双向长短时记忆网络，解码输出行人动作编码。
[0070]
其中，可以引入双向长短时记忆网络挖掘行人图像数据的关联关系。在网络训练过程中，可以引入图像数据当前时刻的实测值作为已知信息，双向长短时记忆网络学习包含实测值的隐藏变量；在解码过程中，可以将实测值与编码器的输出拼接，输入双向长短时记忆网络进行时序处理，将处理后的结果输入解码器，解码器输出当前时刻的预测值。
[0071]
可选地，可以进一步根据当前时刻的预测值与实测值之间的重构误差评估该网络预测的精确度。
[0072]
s140、将所述局部地图数据输入第二意图分析模型，获取局部环境编码。
[0073]
可选地，所述第二意图分析模型可以是深度神经网络中的一种模型，也可以是深度神经网络中的多种模型构成的组合模型。
[0074]
在后续实施例中将详细介绍局部环境编码的方法流程，这里不再赘述。
[0075]
s150、将所述行人动作编码及所述局部环境编码融合，获取行人意图数据。
[0076]
在一种实施方式中，行人意图数据可以是行人的意图类别，具体可以包括快速穿过、低速穿过及等待。
[0077]
在后续实施例中将详细介绍获取行人意图数据的方法流程，这里不再赘述。
[0078]
s160、获取行车速度数据。
[0079]
在一种实施方式中，可以采集采集目标车辆当前时刻速度数据。
[0080]
可选地，具体采集方式可以是gps，同时使用无线通信技术将数据上传到服务器，
服务器接收相关数据并存储。
[0081]
需要说明的是，行车速度数据可以采用实时采样方式或等效时间采样方式获取，在此不做具体限定。
[0082]
s170、基于所述行车速度数据及所述行人意图数据获得意图分析结果。
[0083]
在一种实施方式中，若行人意图数据包括快速穿过、低速穿过及等待，则可以根据如下公式确定意图分析结果：
[0084][0085]
其中，v是行车速度数据；th是行车速度阈值；s是行人意图数据，s＝0表示等待意图，s＝1表示低速穿过意图，s＝2表示快速穿过意图；r是意图分析结果。
[0086]
需要说明的是，行车速度阈值可以依据不同路况(如高速公路、城市公路)、不同时段(如早高峰、晚高峰)等灵活设置，在此不做具体限定。
[0087]
由上可知，本技术实施例可以将行车速度数据与行人意图数据结合，获取更准确的行人意图分析结果。
[0088]
图2是本技术实施例提供的局部环境编码的流程示意图，具体包括以下步骤：
[0089]
s141、采用图像识别技术，确定所述局部地图数据中的多个目标。
[0090]
其中，可以采用alexnet、vgg-16或resnet深度神经网络根据局部地图数据识别其中的多个目标，例如，当识别到建筑物时，则确定其为遮挡物。
[0091]
s142、对所述多个目标进行边界框处理，分别获取每一目标的目标边界框。
[0092]
其中，可以预设半径r，将处于r内的顶点作为正样本，以此为依据生成有效的目标边界框。
[0093]
可选地，可以预设从下至上的框架，首先检测目标点，再根据目标点确定目标边界框。
[0094]
s143、提取每一目标的目标边界框的左上角和右下角顶点，并对各个顶点进行分组。
[0095]
其中，可以通过嵌入式向量为每个顶点分组。具体地，可以将目标边界框的左上角和右下角顶点处理为嵌入式向量，通过嵌入式向量使同一目标的顶点对距离最短。
[0096]
可选地，模型可以训练lpull损失函数使同一目标的顶点进行分组，同时还可以训练lpush损失函数使不同目标的顶点分离。
[0097]
s144、将分组后的顶点输入高效神经网络，获取局部环境编码。
[0098]
其中，可以根据如下公式编码局部环境数据：
[0099]
σ＝f(s,w2)
[0100]
式中，f(
·
)表示训练后的高效神经网络；s表示分组后的顶点；w2表示网络的可学习参数。
[0101]
通过本实施方式编码的局部环境，保留了局部环境细节，能够更准确地分析行人所在的局部环境。
[0102]
图3是本技术实施例提供的获取行人意图数据方法的流程示意图，具体包括以下
步骤：
[0103]
s151、将所述行人动作编码及所述局部环境编码进行拼接，获取复合编码序列。
[0104]
其中，可以采用直接拼接的方法将行人动作编码及所述局部环境编码拼接起来，获取复合编码序列，表示为i。
[0105]
s152、将所述复合编码序列输入双向长短时记忆网络，输出复合编码向量。
[0106]
其中，可以将复合编码序列i输入双向长短时记忆网络，双向长短时记忆网络的输出作为复合结果：
[0107]
o＝bilstm(i,w1)
[0108]
式中，bilstm(
·
)表示训练后的双向长短时记忆网络；w1表示网络的可学习参数；o表示复合编码向量，维度可以是64或32。
[0109]
通过该方式输出的复合编码向量，能够挖掘不同编码信息的深度关联，从而提高行人意图识别的准确性。
[0110]
s153、将所述复合编码向量输入全连接层，获取行人意图数据。
[0111]
其中，可以通过全连接层处理复合编码向量，降低其维度，以获取行人意图数据。
[0112]
通过本实施方式获取的行人意图数据，能够提高计算性能和预测准确度。
[0113]
为实现上述方法类实施例，本实施例还提供一种行人的意图分析系统，图4示出了本技术实施例提供的一种行人的意图分析系统的结构示意图，所述系统包括：
[0114]
图像数据获取模块410，用于获取行人图像数据；
[0115]
地图数据提取模块420，用于根据所述行人图像数据，提取局部地图数据；
[0116]
行人动作编码模块430，用于将所述行人图像数据输入第一意图分析模型，获取行人动作编码；
[0117]
局部环境编码模块440，用于将所述局部地图数据输入第二意图分析模型，获取局部环境编码；
[0118]
行人意图数据获取模块450，用于将所述行人动作编码及所述局部环境编码融合，获取行人意图数据；
[0119]
行车速度获取模块460，用于获取行车速度数据；
[0120]
意图分析模块470，用于基于所述行车速度数据及所述行人意图数据获得意图分析结果。
[0121]
可选地，所述图像数据获取模块具体用于：采集目标车辆前方当前时刻图像，以获取所述行人图像数据。
[0122]
可选地，所述地图数据提取模块具体用于：s121、将所述行人图像数据进行边界框处理，获取所述行人图像数据的坐标；s122、根据预设规则扩展所述行人图像数据的边界框，获取扩展边界框的坐标；s123、根据所述扩展边界框的坐标提取局部地图数据。
[0123]
可选地，所述行人动作编码模块具体用于：s131、编码所述图像数据，获得编码后的图像数据；s132、将编码后的图像数据输入双向长短时记忆网络，解码输出行人动作编码。
[0124]
可选地，所述局部环境编码模块具体用于：s141、采用图像识别技术，确定所述局部地图数据中的多个目标；s142、对所述多个目标进行边界框处理，分别获取每一目标的目标边界框；s143、提取每一目标的目标边界框的左上角和右下角顶点，并对各个顶点进行分
组；s144、将分组后的顶点输入高效神经网络，获取局部环境编码。
[0125]
可选地，所述行人意图数据获取模块具体用于：s151、将所述行人动作编码及所述局部环境编码进行拼接，获取复合编码序列；s152、将所述复合编码序列输入双向长短时记忆网络，输出复合编码向量；s153、将所述复合编码向量输入全连接层，获取行人意图数据。
[0126]
可选地，所述行车速度获取模块具体用于：采集目标车辆当前时刻速度数据。
[0127]
可选地，所述行人意图数据，包括：快速穿过、低速穿过及等待。
[0128]
可选地，所述意图分析模块具体用于：根据如下公式确定意图分析结果：
[0129][0130]
其中，v是行车速度数据；th是行车速度阈值；s是行人意图数据，s＝0表示等待意图，s＝1表示低速穿过意图，s＝2表示快速穿过意图；r是意图分析结果
[0131]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0132]
综上所述，本技术提供的一种行人的意图分析方法及系统，获取行人图像数据；根据所述行人图像数据，提取局部地图数据；将所述行人图像数据输入第一意图分析模型，获取行人动作编码；将所述局部地图数据输入第二意图分析模型，获取局部环境编码；将所述行人动作编码及所述局部环境编码融合，获取行人意图数据；获取行车速度数据；基于所述行车速度数据及所述行人意图数据获得意图分析结果。通过该方法获取更准确的行人意图分析结果。
[0133]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0134]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0135]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0136]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-on ly memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0137]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0138]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。