关键目标物的识别方法、装置、计算机设备及存储介质与流程

1.本发明实施例涉及计算机技术，尤其涉及自动驾驶和人工智能技术，尤其涉及一种关键目标物的识别方法、装置、计算机设备及存储介质。


背景技术：

2.自动驾驶系统应具备环境感知能力和对车辆运动状态的控制能力。自动驾驶系统对车辆运动状态的控制能力以其对感知结果的认知能力为基础，该基础的一个重要方面就是在各种环境下对多个目标进行目标选择，即：对被精确追踪所得位于系统前方或周边的若干目标，以怎样的原则或方法进行目标选择，可控制车辆安全、有效地通过当前区域。
3.自动驾驶系统下的目标选择功能需要满足及时性和准确性。现有的目标选择算法主要有：栅格法、通过计算本车和目标车运动轨迹的交叠情况进行目标选择的方式、利用前方目标的运动轨迹修正本车运动轨迹的方法，以及依据系统所处环境的势能场进行目标选择的方式等。
4.发明人在实现本发明的过程中，发现现有技术主要存在如下缺陷：栅格法主要适用于低速运动场景，在高速运动场景中，过小的栅格尺寸要求将导致主流的低主频车载计算平台无法实现功能；通过计算本车和目标车两者运动轨迹的交叠情况进行目标选择的方法，由于前方道路曲率信息的变化及本车运动姿态信息的滞后，易造成目标选择错误；利用前方目标运动轨迹修正本车运动轨迹的方法，在前方目标较少时效果同样难以保证；依据系统所处环境的势能场进行目标选择的方法，准确性则取决于目标在各个场中所具能量精确度量的程度，其工程实现的难度较大。


技术实现要素：

5.本发明实施例提供了一种关键目标物的识别方法、装置、计算机设备及存储介质，以实现一种在车辆行驶过程中，对车辆周围存在的各目标物进行关键目标物识别的新方式，提高了对关键目标物的识别准确度。
6.第一方面，本发明实施例提供了一种关键目标物的识别方法，包括：
7.在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
8.获取与所述目标物对应的目标物关联描述参数集；
9.将所述目标物关联描述参数集输入至lstm(long short
‑
term memory，长短期记忆网络)中，得到所述目标物对应的关键目标物识别结果。
10.第二方面，本发明实施例还提供了一种自动驾驶启动模式中的前车跟随方法，包括：
11.在车辆进入自动驾驶启动模式中的前车跟随场景时，采用本发明任一实施例所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
12.将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
13.第三方面，本发明实施例还提供了一种关键目标物的识别装置，该装置包括：
14.目标物获取模块，用于在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
15.参数集获取模块，用于获取与所述目标物对应的目标物关联描述参数集；
16.结果获取模块，用于将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果。
17.第四方面，本发明实施例还提供了一种自动驾驶启动模式中的前车跟随装置，该装置包括：
18.关键目标物识别模块，用于在车辆进入自动驾驶启动模式中的前车跟随场景时，采用本发明任一实施例所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
19.车速控制模块，用于将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
20.第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
21.一个或多个处理器；
22.存储装置，用于存储一个或多个程序，
23.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法。
24.第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法。
25.本发明实施例的技术方案，通过将自动驾驶模式下车辆周围环境中目标物对应的目标物关联描述参数集输入至lstm网络中，并根据该lstm网络的输出结果，得到所述目标物对应的关键目标物识别结果的技术手段，创造性的提出了一种获得适用于自动驾驶系统进行目标选择功能的有效方法，可以良好适用于各类传感器以及自动驾驶系统所处的各类环境，无需对目标选择具体算法进行设计，实现简便，为自动驾驶系统的目标选择表现带来较大提升和改进。
附图说明
26.图1a是本发明实施例一中的一种关键目标物的识别方法的流程图；
27.图1b是本发明实施例一所适用的一种基于lstm的学习模型结构示意图；
28.图2a是本发明实施例二中的一种关键目标物的识别方法的流程图；
29.图2b是本发明实施例二所适用的一种基于lstm的学习模型结构示意图；
30.图3a是本发明实施例三中的一种关键目标物的识别方法的流程图；
31.图3b是本发明实施例三所适用的一种基于lstm的学习模型结构示意图；
32.图4a是本发明实施例四中的一种关键目标物的识别方法的流程图；
33.图4b是本发明实施例四所适用的一种基于lstm的学习模型结构示意图；
34.图5是本发明实施例五中的一种自动驾驶启动模式中的前车跟随方法的流程图；
35.图6是本发明实施例六中的一种关键目标物的识别装置的结构示意图；
36.图7是本发明实施例七中的一种自动驾驶启动模式中的前车跟随装置的结构示意图；
37.图8是本发明实施例八中的一种计算机设备的结构示意图。
具体实施方式
38.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
39.实施例一
40.图1a为本发明实施例一提供的一种关键目标物的识别方法的流程图，本实施例可适用于在车辆处于自动驾驶启动模式时对车辆周围存在的各目标物进行关键目标物识别的情况，该方法可以由关键目标物的识别装置来执行，该装置可采用硬件和/或软件的方式实现，并一般可以集成在具有自动驾驶功能的车辆的车机端中，所述方法具体包括如下步骤：
41.s110、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
42.其中，目标物指的是自动驾驶模式下，车辆周围的出现或者存在的任意对象，该目标物可以为动态对象，例如，行人、非机动车、或者其他行驶中的车辆等，也可以是静态对象，例如，树木或者建筑物等，本实施例对此不进行限制。
43.在本实施例中，可以通过车辆上配置的各种传感器，例如，视觉传感器、测距传感器、激光雷达传感器或者毫米波雷达传感器等，识别获取车辆周围环境中的目标物，具体的，可以根据单一传感器的检测结果识别目标物，也可以通过多个传感器的融合检测结果识别目标物，本实施例对此并不进行限制。
44.s120、获取与所述目标物对应的目标物关联描述参数集。
45.其中，该目标物关联描述参数集中包括有多个目标物关联描述参数，目标物关联描述参数指的是与目标物对应的，可用于对目标物的运动状态及当前车辆的运动状态进行描述的参数信息。作为示例而非限定，该目标物关联描述参数可以包括：目标物距离车辆的距离描述信息、目标物的速度描述信息、目标物与车道线的位置关系信息以及车辆的速度和运行状态信息等。
46.需要说明的是，本发明各实施例的技术方案使用lstm网络对各目标物进行关键物目标物的识别，而是lstm网络是需要输入不同时间点的特征集进行长短时融合，才能相应获取匹配的识别结果。
47.相应的，所述目标物关联描述参数集可以具体包括多个时间点下采集得到的，与识别得到的目标物对应的多项目标物关联描述参数，或者，该目标物关联描述参数集还可以为根据不同时间点下采集得到的各目标物关联描述参数分别构建参数向量后，由该多个参数向量共同组成的参数矩阵。
48.s130、将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果。
49.其中，关键目标物指的是在车辆自动驾驶过程中会对车辆的行驶轨迹产生干扰的
目标物，即在车辆行驶过程中需要进行避让的目标物。关键目标物识别结果指的是识别目标物是否为关键目标物的结果，该结果通常只有两种可能，即目标物是关键目标物与目标物不是关键目标物。
50.在本实施例中，该lstm网络用于根据输入的，与目标物对应的目标物关联描述参数集进行长短期特征融合，并根据特征融合结果，输出该目标物识别为关键目标物的分类结果。
51.如图1b所示，为本发明实施例所适用的一种基于lstm的学习模型结构示意图。在本实施例中，在保证计算结果准确性的基础上为避免不必要的计算量，以lstm模型内部的隐藏状态单元为4*1维度，并且，lstm模型展开后实际由前序4个模型状态与当前模型状态共同组成为例(也即，该lstm模型共包括5个依次相连的lstm单元)。
52.在图1b中，根据不同时间点下获取的与一个目标物对应的多个目标物关联描述参数，可以形成一个由l1至l4组成的向量，如果lstm模型使用5个模型状态，则需要输入该目标物在5个时间点下获取的各目标物关联描述参数所形成的5个由l1至l4组成的向量，共同输入进lstm网络中。
53.其中，t＝t0代表当前时刻，δt代表运算周期。所以t＝t0‑
n*δt代表以当前时刻为基准的前n个周期时刻。每一个lstm单元向前传输一个4*1维度的向量，代表本单元的输出，示例性的，lstm1向lstm2传输向量lstm2向lstm3传输向量lstm3向lstm4传输向量lstm4向lstm5传输向量相应的，当该lstm网络中成功输入目标物在五个周期时刻下的4*1维度的向量并进行网络计算后，lstm网络在t0时刻的输出状态量结果即为[h1,h2,h3,h4]。
[0054]
可以理解的是，在该lstm网络中，还可以包括分类层(图中未示出)，用于根据该输出状态量结果[h1,h2,h3,h4]，获取与该目标物对应的关键目标物识别结果，也即，分类为关键目标物，或者分类为不是关键目标物。
[0055]
本发明实施例的技术方案，通过将自动驾驶模式下车辆周围环境中目标物对应的目标物关联描述参数集输入至lstm网络中，并根据该lstm网络的输出结果，得到所述目标物对应的关键目标物识别结果的技术手段，创造性的提出了一种获得适用于自动驾驶系统进行目标选择功能的有效方法，可以良好适用于各类传感器以及自动驾驶系统所处的各类环境，无需对目标选择具体算法进行设计，实现简便，为自动驾驶系统的目标选择表现带来较大提升和改进。
[0056]
在上述各实施例的基础上，获取与所述目标物对应的目标物关联描述参数集，还可以具体包括：
[0057]
获取目标物在当前检测时间点下的多个目标物关联描述参数，形成实时描述参数向量，并获取所述目标物在预设数量的连续历史检测时间点下的历史描述参数向量；根据所述实时描述参数向量，以及多个历史描述参数向量，形成与目标物对应的描述参数时间矩阵作为所述目标物关联描述参数集。
[0058]
相应的，将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果，具体可以包括：
[0059]
在所述描述参数时间矩阵中，按照检测时间点由近到远的顺序，依次获取一个描述参数向量，并将所述描述参数向量输入至所述lstm网络中；
[0060]
在检测到所述lstm网络中的lstm单元完成针对该描述参数向量的计算处理后，返回执行依次获取一个描述参数向量的操作，直至完成对所述描述参数时间矩阵中全部描述参数向量的输入处理，并完成对该描述参数时间矩阵的完整输入后，获取所述lstm网络输出的关键目标物识别结果。
[0061]
在上述各实施例的基础上，在将所述目标物关联描述参数集输入至lstm长短期记忆网络中之前，还可以包括：
[0062]
对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
[0063]
续前例，在获取目标物在当前检测时间点下的多个目标物关联描述参数，形成实时描述参数向量的方式可以为：对每一项目标物关联描述参数进行归一化处理，或者归一化扩展处理，形成与每一项目标物关联描述参数分别对应的归一化结果，或者归一化扩展结果；按照预设的描述参数排布顺序，将各所述归一化结果，或者归一化扩展结果进行排序，形成与目标物对应的实时描述参数向量。
[0064]
在上述各实施例的基础上，根据所述实时描述参数向量，以及多个历史描述参数向量，形成与目标物对应的描述参数时间矩阵的方式可以为：
[0065]
判断在当前检测时间点的前一历史检测时间点下更新得到的备选描述参数时间矩阵集合中，是否存在与所述目标物匹配的目标备选描述参数时间矩阵；
[0066]
若是，则去除所述目标备选描述参数时间矩阵中距离当前检测时间点最远的历史检测时间点下的历史描述参数向量，并根据剩余的各历史描述参数向量和所述目标实时描述参数向量，形成与所述目标物对应的描述参数时间矩阵；
[0067]
若否，则根据预设数量的全零向量以及和所述目标实时描述参数向量，形成与所述当前处理物体对应的描述参数时间矩阵。
[0068]
同时，更新得到与当前检测时间点对应的备选描述参数时间矩阵集合的方式可以包括：
[0069]
将当前检测时间点下各物体的描述参数时间矩阵，加入至所述备选描述参数时间矩阵集合中，或者替换所述备选描述参数时间矩阵集合中匹配的备选描述参数时间矩阵；在备选描述参数时间矩阵集合中，获取与其他物体分别对应的各关联备选描述参数时间矩阵；去除各关联目标备选描述参数时间矩阵中距离当前检测时间点最远的历史检测时间点下的历史描述参数向量，并根据剩余的各历史描述参数向量和全零向量，得到各新的关联目标备选描述参数时间矩阵；去除所述备选描述参数时间矩阵集合中包括的全零矩阵。
[0070]
在一个具体的例子中，为了使得每当检测到一个目标物后，可以将该目标物的多
个历史时刻下的目标物关联描述参数共同输入至lstm网络进行识别处理，可以实时维护车辆所检测到的每个物体分别对应的一个描述参数时间矩阵，基于该描述参数时间矩阵，对实时检测得到的目标物形成匹配的目标物关联描述参数集，也即，描述参数时间矩阵输入至该lstm模型中。
[0071]
示例性的，与每个目标物对应的描述参数时间矩阵的维护过程可如下所述：
[0072]
若在t1时刻中第一次识别到目标物a和目标物b，且该lstm需要输入5个时间点下的输入特征，则会相应构建与目标物a对应的描述参数时间矩阵为[a’,0,0,0]，目标物b对应的描述参数时间矩阵为[b’,0,0,0]；其中，a’和b’为根据目标物a和目标物b在t1时刻的各目标物关联描述参数形成的目标实时描述参数向量，0为一个与a’或者b’包含向量元素数量一致的一个零向量。
[0073]
若在下一时间点t2时，仅检测到目标物b而未检测到目标物a，则此时与目标物a对应的描述参数时间矩阵为[0,a’,0,0]，与目标物b对应的描述参数时间矩阵为[b”,b’,0,0]；若在下一时间点t3时，仅检测到目标物a而未检测到目标物b，则此时目标物a对应的描述参数时间矩阵为[a”,0,a’,0]，与目标物b对应的参描述参数时间矩阵为[0,b”,b’,0]。
[0074]
值得说明的是，当在某一时间点未检测到某一目标物时，仅将该目标物对应的描述参数时间矩阵进行更新而不需输入至lstm网络中，仅当检测到当前时间点内车辆周围存在某一目标物时，才将该目标物对应的描述参数时间矩阵输入至lstm网络中进行识别。
[0075]
实施例二
[0076]
图2a为本发明实施例二提供的一种关键目标物的识别方法的流程图。本实施例以上述实施例为基础进行细化，在本实施例中，将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果，具体化为：将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果；将所述目标物的全局融合抽象结果输入至所述lstm网络，得到所述目标物对应的关键目标物识别结果。
[0077]
如图2a所示，该方法包括以下具体步骤：
[0078]
s210、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
[0079]
s220、获取与所述目标物对应的目标物关联描述参数集。
[0080]
在一个具体的例子中，该目标物关联描述参数集中存储的，与不同时间点分别对应的目标物关联描述参数的可以包括：
[0081]
表示目标物属性信息的目标物距离车辆的横纵向距离、目标物的横纵向速度、检测到目标物的至少一个传感器的融合状态、雷达反射截面及目标物的类别属性；表示车道线信息的目标物到左右车道线的距离和左右车道线的有效延伸距离；表示车辆运动状态信息的车辆速度、车辆横摆角速度以及车辆方向盘转角等，本实施例对此不进行限制。
[0082]
其中，检测到目标物的至少一个传感器的融合状态指的是能够检测到目标物的传感器数量或类型。例如，若仅通过视觉传感器检测到目标物则融合状态为1；若仅通过激光雷达传感器检测到目标物则融合状态为2；若同时通过激光雷达传感器和视觉传感器检测得到该目标物，则融合状态为3。目标物的类别属性可以为：行人0、车辆1、以及树木2等。
[0083]
s230、将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果。
[0084]
其中，全连接网络指的是某一层的任意一个节点都和该层上一层的所有节点有连接关系，用来把前层提取到的特征综合起来的网络。全局融合抽象结果指的是目标物关联描述参数集在全连接网络中进行全连接处理后的输出结果。
[0085]
s240、将所述目标物的全局融合抽象结果输入至所述lstm网络，得到所述目标物对应的关键目标物识别结果。
[0086]
如图2b所示，为本发明实施例所适用的一种基于lstm的学习模型结构示意图。以目标物关联描述参数集中的参数为c1‑
c5为例，全连接网络共含有三层，在本实施例中，不对全连接网络第一层中的节点数量进行限制，只要全连接网络第一层中的节点比输入节点的数量多即可，本实施例以全连接网络第一层为6个节点为例。其中，l1‑1‑
l1‑6为全连接网络部分的第一层，用于对输入参数进行全连接；l2‑1‑
l2‑3为全连接网络部分的第二层，用于对第一层网络进行全连接；l3‑1为全连接网络部分的第三层，用于对第二层网络进行全连接。将与目标物对应的目标物关联描述参数集以全连接的方式输入至全连接网络第一层，将全连接网络第一层的所有节点与全连接网络第二层的所有节点进行连接，将全连接网络第二层的所有节点与全连接网络第三层的所有节点进行连接，即可得到最终的全局融合抽象结果，即存储在节点l3‑1中的全局融合抽象结果，再将全局融合抽象结果输入至lstm网络中，得到与目标物对应的关键目标物识别结果。
[0087]
本发明实施例的技术方案，通过将与目标物对应的目标物关联描述参数集输入至全连接网络中，再将获取的全局融合抽象结果输入至lstm网络中，得到与目标物对应的关键目标物识别结果，使得lstm网络对输入参数的计算速度加快、可靠性提高，降低了延时时间，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶系统中对关键目标物的识别准确度。
[0088]
实施例三
[0089]
图3a为本发明实施例三提供的一种关键目标物的识别方法的流程图。本实施例以上述实施例为基础进行细化，在本实施例中，将将所述目标物的目标物关联描述参数集输入至全连接网络中，具体为：按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中。
[0090]
相应的，将所述目标物的全局融合抽象结果输入至所述lstm网络，得到所述目标物对应的关键目标物识别结果，具体为：将所述目标物的全局融合抽象结果输入至所述lstm网络，获取所述lstm网络输出的多个长短期融合结果；将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
[0091]
如图3a所示，该方法包括以下具体步骤：
[0092]
s310、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
[0093]
s320、获取与所述目标物对应的目标物关联描述参数集。
[0094]
s330、按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果。
[0095]
其中，预设的分类规则指的是预先设定的，用于对目标物关联描述参数集中的参
数进行分类的规则，示例性的，可以按照参数的发出对象对各参数进行分类，例如，将参数分为目标属性信息和车辆属性信息等，本实施例对此不进行限制。
[0096]
可选的，全连接网络具体包括：多个局部子网络，以及与各局部子网络分别相连的统一全连接层，其中，不同的局部子网络用于输入不同的参数分组；所述局部子网络，用于将输入的参数分组中的各目标物关联描述参数进行至少一级的全连接处理，得到局部融合抽象结果；所述统一全连接层，用于对各局部子网络输出的局部融合抽象结果进行全连接处理，得到所述全局融合抽象结果。
[0097]
可选的，局部子网络包括：多个依次相连的局部全连接层，每个局部全连接层中包括多个全连接节点；其中，后一层全连接层中的每个全连接节点分别与前一层全连接层中的每个全连接节点相连，参数分组中包括的每个目标物关联描述参数分别输入至首个全连接层中的每个全连接节点中。
[0098]
上述技术方案通过将目标物关联描述参数集进行分类聚集输入，有效的缓解了计算负担，提高了算法的处理速度。
[0099]
s340、将所述目标物的全局融合抽象结果输入至所述lstm网络，获取所述lstm网络输出的多个长短期融合结果。
[0100]
其中，长短期融合结果指的是经lstm网络处理后所得的结果，通常指的是lstm网络的输出状态量结果。
[0101]
s350、将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
[0102]
其中，分类网络指的是对长短期融合结果进行处理得到分类结果的网络；分类结果指的是是否要选择该目标。
[0103]
如图3b所示，为本发明实施例所适用的一种基于lstm的学习模型结构示意图。在本实施例中，以将目标物关联描述参数集中的各目标物关联描述参数分为两组为例，其中一组参数为c1‑
c5，另一组参数为c6‑
c9。局部全连接层l1‑1‑
l1‑6和局部全连接层l2‑1‑
l2‑3构成一个局部子网络，用于输入参数c1‑
c5；局部全连接层l1‑7‑
l1‑
11
和局部全连接层l2‑4‑
l2‑6构成一个局部子网络，用于输入参数c6‑
c9，l3‑1和l3‑2构成统一全连接层。
[0104]
其中，两个局部子网络与统一全连接层中的l3‑1和l3‑2进行全连接，构成全连接网络。将全连接网络输出的存储在节点l3‑1和l3‑2中的全局融合抽象结果输入至lstm网络中，再将由lstm网络输出的多个长短期融合结果[h1,h2,h3,h4]输入至可以进行结果分类的分类网络中，即可得到关键目标物识别结果。
[0105]
本发明实施例的技术方案，通过将按照预设的分类规则进行分组的目标物关联描述参数，分组并行输入至全连接网络中，之后，将全连接网络输出的全局融合抽象结果输入至lstm网络中，最后，将lstm网络输出的多个长短期融合结果输入至分类网络中，得到关键目标物识别结果，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶系统中对关键目标物的识别准确度。
[0106]
在上述各实施例的基础上，可以预先使用训练样本对上述全连接网络、lstm网络以及分类网络进行预训练。
[0107]
具体的，所使用的训练样本包括：预设检测场景下的样本物体的样本物体关联描述参数集，以及样本物体是否为关键物体的标注结果。
[0108]
其中，该样本物体关联描述参数集与本发明各实施例所述的目标物关联描述参数集中包括的数据形式相一致。
[0109]
可选的，所述训练样本中样本物体的检测场景包括下述至少一项：
[0110]
样本物体在多个连续检测时间点下均被检测得到的检测场景；样本物体多个连续检测时间点下间隔检测得到的检测场景；以及样本物体在多个连续检测时间点中的至少一个前序检测时间点中被检测得到，在全部后序检测时间点中未被检测得到的检测场景。
[0111]
在一个具体的例子中，以8个连续时刻组成一个序列单元为例，将该序列参数送入、全连接网络、lstm网络以及分类网络中。组织形式根据不同情况可以分为如下三类：
[0112]
(1)#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
#n
[0113]
(2)#n
‑
#n
‑0‑0‑0‑0‑0‑0[0114]
(3)#n
‑0‑0‑0‑0‑
#n
‑
#n
‑
#n
[0115]
其中，#n代表样本物id(identity document，身份证标识号)为#n的样本物体。第一类情况代表id＝#n的样本物体连续出现了8帧(也即8个周期时间)。第二类情况代表id＝#n的目标物体最近刚刚出现了2帧，在开始的6帧并未出现，第二类情况还可以表现为#n
‑0‑0‑0‑0‑0‑0‑
0或者#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
0，但它们都代表目标物id＝#n的初始情况。第三类情况代表id＝#n的目标物在开始阶段有，中间没有出现，后续又出现了，第三类情况还可以表现为#n
‑0‑0‑0‑0‑0‑0‑
#n或者#n
‑
#n
‑
#n
‑
#n
‑
#n
‑
#n
‑0‑
#n等。
[0116]
通过将已标注参数送入全连接网络、lstm网络以及分类网络中进行训练，最终获得训练后的各网络，可以使得上述各网络的组合适用于各种场景下的关键目标物的识别。
[0117]
实施例四
[0118]
图4a为本发明实施例四提供的一种关键目标物的识别方法的流程图。本实施例以上述实施例为基础进行细化，在本实施例中，将按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，具体为：在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组；在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组；在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组；在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
[0119]
将在将所述目标物关联描述参数集输入至lstm长短期记忆网络中，具体为：在将所述目标物关联描述参数集输入至lstm长短期记忆网络中之前，还包括：对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
[0120]
如图4a所示，该方法包括以下具体步骤：
[0121]
s410、在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物。
[0122]
s420、获取与所述目标物对应的目标物关联描述参数集。
[0123]
s430、对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
[0124]
其中，归一化指的是确保输入的信息可以被归一化在[
‑
1,1]区域范围中，提高算
法精度的操作。由于一些属性虽然原始值是单个取值，但是本实施在归一化时对其进行了扩展。例如，融合状态是一个单一属性，其取值范围是0、1、2、3，共计4个孤立值。但是对其进行归一化时，则生成相应的[0,0,0]，[0,0,1]，[0,1,0]，[1,0,0]，共计四个1*3的向量，也即从一个单一输入端变成一个3维输入端。同理，目标物的类别属性也由一个单一输入端变为一个5维输入端。
[0125]
s440、在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组。
[0126]
可选的，所述第一参数分组包括：目标物距离车辆的横纵向距离，目标物的横纵向速度以及检测到目标物的至少一个传感器的融合状态。
[0127]
s450、在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组。
[0128]
可选的，所述第二参数分组包括：雷达反射截面、检测到目标物的至少一个传感器的融合状态以及目标物的类别属性。
[0129]
s460、在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组。
[0130]
可选的，所述第三参数分组包括：目标物到左右车道线的距离以及左右车道线的有效延伸距离。
[0131]
s470、在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
[0132]
可选的，所述第四参数分组包括：车辆速度，车辆横摆角速度以及车辆方向盘转角。
[0133]
s480、将各所述参数分组并行输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果。
[0134]
s490、将所述目标物的全局融合抽象结果输入至所述lstm网络，获取所述lstm网络输出的多个长短期融合结果。
[0135]
s4100、将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
[0136]
可选的，所述分类网络包括：第一全连接节点、第二全连接节点，以及与第一全连接节点和第二全连接节点分别相连的softmax分类器；所述第一全连接节点和第二全连接节点分别与lstm网络的各输出端相连。
[0137]
可选的，所述第一全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第一处理结果；所述第二全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第二处理结果；所述softmax分类器，用于根据第一处理结果和第二处理结果，得到所述目标物是否为关键目标物的识别结果。
[0138]
如图4b所示，为本发明实施例所适用的一种基于lstm的学习模型结构示意图。在本实施例中，将目标物距离车辆的横纵向距离(r
x
和r
y
)、目标物的横纵向速度(v
x
和v
y
)以及检测到目标物的至少一个传感器的融合状态(fuse status)设定为第一参数分组，将雷达反射截面(rcs)、检测到目标物的至少一个传感器的融合状态(fuse status)以及目标物的类别属性(class)设定为第二参数分组，将目标物到左右车道线的距离(distance to left
和distance to right)以及左右车道线的有效延伸距离(left range和right range)设定为第三参数分组，将车辆速度(host velocity)、车辆横摆角速度(host yaw rate)以及车辆方向盘转角(host steering wheel angle)设定为第四参数分组。
[0139]
如图4b所示的基于lstm的学习模型主要由三大部分组成，其中第一部分是全连接网络，第二部分是lstm网络，第三部分是softmax与分类输出网络。l1‑1至l1‑
17
属于全连接网络部分的第一层，主要是对输入层的数据进行全连接。其中，l1‑1至l1‑6是对目标物的运动状态信息rx、ry、vx、vy与融合状态信息fuse status进行全连接；l1‑7至l1‑
11
是对目标物的类别信息class、雷达反射截面信息rcs与融合状态信息fuse status进行全连接；l1‑
12
至l1‑
15
是对车道线信息进行全连接；l1‑
16
至l1‑
17
是对主车运动状态信息进行全连接。l2‑1至l2‑
10
属于全连接网络部分的第二层，主要是对第一层网络进行抽象。其中，l2‑1至l2‑3是对上一层网络l1‑1至l1‑6进行全连接；l2‑4至l2‑6是对上一层网络l1‑7至l1‑
11
进行全连接；l2‑7至l2‑8是对上一层网络l1‑
12
至l1‑
15
进行全连接；l2‑9至l2‑
10
是对上一层网络l1‑
16
至l1‑
17
进行全连接。l3‑1至l3‑4属于全连接网络部分的第三层，主要是对第二层网络进行抽象。其中，l3‑1是对上一层网络l2‑1至l2‑3进行抽象；l3‑2是对上一层网络l2‑4至l2‑6进行抽象；l3‑3是对上一层网络l2‑7至l2‑8进行抽象；l3‑4是对上一层网络l2‑9至l2‑
10
进行抽象。之后，l3‑1至l3‑4组成一个向量，送入长短期记忆网络lstm中。模型的最后部分为第一全连接节点s
t
‑
1和第二全连接节点s
t
‑
2的全连接层，以及获得第一处理结果和第二处理结果后送入softmax层。最后即可获得目标物是否为关键目标物的识别结果。
[0140]
本发明实施例的技术方案，通过对目标物关联描述参数集中包括的各目标物关联描述参数进行归一化或者归一化扩展处理，并按照预设的分类规则对目标物关联描述参数集中包括的各目标物关联描述参数进行分组，之后将各参数分组并行输入至全连接网络中获取全局融合抽象结果，再将目标物的全局融合抽象结果输入至lstm网络中获取lstm网络输出的多个长短期融合结果，最后将各长短期融合结果输入至分类网络中即获取关键目标物识别结果，能够实现不需要工程设计人员进行复杂的算法设计，只需要工程人员依据本发明实施例中的框架进行数据训练，即可以获得非常理想的目标选择模型，对车辆周围存在的各目标物进行关键目标物识别，提高了自动驾驶系统中对关键目标物的识别准确度。
[0141]
实施例五
[0142]
图5为本发明实施例五提供的自动驾驶启动模式中的前车跟随方法的流程图，本实施例可适用于自动驾驶启动模式中对前车进行跟随的情况，该方法可以由自动驾驶启动模式中的前车跟随装置来执行，该装置可采用硬件和/或软件的方式实现,并一般可以集成在具有自动驾驶启动模式中的前车跟随功能的计算机设备中，例如，终端设备或服务器等，所述方法具体包括如下步骤：
[0143]
s510、在车辆进入自动驾驶启动模式中的前车跟随场景时，采用上述任一实施例中所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物。
[0144]
s520、将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
[0145]
示例性的，车辆处于自动驾驶启动模式中，若该车辆跟随前车欲直行通过某一路口时，右侧有一车辆左拐行至该车辆与跟随的目标物车辆之间，此时，即可使用关键目标物
的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物车辆，并按照跟随车辆的实时行车速度，对车辆进行匹配的车速跟随控制，以使该车辆可以顺利的跟随前车直行通过路口。
[0146]
本实施例的技术方案，通过利用关键目标物的识别方法，解决了自动驾驶启动模式中对前车进行跟随时遇到的目标物干扰问题，使得车辆可以尽快地准确识别出要跟随的前车，提高了自动驾驶的适应性。
[0147]
实施例六
[0148]
图6为本发明实施例六提供的一种关键目标物的识别装置的结构示意图，该装置可以执行上述各实施例中涉及到的关键目标物的识别方法。该装置可采用软件和/或硬件的方式实现，如图6所示，所述关键目标物的识别装置具体包括：目标物获取模块610、参数集获取模块620、结果获取模块630。
[0149]
其中，目标物获取模块610，用于在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
[0150]
参数集获取模块620，用于获取与所述目标物对应的目标物关联描述参数集；
[0151]
结果获取模块630，用于将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果。
[0152]
本发明实施例的技术方案，通过将自动驾驶模式下车辆周围环境中目标物对应的目标物关联描述参数集输入至lstm网络中，并根据该lstm网络的输出结果，得到所述目标物对应的关键目标物识别结果的技术手段，创造性的提出了一种获得适用于自动驾驶系统进行目标选择功能的有效方法，可以良好适用于各类传感器以及自动驾驶系统所处的各类环境，无需对目标选择具体算法进行设计，实现简便，为自动驾驶系统的目标选择表现带来较大提升和改进。
[0153]
可选的，结果获取模块630具体可以包括全局融合抽象结果获取单元和结果获取单元；
[0154]
其中，全局融合抽象结果获取单元，用于将所述目标物的目标物关联描述参数集输入至全连接网络中，获取所述全连接网络针对所述目标物关联描述参数集输出的全局融合抽象结果；
[0155]
结果获取单元，用于将所述目标物的全局融合抽象结果输入至所述lstm网络，得到所述目标物对应的关键目标物识别结果。
[0156]
可选的，全局融合抽象结果获取单元可以包括参数分组子单元，用于按照预设的分类规则对所述目标物关联描述参数集中包括的各目标物关联描述参数进行分组，得到多个参数分组，并将各所述参数分组并行输入至全连接网络中。
[0157]
可选的，结果获取单元可以具体用于，将所述目标物的全局融合抽象结果输入至所述lstm网络，获取所述lstm网络输出的多个长短期融合结果；将各所述长短期融合结果输入至分类网络中，获取所述分类网络输出的所述关键目标物识别结果。
[0158]
可选的，所述全连接网络具体包括：多个局部子网络，以及与各局部子网络分别相连的统一全连接层，其中，不同的局部子网络用于输入不同的参数分组；所述局部子网络，用于将输入的参数分组中的各目标物关联描述参数进行至少一级的全连接处理，得到局部融合抽象结果；所述统一全连接层，用于对各局部子网络输出的局部融合抽象结果进行全
连接处理，得到所述全局融合抽象结果。
[0159]
可选的，所述局部子网络包括：多个依次相连的局部全连接层，每个局部全连接层中包括多个全连接节点；其中，后一层全连接层中的每个全连接节点分别与前一层全连接层中的每个全连接节点相连，参数分组中包括的每个目标物关联描述参数分别输入至首个全连接层中的每个全连接节点中。
[0160]
可选的，所述分类网络包括：第一全连接节点、第二全连接节点，以及与第一全连接节点和第二全连接节点分别相连的softmax分类器；所述第一全连接节点和第二全连接节点分别与lstm网络的各输出端相连。
[0161]
可选的，所述第一全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第一处理结果；所述第二全连接节点，用于将输入的各长短期融合结果进行全连接处理，得到第二处理结果；所述softmax分类器，用于根据第一处理结果和第二处理结果，得到所述目标物是否为关键目标物的识别结果。
[0162]
可选的，参数分组子单元具体可以用于，在目标物关联描述参数集中，获取与目标物的运行状态匹配的各目标物关联描述参数集构建第一参数分组；在目标物关联描述参数集中，获取与目标物的附属检测属性匹配的各目标物关联描述参数集构建第二参数分组；在目标物关联描述参数集中，获取与车道线匹配的各目标物关联描述参数集构建第三参数分组；在目标物关联描述参数集中，获取与所述车辆的车辆状态匹配的各目标物关联描述参数集构建第四参数分组。
[0163]
可选的，所述第一参数分组包括：目标物距离车辆的横纵向距离，目标物的横纵向速度以及检测到目标物的至少一个传感器的融合状态；所述第二参数分组包括：雷达反射截面、检测到目标物的至少一个传感器的融合状态以及目标物的类别属性；所述第三参数分组包括：目标物到左右车道线的距离以及左右车道线的有效延伸距离；所述第四参数分组包括：车辆速度，车辆横摆角速度以及车辆方向盘转角。
[0164]
可选的，关键目标物的识别装置还可以包括归一化或者归一化扩展模块，用于在将所述目标物关联描述参数集输入至lstm长短期记忆网络中之前，对所述目标物关联描述参数集中包括的各目标物关联描述参数进行归一化，或者归一化扩展处理。
[0165]
本发明实施例所提供的关键目标物的识别装置可执行本发明任意实施例所提供的关键目标物的识别方法，具备执行方法相应的功能模块和有益效果。
[0166]
实施例七
[0167]
图7为本发明实施例七提供的一种自动驾驶启动模式中的前车跟随装置的结构示意图，该装置可以执行上述各实施例中涉及到的自动驾驶启动模式中的前车跟随方法。该装置可采用软件和/或硬件的方式实现，如图7所示，所述自动驾驶启动模式中的前车跟随装置具体包括：关键目标物识别模块710、车速控制模块720。
[0168]
其中，关键目标物识别模块710，用于在车辆进入自动驾驶启动模式中的前车跟随场景时，采用上述任一实施例所述的关键目标物的识别方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
[0169]
车速控制模块720，用于将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
[0170]
本实施例的技术方案，通过利用关键目标物的识别方法，解决了自动驾驶启动模
式中对前车进行跟随时遇到的目标物干扰问题，使得车辆可以尽快地准确识别出要跟随的前车，提高了自动驾驶的适应性。
[0171]
本发明实施例所提供的自动驾驶启动模式中的前车跟随装置可执行本发明任意实施例所提供的自动驾驶启动模式中的前车跟随方法，具备执行方法相应的功能模块和有益效果。
[0172]
实施例八
[0173]
图8为本发明实施例八提供的一种计算机设备的结构示意图，如图8所示，该计算机设备包括处理器810、存储器820、输入装置830和输出装置840；计算机设备中处理器810的数量可以是一个或多个，图8中以一个处理器810为例；计算机设备中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。
[0174]
存储器820作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的关键目标物的识别方法对应的程序指令/模块(例如，关键目标物的识别装置中的目标物获取模块610、参数集获取模块620和结果获取模块630)或如本发明实施例中的自动驾驶启动模式中的前车跟随方法对应的程序指令/模块(例如，自动驾驶启动模式中的前车跟随装置中的关键目标物识别模块710和车速控制模块720)。处理器810通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法。
[0175]
其中，关键目标物的识别方法包括：
[0176]
在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
[0177]
获取与所述目标物对应的目标物关联描述参数集；
[0178]
将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果。
[0179]
自动驾驶启动模式中的前车跟随方法包括：
[0180]
在车辆进入自动驾驶启动模式中的前车跟随场景时，采用权利要求1
‑
11中任一项所述的方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
[0181]
将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
[0182]
存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0183]
输入装置830可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
[0184]
实施例九
[0185]
本发明实施例九还提供一种包含计算机可执行指令的存储介质，所述计算机可执
行指令在由计算机处理器执行时用于执行一种关键目标物的识别方法或一种自动驾驶启动模式中的前车跟随方法。
[0186]
其中，关键目标物的识别方法包括：
[0187]
在车辆处于自动驾驶启动模式下，获取车辆周围环境中的目标物；
[0188]
获取与所述目标物对应的目标物关联描述参数集；
[0189]
将所述目标物关联描述参数集输入至lstm网络中，得到所述目标物对应的关键目标物识别结果。
[0190]
自动驾驶启动模式中的前车跟随方法包括：
[0191]
在车辆进入自动驾驶启动模式中的前车跟随场景时，采用权利要求1
‑
11中任一项所述的方法，在车辆周围环境中出现的各目标物中，识别得到关键目标物；
[0192]
将所述关键目标物作为跟随目标，并按照所述跟随目标的实时行车速度，对所述车辆进行匹配的车速跟随控制。
[0193]
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的关键目标物的识别方法或自动驾驶启动模式中的前车跟随方法中的相关操作。
[0194]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory,rom)、随机存取存储器(randomaccess memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0195]
值得注意的是，上述关键目标物的识别装置或自动驾驶启动模式中的前车跟随装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0196]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。