特种车辆识别方法与流程

本发明涉及自动驾驶技术领域，具体地，涉及一种特种车辆识别方法。

背景技术：

自动驾驶关键技术如图1所示，首先感知障碍物、道路、交通灯等环境信息，然后预测各障碍物的未来行为，进而对自车进行合理的决策和控制。其中行为预测是实现自动驾驶最具挑战性的问题之一，目前其性能与人类直觉相比还有较大差距，提升行为预测准确性对于自动驾驶非常重要。当前主流行为预测方法基于障碍物自身信息(运动状态、历史轨迹)、障碍物周围动态环境(其它障碍物运动信息)、障碍物周围静态环境(道路信息、路权、交通规则)等综合对该障碍物的未来轨迹进行预测。

车辆是最重要的障碍物之一，普通车辆按照交通规则在道路上进行行驶，目前的行为预测方法都是基于该假设。但是，救护车、警车等特种车辆有时并不遵守交通规则；如果按照基于上述假设的方法对特种车辆进行行为预测，将大幅降低预测准确性。

针对上述情况，本专利提出的车辆行为预测方法，通过传感器数据以及智能算法准确识别出特种车辆，将障碍物是否属于特种车辆这一重要信息作为行为预测的决策依据，能提升预测准确性。

专利文献cn108550279b(申请号：201810287172.x)公开了基于机器学习的车辆驾驶行为预测方法，涉及车联网领域，意在利用机器学习技术，挖掘车辆属性、道路信息以及行驶环境信息与车辆驾驶行为之间的关系，提高车辆驾驶行为预测的准确性。具体步骤包括：步骤1，定义特征集：车辆特征定义，道路特征定义，车辆行驶环境定义；步骤2，车辆位移预测模型：特征提取与数据预处理：车辆与前方路口距离特征提取，路口允许转向动作特征提取，标签提取；车辆位移预测模型：训练样本集定义，车辆位移预测模型训练；步骤3，车辆驾驶行为预测模型：高斯分量定义；步骤4，车辆驾驶行为预测。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种特种车辆识别方法。

根据本发明提供的特种车辆识别方法，包括：

将传感器数据作为输入，进行特种车辆识别，得到识别结果；

所述传感器数据包括图像数据和音频数据。

优选的，通过机器学习算法处理传感器数据；

所述机器学习算法包括监督学习、无监督学习、半监督学习和强化学习算法。

优选的，识别过程为：将音频数据输入特种车辆音频识别模型，判断当前是否存在特种车辆；

当判断存在特种车辆时，将图像数据输入特种车辆图像检测模型，实现对特种车辆在图像中的检测定位，完成对特种车辆的识别。

优选的，识别过程为：将图像数据输入特种车辆图像检测模型，实现对特种车辆在图像中的检测定位；

当检测定位到特种车辆时，将音频数据输入特种车辆音频识别模型，实现对特种车辆存在的进一步校验，完成对特种车辆的识别。

优选的，识别过程为：将音频数据输入特种车辆音频识别模型，判断当前是否存在特种车辆；

同时将图像数据输入特种车辆图像检测模型，实现对特种车辆在图像中的检测定位；

当根据特种车辆音频识别模型判断存在特种车辆且在图像中检测定位到特种车辆时，完成对特种车辆的识别。

优选的，将识别结果作为行为预测的决策依据，进行特种车辆行为预测；

综合障碍物自身信息、障碍物周围动态环境和障碍物周围静态环境推断障碍物在未来时刻的位置。

优选的，将自动驾驶系统感知到的障碍物信息，从3d坐标投影到2d图像上，与特种车辆识别结果进行位置匹配；

自动驾驶系统感知到的障碍物信息，包括利用传感器感知到的障碍物信息，障碍物信息包括车辆和行人的3d坐标。

优选的，所述障碍物自身信息包括障碍物运动状态和历史轨迹；

所述障碍物周围动态环境包括距离障碍物预设范围内的目标的位置坐标值和类型；

所述障碍物周围静态环境包括车道坐标值、车道类型、路权和交通规则。

优选的，所述推断障碍物在未来时刻的位置的过程为：

步骤1：在遍历所有感知到的障碍物信息后，以障碍物的当前位置为中心，将障碍物的四周邻近区域按预先设定的尺寸划分网格；

步骤2：将障碍物自身信息、障碍物周围动态环境和障碍物周围静态环境通过卷神经网络进行编码，得到输出向量；

步骤3：基于输出向量，通过softmax函数计算得到下一时刻障碍物在预设位置区域出现的概率。

优选的，步骤3中的计算公式为：

其中，vi为障碍物在i位置区域的输出向量；si为下一时刻特种车辆在i位置区域出现的概率；i和j为位置区域序号；e为自然常数。

与现有技术相比，本发明具有如下的有益效果：

本发明方法可应用于自动驾驶行为预测技术中，通过识别区分障碍物是否属于特种车辆，将这一重要信息作为行为预测的决策依据，从而实现不同于以往仅仅考虑普通车辆的模型或方法，提升行为预测准确性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为自动驾驶技术示意图；

图2为位置区域网格化示意图；

图3为神经网络示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

根据本发明提出的车辆行为预测方法，包括特种车辆识别和特种车辆行为预测两个步骤。

特种车辆指代依法可以不按交通规则行驶的车辆，例如救护车、警车等。

特种车辆识别步骤，以自动驾驶技术感知到的障碍物信息以及传感器数据作为前置输入，利用智能算法处理以上数据并准确识别各障碍物是否属于特种车辆。

特种车辆行为预测步骤，将障碍物是否属于特种车辆这一重要信息作为行为预测的决策依据，提升预测准确性。

特种车辆识别模块，其前置输入包括自动驾驶技术感知到的障碍物信息以及传感器数据。自动驾驶技术感知到的障碍物信息，包括但不限于利用相机、激光雷达、毫米波雷达等传感器感知到的车辆、行人、非机动车等障碍物，与本专利相关的障碍物信息有障碍物3d坐标。本专利使用的传感器数据包括但不限于图像、点云、声音等。

特种车辆识别模块，以图像举例，根据自动驾驶技术感知到的障碍物信息，即障碍物3d坐标，可将障碍物3d坐标投影到2d图像上，并提取该障碍物对应的图像数据，通过人工标注障碍物的类别标签(是否属于特种车辆)；搜集并标注大量样本(即障碍物图像数据对应相应类别标签)，通过监督学习方法(例如深度学习中的卷积神经网络)离线训练模型；在实际使用中，对自动驾驶技术感知到的障碍物，首先提取对应的图像数据，将图像数据输入模型即可得到改障碍物的类别标签，从而完成特种车辆识别。本专利方法包括但不限于上述例子中的图像传感器数据以及深度学习卷积神经网络方法，传感器数据可以扩展到点云数据、声音数据等，识别方法可以扩展到无监督学习、半监督学习、强化学习等方法。

行为预测方法，举例，将下一时刻该障碍物可能出现的位置区域网格化，将该障碍物自身信息(运动状态、历史轨迹)、障碍物周围动态环境(其它障碍物运动信息)、障碍物周围静态环境(道路信息、路权、交通规则)等通过卷积神经网络或循环神经网络进行编码并拼接，然后通过分类网络计算得到该障碍物在各网格出现的概率。

特种车辆行为预测模块，将障碍物是否属于特种车辆这一重要信息作为行为预测的决策依据，以上述行为预测方法为例，将障碍物是否属于特种车辆这一类别标签加入到障碍物自身信息中进行编码，从而能影响该障碍物在各网格的出现概率，提升预测准确性。

行为预测方法，遍历所有感知到的障碍物信息，进行如下步骤处理：

步骤1：将下一时刻障碍物可能出现的位置区域网格化，举例：以障碍物的当前位置为中心，将障碍物的四周邻近区域按预先设定的尺寸划分网格，如图2所示，a1、a2、a3、b1、b2、b3、c1、c2、c3等网格区域即下一时刻该障碍物可能出现的位置区域。

步骤2：将该障碍物自身信息、障碍物周围动态环境和障碍物周围静态环境通过神经网络进行编码，举例：障碍物自身信息，包括该障碍物历史轨迹(t1至t10这十个历史时刻的位置坐标值)，位置坐标包括x坐标值和y坐标值，共计20个值；障碍物周围动态环境，包括距离该障碍物10米范围内的其它障碍物的位置坐标值和类型值，假设有n个其它障碍物，共计n×3个值；障碍物周围静态环境，包括车道坐标值及车道类型，车道由4个坐标值的矩形表示，假设m个车道，共计m×5个值；如图3所示，将上述20+n×3+m×5个值输入全连接网络，输出向量9个值，与下一时刻障碍物可能出现的9个位置区域相对应。

步骤3：通过softmax函数计算得到下一时刻障碍物在可能出现的9个位置区域出现的概率，公式为：

其中v为上述输出向量；si为下一时刻障碍物在i位置区域出现的概率，其与可能出现的9个位置区域相对应；i和j为位置区域序号；e为自然常数。

障碍物信息包括运动状态、历史轨迹；

障碍物周围静态环境包括道路信息、路权、交通规则；

特种车辆行为预测包括：将识别结果作为行为预测的决策依据，具体为将障碍物是否属于特种车辆这一类别标签加入到障碍物自身信息中，从而影响下一时刻该障碍物在可能出现的位置区域的概率，最终提升行为预测准确性。举例：在障碍物自身信息中增加该障碍物是否属于特种车辆这一类别标签，共计21个值；将21+n×3+m×5个值输入全连接网络，输出向量通过softmax函数计算得到下一时刻障碍物在可能出现的9个位置区域出现的概率。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。