通用感知模型的训练方法、装置和自动驾驶车辆与流程

本技术涉及自动驾驶领域，具体而言，涉及一种通用感知模型的训练方法、装置、计算机可读存储介质和自动驾驶车辆。

背景技术：

1、以自动驾驶模式运行(例如，无人驾驶)的车辆可以将乘员、尤其是驾驶员从一些驾驶相关的职责中解放出来。当以自动驾驶模式运行时，车辆可以使用车载传感器导航各个位置，从而允许车辆在最少人机交互的情况下或在没有任何乘客的一些情况下行驶。

2、运动规划和控制是自动驾驶中的关键操作。运动规划和控制的准确性和效率在很大程度上取决于车辆的传感器。然而，车型不同，对应车辆的包括传感器数量、安装位置以及传感器类型等的传感器布局不同，需要对不同传感器布局的车辆进行数据采集和模型训练，模型通用性较差。

技术实现思路

1、本技术的主要目的在于提供一种通用感知模型的训练方法、装置、计算机可读存储介质和自动驾驶车辆，以至少解决现有技术中自动驾驶车辆的感知模型的通用性较差的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种通用感知模型的训练方法，包括：建立多个第一模型，所述第一模型为神经网络模型且配置有第一训练阈值，所述第一训练阈值为确定输入数据是否有效的阈值，所述第一模型与传感器的类型一一对应，同一个所述类型下所述传感器有多个且位于车辆的不同位置；采用多个训练数组训练对应的所述第一模型，使得所述第一模型根据所述第一训练阈值和第一随机数选择有效的第一训练数据进行机器学习，得到多个特征提取模型，其中，所述训练数组与所述类型一一对应，所述训练数组包括对应的所述类型下各所述传感器的所述第一训练数据，所述第一训练数据包括传感器数据和路况特征信息，所述路况特征信息包括多个第一网格和路况特征，所述第一网格与对应的所述类型下各所述传感器的位置存在映射关系，所述路况特征为对所述传感器数据进行特征提取得到的，所述路况特征位于与对应的所述传感器映射的所述第一网格中，所述传感器数据携带有表征自身是否有效的所述第一随机数；至少根据多个所述特征提取模型，确定所述通用感知模型。

3、可选地，采用多个训练数组训练对应的所述第一模型，使得所述第一模型根据所述第一训练阈值和第一随机数选择有效的第一训练数据进行机器学习，得到多个特征提取模型，包括：第一获取步骤，获取各所述类型对应的初始训练数组，所述初始训练数组包括多个第一初始训练数据，所述第一初始训练数据包括所述传感器对应的采集数据和所述路况特征信息；第一配置步骤，为各所述采集数据随机配置携带的所述第一随机数，得到所述传感器数据；第一训练步骤，采用多个所述第一训练数据训练对应的所述第一模型，使得所述第一模型根据所述第一训练阈值，选择大于所述第一训练阈值的所述第一随机数对应的所述第一训练数据为第一目标训练数据，并采用所述第一目标训练数据进行机器学习，得到初始特征提取模型；第一计算步骤，计算所述初始特征提取模型的评价指标参数，得到第一参数，并在所述第一参数小于第一预设值的情况下，循环执行所述第一配置步骤、所述第一训练步骤以及所述第一计算步骤，直到所述第一参数大于或等于所述第一预设值，其中，相邻的两个循环过程中至少部分的所述传感器数据携带的所述第一随机数发生变化；第一确定步骤，在所述第一参数大于或等于所述第一预设值的情况下，确定大于或等于所述第一预设值的所述第一参数对应的所述初始特征提取模型为所述特征提取模型。

4、可选地，计算所述初始特征提取模型的评价指标参数，得到第一参数，包括：获取满足多个第一测试需求的所述第一训练数据，得到多个第一测试数据，多个所述第一测试需求包括：所述类型对应的所有第一随机数均大于所述第一训练阈值，所述类型对应的部分所述第一随机数大于所述第一训练阈值；采用多个所述第一测试数据，计算所述初始特征提取模型的平均精确度，得到所述第一参数。

5、可选地，在至少根据多个所述特征提取模型，确定所述通用感知模型之前，所述方法还包括：建立第二模型，所述第二模型为神经网络模型且配置有第二训练阈值，所述第二训练阈值为用于确定输入数据是否有效的阈值；采用多个第二训练数据训练所述第二模型，使得所述第二模型根据所述第二训练阈值和第二随机数选择有效的第二训练数据进行机器学习，得到特征融合模型，其中，所述第二训练数据包括特征融合信息和至少一个所述类型对应的融合前特征信息，所述融合前特征信息为携带有表征自身是否有效的所述第二随机数的所述路况特征信息，所述特征融合信息包括多个第二网格和融合特征，所述第二网格与各所述第一网格存在映射关系，所述融合特征为对至少一个所述融合前特征信息进行融合后得到的信息，所述融合特征位于与所述路况特征信息对应的所述第一网格映射的所述第二网格中，至少根据多个所述特征提取模型，确定所述通用感知模型，包括：将多个所述特征提取模型的输出端与所述特征融合模型的输入端连接，得到所述通用感知模型。

6、可选地，采用多个第二训练数据训练所述第二模型，使得所述第二模型根据所述第二训练阈值和第二随机数选择有效的第二训练数据进行机器学习，得到特征融合模型，包括：第二获取步骤，获取各类型的所述传感器对应的第二初始训练数据，所述第二初始训练数据包括所述特征融合信息和多个所述类型对应的所述路况特征信息；第二配置步骤，为各所述路况特征信息随机配置携带的所述第二随机数，得到所述融合前特征信息；第二训练步骤，采用多个所述第二训练数据训练所述第二模型，使得所述第二模型根据所述第二训练阈值，选择大于所述第二训练阈值的所述第二随机数对应的所述第二训练数据为第二目标训练数据，并采用所述第二目标训练数据进行机器学习，得到初始特征融合模型；第二计算步骤，计算所述初始特征融合模型的评价指标参数，得到第二参数，并在所述第二参数小于第二预设值的情况下，循环执行所述第二配置步骤、所述第二训练步骤以及所述第二计算步骤，直到所述第二参数大于或等于所述第二预设值，其中，相邻的两个循环过程中至少部分的所述融合前特征信息携带的所述第二随机数发生变化；第二确定步骤，在所述第二参数大于或等于所述第二预设值的情况下，确定大于或等于所述第二预设值的所述第二参数对应的所述初始特征融合模型为所述特征融合模型。

7、可选地，计算所述初始特征融合模型的评价指标参数，得到第二参数，包括：获取满足多个第二测试需求的所述第二训练数据，得到多个第二测试数据，多个所述第二测试需求包括：各所述类型对应的所述第二随机数均大于所述第二训练阈值，部分类型对应的所述第二随机数大于所述第二训练阈值；采用所述第二测试数据，计算所述初始特征融合模型的平均精确度，得到所述第二参数。

8、可选地，所述类型包括以下至少部分：可见光相机、红外相机、激光雷达、超声波雷达、毫米波雷达、红外雷达，所述路况特征信息包括bev特征图。

9、根据本技术的另一方面，提供了一种车辆的通用感知模型的训练装置，包括：第一建立单元，用于建立多个第一模型，所述第一模型为神经网络模型且配置有第一训练阈值，所述第一训练阈值为确定输入数据是否有效的阈值，所述第一模型与传感器的类型一一对应，同一个所述类型下所述传感器有多个且位于车辆的不同位置；第一训练单元，用于采用多个训练数组训练对应的所述第一模型，使得所述第一模型根据所述第一训练阈值和第一随机数选择有效的第一训练数据进行机器学习，得到多个特征提取模型，其中，所述训练数组与所述类型一一对应，所述训练数组包括对应的所述类型下各所述传感器的所述第一训练数据，所述第一训练数据包括传感器数据和路况特征信息，所述路况特征信息包括多个第一网格和路况特征，所述第一网格与对应的所述类型下各所述传感器的位置存在映射关系，所述路况特征为对所述传感器数据进行特征提取得到的，所述路况特征位于与对应的所述传感器映射的所述第一网格中，所述传感器数据携带有表征自身是否有效的所述第一随机数；确定单元，用于至少根据多个所述特征提取模型，确定所述通用感知模型。

10、根据本技术的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。

11、根据本技术的又一方面，提供了一种自动驾驶车辆，包括：车辆本体；至少一个传感器，安装在所述车辆本体上；所述车辆本体的控制器，与至少一个所述传感器连接，所述控制器包括一个或多个处理器、存储器以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。

12、应用本技术的技术方案，本技术为不同类型的传感器建立了相应的第一模型，并为第一模型配置第一训练阈值，以及为位于不同位置上的传感器的训练数据配置第一随机数，这样在采用第一训练数据训练对应类型的第一模型时，第一模型可以根据第一随机数和第一训练阈值的大小关系，来确定位于车辆不同位置上的传感器对应的第一训练数据是否有效，通过第一随机数可以控制不同位置上的传感器数据能否参与模型训练，相当于采用不同传感器安装位置对应的训练数据对第一模型进行训练，实现了对多种传感器安装位置的车辆的感知模型的训练，保证了得到的通用感知模型可以适用于各种传感器安装位置的车辆的需求，模型通用性较好。