自动驾驶的视觉感知方法、装置、计算机设备和存储介质与流程

文档序号:20780371发布日期:2020-05-19 21:11阅读:来源:国知局

技术特征:

1.一种自动驾驶的视觉感知方法,所述方法包括:

获取采集的视觉感知图像;

将所述视觉感知图像输入训练好的多任务神经网络的主干网络,通过所述主干网络提取所述视觉感知图像的共享特征,得到共享特征图;

将所述共享特征图分别输入所述多任务神经网络中的各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务的分类,输出相应任务的分类结果;

根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。

2.根据权利要求1所述的方法,其特征在于,所述分支网络包括车道线语义分割网络、车道线实例分割网络和线型分类网络;

所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务的分类,输出相应任务的分类结果,包括:

将所述共享特征图输入所述车道线语义分割网络,通过所述车道线语义分割网络基于所述共享特征图进行车道线检测,得到二进制车道线图像;

将所述共享特征图输入所述车道线实例分割网络,通过所述车道线实例分割网络基于所述共享特征图进行车道线实例分割,得到车道线实例分割图像;

将所述共享特征图输入所述线型分类网络,通过所述线型分类网络基于所述共享特征图进行车道线线型分类,得到车道线线型图像。

3.根据权利要求1所述的方法,其特征在于,所述根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,包括:

根据预设视觉感知目标从所述分类结果中提取得到二进制车道线图像、车道线实例分割图像和车道线线型图像;

将所述车道线实例分割图像对应的图像矩阵进行聚类,得到车道线实例聚类图像;

根据所述车道线实例聚类图像和所述车道线线型图像,对所述二进制车道线图像进行实例分类和线型分类,得到车道线图像;

对所述车道线图像中各车道线进行曲线拟合,并计算各所述车道线对应的车道线像素点的平均置信度,得到车道线信息。

4.根据权利要求1所述的方法,其特征在于,所述分支网络包括路面标志分类网络;

所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务的分类,输出相应任务的分类结果,包括:

将所述共享特征图输入所述路面标志分类网络,通过所述路面标志分类网络基于所述共享特征图进行路面标志的检测分类,得到路面标志分类图像。

5.根据权利要求1所述的方法,其特征在于,所述根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,包括:

根据预设视觉感知目标从所述分类结果中提取得到路面标志分类图像;

从所述路面标志分类图像中提取得到各路面标志对应的路面标志图像;

分别将各所述路面标志图像进行椭圆拟合,并计算各所述路面标志图像对应像素点的平均置信度,得到路面标志信息。

6.根据权利要求1所述的方法,其特征在于,所述分支网络包括通行区域检测网络和车辆行人实例分割网络;

所述将所述共享特征图分别输入所述多任务神经网络中的各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务分类,输出相应任务的分类结果,包括:

将所述共享特征图输入通行区域检测网络,通过所述通行区域检测网络基于所述共享特征图进行区域检测,得到区域分类图像;

将所述共享特征图输入车辆行人实例分割网络,通过所述车辆行人实例分割网络基于所述共享特征图进行车辆行人的实例分割,得到车辆行人实例分割图像。

7.根据权利要求1所述的方法,其特征在于,所述根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,包括下述至少一项:

第一项:

根据预设视觉感知目标从所述分类结果中提取得到区域分类图像;

从所述区域分类图像中提取得到可通行区域图像和路沿图像,并获取第一需求;

根据所述第一需求对所述可通行区域图像和路沿图像进行参数化,并分别计算所述可通行区域图像对应像素点的平均置信度和所述路沿图像对应像素点的平均置信度,得到通行区域路况信息;

第二项:

根据预设视觉感知目标从所述分类结果中提取得到区域分类图像和车辆行人实例分割图像;

从所述区域分类图像中提取得到车辆图像和行人图像;

对所述车辆行人实例分割图像对应的图像矩阵进行聚类,得到车辆行人实例聚类图像;

根据所述车辆行人实例聚类图像对所述车辆图像和行人图像进行实例分类,得到车辆实例图像和行人实例图像;

将所述车辆实例图像和所述行人实例图像分别进行矩阵拟合,并分别计算所述车辆实例图像对应像素点的平均置信度和所述行人实例图像对应像素点的平均置信度,得到通行区域路况信息;

第三项:

根据预设视觉感知目标从所述分类结果中提取得到区域分类图像;

从所述区域分类图像中提取得到交通标志图像;

对所述交通标志图像进行矩形拟合,并计算所述交通标志图像对应像素点的平均置信度,得到通行区域路况信息。

8.根据权利要求1所述的方法,其特征在于,所述分支网络包括路面障碍物分类网络;

所述将所述共享特征图分别输入所述多任务神经网络中各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务分类,输出相应任务的分类结果,包括:

将所述共享特征图输入所述路面障碍物分类网络,通过所述路面障碍物分类网络基于所述共享特征图进行障碍物的检测分类,得到障碍物分类图像。

9.根据权利要求1所述的方法,其特征在于,所述根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,包括:

根据预设视觉感知目标从所述分类结果中提取得到障碍物分类图像;

从所述障碍物分类图像中提取得到各障碍物对应的障碍物图像,并获取第二需求;

根据所述第二需求对所述障碍物图像进行参数化,并计算各所述障碍物图像对应像素点的平均置信度,得到路面障碍物信息。

10.根据权利要求1所述的方法,其特征在于,所述方法还包括:

获取训练数据集;所述训练数据集包括与各所述分支网络对应的多类训练样本以及各所述训练样本的标注结果;

调用所述多任务神经网络中各所述分支网络对应的数据加载器,所述数据加载器从所述训练数据集中获取各所述分支网络对应的训练样本以及所述训练样本的标注结果;

将各所述训练样本输入至待训练多任务神经网络的待训练主干网络,通过所述待训练主干网络提取所述训练样本的共享特征,得到共享样本特征图;

将所述共享样本特征图分别输入对应的所述待训练多任务神经网络中的各待训练分支网络,各所述待训练分支网络基于所述共享样本特征图分别进行对应的任务的分类,输出相应任务的训练分类结果;

根据所述训练分类结果与所述训练样本的标注结果,确定各所述分支网络的损失函数;

将各所述损失函数进行线性叠加,得到全局损失函数;

根据所述全局损失函数对得到所述训练分类结果的所述多任务神经网络进行反向传播,迭代训练,得到训练好的多任务神经网络。

11.一种自动驾驶的视觉感知装置,其特征在于,所述装置包括:

获取模块,用于获取采集的视觉感知图像;

提取模块,用于将所述视觉感知图像输入训练好的多任务神经网络的主干网络,通过所述主干网络提取所述视觉感知图像的共享特征,得到共享特征图;

分类模块,用于将所述共享特征图分别输入所述多任务神经网络中的各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务的分类,输出相应任务的分类结果;

融合模块,用于根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。

12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。

13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。


技术总结
本申请涉及一种自动驾驶的视觉感知方法、装置、计算机设备和存储介质。所述方法包括:获取采集的视觉感知图像;将所述视觉感知图像输入训练好的多任务神经网络的主干网络,通过所述主干网络提取所述视觉感知图像的共享特征,得到共享特征图;将所述共享特征图分别输入所述多任务神经网络中的各分支网络,各所述分支网络基于所述共享特征图分别进行对应的任务的分类,输出相应任务的分类结果;根据预设视觉感知目标,提取对应任务的分类结果进行融合,得到视觉感知结果,所述视觉感知结果包括车道线信息、路面标志信息、通行区域路况信息和路面障碍物信息中的至少一种。采用本方法能够提高视觉感知的精度。

技术研发人员:李宇明;刘国清;郑伟;杨广;敖争光
受保护的技术使用者:深圳佑驾创新科技有限公司
技术研发日:2019.12.27
技术公布日:2020.05.19
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1