一种基于智能驾驶的环境感知增强方法及系统与流程

本发明涉及智能驾驶，具体涉及一种基于智能驾驶的环境感知增强方法及系统。

背景技术：

1、智能驾驶中环境感知最常用的是摄像头，它和人类的眼睛最接近，可以看清有颜色的标识、物体，看得懂字体，分得清红绿灯。但是缺点也不少，比如在夜晚或恶劣的天气下视力就严重下降，也不擅长远距离观察，其次是激光雷达。比较常见的是在车顶，像是顶不停旋转的帽子。原理是通过计算激光束的反射时间和波长，可以完成绘制周边障碍物的3d图，而短板则是无法识别图像和颜色。

2、现有技术中在智能驾驶的环境感知中会将激光雷达和摄像头相结合，达到多源信息的环境感知，提升环境感知的精度，但是利用多源信息进行环境感知必然会提升信息的冗余性，降低环境感知的效率，过长的环境感知过程会造成路面交通拥堵，因此，难以满足智能驾驶对环境感知的时效性需求。

技术实现思路

1、本发明的目的在于提供一种基于智能驾驶的环境感知增强方法及系统，以解决现有技术中利用多源信息进行环境感知必然会提升信息的冗余性，降低环境感知的效率，难以满足智能驾驶对环境感知的时效性需求的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、一种基于智能驾驶的环境感知增强方法，包括以下步骤：

4、通过车辆上装载的激光雷达采集行车环境的雷达扫描数据，并基于行车环境的雷达数据构建行车环境的三维点云数据；

5、通过车辆上装载的工业相机采集行车环境的视觉图像数据；；

6、在所述行车环境的三维点云数据中提取体素特征，并对体素特征进行重要性识别，得到三维点云数据中用于在行车环境中感知障碍物形态与定位的增强型体素特征；

7、在行车环境的视觉图像数据中提取多尺度特征，并利用增强型体素特征对多尺度特征进行投影筛选，得到视觉图像中用于在行车环境中感知障碍物纹理与色彩的增强型像素特征；

8、将所述增强型体素特征和增强型像素特征进行特征融合得到多源环境特征，利用分类器和回归器对多源环境特征进行障碍物检测，得到行车环境中障碍物的目标位置和目标类别。

9、作为本发明的一种优选方案，所述行车环境的三维点云数据的构建方法包括：

10、在所述雷达扫描数据中对激光测距值、水平角度值、垂直角度值以及激光通道的水平偏移角度进行三维坐标换算，得到行车环境中各物体的三维坐标数据；

11、所述三维坐标数据的换算公式为：

12、

13、式中，xkj为行车环境中激光雷达的第j个通道对应的第k个物体的x轴坐标，ykj为行车环境中激光雷达的第j个通道对应的第k个物体的y轴坐标，zkj为行车环境中激光雷达的第j个通道对应的第k个物体的z轴坐标，rkj为行车环境中激光雷达的第j个通道扫描第k个物体的激光测距值，αkj为行车环境中激光雷达的第j个通道扫描第k个物体的水平角度值，δkj为行车环境中激光雷达的第j个通道扫描第k个物体存在的水平偏移角度值，βkj为行车环境中激光雷达的第j个通道扫描第k个物体的垂直角度值；

14、其中，行车环境中第k个物体的三维坐标数据为{(xkj,ykj,zkj)|j∈[1,n]}，式中，(xkj,ykj,zkj)为行车环境中激光雷达的第j个通道对应的第k个物体的三维坐标，n为激光雷达的通道数量；将各个物体的三维坐标数据组合构成行车环境的三维点云数据，所述行车环境的三维点云数据为：{(xkj,ykj,zkj)|j∈[1,n],k∈[1,m]}，式中，m为行车环境中物体的总数量。

15、作为本发明的一种优选方案，所述体素特征的提取方法包括：

16、将行车环境的三维点云数据利用体素网格(d,h,w)转换为体素表示，得到行车环境的体素表示为：

17、

18、式中，(dj,hj,wj)为行车环境中激光雷达的第j个通道对应的体素坐标，dj为行车环境中激光雷达的第j个通道对应的体素的x轴维度坐标，hj为行车环境中激光雷达的第j个通道对应的体素的y轴维度坐标，wj为行车环境中激光雷达的第j个通道对应的体素的z轴维度坐标，d为体素网格的x轴尺寸，h为体素网格的y轴尺寸，w为体素网格的z轴尺寸，d为体素在x轴上的维度，h为体素在y轴上的维度，w为体素在z轴上的维度，为行车环境所有物体在x轴上形成的总尺寸，为行车环境所有物体在y轴上形成的总尺寸，为行车环境所有物体在z轴上形成的总尺寸；

19、在行车环境的各个体素中进行关键体素识别，并将体素关键程度超预设阈值的体素标记为关键体素，所述关键体素识别公式为：式中，lj,dhw为行车环境中激光雷达的第j个通道对应的第d，h，w维度体素的关键程度，(xjo,yjo,zjo)为第d，h，w维度体素中第o个三维点云数据，(xjp,yjp,zjp)为第d，h，w维度体素中第p个三维点云数据，||(xjo,yjo,zjo)-(xjp,yjp,zjp)||22为(xjo,yjo,zjo)和(xjp,yjp,zjp)之间的l2范数式，n为体素网格中包含的三维点云数据总数量；

20、将行车环境的关键体素输入至全连接层提取出行车环境的关键体素特征，以及将行车环境的各个体素输入至全连接层提取出行车环境的全体素特征；

21、将所述全体素特征与关键体素特征进行对应坐标融合，得到关键信息突出的体素特征。

22、作为本发明的一种优选方案，所述体素特征的重要性识别方法包括：

23、将所述体素特征通过sigmoid函数获得体素特征的重要性概率分布图；

24、依据重要性概率分布图，将重要性概率超预设阈值的体素体征进行提取作为增强型体素特征。

25、作为本发明的一种优选方案，利用特征金字塔在行车环境的视觉图像中进行多尺度特征的提取。

26、作为本发明的一种优选方案，所述多尺度特征的投影筛选方法包括：

27、将增强型体素特征的中心点投影至图像特征图中，根据体素中心点在特征图上的投影位置选出对应的多尺度特征；

28、将选取出的多尺度特征重新组合为与增强型体素特征相同大小的特征，得到增强型像素特征。

29、作为本发明的一种优选方案，将增强型体素特征和增强型像素特征在对应位置进行特征相乘，融合得到所述多源环境特征。

30、作为本发明的一种优选方案，分类器和回归器对多源环境特征检测的损失函数包括分类器损失和回归器损失，其中，分类器损失为softmax函数损失，以及回归器损失为smoothl1函数损失。

31、作为本发明的一种优选方案，所述多源环境特征在进入分类器和回归器前进行了最大池化处理。

32、作为本发明的一种优选方案，本发明提供了一种基于智能驾驶的环境感知增强系统，应用于一种基于智能驾驶的环境感知增强方法，系统包括：

33、激光雷达，用于采集行车环境的雷达扫描数据；

34、工业相机，用于采集行车环境的视觉图像数据；

35、数据预处理单元，用于基于行车环境的雷达数据构建行车环境的三维点云数据；

36、特征处理单元，用于在所述行车环境的三维点云数据中提取体素特征，并对体素特征进行重要性识别，得到三维点云数据中用于在行车环境中感知障碍物形态与定位的增强型体素特征；

37、用于在行车环境的视觉图像数据中提取多尺度特征，并利用增强型体素特征对多尺度特征进行投影筛选，得到视觉图像中用于在行车环境中感知障碍物纹理与色彩的增强型像素特征；

38、以及，用于将所述增强型体素特征和增强型像素特征进行特征融合得到多源环境特征；

39、障碍检测单元，用于利用分类器和回归器对多源环境特征进行障碍物检测，得到行车环境中障碍物的目标位置和目标类别。

40、本发明与现有技术相比较具有如下有益效果：

41、本发明在雷达扫描数据和视觉图像数据的特征提取方面，均进行了特征增强，实现在多源信息中提取出用于环境障碍物感知的有效特征，摒除冗余特征，提升利用多源信息对障碍物感知的效率，满足智能驾驶对环境感知的时效性需求。