一种矿区路面阻碍行驶对象的识别方法与流程

1.本技术涉及数据处理技术领域，尤其是涉及到一种矿区路面阻碍行驶对象的识别方法。


背景技术：

2.矿区环境具有地形复杂、障碍物多样的特点，为了确保矿车自动驾驶的安全性，要求矿车能够准确识别矿区道路中的障碍物。
3.而矿区中落石、车辙和水坑等目标对象，其形状多变，体积大小不一，并且和道路颜色相近、不易分辨，导致很难识别出来，由此会给矿车自动驾驶带来的巨大安全隐患。


技术实现要素：

4.有鉴于此，本技术提供了一种矿区路面阻碍行驶对象的识别方法，实现了对矿区路面上不易检测的阻碍行驶对象的精准识别以及进行阻碍行驶对象的形体和位置的输出。
5.第一方面，本技术实施例提供了一种矿区路面阻碍行驶对象的识别方法，包括：通过图像采集装置获取矿区路面图像，以及通过激光雷达获取与矿区路面图像对应的激光雷达点云数据；根据已构建的多任务路面检测与分割模型，识别矿区路面图像中的阻碍行驶对象；根据图像采集装置与激光雷达之间的预设标定关系、激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据；根据目标激光雷达点云数据，确定阻碍行驶对象在三维空间的形体和位置；其中，多任务路面检测与分割模型包括特征提取结构、特征提纯结构和多任务预测结构，特征提取结构用于提取矿区路面图像中的特征，并对提取的特征进行特征增强处理，输出第一特征，特征提纯结构用于对第一特征进行特征提纯处理，输出第二特征，多任务预测结构用于对第二特征进行预测识别，输出对阻碍行驶对象的检测与分割结果。
6.根据本技术实施例的上述方法，还可以具有以下附加技术特征：
7.在上述技术方案中，可选地，阻碍行驶对象包括以下至少一项：落石、车辙和水坑。
8.在上述任一技术方案中，可选地，特征提取结构包括主干网络、第一特征增强模块、第二特征增强模块、第一融合模块、第二融合模块以及拼接模块；其中，主干网络根据矿区路面图像生成多个第一层特征；第一特征增强模块对多个第一层特征中的第一最深层特征进行特征增强处理，输出第一增强特征；第一融合模块利用第一增强特征分别对多个第一层特征进行融合，输出多个第二层特征；第二特征增强模块对多个第二层特征中的第二最深层特征进行特征增强处理，输出第二增强特征；第二融合模块利用第二增强特征分别对多个第二层特征进行融合，输出多个第三层特征；拼接模块对多个第三层特征进行拼接合并，输出第一特征。
9.在上述任一技术方案中，可选地，多个第一层特征包括第一子特征、第二子特征、第三子特征以及第四子特征，其中第四子特征即为第一最深层特征，多个第二层特征包括第五子特征、第六子特征以及第七子特征，其中第五子特征即为第二最深层特征，多个第三
层特征包括第八子特征、第九子特征以及第十子特征；特征提取结构还包括多个卷积模块，第一融合模块包括第一子融合模块、第二子融合模块以及第三子融合模块，第二融合模块包括第四子融合模块、第五子融合模块以及第六子融合模块；其中，第一子特征、第二子特征、第三子特征以及第四子特征分别经过一个卷积模块进行卷积处理，第一特征增强模块对卷积处理后的第四子特征进行特征增强处理，输出第一增强特征；第一子融合模块将第一增强特征与卷积处理后的第四子特征进行融合处理，输出第五子特征；第二子融合模块将进行采样操作后的第五子特征与卷积处理后的第三子特征进行融合处理，输出第六子特征；第三子融合模块将进行采样操作后的第六子特征与卷积处理后的第二子特征进行融合处理，输出第七子特征；第五子特征、第六子特征以及第七子特征分别经过一个卷积模块进行卷积处理，第二特征增强模块对卷积处理后的第五子特征进行特征增强处理，输出第二增强特征，第四子融合模块将第二增强特征与卷积处理后的第五子特征进行融合处理，输出第八子特征；第五子融合模块将进行采样操作后的第八子特征与卷积处理后的第六子特征进行融合处理，输出第九子特征；第六子融合模块将进行采样操作后的第九子特征与卷积处理后的第七子特征进行融合处理，输出第十子特征；第九子特征、第十子特征分别经过一个卷积模块进行卷积处理，拼接模块对第八子特征、经过卷积处理后的第九子特征和第十子特征进行拼接合并，输出第一特征。
10.在上述任一技术方案中，可选地，第一特征增强模块或第二特征增强模块，包括第三融合模块以及并联的第一捷径连接结构、第一空洞卷积层、第二空洞卷积层，其中，第一空洞卷积层的扩张率与第二空洞卷积层的扩张率不相等。
11.在上述任一技术方案中，可选地，第一特征增强模块或第二特征增强模块，包括第四融合模块以及并联的第二捷径连接结构、标准卷积层、第三空洞卷积层、第四空洞卷积层，其中，第三空洞卷积层的扩张率与第四空洞卷积层的扩张率不相等。
12.在上述任一技术方案中，可选地，特征提纯结构包括第三捷径连接结构、通道注意力模块、空间注意力模块、第五融合模块、第六融合模块以及第七融合模块；其中，第三捷径连接结构直接传递第一特征，通道注意力模块在通道维度对第一特征进行特征提纯处理，输出第一提纯特征，空间注意力模块在空间维度对第一特征进行特征提纯处理，输出第二提纯特征，第五融合模块对由第三捷径连接结构传递的第一特征与第一提纯特征进行融合处理，输出第一提纯融合特征，第六融合模块对由第三捷径连接结构传递的第一特征与第二提纯特征进行融合处理，输出第二提纯融合特征，第七融合模块将第一提纯融合特征和第二提纯融合特征进行融合处理，输出第二特征。
13.在上述任一技术方案中，可选地，根据图像采集装置与激光雷达之间的预设标定关系、激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据，包括：根据图像采集装置与激光雷达之间的预设标定关系，将激光雷达点云数据投影至矿区路面图像，获取激光雷达点云数据与矿区路面图像的像素点之间的映射关系；基于映射关系，获取阻碍行驶对象对应的目标激光雷达点云数据。
14.在上述任一技术方案中，可选地，通过图像采集装置获取矿区路面图像，包括：通过图像采集装置采集矿区图像，并对矿区图像进行裁剪，得到矿区图像中的矿区路面图像。
15.在上述任一技术方案中，可选地，在通过图像采集装置获取矿区路面图像，以及通过激光雷达获取与矿区路面图像对应的激光雷达点云数据之前，还包括：通过图像采集装
置采集路面样本图像，并标注路面样本图像中的样本对象的形体、位置和类别；根据标注后的路面样本图像训练模型，构建多任务路面检测与分割模型。
16.第二方面，本技术实施例提供了一种矿区路面阻碍行驶对象的识别装置，包括：数据获取模块，用于通过图像采集装置获取矿区路面图像，以及通过激光雷达获取与矿区路面图像对应的激光雷达点云数据；识别模块，用于根据已构建的多任务路面检测与分割模型，识别矿区路面图像中的阻碍行驶对象；后处理模块，用于根据图像采集装置与激光雷达之间的预设标定关系、激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据，以及根据目标激光雷达点云数据，确定阻碍行驶对象在三维空间的形体和位置；其中，多任务路面检测与分割模型包括特征提取结构、特征提纯结构和多任务预测结构，特征提取结构用于提取矿区路面图像中的特征，并对提取的特征进行特征增强处理，输出第一特征，特征提纯结构用于对第一特征进行特征提纯处理，输出第二特征，多任务预测结构用于对第二特征进行预测识别，输出对阻碍行驶对象的检测与分割结果。
17.第三方面，本技术实施例提供了一种芯片，该芯片包括至少一个处理器和通信接口，通信接口和至少一个处理器耦合，至少一个处理器用于运行程序或指令，以实现如第一方面的矿区路面阻碍行驶对象的识别方法的步骤。
18.第四方面，本技术实施例提供了一种终端，该终端包括如第二方面的矿区路面阻碍行驶对象的识别装置。
19.第五方面，本技术实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如第一方面的矿区路面阻碍行驶对象的识别方法的步骤。
20.第六方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面的矿区路面阻碍行驶对象的识别方法的步骤。
21.在本技术实施例中，获取采集时间同步的矿区路面图像和激光雷达点云数据，再根据已构建的多任务路面检测与分割模型对矿区路面图像进行检测与语义分割，以识别其中的阻碍行驶对象，再根据后处理方法通过激光雷达与图像进行融合的方式估计阻碍行驶对象的三维空间形体和位置。具体地，多任务路面检测与分割模型中的特征提取结构具有特征提取和特征增强的功能，能够对不同层次的语义特征进行提取并将其提取到的语义特征进行语义增强，从而获取到丰富的上下文语义信息，增强了落石、车辙和水坑等不易检测的特殊目标特征的显著性，提高了多任务路面检测与分割模型对特殊目标特征的识别能力。多任务路面检测与分割模型中的特征提纯结构能够在通道、空间等不同维度对特征提取结构输出的第一特征进行特征提纯，提高了多任务路面检测与分割模型对重点区域和目标的关注，进而有利于实现对落石、车辙和水坑等不易检测的特殊目标特征的精准提取，进一步地提高对特殊目标特征的识别能力。多任务路面检测与分割模型中的多任务预测结构负责对特征提纯结构输出的第二特征进行目标预测，输出对阻碍行驶对象的检测与语义分割结果。
22.本技术实施例，通过具有特征增强、特征提纯功能的多任务路面检测与分割模型，对矿区路面图像中的阻碍行驶对象进行类别识别，以及根据激光雷达点云数据与矿区路面图像之间的映射关系，对阻碍行驶对象的形体和位置进行识别，最终实现对矿区路面上不
易检测的阻碍行驶对象的精准识别，能够保证矿车自动驾驶决策规划的准确性。
23.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
24.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
25.图1示出了本技术实施例的矿区路面阻碍行驶对象的识别方法的流程示意图；
26.图2示出了本技术实施例的多任务路面检测与分割模型的结构示意图；
27.图3示出了本技术实施例的主干网络的基础模块的结构示意图；
28.图4示出了本技术实施例的特征增强模块的结构示意图之一；
29.图5示出了本技术实施例的特征增强模块的结构示意图之二；
30.图6示出了本技术实施例的矿区路面阻碍行驶对象的识别装置的结构框图；
31.图7示出了本技术实施例的芯片的结构示意框图；
32.图8示出了本技术实施例的终端的结构示意框图；
33.图9示出了本技术实施例的计算机设备的结构示意框图。
具体实施方式
34.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
35.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
36.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的矿区路面阻碍行驶对象的识别方法、矿区路面阻碍行驶对象的识别装置、芯片、终端、计算机设备以及计算机可读存储介质进行详细地说明。
37.本技术实施例提供了一种矿区路面阻碍行驶对象的识别方法，如图1所示，该方法包括：
38.步骤101，通过图像采集装置获取矿区路面图像，以及通过激光雷达获取与矿区路面图像对应的激光雷达点云数据。
39.通过图像采集装置(例如，相机)获取矿区路面图像，以及通过激光雷达获取与矿区路面图像对应的激光雷达点云数据，其中，矿区路面图像和激光雷达点云数据的采集时间同步，例如，可通过软同步方式将图像采集装置与激光雷达进行时间同步。软同步的方式是利用时间戳进行不同传感器的匹配，通常是将各传感器数据统一到扫描周期较长的传感
器数据上，例如，如果激光雷达和相机相比，激光雷达的扫描周期大，则以激光雷达的采样频率为基准进行匹配，传感器的每个采样时刻记录在统一的时间序列上，当激光雷达完成一次采样时，寻找与该采样时刻最近邻时刻的图像，这样便完成了激光雷达点云数据与矿区路面图像数据的时间匹配。
40.步骤102，根据已构建的多任务路面检测与分割模型，识别矿区路面图像中的阻碍行驶对象。
41.其中，多任务路面检测与分割模型包括特征提取结构、特征提纯结构和多任务预测结构，特征提取结构用于提取矿区路面图像中的特征，并对提取的特征进行特征增强处理，输出第一特征，特征提纯结构用于对第一特征进行特征提纯处理，输出第二特征，多任务预测结构用于对第二特征进行预测识别，输出对阻碍行驶对象的检测与分割结果。
42.上述阻碍行驶对象为不易检测的特殊目标特征，其类别包括但不限于落石、车辙、水坑等。
43.根据已构建的多任务路面检测与分割模型对矿区路面图像进行检测与语义分割，以识别其中的阻碍行驶对象。具体地，多任务路面检测与分割模型中的特征提取结构具有特征提取和特征增强的功能，能够对不同层次的语义特征进行提取并将其提取到的语义特征进行语义增强，从而获取到丰富的上下文语义信息，增强了落石、车辙和水坑等不易检测的特殊目标特征的显著性，提高了多任务路面检测与分割模型对特殊目标特征的识别能力。
44.多任务路面检测与分割模型中的特征提纯结构能够在通道、空间等不同维度对特征提取结构输出的第一特征进行特征提纯，提高了多任务路面检测与分割模型对重点区域和目标的关注，进而有利于实现对落石、车辙和水坑等不易检测的目标特征的精准提取，进一步地提高对特殊目标特征的识别能力。
45.多任务路面检测与分割模型中的多任务预测结构负责对特征提纯结构输出的第二特征进行预测识别，输出对阻碍行驶对象的检测和语义分割结果，也即，得到矿区路面图像中阻碍行驶对象的类别。
46.需要说明的是，多任务是指预测结构包括两个输出，一个为目标检测分支来预测目标，体现在用矩形框包围起来；另一个为语义分割分支来预测目标，表现为用包络包围起来。通过该结构，能够适用于识别不同类别的对象，例如，对于落石、水坑适合用矩形框来圈定，而用矩形框并不能很好地圈定车辙，所以车辙则适合用包络闭合区域来圈定。
47.步骤103，根据图像采集装置与激光雷达之间的预设标定关系、激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据。
48.步骤104，根据目标激光雷达点云数据，确定阻碍行驶对象在三维空间的形体和位置。
49.步骤105，输出阻碍行驶对象的类别、形体以及位置。
50.进一步地，根据图像采集装置与激光雷达之间的外参标定关系，基于激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据，并根据目标激光雷达点云数据得到该阻碍行驶对象在三维空间的形体和位置，其中，三维空间即对应于矿区空间，阻碍行驶对象的形体包括形状和体积。
51.具体地，对于车辙阻碍行驶对象，通过对其目标激光雷达点云数据进行点云聚类
和点云凸包搜索后处理方法，得到阻碍行驶对象图像区域包络点云，从而确定阻碍行驶对象的形体和空间位置；或者，对于落石、水坑阻碍行驶对象，对其目标激光雷达点云数据进行边框拟合，获得阻碍行驶对象的空间矩形边框，确定其形体和空间位置。其中，点云聚类采用欧式聚类算法，欧式聚类算法是利用点云中点与点之间的欧式距离进行聚类，当点与点之间的欧式距离小于设定的阈值时则视为一类。点云凸包搜索采用graham扫描算法，通过不断在凸壳中加入新的点和去除影响凸性的点，最后形成凸包。
52.本技术实施例，通过具有特征增强、特征提纯功能的多任务路面检测与分割模型，对矿区路面图像中的阻碍行驶对象进行类别识别，以及根据激光雷达点云数据与矿区路面图像之间的映射关系，对阻碍行驶对象的形体和位置进行识别，最终实现对矿区路面上不易检测的阻碍行驶对象的精准识别，能够保证矿车自动驾驶决策规划的准确性。
53.在本技术的一个实施例中，根据图像采集装置与激光雷达之间的预设标定关系、激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据的步骤，具体包括：根据图像采集装置与激光雷达之间的预设标定关系，将激光雷达点云数据投影至矿区路面图像，获取激光雷达点云数据与矿区路面图像的像素点之间的映射关系；基于映射关系，获取阻碍行驶对象对应的目标激光雷达点云数据。
54.在该实施例中，根据图像采集装置与激光雷达之间的预设标定关系，将激光雷达点云数据投影到获取的矿区路面图像上，获得激光雷达点云数据与矿区路面图像像素点的映射关系。具体地，通过完成激光雷达世界坐标系
→
相机坐标系
→
像平面坐标系
→
像素坐标系的坐标转换，实现3d激光雷达点云数据到2d矿区路面图像的投影，获得激光雷达点云数据与2d矿区路面图像的映射关系。再基于映射关系，将阻碍行驶对象的检测与分割结果反投影至三维点云空间，获得阻碍行驶对象对应的目标激光雷达点云数据。
55.通过上述方式，能够准确地获取到矿区路面图像中阻碍行驶对象的目标激光雷达点云数据，为后续确定阻碍行驶对象的形体和位置提供数据基础。
56.在本技术的一个实施例中，获取矿区路面图像及激光雷达点云数据的步骤，具体包括：通过图像采集装置采集矿区图像，并对矿区图像进行裁剪，得到矿区图像中的矿区路面图像；以及，通过激光雷达采集激光雷达点云数据，并对激光雷达点云数据进行软同步，得到与矿区路面图像采集时间同步的激光雷达点云数据。
57.在该实施例中，通过图像采集装置实时采集矿区图像，由于落石、车辙和水坑只出现在地面，因此需要对实时获取到的矿区图像进行裁剪，去除冗余部分，只保留路面部分，从而降低后续识别难度，提升运行速度。
58.本技术实施例中，对矿区图像进行裁剪是指，识别矿区图像，将其划分为路面区域和其他背景区域，再将路面区域的外接矩形分割出来，以得到矿区路面图像，由此能够排除背景区域的干扰，更专注对路面上的对象的识别。
59.在采集了激光雷达点云数据后，对其与矿区路面图像进行时间同步，确保后续对矿区路面图像中阻碍行驶对象的激光雷达点云数据确定的准确性，进而保证对阻碍行驶对象的形体和位置识别的准确性。
60.在本技术的一个实施例中，在获取矿区路面图像及其对应的激光雷达点云数据之前，还包括：通过图像采集装置采集路面样本图像，并标注路面样本图像中的样本对象的形体、位置和类别；根据标注后的路面样本图像训练模型，构建多任务路面检测与分割模型。
61.在该实施例中，通过图像采集装置在矿区中包含落石、车辙和水坑的场景进行图像采集，得到包含落石、车辙和水坑的路面样本图像集。进一步地，利用标注工具标注路面样本图像中的落石、车辙和水坑的形体、位置和类别。最后，基于深度学习模型，利用标注后的路面样本图像进行模型训练，构建出用于识别落石、车辙和水坑等特殊目标特征的多任务路面检测与分割模型。
62.通过上述方式，构建出精准的多任务路面检测与分割模型，方便进行落石、车辙和水坑等特殊目标特征的检测与语义分割。
63.下面结合图2至图5，对本技术实施例中多任务路面检测与分割模型检测阻碍行驶对象进行详细说明：
64.多任务路面检测与分割模型的结构如图2所示，多任务路面检测与分割模型包括特征提取结构、特征提纯结构和多任务预测结构。
65.特征提取结构为多尺度特征提取结构，能够提取矿区路面图像不同尺度的特征，并进行特征增强和融合，实现落石、车辙和水坑等特征的有效提取。特征提取结构包括主干网络、第一特征增强模块、第二特征增强模块、第一融合模块、第二融合模块、拼接模块以及多个卷积模块，第一融合模块包括第一子融合模块、第二子融合模块、第三子融合模块，第二融合模块包括第四子融合模块、第五子融合模块、第六子融合模块，卷积模块可以为3
×
3卷积模块。
66.主干网络由基础模块搭建而成，每个基础模块为一个残差结构，基础模块的数量为33个。如图3所示，一个基础模块包括两个1
×
1卷积单元和一个3
×
3卷积单元。通过主干网络将矿区路面图像生成多个第一层特征，包括第一子特征a1、第二子特征a2、第三子特征a3以及第四子特征a4，主干网络输出的第一子特征a1、第二子特征a2、第三子特征a3以及第四子特征a4再分别经过3
×
3卷积模块进行计算，然后等待后续的处理。
67.为了提升对落石、车辙和水坑的感知能力，本技术实施例提出了特征增强模块。如图2所示，第一特征增强模块对多个第一层特征中的最深层特征，也即第四子特征a4进行特征增强处理，输出第一增强特征，该第一增强特征与经过3
×
3卷积处理过后的第四子特征a4，通过第一子融合模块进行加法融合得到第五子特征b3。
68.第五子特征b3被执行采样操作(例如，上采样操作)尺寸扩大一倍后向下传递，与经过3
×
3卷积处理过后的第三子特征a3通过第二子融合模块进行加法融合得到第六子特征b2。第六子特征b2被执行采样操作(例如，上采样操作)尺寸扩大一倍后向下传递，与经过3
×
3卷积处理过后的第二子特征a2通过第三子融合模块进行加法融合得到第七子特征b1。其中，第五子特征b3、第六子特征b2和第七子特征b1即为多个第二层特征。
69.同理，可由第五子特征b3、第六子特征b2和第七子特征b1生成第八子特征c3、第九子特征c2和第十子特征c1。具体地，第五子特征b3、第六子特征b2和第七子特征b1分别经过3
×
3卷积模块进行计算。第二特征增强模块对多个第二层特征中的最深层特征，也即第五子特征b3进行特征增强处理，输出第二增强特征，该第二增强特征与经过3
×
3卷积处理过后的第六子特征b2，通过第四子融合模块进行加法融合得到第八子特征c3。
70.第八子特征c3被执行采样操作(例如，上采样操作或者下采样操作)尺寸扩大一倍后向下传递，与经过3
×
3卷积处理过后的第六子特征b2通过第五子融合模块进行加法融合得到第九子特征c2。第九子特征c2被执行采样操作(例如，上采样操作或者下采样操作)尺
寸扩大一倍后向下传递，与经过3
×
3卷积处理过后的第七子特征b1通过第六子融合模块进行加法融合得到第十子特征c1。
71.得到第八子特征c3、第九子特征c2和第十子特征c1后，对第九子特征c2和第十子特征c1分别进行3
×
3卷积处理，使得二者与第八子特征c3具有相同尺寸，之后再通过拼接模块c与第八子特征c3实现拼接合并，输出第一特征d。
72.上述第一特征增强模块和第二特征增强模块的结构可以相同。
73.在本技术的一个实施例中，如图4所示，特征增强模块包括三条并联支路结构和一个融合结构，一个融合结构为第三融合模块，三条并联支路分别为第一捷径连接结构、卷积核大小为3
×
3、扩张率为2(也即r＝2)的第一空洞卷积层、卷积核大小为3
×
3、扩张率为4(也即r＝4)的第二空洞卷积层。其中，第一捷径连接结构直接传递输入信息，保证特征完整性，另外两条支路通过扩张率不同的空洞卷积实现不同程度地扩大卷积的感受野，提高对特殊目标的识别能力。
74.特征增强模块接收最深层特征(也即，第四子特征a4或第五子特征b3)，利用三条并联支路分别对输入的最深层特征进行处理，第一条支路为第一捷径连接结构，该结构直接传递输入特征；第二条支路为扩张率为2的第一空洞卷积层，该结构将卷积感受野扩大了一倍，且不改变输入特征的尺寸大小；第三条支路为扩张率为4的第二空洞卷积层，该结构将卷积感受野扩大了两倍，且不改变输入特征的尺寸大小。输入的最深层特征经三条支路处理后，由第三融合模块对三条支路输出的结果进行加法融合，得到融合结果，也即第一增强特征或第二增强特征。
75.在本技术的另一个实施例中，如图5所示，特征增强模块包括四条并联支路结构和一个融合结构，一个融合结构为第四融合模块，四条并联支路分别为第二捷径连接结构、卷积核大小为3
×
3的标准卷积层、卷积核大小为3
×
3、扩张率为2(也即r＝2)的第三空洞卷积层、卷积核大小为3
×
3、扩张率为4(也即r＝4)的第四空洞卷积层，增加的标准卷积层提高了特征层次的丰富性和完整性，可进一步提升多任务路面检测与分割模型的精度。
76.图4所示的特征增强模块通过捷径连接支路和空洞卷积支路分别获得了原始特征和不同感受野下的空洞卷积特征，提高了多任务路面检测与语义分割模型在上下文语义理解上的能力，有利于对落石、车辙和水坑等特殊目标进行分析和识别。图5所示的特征增强模块，又增加了标准卷积支路对原始特征进行卷积计算，可使多任务路面检测与语义分割模型获得更为丰富的特征层次，构建更为完整的层次体系，进一步增强了模型对特殊目标的检测能力。因此，在计算量允许的条件下，可以考虑采用图5所示的特征增强模块来提升多任务路面检测与分割模型的精度。在实际应用中既可以是的第一、第二特征增强模块同时使用如图4所示的结构，也可以同时使用如图5所示的结构，亦可第一特征增强模块使用如图4所示的结构、第二特征增强模块使用如图5所示的结构，本技术对特征增强模块的具体应用不做进一步限定。
77.本技术实施例中，特征提纯结构利用通道注意力模块和空间注意力模块分别在通道和空间(包括长、宽)这两个维度对落石、车辙和水坑的特征进行特征提纯处理，使其特征信息更加显著，更能够被准确检测与语义分割。
78.如图2所示，特征提纯结构接收到第一特征d后，会通过三条支路对其进行处理，三条支路分别为通道注意力模块、空间注意力模块和第三捷径连接结构，第三捷径连接结构
直接传递第一特征d，通道注意力模块在通道维度对第一特征d进行特征提纯处理，输出第一提纯特征，空间注意力模块在空间维度对第一特征d进行特征提纯处理，输出第二提纯特征。
79.然后，利用第五融合模块对通道注意力模块和第三捷径连接结构的输出结果进行乘法融合，得到第一提纯融合特征d1，利用第六融合模块对空间注意力模块和第三捷径连接结构的输出结果进行乘法融合，得到第二提纯融合特征d2。最后，利用第七融合模块将第一提纯融合特征d1和第二提纯融合特征d2进行加法融合，输出最终的提纯融合特征，也即第二特征。
80.多任务预测结构负责对特征提纯结构输出的第二特征进行目标预测，输出目标检测结果和语义分割结果。
81.综上所述，本技术基于深度学习的矿区道路落石、车辙和水坑的多任务路面检测与语义分割模型主要包括三部分，分别为特征提取结构、特征提纯结构和多任务预测结构。特征提取结构对输入的矿区路面图像进行特征提取，通过特征增强模块来增强特征的表达能力，提高矿区路面图像中落石、车辙和水坑目标特征的显著性；特征提纯结构负责对提取到的特征进行提纯，利用空间注意力模块和通道注意力模块对包含落石、车辙和水坑的特征信息进行重点提取，获得落石、车辙和水坑的高质量特征；多任务预测结构对提纯后的特征进行预测识别，生成对落石、车辙和水坑等阻碍行驶对象的检测与语义分割结果。并且，基于与阻碍行驶对象对应的激光雷达点云数据，根据后处理方法通过激光雷达与图像进行融合的方式估计阻碍行驶对象的三维空间形体和位置。最终，实现对矿区路面上不易检测的阻碍行驶对象的精准识别，保证矿车自动驾驶决策规划的准确性。
82.作为上述矿区路面阻碍行驶对象的识别方法的具体实现，本技术实施例提供了一种矿区路面阻碍行驶对象的识别装置。如图6所示，该矿区路面阻碍行驶对象的识别装置600包括：数据获取模块601、识别模块602以及后处理模块603。
83.数据获取模块601，用于通过图像采集装置获取矿区路面图像，以及通过激光雷达获取与矿区路面图像对应的激光雷达点云数据；识别模块602，用于根据已构建的多任务路面检测与分割模型，识别矿区路面图像中的阻碍行驶对象；后处理模块603，用于根据图像采集装置与激光雷达之间的预设标定关系、激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据，以及根据目标激光雷达点云数据，确定阻碍行驶对象在三维空间的形体和位置；其中，多任务路面检测与分割模型包括特征提取结构、特征提纯结构和多任务预测结构，特征提取结构用于提取矿区路面图像中的特征，并对提取的特征进行特征增强处理，输出第一特征，特征提纯结构用于对第一特征进行特征提纯处理，输出第二特征，多任务预测结构用于对第二特征进行预测识别，输出对阻碍行驶对象的检测与分割结果。
84.在该实施例中，获取采集时间同步的矿区路面图像和激光雷达点云数据，再根据已构建的多任务路面检测与分割模型对矿区路面图像进行检测与语义分割，以识别其中的阻碍行驶对象。
85.具体地，多任务路面检测与分割模型中的特征提取结构具有特征提取和特征增强的功能，能够对不同层次的语义特征进行提取并将其提取到的语义特征进行语义增强，从而获取到丰富的上下文语义信息，增强了落石、车辙和水坑等不易检测的特殊目标特征的显著性，提高了多任务路面检测与分割模型对特殊目标特征的识别能力。多任务路面检测
与分割模型中的特征提纯结构能够在通道、空间等不同维度对特征提取结构输出的第一特征进行特征提纯，提高了多任务路面检测与分割模型对重点区域和目标的关注，进而有利于实现对落石、车辙和水坑等不易检测的特殊目标特征的精准提取，进一步地提高对特殊目标特征的识别能力。多任务路面检测与分割模型中的多任务预测结构负责对特征提纯结构输出的第二特征进行目标预测，输出对阻碍行驶对象的检测与语义分割结果。
86.进一步地，根据图像采集装置与激光雷达之间的外参标定关系，基于激光雷达点云数据，获取阻碍行驶对象对应的目标激光雷达点云数据，并对目标激光雷达点云数据进行聚类后处理，得到该阻碍行驶对象在三维空间的形体和位置，其中，三维空间即对应于矿区空间，阻碍行驶对象的形体包括形状和体积。
87.本技术实施例，通过具有特征增强、特征提纯功能的多任务路面检测与分割模型，对矿区路面图像中的阻碍行驶对象进行类别识别，以及根据激光雷达点云数据与矿区路面图像之间的映射关系，对阻碍行驶对象的形体和位置进行识别，最终实现对矿区路面上不易检测的阻碍行驶对象的精准识别，能够保证矿车自动驾驶决策规划的准确性。
88.进一步地，阻碍行驶对象包括以下至少一项：落石、车辙和水坑。
89.进一步地，特征提取结构包括主干网络、第一特征增强模块、第二特征增强模块、第一融合模块、第二融合模块以及拼接模块；其中，主干网络根据矿区路面图像生成多个第一层特征；第一特征增强模块对多个第一层特征中的第一最深层特征进行特征增强处理，输出第一增强特征；第一融合模块利用第一增强特征分别对多个第一层特征进行融合，输出多个第二层特征；第二特征增强模块对多个第二层特征中的第二最深层特征进行特征增强处理，输出第二增强特征；第二融合模块利用第二增强特征分别对多个第二层特征进行融合，输出多个第三层特征；拼接模块对多个第三层特征进行拼接合并，输出第一特征。
90.进一步地，多个第一层特征包括第一子特征、第二子特征、第三子特征以及第四子特征，其中第四子特征即为第一最深层特征，多个第二层特征包括第五子特征、第六子特征以及第七子特征，其中第五子特征即为第二最深层特征，多个第三层特征包括第八子特征、第九子特征以及第十子特征；特征提取结构还包括多个卷积模块，第一融合模块包括第一子融合模块、第二子融合模块以及第三子融合模块，第二融合模块包括第四子融合模块、第五子融合模块以及第六子融合模块；其中，第一子特征、第二子特征、第三子特征以及第四子特征分别经过一个卷积模块进行卷积处理，第一特征增强模块对卷积处理后的第四子特征进行特征增强处理，输出第一增强特征；第一子融合模块将第一增强特征与卷积处理后的第四子特征进行融合处理，输出第五子特征；第二子融合模块将进行采样操作后的第五子特征与卷积处理后的第三子特征进行融合处理，输出第六子特征；第三子融合模块将进行采样操作后的第六子特征与卷积处理后的第二子特征进行融合处理，输出第七子特征；第五子特征、第六子特征以及第七子特征分别经过一个卷积模块进行卷积处理，第二特征增强模块对卷积处理后的第五子特征进行特征增强处理，输出第二增强特征，第四子融合模块将第二增强特征与卷积处理后的第五子特征进行融合处理，输出第八子特征；第五子融合模块将进行采样操作后的第八子特征与卷积处理后的第六子特征进行融合处理，输出第九子特征；第六子融合模块将进行采样操作后的第九子特征与卷积处理后的第七子特征进行融合处理，输出第十子特征；第九子特征、第十子特征分别经过一个卷积模块进行卷积处理，拼接模块对第八子特征、经过卷积处理后的第九子特征和第十子特征进行拼接合并，
输出第一特征。
91.进一步地，第一特征增强模块或第二特征增强模块，包括第三融合模块以及并联的第一捷径连接结构、第一空洞卷积层、第二空洞卷积层，其中，第一空洞卷积层的扩张率与第二空洞卷积层的扩张率不相等。
92.进一步地，第一特征增强模块或第二特征增强模块，包括第四融合模块以及并联的第二捷径连接结构、标准卷积层、第三空洞卷积层、第四空洞卷积层，其中，第三空洞卷积层的扩张率与第四空洞卷积层的扩张率不相等。
93.进一步地，特征提纯结构包括第三捷径连接结构、通道注意力模块、空间注意力模块、第五融合模块、第六融合模块以及第七融合模块；其中，第三捷径连接结构直接传递第一特征，通道注意力模块在通道维度对第一特征进行特征提纯处理，输出第一提纯特征，空间注意力模块在空间维度对第一特征进行特征提纯处理，输出第二提纯特征，第五融合模块对由第三捷径连接结构传递的第一特征与第一提纯特征进行融合处理，输出第一提纯融合特征，第六融合模块对由第三捷径连接结构传递的第一特征与第二提纯特征进行融合处理，输出第二提纯融合特征，第七融合模块将第一提纯融合特征和第二提纯融合特征进行融合处理，输出第二特征。
94.进一步地，后处理模块603，具体用于：根据图像采集装置与激光雷达之间的预设标定关系，将激光雷达点云数据投影至矿区路面图像，获取激光雷达点云数据与矿区路面图像的像素点之间的映射关系；基于映射关系，获取阻碍行驶对象对应的目标激光雷达点云数据。
95.进一步地，数据获取模块601，具体用于：通过图像采集装置采集矿区图像，并对矿区图像进行裁剪，得到矿区图像中的矿区路面图像。
96.进一步地，数据获取模块601，还用于通过图像采集装置采集路面样本图像；该装置还包括：标注模块，用于标注路面样本图像中的样本对象的形体、位置和类别；模型构建模块，用于根据标注后的路面样本图像训练模型，构建多任务路面检测与分割模型。
97.本技术实施例中的矿区路面阻碍行驶对象的识别装置600可以是计算机设备，也可以是计算机设备中的部件，例如集成电路或芯片。该计算机设备可以是终端，也可以为除终端之外的其他设备。示例性的，计算机设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载计算机设备、移动上网装置(mobile internet device，mid)、机器人、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)等，本技术实施例不作具体限定。
98.本技术实施例中的矿区路面阻碍行驶对象的识别装置600可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
99.本技术实施例提供的矿区路面阻碍行驶对象的识别装置600能够实现图1的矿区路面阻碍行驶对象的识别方法实施例实现的各个过程，为避免重复，这里不再赘述。
100.本技术实施例还提供了一种芯片，如图7所示，芯片700包括至少一个处理器701和通信接口702，通信接口702和至少一个处理器701耦合，至少一个处理器701用于运行程序或指令，实现上述矿区路面阻碍行驶对象的识别方法实施例的各个过程，且能达到相同的
技术效果，为避免重复，这里不再赘述。
101.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
102.优选地，该芯片700还包括存储器703，存储器703存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。
103.本技术实施例中，存储器703可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器703的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，nvram)。
104.本技术实施例中，处理器701、通信接口702以及存储器703通过总线系统704耦合在一起。其中，总线系统704除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。为了便于描述，在图7中将各种总线都标为总线系统704。
105.上述本技术实施例描述的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器(例如，微处理器或常规处理器)、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
106.本技术实施例还提供一种终端，如图8所示，该终端800包括上述矿区路面阻碍行驶对象的识别装置600。
107.上述终端800可以通过矿区路面阻碍行驶对象的识别装置600执行上述实施例所描述的矿区路面阻碍行驶对象的识别方法。可以理解，终端800对矿区路面阻碍行驶对象的识别装置600进行控制的实现方式，可以根据实际应用场景设定，本技术实施例不作具体限定。
108.上述终端800包括但不限于：车辆、车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或车载摄像头等其他传感器，车辆可通过该车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、车载雷达或摄像头，实施本技术提供的方法。本技术中的车辆包括乘用车和商用车，商用车的常见车型包括但不限于：皮卡、微卡、轻卡、微客，自卸车、载货车、牵引车、挂车、专用车和矿用车辆等。矿用车辆包括但不限于矿卡、宽体车、铰接车、挖机、电铲、推土机等。本技术对智能车的类型不作进一步限定，任何一种车型均在本技术的保护范围内。
109.本技术实施例中的终端作为一种执行非电变量的控制或调整系统，能够使执行车辆在作业过程中，通过具有特征增强、特征提纯功能的多任务路面检测与分割模型，对矿区路面图像中的阻碍行驶对象进行类别识别，以及根据激光雷达点云数据与矿区路面图像之间的映射关系，对阻碍行驶对象的形体和位置进行识别，最终实现对矿区路面上不易检测的阻碍行驶对象的精准识别，能够保证矿车自动驾驶决策规划的准确性。
110.本技术实施例还提供一种计算机设备，如图9所示，该计算机设备900包括处理器901和存储器902，存储器902上存储有可在处理器901上运行的程序或指令，该程序或指令
被处理器901执行时实现上述矿区路面阻碍行驶对象的识别方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
111.需要说明的是，本技术实施例中的计算机设备900包括上述的移动计算机设备和非移动计算机设备。
112.存储器902可用于存储软件程序以及各种数据。存储器902可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器902可以包括易失性存储器或非易失性存储器，或者，存储器902可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器902包括但不限于这些和任意其它适合类型的存储器。
113.处理器901可包括一个或多个处理单元；可选的，处理器901集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。
114.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述矿区路面阻碍行驶对象的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
115.本技术实施例还提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述矿区路面阻碍行驶对象的识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
116.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
117.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多
形式，均属于本技术的保护之内。