用于激光雷达的目标检测方法和装置与流程

本发明涉及目标检测，尤其涉及一种用于激光雷达的目标检测方法和装置。

背景技术：

1、激光雷达是一种主动式精确物体位置获取装置，其广泛应用于自动驾驶、高级辅助驾驶、机器人、工业质检、安防等领域。激光雷达主要用于目标检测、跟踪、分割、识别、分类等任务。为实现以上任务，各类相关的算法被提出。这些算法可以分为传统算法和基于机器学习的算法。相较于基于机器学习的激光雷达算法，传统算法具有简单、高效的特点，但也存在精度不足、误检漏检高、通用性鲁棒性较弱等问题。而基于机器学习的激光雷达算法则大大提高了传统算法的精度和识别准确率，也提升了通用性和鲁棒性，但其具有相对较大的计算需求，对部署硬件的要求更高，这也给算法的实用性带来了挑战。

2、与二维图像数据对真实世界投影得到致密的矩阵数据形式不同，激光雷达通过接收激光器发射的激光照射到物体形成的反射，计算出激光器距离物体的位置信息，并记录接收激光的反射强度。每个接收到的激光反射的点会产生一行由三维位置信息和反射系数为主的测量记录。多个激光器在同一时刻发送接收多束激光反射，并以机械旋转或电子扫描的方式变换激光发送接收扫描位置，完成对某一指定空间的扫描，形成一帧的数据。这些数据可表示为一个二维矩阵，矩阵的行表示该扫描空间返回的所有测量，矩阵的列表示三维位置信息和反射系数等。矩阵的列一般保持固定，而矩阵的行随着接收的返回激光点数量不一样而变化。

3、卷积神经网络是一种基于卷积操作的神经网络算法，其在各类图像、视频的分类、检测、跟踪、分割等任务中具有良好的效果，并取得了广泛的应用。为了将卷积神经网络引入三维激光雷达数据处理，需要对激光雷达数据进行结构化，然后才能利用卷积网络来提升各类任务的性能。通过对扫描空间进行二维或多维的格栅化划分，可将激光雷达数据投影到二维或多维网格中，从而形成结构化数据。针对投影到同一网格的数据，可进行一系列预处理，如截断、取均值等方式，进一步提取出特征化数据。这些规整的网格化特征数据，可以直接输入二维或多维卷积神经网络处理。

4、然而，由于空间的遮挡、反射衰减等因素，激光雷达采集的数据投影至网格时无法填满所有网格，这就导致存在大量空的网格，即产生了大量为空的数据，因而有效数据的占比会相对较小。此时，激光雷达数据呈现出稀疏性的特点，若使用传统的卷积计算进行操作，则会导致大量算力浪费在空数据（通常填零处理）上。

5、针对上述激光雷达数据具有稀疏性的特点，稀疏卷积网络和子流形稀疏卷积网络被提出。其中，稀疏卷积网络只计算有效数据的卷积并据此提高了计算效率，但其存在稀疏特征有效区域膨胀（dilation）的问题，这导致特征数据的稀疏性随着层数的增加而逐渐降低，也使得计算效率大大降低。针对稀疏卷积网络存在的膨胀问题，子流形卷积网络提出仅在卷积核中心存在有效数据的点进行卷积计算，从而不但保持了特征数据的稀疏性、维持了高效的计算效率，同时也保持了目标任务上的精度。子流形稀疏卷积组成的神经网络常应用于各类端侧设备上，如无人车、具有辅助驾驶功能的汽车、车路协同路口设备、机器人等，这些设备通常仅支持算力、功耗有限的计算设备。基于领域专用架构（domain specificarchitecture，dsa）的推理设备能够支持各类端侧任务，以较低功耗支持低延迟、高算力。

6、然而，现有技术的子流形稀疏卷积应用于激光雷达数据时还存在一些问题：

7、首先，现有技术的子流形稀疏卷积一般在1×1或3×3卷积核上以卷积核中心位置作为标的定义活跃点，并据此计算卷积。对于一般形状的卷积核并没有考虑，因此难以应用于一般形状的卷积核计算；

8、其次，现有技术的子流形稀疏卷积网络中，通常需要通过构建哈希表及规则手册等方式来对数据实现映射以及索引，并拷贝整合稀疏数据来计算卷积，这一过程通常较慢，且一般需使用中央处理器生成，还需要与推理设备频繁通信，这就导致了整体速度较慢、效率低下；

9、再次，现有技术的子流形稀疏卷积使用了特殊的数据表示方法，相比于图像可用单一张量的形式，激光雷达数据需要采用数据张量、位置索引以及额外的元数据（如栅格大小、测量范围等）构建的特殊数据结构体来共同表示一帧数据。这些数据也会造成算法部署的困难。如常见的图形处理器部署工具tensorrt并不具备支持以上特殊数据结构体的能力，也不支持基于此数据体的稀疏卷积的操作，这就导致部署效率大大降低。并且，由于无法在实际设备中高效部署，子流形卷积算法的优点也无法得到实际应用；

10、最后，除了图形处理器，端侧部署常见的领域专用架构设备中，通常具有高效的卷积引擎、矩阵乘加单元以及协处理器，主要针对致密的图像数据进行加速计算，因此现有技术中的子流形稀疏卷积在领域专用架构等专用推理计算设备中，实现难度大、效率偏低，无法有效地利用现有计算资源来执行。

技术实现思路

1、鉴于此，本发明提供了一种用于激光雷达的目标检测方法及装置，以用于解决现有技术中的上述技术问题。

2、根据本发明的一个方面，提供了一种用于激光雷达的目标检测方法，其中，该目标检测方法包括以下步骤：

3、s1：将激光雷达反射的点云数据作为目标检测的输入数据，每行输入数据包括一个空间目标激光反射点的空间位置信息；

4、s2：判断输入数据的数据稀疏性，若数据稀疏性小于预设稀疏性阈值则执行s3，否则执行s4至s7；

5、s3：采用稠密卷积网络计算输入数据的卷积，然后将卷积的结果作为目标检测特征数据并执行s8；

6、s4：设定卷积核中的任一位置点为卷积核锚点；

7、s5：根据输入数据构建稀疏特征图，稀疏特征图中的每个点表示一行输入数据；

8、s6：采用与卷积核尺寸相同的滑动窗口在稀疏特征图中获取活跃点，其中活跃点的获取方式为：

9、滑动窗口在稀疏特征图上滑动的过程中，当稀疏特征图上的非零点与卷积核锚点相重合时，则将非零点记为活跃点；

10、s7：根据获取活跃点的结果计算活跃点卷积作为目标检测特征数据；

11、s8：根据目标检测特征数据获得激光雷达目标检测结果。

12、根据本发明的另一个方面，提供了一种用于激光雷达的目标检测装置，其中，该目标检测装置包括以下模块：

13、数据获取模块，被配置为将激光雷达反射的点云数据作为目标检测的输入数据，每行输入数据包括一个空间目标激光反射点的空间位置信息；

14、稀疏性判断模块，被配置为判断输入数据的数据稀疏性，若数据稀疏性小于预设稀疏性阈值则执行第一卷积计算模块，否则执行锚点设定模块至检测模块；

15、第一卷积计算模块，被配置为采用稠密卷积网络计算输入数据的卷积，然后将卷积的结果作为目标检测特征数据并执行检测模块；

16、锚点设定模块，被配置为设定卷积核中的任一位置点为卷积核锚点；

17、特征构建模块，被配置为根据输入数据构建稀疏特征图，稀疏特征图中的每个点表示一行输入数据；

18、活跃点提取模块，被配置为采用与卷积核尺寸相同的滑动窗口在稀疏特征图中获取活跃点，其中活跃点的获取方式为：

19、滑动窗口在稀疏特征图上滑动的过程中，当稀疏特征图上的非零点与卷积核锚点相重合时，则将非零点记为活跃点；

20、第二卷积计算模块，被配置为根据获取活跃点的结果计算活跃点卷积作为目标检测特征数据；

21、检测模块，被配置为根据目标检测特征数据获得激光雷达目标检测结果。

22、根据本发明的又一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，其中，存储器用于存储可执行指令；一个或多个处理器被配置为经由可执行指令来实现上述的方法。

23、根据本发明的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使处理器执行上述的方法。

24、从以上技术方案可以看出，本发明所提供的技术方案至少存在以下优点：

25、1. 本发明所提供的技术方案提出了卷积核锚点的概念以用于定义任意卷积核大小的子流形稀疏卷积操作，拓展了子流形卷积的定义；

26、2. 本发明所提供的技术方案高效利用已有硬件单元（如稠密卷积引擎或矩阵乘加引擎）来计算子流形稀疏卷积，实现了基于子流形稀疏卷积的网络的端侧部署；

27、3. 本发明所提供的技术方案避免采用现有技术中利用中央处理器（cpu）构建哈希表和规则手册（rulebook）的做法，减少了cpu设备的交互通信并能够直接在推理设备中完成全网络的推理，从而不仅提高了推理速度和吞吐率，也降低了推理硬件的复杂度；

28、4. 本发明所提供的改进的子流形稀疏卷积方案作为一种基础算子可用于构建众多激光雷达、深度相机的神经网络架构。本发明所提供的技术方案将推动子流形稀疏卷积在自动驾驶、高级辅助驾驶、车路协同、安防领域、机器人等领域的实际应用。