激光雷达点云数据的硬件加速处理方法及加速器

本申请涉及数字电路设计领域，具体涉及一种激光雷达点云数据的硬件加速处理方法及加速器。

背景技术：

1、与二维网格像素相比，点云是空间中一组无序的点，其没有特定的方向。考虑一组包含n个点的点云数据，针对n种输入排列的顺序其网络输出结果应该是不变的；同时，点集之间存在各种刚性变换如旋转和平移等，这些变换不应影响网络的结果。此外，与二维图像相比，处理大量的点云具有较高的计算复杂度和时间开销。然而边缘设备上的计算能力和存储空间均有限，因此存在诸多不足。

技术实现思路

1、本发明实施例提供了一种激光雷达点云数据的硬件加速处理方法及加速器，可以解决现有技术边缘设备上的计算能力和存储空间均有限，对点云数据无法处理的问题。

2、为解决上述技术问题，本申请提供以下技术方案：

3、在本申请的第一方面实施方式中，提供一种激光雷达点云数据的硬件加速处理方法，包括：

4、通过总线接口接收待处理的点云数据；

5、将所述点云数据传输至搭建有深度学习网络模型的硬件处理芯片，所述深度学习网络模型用于输入点云数据，输出点云数据的目标分析识别结果。

6、在本申请的一个或多个实施方式中，还包括：

7、建立并利用预设训练数据训练所述深度学习网络模型；

8、从训练完成的所述深度学习网络模型中提取网络参数，并通过模拟软件对网络的底层运算进行建模，以在所述模拟软件上模拟所述深度学习网络模型的计算过程；

9、根据所述网络参数以及模拟软件中的建模模型，得到在所述模拟软件上模拟的参考模型；

10、根据在所述参考模型配置硬件处理芯片，以在所述硬件处理芯片上运行。

11、在本申请的一个或多个实施方式中，所述网络参数包括卷积层和全连接层的权重和偏置；所述根据所述网络参数以及模拟软件中的建模模型，得到在所述模拟软件上模拟的参考模型，包括：

12、通过模拟软件量化所述卷积层和全连接层的权重和偏置；

13、评估量化后的所述权重和偏置的精度损失，获得所述参考模型。

14、在本申请的一个或多个实施方式中，所述根据在所述参考模型配置硬件处理芯片，包括：

15、基于所述模拟软件完成网络算法的rtl电路配置方案；

16、根据所述rtl电路配置方案配置所述硬件处理芯片。

17、在本申请的一个或多个实施方式中，还包括：

18、分析所述参考模型在数据运算和存储带宽上的瓶颈状态，并基于所述瓶颈状态更改网络参数的缓存方式、缓存结构以及插入流水线中的至少一个。

19、本申请第二方面实施方式提供一种激光雷达点云数据的硬件加速器，包括：

20、点云数据缓存模块，用于通过总线接口接收待处理的点云数据；

21、硬件处理模块，用于将点云数据输入至内部配置有深度学习网络模型，所述深度学习网络模型用于输入点云数据，输出点云数据的目标分析识别结果。

22、在本申请的一个或多个实施方式中，所述硬件处理模块包括：

23、网络参数缓存模块，用于获取所述深度学习网络模型的网络参数，所述网络参数包括网络权重和网络偏置；

24、处理引擎模块，通过配置不同模式参数加载方式完成卷积层或全连接层的矩阵运算；

25、功能引擎模块，对所述处理引擎模块输出的中间值进行累加、对网络偏置进行累加以及配置激活函数；

26、最大池化模块，通过比较器级联完成最大池化函数，并输入所述功能引擎模块的输出，输出所述目标分析识别结果。

27、在本申请的一个或多个实施方式中，所述处理引擎模块包括多个乘法器和多个加法器，每个乘法器输入所述点云数据中的一个点云的数据，两个乘法器的输出作为一个加法器的输入，且两个加法器的输入作为下一级加法器的输出，直至仅有一个加法器输出，将最终的加法器的输出组成所述目标分析识别结果。

28、同时，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法。

29、同时，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有执行上述方法的计算机程序。

30、由上述技术方案可知，本申请提供的一种激光雷达点云数据的硬件加速处理方法及加速器，通过将所述点云数据传输至搭建有深度学习网络模型的硬件处理芯片，从而可以基于深度学习直接对点云数据处理的硬件加速模块的设计实现，基于arm片上处理器搭建片上soc系统，面向于激光雷达点云数据感知领域，最终实现对输入的激光雷达点云数据的分析识别。

31、为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

技术特征：

1.一种激光雷达点云数据的硬件加速处理方法，其特征在于，包括：

2.根据权利要求1所述的激光雷达点云数据的硬件加速处理方法，其特征在于，还包括：

3.根据权利要求2所述的激光雷达点云数据的硬件加速处理方法，其特征在于，所述网络参数包括卷积层和全连接层的权重和偏置；所述根据所述网络参数以及模拟软件中的建模模型，得到在所述模拟软件上模拟的参考模型，包括：

4.根据权利要求2所述的激光雷达点云数据的硬件加速处理方法，其特征在于，所述根据在所述参考模型配置硬件处理芯片，包括：

5.根据权利要求1所述的激光雷达点云数据的硬件加速处理方法，其特征在于，还包括：

6.一种激光雷达点云数据的硬件加速器，其特征在于，包括：

7.根据权利要求6所述的激光雷达点云数据的硬件加速器，其特征在于，所述硬件处理模块包括：

8.根据权利要求6所述的激光雷达点云数据的硬件加速器，其特征在于，所述处理引擎模块包括多个乘法器和多个加法器，每个乘法器输入所述点云数据中的一个点云的数据，两个乘法器的输出作为一个加法器的输入，且两个加法器的输入作为下一级加法器的输出，直至仅有一个加法器输出，将最终的加法器的输出组成所述目标分析识别结果。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述激光雷达点云数据的硬件加速处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述激光雷达点云数据的硬件加速处理方法的步骤。

技术总结
本申请提供的一种激光雷达点云数据的硬件加速处理方法及加速器，通过将所述点云数据传输至搭建有深度学习网络模型的硬件处理芯片，从而可以基于深度学习直接对点云数据处理的硬件加速模块的设计实现，基于ARM片上处理器搭建片上SoC系统，面向于激光雷达点云数据感知领域，最终实现对输入的激光雷达点云数据的分析识别。

技术研发人员：吕帅鑫,宋子奇,张高宁,高明,吴勇,王东,何滇,张野,李晴,王文强,翟世奇,查梦凡
受保护的技术使用者：西安电子科技大学芜湖研究院
技术研发日：
技术公布日：2024/1/11