一种基于深度图的毫米波雷达点云仿真的方法和装置与流程

本发明涉及毫米波雷达雷达仿真领域，尤其涉及一种基于深度图的毫米波雷达点云仿真的方法和装置。

背景技术：

1、毫米波雷达自上世纪40年代被发明以来，早期主要应用于军事、专用、汽车，后来逐步转向智能家居，成为民用消费级电子产品。从军用到民用，从汽车领域再到智能家居领域，毫米波雷达飞入寻常百姓家。在无人驾驶领域，毫米波雷达应用非常广泛。毫米波雷达工作在毫米波段。通常毫米波是指30～300ghz频段(波长为1～10mm)。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比，毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光、电视等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。另外，毫米波导引头的抗干扰、反隐身能力也优于其他微波导引头。

2、感知模块是自动驾驶算法的核心模块，该模块需要海量的标注数据集作为训练输入。但是，真实毫米波雷达点云数据的噪点较多、采集成本相当高，点云真值的人工标注效率也很低下。因此，完全通过毫米波雷达点云真值作为输入来训练感知算法的成本非常高，并且采集到的真值数据也难以枚举出现实中的所有交通情况。仿真毫米波雷达点云的精度较低，与实际的毫米波雷达点云相比还有差距，实际应用中会综合真实毫米波雷达点云数据和仿真虚拟点云数据作为算法输入，这两种点云数据各有优势，但都有明显的缺点。已有的方法通常只是单一地使用一种点云数据或者混合使用两种点云数据，这会导致数据量不足或者数据一致性等问题。

技术实现思路

1、本发明要解决现有技术的上述不足，实现更高质量仿真毫米波雷达点云数据的生成，提供一种基于深度图的毫米波雷达点云仿真的方法和装置。

2、本发明采用如下的技术方案：

3、一种基于深度图的毫米波雷达点云仿真的方法，包括以下步骤：

4、s1，预定义毫米波雷达模块和深度图相机模块的位置和姿态，毫米波雷达模块与深度图相机模块的视场应尽可能重合，预定义毫米波雷达模块探测范围内的所有被测目标的位置和姿态以及背景信息，通过深度图相机模块生成深度图，包含以下子步骤：

5、s1.1，预定义毫米波雷达模块和摄像头的位置和姿态信息，毫米波雷达模块与摄像头的视场尽量重合，保证毫米波雷达模块扫描范围内的点尽量多的可以在深度图相机模块的区域内找到，为毫米波雷达模块的点云计算提供信息；

6、s1.2，预定义所有被测目标的位置和姿态以及背景信息，计算获得被测目标和背景在深度图相机局部坐标系下的位置、速度信息；

7、s1.3，通过深度图相机模块的内参矩阵m和畸变系数d，结合s1.2中的位置、速度信息，计算得到当前帧的深度图。

8、s2，读取深度图信息，将深度图中的像素点转化为三维点云集合，记其为q，并将点云集合q转换到毫米波雷达模块的局部坐标系中，记经过转换之后的点云集合为r，包含以下子步骤：

9、s2.1，对s1中得到的深度图中的背景进行随机下采样，再对深度图中的各被测目标分别进行分块，对每个被测目标的每个分块做下采样，最后综合背景和各被测目标得到下采样结果的点云集合q，通过深度图相机模块的内参矩阵m和畸变系数d，结合下采样结果的点云集合q，计算得到该点云集合在深度图相机模块局部坐标系下的三维坐标表示，记点云集合及其三维坐标表示为为s；

10、s2.2，对于深度图相机模块中的三维点云，通过毫米波雷达模块和深度图相机模块的位置和姿态转换计算得到其在世界坐标下的坐标，并将世界坐标转化为毫米波雷达模块局部坐标系中的坐标。

11、s3，采用先验的毫米波雷达模块与被测目标的相对位置信息对r进行过滤，包含根据预设的毫米波雷达模块最大探测距离smax、最大水平角范围hmax以及最大俯仰角范围pmax，划分出毫米波雷达模块的有效范围[0，smax]、[-hmax，hmax]以及[-pmax，pmax]，并针对点云集合r中的每一个点进行过滤，只保留毫米波雷达模块的有效测距、测角范围内的点云集合，记其为r。

12、s4，利用概率函数f和分段函数：

13、

14、围绕目标产生随机的点云，m为s3中点云集合r的个数，模拟实际的毫米波雷达回波点，当res值为1时，该点产生回波，当res值为0时，该点不产生回波，得到所有产生回波的点云集合，记为e；

15、s5，采用毫米波雷达模块的参数对上述步骤中得到的点云中的每一个点分别进行回波模拟，并将所有点云的回波进行叠加，包含以下子步骤：

16、s5.1，预定义毫米波雷达模块的天线数目n、天线位置、信号发射周期t、信号波长λ、信号起始频率以及调频斜率；

17、s5.2，对s4中得到的点云集合e中的每个毫米波雷达回波点进行如下处理：

18、s5.2.1，记回波点与雷达的距离为d，记光速为c，计算得到毫米波雷达模块发射信号与接收信号的时间间隔t，结合信号起始频率以及调频斜率模拟出接收信号与发射信号，并将接收信号与发射信号进行叠加获得中频信号；

19、s5.2.2，记回波点和雷达的连线与雷达探测范围的中轴线的夹角为θ，根据θ和回波点的速度计算出回波点相对于毫米波雷达模块的径向速度v′，从而计算出因为多普勒效应而产生的相位差：

20、

21、s5.2.3，记回波点和雷达的连线与雷达探测范围的中轴线的水平夹角为θh，相邻接收天线的水平距离为lh，计算得到相邻水平接收天线的相位差为：

22、

23、s5.2.4，记回波点和雷达的连线与雷达探测范围的中轴线的俯仰夹角为θp，相邻接收天线的俯仰距离为lp，计算得到相邻俯仰接收天线的相位差为：

24、

25、s5.3，对所有回波点产生的信号进行相加，得到该帧毫米波雷达模块回波的数字信号。

26、s6，对叠加之后的回波做快速傅里叶变换fft和恒虚警cfar，包含以下子步骤：

27、s6.1，对毫米波雷达模块回波的数字信号的单个啁啾chirp做一维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的距离信息；对毫米波雷达模块回波的数字信号的多个chirp之间做二维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的速度信息；对毫米波雷达模块回波的数字信号的水平方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的水平角度信息；对毫米波雷达模块回波的数字信号的垂直方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的俯仰角度信息；

28、s6.2，综合s6.1中的所有信息，可得该帧毫米波雷达模块的所有仿真点云的空间坐标信息和速度信息。

29、s7，将仿真点云的空间坐标信息可视化，将速度信息记录在点云的数据结构中，供其他模块调用。

30、本发明还涉及一种基于深度图的毫米波雷达仿真的装置，包括一个或者多个处理器，用于实现权利要求1-7中任一项所述的基于深度图的毫米波雷达仿真方法。

31、本发明还涉及一种基于深度图的毫米波雷达仿真的系统，包括：

32、毫米波雷达配置模块，用于配置毫米波雷达模块的频段、带宽、天线数、天线间距等参数；

33、被测目标的相对位置与姿态估计模块，用于估计毫米波雷达模块与各个被测目标的相对位置与姿态；

34、深度图生成模块，通过深度图相机模块的内参矩阵m和畸变系数d，计算得到当前帧的深度图；

35、点云生成模块，用于读取深度图信息，从深度图中还原各被测目标和背景的3d点云信息，供下面模块使用；

36、点云过滤模块，用于模拟实际的毫米波雷达因为范围不够、信号丢失的误差等原因造成的漏检；

37、噪声添加模块，用于模拟实际的毫米波雷达因为虚警而产生的噪点；

38、模拟回波模块，用于模拟点云中每个点的回波，并进行叠加获得最终的毫米波雷达模块的返回信号；

39、fft和cfar模块，从毫米波雷达模块的返回信号中提取出各点云的信息，获得最终的仿真数据结果。

40、点云显示模块，用于将前面流程中生成的点云在仿真系统中进行显示。

41、本发明的有益效果如下：

42、本发明方法预定义毫米波探测范围内的所有被测目标和背景以及其对应的位置和姿态，使用深度图相机模块生成深度图，结合深度图相机模块与毫米波雷达模块的相对位置生成毫米波雷达模块的回波信号，最后对回波信号做fft和cfar获得毫米波雷达模块点云数据。本发明既保留了真实毫米波雷达点云的真实性，又结合了虚拟仿真场景的可配置性和灵活性，并且能够自动生成数据标注信息，缓解了真实点云数据采集效率和人工标注效率低下的问题；本发明可以快速生成大量的毫米波雷达点云，为感知算法等深度学习算法提供了更多的训练数据。