基于深度卷积模型的雷达距离多普勒图像目标识别方法

本发明属于雷达信号处理及深度学习，具体涉及一种基于深度卷积模型的雷达距离多普勒图像目标识别方法。

背景技术：

1、毫米波雷达目标识别作为雷达技术领域中备受关注的研究方向之一，近年来已成为学术界与工业界的研究重点。该领域的广泛应用已覆盖军事和民用领域，并涵盖了飞机航行监测、无人驾驶汽车和救灾幸存者搜救等关键任务。目前，基于毫米波雷达的目标识别方法的基本步骤为：首先，对雷达信号进行处理，旨在提取道路目标的距离、速度、角度等信息并生成雷达图像。随后，将生成的图像数据划分为训练集、验证集和测试集，并输入到卷积神经网络分类的算法中，对图像进行特征选择和提取，最终实现对目标的准确分类。

2、近年来，深度学习技术不断发展成熟，在计算机视觉、自然语言处理、语音识别等众多领域取得了成功。人们发现卷积神经网络对图像有优秀的特征提取能力，因此越来越多的学者将深度学习其应用于雷达信号处理的模型中，并取得了较大的突破。然而，在将深度学习技术应用于道路目标检测的实际场景中，我们面临着以下两个重要的关键挑战：

3、第一，道路交通的复杂性对检测模型的泛化能力提出了高度挑战。道路交通系统是一个动态、复杂且多变的环境，其中包含着众多交通场景，例如交通流量高峰时段、交叉口、高速公路等。检测模型需要具备强大的适应性，能够灵活应对不同交通场景的变化，并对复杂的交通行为进行准确识别。特别是在毫米波雷达作为无人驾驶的传感器用于道路目标识别过程中，由于道路上存在大量目标，导致距离多普勒图数据质量下降，存在大量杂波以及目标与背景难以区分的问题，进一步影响目标的准确分类。

4、第二，道路目标的多样性也是一大难题。在道路上存在着各种类型的目标，如行人、自行车、电动车等小型目标，以及公交车、大卡车等大型目标。这些目标在大小、形状、速度等方面存在着显著差异，进一步增加了检测任务的复杂性。为了有效应对这种多样性，检测模型需要具备优秀的辨识能力，能够准确区分并识别不同类型的道路目标。

5、综上所述，道路交通的复杂性以及道路目标的多样性对检测模型提出了高度挑战。如何克服这些难题，是我们目前亟待解决的问题。

技术实现思路

1、本发明旨在克服现有技术的缺陷，提出了一种基于深度卷积模型的雷达距离多普勒图像目标识别方法。通过对网络模型的改进，能够更有效地提取雷达距离多普勒图像中的目标特征，从而实现更高的目标识别准确率。

2、为达到上述目的，本发明的技术思路是：首先，分析现有技术在雷达图像目标识别中存在的问题，并阐述了采用深度卷积模型的理论依据。其次，详细描述了基于深度卷积模型的雷达距离多普勒图像目标识别方法的流程与步骤。接着，在多个实验场景下进行了对比实验，将本方法与传统的目标识别方法进行性能评估。其实现的方案如下：

3、步骤1、利用毫米波雷达采集道路目标数据；

4、步骤2、对原始回波数据进行2d-fft处理，得到距离多普勒图；

5、步骤3、设计动目标显示(mti)滤波器抑制距离-多普勒图中的杂波信号，地面物体杂波多普勒谱pc(f)主要与风速和雷达工作频率有关，计算公式如下：

6、

7、步骤4、在进行抑制杂波处理后，对雷达距离多普勒热图进行数据样本的扩充，具体包括随机裁剪、随机水平翻转、等数据增强的操作。将处理后的距离多普勒图像根据不同类别进行分类，制成rd数据集。随后，将数据集以7：2：1的比例划分为训练集、测试集和验证集。

8、步骤5、搭建针对雷达距离多普勒图像的目标检测的深度卷积神经网络模型，所述改进的深度卷积神经网络模型的改进方法包括：添加注意力机制、优化网络权重等。

9、步骤6、对道路目标识别网络进行训练，同时输出训练过程中的损失值及最终训练后的目标检测成果。

10、进一步地，步骤1利用毫米波雷达采集道路目标数据，具体包括：

11、通过使用mmwavestudio软件，对毫米波雷达进行参数配置，并与awr1642boost雷达开发板以及dca1000evm数据采集板进行了连接，以便对雷达数据进行采集。在采集过程中，沿着主干道路对道路目标进行数据采集。为确保数据的准确性，将毫米波雷达awr1642和数据采集板dca1000evm正对道路目标的前方，并尽可能在同一采集时间内只有一种道路目标。这样的配置和采集策略有助于保证距离多普勒图像的高精度。雷达相关参数配置如下所示，雷达adc的采样时间为60微秒，采样点数为256。在小目标的情况下，采样帧数为50帧；而在大目标的情况下，采样帧数为100帧。每帧chirp数为128。横轴为多普勒维，纵轴为距离维。然后，根据道路目标的不同类型，将图像分成了七个类别：行人、自行车、电动车、小汽车、越野车、公交车、大卡车。针对每个类别，分别采集了500张距离多普勒图像。为了提高模型的泛化能力，需采用数据样本扩充的方法，使用数据增强技术对数据集图片进行随机大小裁剪，将其裁剪为大小为3*224*176的图片，再通过随机翻转、旋转等操作进行数据增强，以确保数据集的多样性和全面性。

12、进一步地，在步骤2中，通过使用二维傅立叶变换(2d-fft)对回波信号进行处理，实现目标距离和速度等特性的提取，并得到距离-多普勒矩阵，进而绘制距离多普勒图，以便直观地呈现目标的距离和速度信息，该方法的通用变换公式为：

13、

14、

15、f(u,v)＝b(a(x,y))

16、

17、式中，m和n分别表示图像中等间距离散样本的个数，x和y分别表示图像中的水平和垂直坐标；μ和v分别表示频率坐标变量；f(μ,v)表示输入图像f(x,y)快速傅里叶变换。在进行二维傅里叶变换时，先对f(x,y)的每一行进行傅里叶变换，然后再对其每一列进行傅里叶变换，从而实现了信号从时域到频域的转换。

18、进一步地，步骤3所述的设计动目标显示(mti)滤波器，具体包括：

19、地面杂波多普勒谱pc(f)主要与风速和雷达工作频率有关，计算公式如下：

20、

21、

22、其中，α表示是直流分量与交流分量的比值，下列式子中d(f)表示直流分量，a(f)表示交流分量：

23、

24、

25、β为功率谱交流分量的宽度，主要与风速有关。f表示频率，pc(f)表示频率为f的杂波功率谱，δ(f)为频率为f的冲激函数。

26、所述的双延迟线mti滤波器利用杂波和运动目标的多普勒频率的差异来进行杂波的滤除。当静止目标、地面杂波等与运动目标处于同一距离位置时，静止目标回波的多普勒频率为零。通过对同一距离位置的回波信号在相邻雷达脉冲之间执行差分操作，可以有效滤除静止目标和地面杂波的影响，同时保留下运动目标的回波信号。

27、由于双延迟线mti滤波器(又称三脉冲对消器)相较于单延迟线mti滤波器，在去除近距离的杂波干扰方面表现更为有效，且考虑到道路交通系统的动态性、复杂性以及多变性，双延迟线滤波器可以提高对运动目标的检测性能，使图像的信噪比增益提高，能够更好地抑制地物回波的影响。因此，双延迟线mti滤波器在复杂道路目标和杂波密集的交通环境中表现出卓越的性能，其能够有效抑制地物杂波引发的与目标回波相似的信号，同时最大程度地保持动目标回波信号。相较传统的滤波器，双延迟线mti滤波器在动目标回波检测方面表现更为出色。

28、它由两个单延迟线mti滤波器通过级联的方式获得，其冲激响应可表示为：

29、h(t)＝δ(t)-2δ(t-t)+δ(t-2t)

30、其中，tτ为发射脉冲重复周期，δ(·)表示冲激函数

31、双延迟线对消器的频率响应为：

32、

33、双延迟线对消器的功率增益为：

34、|h(ω)|2＝|h1(ω)|2|h1(ω)|2

35、＝16(sin(ωt/2))4

36、其中，ω＝2πf，将式进行z变换后，得其传递函数：

37、h(z)2＝(1-z-1)2

38、＝1-2z-1+z-2

39、进一步地，步骤4中搭建深度卷积神经网络模型，具体包括：

40、搭建深度卷积神经网络模型采用mask rcnn神经网络模型，包括backbone网络、区域建议网络(rpn)、roi align层等等。

41、mask rcnn网络采用了卷积神经网络的残差结构，并引入了特征金字塔网络(fpn)，将多个阶段的特征图融合在一起，让模型不仅能够识别特征金字塔中高层的语义特征，还能以提取低层的轮廓特征。fpn思想的核心在于将由卷积神经网络(cnn)提取的中间特征图有机地整合到区域提议网络(rpn)中，从而有效地克服小目标特征被传统网络“过滤”的问题。该方法引入了残差结构，实现了特征图的“自顶向下”且与原始卷积提取的特征图相融合，以增强目标的显著特征。所获得的融合特征图被映射回由cnn生成的特征图上。随后，这些特征图经过分类预测分支和像素级分割掩码分支的处理，从而实现网络模型对距离多普勒图像中道路目标类别和位置的精准识别。

42、在fpn层中的残差resnet50网络中引入轻量的注意力模块cbam，以增强网络对底层细节的抓取能力。cbam模块涵盖了空间注意力(sam)与通道注意力(cam)机制，有利于增强网络对底层图像细节的捕获能力，使其专注于图像的显著特征，同时抑制不相关的空间和通道信息等冗余信息，从而提升resnet50网络的特征提取能力，进一步强化模型性能。其实现的基本流程为如下所示：

43、

44、其中，f为输入特征图，首先通过通道注意力模块mc(f)生成加权特征f′，然后通过空间注意力模块ms(f)生成最终加权特征f″

45、通道注意力机制mc(f)可以表达为：

46、

47、式中：σ为sigmoid函数，w1和w0分别表示全连接层的权重矩阵，mlp为全连接层计算，avgpool表示全局平均池化，maxpool表示全局最大池化，和分别表示f经过全局平均池化和全局最大池化后的结果。

48、空间注意力机制ms(f)可以表达为：

49、

50、其中，σ为sigmoid函数，γ表示卷积核的大小，和分别表示f′经过全局平均池化和全局最大池化后的结果。

51、整个网络的实现和数据的预处理通过深度学习框架tensorflow实现。网络的训练方式采用自适应矩估计(adaptive moment estimation，adam)算法动态调整参数更新步长，通过对梯度的一阶矩估计和二阶矩估计实现网络的动态收敛。adam算法在实施时操作直接，计算高效，且占用更少的内存资源。更重要的是，adam适用于大规模数据和参数优化问题，能够有效地应对非稳态目标。adam的矩估计公式表示如下:

52、

53、

54、

55、

56、

57、其中，式中mt和nt分别估计回传梯度的一阶矩和二阶矩，和分别是矩估计的矫正，μ为一阶矩估计的衰减系数，λ为二阶矩估计的衰减系数。δθt为当前参数，ε为维持数值稳定而添加的小常数。

58、进一步地，步骤(6)所述的训练所设计的深度神经网络模型。

59、将采集到的数据集输入到所设计的深度卷积神经网络中进行训练。首先在通用目标检测数据集上进行预训练，然后再在雷达目标检测数据集上进行500个epoch的进行网络参数训练。

60、每一轮训练结束后，将指标精准率，召回率，平均精度均值按照0.3，0.5，0.2的权重系数进行加权求和得到混合指标，并选取混合指标最好的网络模型作为最佳训练模型用于测试。训练过程中，目标分类损失和置信度损失均采用二元交叉熵损失函数计算，二元交叉熵函数损失函数通常可以表示为：

61、

62、其中，yi表示类别为i，表示预测类别为i的概率。

63、网络训练中超参数的设置情况为：每次迭代的批样本数(batch_size)设置为32，学习率为0.001，训练轮数(epochs)设置为50。目标分类损失和置信度损失均采用二元交叉熵损失函数计算，而位置损失采用基于均方误差损失函数(mse)的损失函数。其中mse将预测框与真实框之间的重叠面积，中心点距离和长宽比都整合进损失函数，因而具有更高的稳定性和收敛速度。具体地，基于mse的损失函数计算方式如下:

64、

65、其中y是理想输出目标，f(x)是模型的真实输出。mse损失用理想输出目标和模型真实输出之间的欧氏距离度量损失，其方法广泛用于深度学习中对图像进行分析处理的问题中。

66、与现有技术相比，本发明的有益效果是：

67、1、本发明提出一种基于深度卷积模型的雷达距离多普勒图像目标识别方法，适用于在复杂交通环境下，能够对不同道路目标进行分类检测和识别，具有较高的识别准确度，可以在多种道路目标识别任务中应用。

68、2、本发明提供的方法采用动目标显示(mti)滤波器处理杂波，距离多普勒图像中的杂波被有效地抑制，从而增强了图像的信噪比，使目标更加清晰地呈现在图像中。

69、3、本发明提供的方法采用注意力机制，通过对网络模型的改进，本方法能够更有效地让神经网络能够更专注地关注对雷达距离多普勒图像中提取目标最有价值的信息，减少冗余信息的传递，从而在保持准确性的同时降低了网络的计算负担，提高了模型的计算效率。

70、4、本发明提供的方法经过反复多次不同道路场景的检测实验，并辅以对比实验以验证其在多元交通环境下的有效性，研究结果表明，在与其他模型对比中，所提出的方法实现了显著的检测精度提升。因此，该方法具备一定的通用性，可应用于广泛的道路目标识别任务中。