一种基于机器学习的雷达信号处理方法

1.本技术涉及智慧交通领域，尤其涉及一种基于机器学习的雷达信号处理方法。


背景技术：

2.目前车联网驾驶的方式多是车联网平台通过采集图像分析车流，然后以移动数据通信的方式向汽车提供交互数据或者控制指令使汽车按照规则驾驶，然而，这种方式需要采集图像和发送移动数据两种系统，发送信号的方式也比较机械，大范围的发送移动信号没有兼顾现场的实际情况，因而对资源的利用效率较低。
3.有必要提供一种新的方法，提高资源利用率。


技术实现要素：

4.本说明书实施例一种基于机器学习的雷达信号处理方法，用以提高资源利用率，该方法包括：
5.通过雷达采集目标对象的运动状态信息，构造运动状态序列；
6.基于所述运动状态序列生成并筛选运动策略；
7.根据所述运动状态序列预测所述目标对象的未来位移时序；
8.根据信号发射时机、信号发射方向、信号发射强度构造发射策略搜索空间,根据环境中多个目标对象的流动程度、所述未来位移时序、雷达信号的强度覆盖范围系数、雷达信号的传播速度、环境中的障碍物空间位置信息和所述目标对象当前的位置构造环境空间,在所述发射策略搜索空间以多个搜索点进行搜索，根据搜索结果的坐标确定对应的信号发射策略，将所述信号发射策略施加到所述环境空间中，利用奖励函数计算奖励值，并对未来预设时段内的多个时刻进行机器学习迭代，计算迭代的搜索点对应的奖励值之和，在多个奖励值之和中筛选最大值对应的信号发射策略；
9.按照所述信号发射策略中的信号发射时机、信号发射方向、信号发射强度向所述目标对象发送载有所述运动策略的雷达信号,引导所述目标对象移动；
10.其中，奖励函数的指标包括：雷达信号对障碍物的避障效果，以及该雷达信号在避障后对目标对象的覆盖强度、对该目标对象发射雷达信号的发射次数的倒数。
11.本说明书实施例还提供一种电子设备，其中，该电子设备包括：
12.处理器；以及，
13.存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一项方法。
14.本说明书实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述任一项方法。
15.本说明书实施例提供的各种技术方案通过雷达采集目标对象的运动状态，生成并筛选运动策略，预测未来位移，根据信号发射时机、信号发射方向、信号发射强度构造发射策略搜索空间,根据目标对象的流动程度、未来位移时序、雷达信号覆盖范围系数、传播速
度、障碍物位置和目标对象当前位置构造环境空间,在搜索空间搜索信号发射策略施加到环境空间计算奖励值，对未来多个时刻机器学习迭代，计算奖励值和，筛选最大值按照对应的发射策略中的时机、方向、强度向目标对象发送载有运动策略的雷达信号,引导移动，信号的发射与现场环境相适应，通过雷达信号引导运动无需两种系统，提高了资源利用率。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1为本说明书实施例提供的一种基于机器学习的雷达信号处理方法的原理示意图；
18.图2为本说明书实施例提供的一种电子设备的结构示意图；
19.图3为本说明书实施例提供的一种计算机可读介质的原理示意图。
具体实施方式
20.现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
21.在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
22.在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
23.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
24.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
25.术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
26.图1为本说明书实施例提供的一种基于机器学习的雷达信号处理方法的原理示意图，该方法可以包括：
27.s101：通过雷达采集目标对象的运动状态信息，构造运动状态序列；
28.s102：基于所述运动状态序列生成并筛选运动策略；
29.s103：根据所述运动状态序列预测所述目标对象的未来位移时序；
30.s104：根据信号发射时机、信号发射方向、信号发射强度构造发射策略搜索空间,根据环境中多个目标对象的流动程度、所述未来位移时序、雷达信号的强度覆盖范围系数、雷达信号的传播速度、环境中的障碍物空间位置信息和所述目标对象当前的位置构造环境
空间,在所述发射策略搜索空间以多个搜索点进行搜索，根据搜索结果的坐标确定对应的信号发射策略，将所述信号发射策略施加到所述环境空间中，利用奖励函数计算奖励值，并对未来预设时段内的多个时刻进行机器学习迭代，计算迭代的搜索点对应的奖励值之和，在多个奖励值之和中筛选最大值对应的信号发射策略；
31.s105：按照所述信号发射策略中的信号发射时机、信号发射方向、信号发射强度向所述目标对象发送载有所述运动策略的雷达信号,引导所述目标对象移动；
32.其中，奖励函数的指标包括：雷达信号对障碍物的避障效果，以及该雷达信号在避障后对目标对象的覆盖强度、对该目标对象发射雷达信号的发射次数的倒数。
33.对该目标对象发射雷达信号的发射次数的倒数越大，说明发射次数越少，对时间的占用成本越低，功耗也越低。
34.该方法通过雷达采集目标对象的运动状态，生成并筛选运动策略，预测未来位移，根据信号发射时机、信号发射方向、信号发射强度构造发射策略搜索空间,根据目标对象的流动程度、未来位移时序、雷达信号覆盖范围系数、传播速度、障碍物位置和目标对象当前位置构造环境空间,在搜索空间搜索信号发射策略施加到环境空间计算奖励值，对未来多个时刻机器学习迭代，计算奖励值和，筛选最大值按照对应的发射策略中的时机、方向、强度向目标对象发送载有运动策略的雷达信号,引导移动，信号的发射与现场环境相适应，通过雷达信号引导运动无需两种系统，提高了资源利用率。
35.通过雷达采集目标对象的运动状态信息，需要发射雷达信号并回收雷达信号，根据回收信号与发射信号的相位差频率差计算雷达和目标对象的距离，再根据不同时刻测到的距离，便可以得到目标对象的运动状态信息，运动状态可以是速度、加速度或者位置等信息。运动状态序列可以是位置-速度的时间序列。
36.由于目标对象的移动需要遵守一定规则，因此可以根据运动状态序列生成多个运动策略，然后筛选最优的运动策略。
37.根据运动状态序列还可以预测所述目标对象的未来位移时序，这样，便可以确定未来的位置，以便下次发射雷达信号时定向精准发射。
38.可以利用卡尔曼滤波算法预测未来位移，用来构造进行强化学习，提高精准度。
39.具体的，未来时刻的位移预估值其中，
[0040][0041]
q为过程噪声协方差，uk为系统控制方程，表征加速度，ak为配置的状态转移矩阵，bk为配置的控制输入矩阵，hk为状态向量到观测向量的转换矩阵，zk是当前位移的实测值，r是过程噪声协方差矩阵，i单位矩阵，pk为后验估计协方差矩阵，真实值与最优估计值之间的协方差，更新后成为下一次迭代的输入，为先验估计协方差矩阵，真实值与预测值之间的协方差，通过使它的迹最小(方差和最小)使误差最小，以此求出卡尔曼增益kk，用于修正先验估计值k-1表征上次迭代的迭代时刻，k表征本次迭代时刻，以得到未来时刻的位移预估值。
[0042]
由于发射的雷达信号载有运动策略，因此，雷达信号既具有探测的功能，也具有通信的功能，因而只需要一套系统即可实现位置探测和通信。
[0043]
通过构造发射策略搜索空间，能够及时调整发射策略，在需要的时间、位置以必要的强度发射雷达信号，降低了能耗，因而提高资源利用率。
[0044]
环境空间表征不受发射策略影响但能影响发射策略优劣的因素，包括：多个目标对象的流动程度、所述未来位移时序、雷达信号的强度覆盖范围系数、雷达信号的传播速度、环境中的障碍物空间位置信息和所述目标对象当前的位置。
[0045]
通过流动强度，能够使对象的移动速度与其环境中的流动强度相适应。
[0046]
其中，流动程度可以表征道路的通畅程度。
[0047]
具体的在本说明书实施例中，还包括：
[0048]
利用动态指标实时计算环境中多个目标对象的流动程度s＝(a*d/v)-s1，其中，对i从1到n求第i+1个目标对象到第i个目标对象的间距加权求和得到d，i＝1时为离发射雷达最近的目标对象，i越小配置的权重越大；v是n个目标对象当前移动速度的平均值；a为从上上时段到上一时段，各目标对象当前移动速度的平均值的变化系数；s1为目标对象远离雷达一侧方向计算出的流动程度a1*d1/v1,对j从1到m求第j+1个目标对象到第j个目标对象的间距加权求和得到d1，j＝1时为远离雷达一侧方向离发射雷达最近的目标对象，j越小配置的权重越大；v1是m个目标对象当前移动速度的平均值；a1为从上上时段到上一时段，各目标对象当前移动速度的平均值的变化系数。
[0049]
n为朝向雷达行驶的汽车个数，m为远离雷达行驶的汽车个数。
[0050]
从上上时段到上一时段，各目标对象当前移动速度的平均值的变化系数可以反映移动速度的变化趋势，因为可以计算未来雷达信号到达时的移动速度，使雷达信号的发射策略与移动速度的变化趋势相适应。
[0051]
在本说明书实施例中，所述按照所述信号发射策略中的信号发射时机、信号发射方向、信号发射强度向所述目标对象发送载有所述运动策略的雷达信号，包括：
[0052]
在对应时间以对应的发射方向和发射强度向对应的目标对象发射载有各目标对象所对应的运动策略的雷达信号。
[0053]
在本说明书实施例中，还包括：
[0054]
各目标对象从接收到的雷达信号中解析出其所对应的运动策略，并按照该运动策略移动。
[0055]
在生成运动定策略时，需要利用目标对象的位置，然而，由于雷达信号是电磁波，这就导致其或多或少会受到传输介质的影响，因此，雷达信号计算出的位置，都是受折射影响后的位置，不是真实的位置，因此，如果需要生成更精准的运动策略，需要校正得到折射前的传播途径，计算真实的位置。
[0056]
因此，在本说明书实施例中，所述基于所述运动状态序列生成并筛选运动策略,包括：
[0057]
构造转换器，利用所述转换器对运动状态序列中目标对象的位置进行校正；
[0058]
根据目标对象的校正后的位置生成并筛选运动策略。
[0059]
在本说明书实施例中，所述构造转换器，利用所述转换器对运动状态序列中目标对象的位置进行校正，包括：
[0060]
获取样本区域的气温、湿度和地面材质的三元分布信息，构造温湿材三维分布模型；
[0061]
探测样本区域的电磁波弯折状态，构造电磁波弯折状态分布模型；
[0062]
构造转换器的神经网络架构，以所述电磁波弯折状态分布模型为目标，以所述温湿材三维分布模型为输入对所述神经网络架构进行训练，得到训练好的转换器；
[0063]
获取所述目标对象到雷达之间区域的气温、湿度和地面材质的三元分布信息构造三维模型，将三维模型输入到所述转换器中，学习得到目标对象到雷达之间区域的电磁波弯折状态分布模型；
[0064]
利用所述电磁波弯折状态分布模型确定对目标对象的真实位置，作为目标对象校正后的位置。
[0065]
电磁波弯折状态分布模型中每个坐标都具有折射率数据。
[0066]
在本说明书实施例中，所述利用所述电磁波弯折状态分布模型确定对目标对象的真实位置，包括：
[0067]
从雷达的位置开始，根据目标对象校正前的位置确定传播方向，沿着该传播方向确定传播步段，根据所述电磁波弯折状态分布模型确定所述传播步段内的折射率，并根据所述折射率计算折射后的传播方向，得到校正后的传播步段，以所述校正后的传播步段的终点和方向确定下一个传播步段，并继续确定其折射率和传播方向，进行迭代，直至在校正后传播步段的长度之和等于校正前传播步段的长度之和时，确定最后一个校正后的传播步段的终点，计算其三维坐标，即为目标对象的真实位置。
[0068]
考虑到当雷达信号与通信信号共用频段时，雷达信号可能会被干扰，因此，而实时监测干扰信号需要配置大量的硬件和软件资源，如果能在被干扰的信号中以自适应的识别方式而不是以固定的识别方式来进行运动策略的识别，就能够减少软硬件的配置。
[0069]
为了提高识别的准确率，使模型具有准确识别的能力，可以用干扰信号帮助训练，因此，在本说明书实施例中，还包括：
[0070]
根据目标对象接收到的雷达信号、环境中是否有干扰信号源及其运行属性和位置信息、目标对象位置构造第一输入样本，用目标对象接收到的雷达信号构造第二输入样本；
[0071]
设置具有雷达信号通道、干扰信号源有无通道、干扰信号源运行属性和位置通道和目标对象位置通道的运动策略第一识别模型架构，构造具有雷达信号通道的运动策略第二识别模型架构；根据发射时的雷达信号中携带的运动策略设置训练标签，用所述训练标签同步训练运动策略第一、二识别模型架构，每次迭代时根据运动策略第一识别模型的预测偏差对运动策略第二识别模型的参数进行调整，直至运动策略第二识别模型在具有干扰信号源的环境中识别雷达信号中运动策略的准确率达到阈值，将训练好的运动策略第二识别模型下发至目标对象并部署；
[0072]
目标对象接收到雷达发射的载有运动策略的且被干扰信号源干扰的雷达信号后，通过所述运动策略第二识别模型从中识别出运动策略，自动去除干扰信号源的影响。
[0073]
这样，由于运动策略第二识别模型的训练过程兼顾了环境中是否有干扰信号源及其运行属性和位置信息、目标对象位置等信息影响的模型预测偏差，因此，运动策略第二识别模型能够通过参数调整学习到特定的识别逻辑，在不需要探测干扰信号源的前提下减小受干扰信号源干扰的参数的权重，增大受干扰信号源干扰小的参数权重，从而避开干扰信号的干扰。
[0074]
在本说明书实施例中，所述每次迭代时根据运动策略第一识别模型的预测偏差对
运动策略第二识别模型的参数进行调整，包括：
[0075]
根据运动策略第一识别模型的预测偏差和运动策略第二识别模型的预测偏差计算中间值，根据所述中间值对运动策略第二识别模型的参数进行调整。
[0076]
在本说明书实施例中，所述运动策略第一、二识别模型架构中具有信号采样时间学习层，用于训练后自适应调整对雷达信号的采样时间，以在干扰信号源的信号强度弱的时间进行采样。
[0077]
通过训练的模型自动调整采样时间，而不是按照预设的时间间隔进行雷达信号采样，能够减小干扰信号源的干扰。
[0078]
目标移动对象可以是汽车，雷达可以位于道路交叉口，从而路口对汽车的移动进行调度，减少拥堵提高通行效率；目标移动对象也可以是无人机，雷达位于引领无人机的设施中，使无人机跟随该设施飞行并避障。
[0079]
基于同一发明构思，本说明书实施例还提供一种电子设备。
[0080]
下面描述本发明的电子设备实施例，该电子设备可以视为对于上述本发明的方法和装置实施例的具体实体实施方式。对于本发明电子设备实施例中描述的细节，应视为对于上述方法或装置实施例的补充；对于在本发明电子设备实施例中未披露的细节，可以参照上述方法或装置实施例来实现。
[0081]
图2为本说明书实施例提供的一种电子设备的结构示意图。下面参照图2来描述根据本发明该实施例的电子设备200。图2显示的电子设备200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0082]
如图2所示，电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
[0083]
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图1所示的步骤。
[0084]
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(rom)2203。
[0085]
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0086]
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0087]
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当
明白，尽管图2中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0088]
通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机可读介质能够实现本发明的上述方法，即：如图1所示的方法。
[0089]
图3为本说明书实施例提供的一种计算机可读介质的原理示意图。
[0090]
实现图1所示方法的计算机程序可以存储于一个或多个计算机可读介质上。计算机可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0091]
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传播用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传播，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0092]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0093]
综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0094]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0095]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0096]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。