基于光学图像辅助的毫米波雷达目标跟踪方法

1.本发明属于数据处理技术领域，具体涉及一种基于光学图像辅助的毫米波雷达目标跟踪方法。


背景技术：

2.随着时代的发展，我们越来越需要新的技术来解决复杂环境下的目标跟踪问题，图像辅助毫米波雷达进行跟踪的方法，可以解决毫米波雷达无法分辨邻近目标的问题，从而实现邻近目标的航迹跟踪。
3.多传感器数据融合是把若干不同来源或不同类别的相互独立的测量数据进行综合处理，以获得更精确更可靠的信息的处理过程。数据融合能获得比单传感器数据更好的目标状态估计，增强信息的互补性，提高系统的综合应用效能。例如，雷达测距精度高，信息量大，但是目标识别能力差，而且由于主动式传感器，很容易暴露携带自己的载体；图像传感器(红外或可见光)在目标检测方面远不如雷达灵敏和迅速，基本上不具有测距能力，除非已知目标尺寸的先验知识，但是却能够提供目标的形状信息，很容易识别目标，同时能够提供目标准确的方位角和高低角信息，另外，图像传感器是一种被动式传感器，具有很好的隐蔽性。因此，如何将这二者有机的结合起来一直是跟踪领域研究的一个热点。
4.目前，多传感器数据融合的常用方法大致可分为两大类：随机和人工智能方法。信息融合的不同层次对应不同的算法，包括加权平均融合、卡尔曼滤波法、bayes估计、统计决策理论、概率论方法、模糊逻辑推理、人工神经网络、d-s证据理论等。
5.多贝叶斯估计法：贝叶斯估计为数据融合提供了一种手段，是融合静环境中多传感器高层信息的常用方法。它使传感器信息依据概率原则进行组合，测量不确定性以条件概率表示，当传感器组的观测坐标一致时，可以直接对传感器的数据进行融合，但大多数情况下，传感器测量数据要以间接方式采用贝叶斯估计进行数据融合。但此方法无法实现航迹关联，不能满足实际需求。
6.人工神经网络法：神经网络具有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射。神经网络的这些特性和强大的非线性处理能力，恰好满足了多传感器数据融合技术处理的要求。在多传感器系统中，各信息源所提供的环境信息都具有一定程度的不确定性，对这些不确定信息的融合过程实际上是一个不确定性推理过程。神经网络根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上，同时，可以采用经*定的学习算法来获取知识，得到不确定性推理机制。利用神经网络的信号处理能力和自动推理功能，即实现了多传感器数据融合。但每变换一个场景，神经网络实现多传感器融合需要重新训练，实现较为麻烦。


技术实现要素：

7.为了解决现有技术中存在的上述问题，本发明提供了一种基于光学图像辅助的毫米波雷达目标跟踪方法。本发明要解决的技术问题通过以下技术方案实现：
8.本发明提供一种基于光学图像辅助的毫米波雷达目标跟踪方法，包括：
9.获取所述毫米波雷达检测到的t个运动目标，并触发所述光学相机抓拍k个时刻，得到包含m个运动目标的多幅光学图像的第一集合，其中，运动目标的实际数量大于等于2，m＞t；
10.利用目标框对每幅所述光学图像中的运动目标进行标注，得到第二集合；
11.获取k个时刻下t个运动目标的点迹坐标集合，并根据所述第二集合与所述点迹坐标集合确定每个时刻的图像量测和雷达量测，得到跟踪数据集；
12.利用联合概率数据关联算法，确定每个时刻下图像量测与雷达量测之间的互联概率，得到互联概率矩阵；
13.根据所述互联概率矩阵，计算当前时刻下雷达量测已关联的个图像量测与第一时刻下所述雷达量测已关联的个图像量测的距离，得到第一矩阵，所述第一时刻为所述当前时刻的上一时刻；
14.根据所述第一矩阵，确定所述毫米波雷达的运动目标拆分结果。
15.在本发明的一个实施例中，所述光学图像为rgb图像，所述目标框为矩形。
16.在本发明的一个实施例中，所述获取k个时刻下t个运动目标的点迹坐标集合，并根据所述第二集合与所述点迹坐标集合确定每个时刻的图像量测和雷达量测，得到跟踪数据集的步骤，包括：
17.获取k个时刻t个运动目标的点迹坐标集合r＝{r1,...,rk,...,rk}，将每个时刻下各运动目标的点迹坐标作为雷达量测；其中，k≥1，rk表示第k个时刻下t个运动目标的点迹坐标表示第k个时刻第t个运动目标的点迹坐标；
18.将所述目标框底边中心点在图像坐标系下的第一坐标转换到雷达坐标系下的第二坐标，得到图像量测；
19.根据所述图像量测以及所述雷达量测，确定所述毫米波雷达的跟踪数据集。
20.在本发明的一个实施例中，所述利用联合概率数据关联算法，确定每个时刻下图像量测与雷达量测之间的互联概率，得到互联概率矩阵的步骤，包括：
21.构建每个时刻的确认矩阵，并根据所述确认矩阵构建每个时刻的联合事件；
22.计算所述每个时刻的联合事件对应的后验概率；
23.根据每个时刻的联合事件对应的后验概率，计算每个时刻下图像量测与雷达量测之间的互联概率，并构建互联概率矩阵。
24.在本发明的一个实施例中，所述根据所述互联概率矩阵，计算当前时刻下雷达量测已关联的个图像量测与第一时刻下所述雷达量测已关联的个图像量测的距离，得到第一矩阵的步骤，包括：
25.根据当前时刻下图像量测与雷达量测之间的互联概率，判断二者是否已关联，并记录当前时刻下雷达量测已关联的个第一图像量测表示当前时刻k下与雷达量测t已关联的第个图像量测；
26.获取第一时刻下雷达量测已关联的个第二图像量测，所述第一时刻为所述当
前时刻的上一时刻；
27.计算所述第一图像量测与所述第二图像量测之间的距离，得到包括行和列的第一矩阵；
28.遍历所述第一矩阵的每一行，保留每行的最小值并将其余值置零；
29.遍历所述第一矩阵的每一列，保留每列的最小值并将其余值置零；
30.从所述第一矩阵的第一列到最后一列，按顺序输出每列保留的值所对应的图像量测，得到毫米波雷达地面临近目标拆分结果。
31.在本发明的一个实施例中，按照如下公式计算所述第一图像量测与所述第二图像量测之间的距离：
[0032][0033]
在本发明的一个实施例中，按照如下公式将所述目标框底边中心点在图像坐标系下的第一坐标转换到雷达坐标系下的第二坐标：
[0034][0035][0036]
其中，a1、b1、c1、a2、b2、c2为常数，表示k时刻下第m个运动目标的目标框底边中心点在图像坐标系下的第一坐标，表示k时刻下第m个运动目标的目标框底边中心点在雷达坐标系下的第二坐标。
[0037]
与现有技术相比，本发明的有益效果在于：
[0038]
本发明实现了多传感器数据融合，在光学图像的辅助下能够分辨多个并行的运动目标的特点，利用本发明改进型jpda的处理方法将雷达航迹分为多条，提高了目标的检测精度。
[0039]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0040]
图1是本发明实施例提供的基于光学图像辅助的毫米波雷达目标跟踪方法的一种流程示意图；
[0041]
图2是本发明实施例提供的基于光学图像辅助的毫米波雷达目标跟踪方法的一种示意图；
[0042]
图3是本发明实施例提供的毫米波雷达检测到t个运动目标的原始航迹的示意图；
[0043]
图4是本发明实施例提供的拆分后运动目标的雷达航迹。
具体实施方式
[0044]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0045]
图1是本发明实施例提供的基于光学图像辅助的毫米波雷达目标跟踪方法的一种流程示意图，图2是本发明实施例提供的基于光学图像辅助的毫米波雷达目标跟踪方法的
一种示意图。如图1所示，一种基于光学图像辅助的毫米波雷达目标跟踪方法，包括：
[0046]
s1、获取毫米波雷达检测到的t个运动目标，并触发光学相机抓拍k个时刻，得到包含m个运动目标的多幅光学图像的第一集合，其中，运动目标的实际数量大于等于2，m＞t；
[0047]
s2、利用目标框对每幅光学图像中的运动目标进行标注，得到第二集合；
[0048]
s3、获取k个时刻下t个运动目标的点迹坐标集合，并根据第二集合与点迹坐标集合确定每个时刻的图像量测和雷达量测，得到跟踪数据集；
[0049]
s4、利用联合概率数据关联算法，确定每个时刻下图像量测与雷达量测之间的互联概率，得到互联概率矩阵；
[0050]
s5、根据互联概率矩阵，计算当前时刻下雷达量测已关联的个图像量测与第一时刻下雷达量测已关联的个图像量测的距离，得到第一矩阵，第一时刻为当前时刻的上一时刻；
[0051]
s6、根据第一矩阵，确定毫米波雷达的运动目标拆分结果。
[0052]
应当理解，毫米波雷达无法分辨邻近的运动目标，因此当多个运动目标并行时，毫米波雷达检测到的运动目标的个数可能小于光学相机抓拍到的运动目标个数；例如，请参见图2，虽然实际上有两个运动目标，但毫米波雷达仅能检测到一个运动目标航迹。本实施例中，毫米波雷达检测到t个运动目标，其连续触发光学相机抓拍k个时刻，获得m个运动目标的多幅光学图像c＝{c1,...,ck,...,ck}，其中，运动目标的实际数量大于等于2，m＞t。
[0053]
示例性地，光学图像为光学相机拍摄得到的rgb图像。
[0054]
在上述步骤s2中，利用目标框对每幅光学图像中的运动目标进行标注时，目标框为矩形，本实施例可通过人工方式进行运动目标的标注。
[0055]
可选地，在上述步骤s3中，获取k个时刻下t个运动目标的点迹坐标集合，并根据第二集合与点迹坐标集合确定每个时刻的图像量测和雷达量测，得到跟踪数据集的步骤，包括：
[0056]
s301、获取k个时刻t个运动目标的点迹坐标集合r＝{r1,...,rk,...,rk}，将每个时刻下各运动目标的点迹坐标作为雷达量测；其中，k≥1，rk表示第k个时刻t个运动目标的点迹坐标表示第k个时刻第t个运动目标的点迹坐标；
[0057]
s302、将目标框底边中心点在图像坐标系下的第一坐标转换到雷达坐标系下的第二坐标，得到图像量测；
[0058]
s303、根据图像量测以及所述雷达量测，确定毫米波雷达的跟踪数据集。
[0059]
具体而言，获取毫米波雷达k个时刻下，t个运动目标的点迹坐标集合r＝{r1,...,rk,...,rk}，其中，k≥1，rk表示第k个时刻下毫米波雷达t个运动目标的点迹坐标表示第k个时刻第t个运动目标的点迹坐标，其中，每个时刻下各运动目标的点迹坐标为雷达量测。本实施例中，使用平面拟合法将矩形目标框底边中心点的第一坐标由图像坐标系转换到雷达坐标系，得到第二坐标
[0060][0061]
[0062]
其中，a1,b1,c1,a2,b2,c2为常数，a1、b1、c1、a2、b2、c2为常数，表示k时刻下第m个运动目标的目标框底边中心点在图像坐标系下的第一坐标，表示k时刻下第m个运动目标的目标框底边中心点在雷达坐标系下的第二坐标，即为图像量测，进而根据图像量测和雷达量测构建跟踪数据集。
[0063]
可选地，上述步骤s4中，利用联合概率数据关联算法，确定每个时刻下图像量测与雷达量测之间的互联概率，得到互联概率矩阵的步骤，包括：
[0064]
s401、构建每个时刻的确认矩阵，并根据确认矩阵构建每个时刻的联合事件；
[0065]
s402、计算每个时刻的联合事件对应的后验概率；
[0066]
s403、根据每个时刻的联合事件对应的后验概率，计算每个时刻下图像量测与雷达量测之间的互联概率，并构建互联概率矩阵。
[0067]
具体而言，在步骤s401中，首先以毫米波雷达第k个时刻下t个运动目标为横坐标、以同一时刻光学图像中m个运动目标的第二坐标为纵坐标，构建每个时刻对应的确认矩阵ωk；然后，利用确认门，计算确认矩阵ωk中ω
mt
的值；
[0068][0069]
其中，ω
mt
＝1表示图像量测落入雷达量测的确认门内，ω
mt
＝0表示图像量测未落入雷达量测的确认门内，而当t＝0时，则表示没有目标。
[0070]
进一步地，采用穷举法对每个时刻的确认矩阵ωk进行拆分，得到n个互联矩阵。示例性地，遍历确认矩阵ωk中“1”所在的位置并记录行和列，按照除第一行外每行最多只有一个“1”的原则进行矩阵拆分，遍历所有的可能情况，得到sk是与ωk相同大小的矩阵。
[0071]
然后，通过互联矩阵中“1”所在的行、列构建互联事件θn(k)。具体地，θn(k)第n个联合事件中源于
[0072][0073]
θ
m0
(k)表示在第n个联合事件中源于杂波或虚警；
[0074]
用确认矩阵中表示：
[0075][0076]
也就是说，在第n个联合事件中，源于不源于目标t。
[0077]
之后，按照如下步骤计算联合事件θn(k)的后验概率pr{θn(k)|zk}：
[0078]
量测互联指示：
[0079][0080]
量测互联指示表示量测j在联合事件θi(k)中是否跟一个真实目标关联。
[0081]
目标检测指示：
[0082][0083]
目标检测指示表示任一个量测在联合事件θi(k)中是否跟一个真实目标t互联，亦即目标是否被检测。
[0084]
设表示在联合事件θi(k)中虚假量测的数量：
[0085][0086]
那么，pr{θi(k)|zk}具体计算公式如下：
[0087]
前q个时刻图像量测m的累积集合zk，其中1＜q≤k，虚假量测的空间密度λ，归一化常数c
′
，高斯分布n
t
，目标t的检测概率
[0088][0089]
图像量测与雷达量测关联的概率β
mt
(k)为：
[0090][0091]
可选地，上述步骤s5中，根据互联概率矩阵，计算当前时刻下雷达量测已关联的个图像量测与第一时刻下所述雷达量测已关联的个图像量测的距离，得到第一矩阵的步骤，包括：
[0092]
根据当前时刻下图像量测与雷达量测之间的互联概率，判断二者是否已关联，并记录当前时刻下雷达量测已关联的个第一图像量测表示当前时刻k下与雷达量测t已关联的第个图像量测；
[0093]
获取第一时刻下雷达量测已关联的个第二图像量测，第一时刻为当前时刻的上一时刻；
[0094]
计算第一图像量测与第二图像量测之间的距离，得到包括行和列的第一矩阵；
[0095]
遍历第一矩阵的每一行，保留每行的最小值并将其余值置零；
[0096]
遍历第一矩阵的每一列，保留每列的最小值并将其余值置零；
[0097]
从第一矩阵的第一列到最后一列，按顺序输出每列保留的值所对应的图像量测，得到毫米波雷达地面临近目标拆分结果。
[0098]
示例性地，按照如下公式计算所述第一图像量测与所述第二图像量测之间的距
离：
[0099][0100]
图3是本发明实施例提供的毫米波雷达检测到t个运动目标的原始航迹的示意图。图4是本发明实施例提供的拆分后运动目标的雷达航迹。其中，横轴y轴为距离，纵轴x轴为角度，本方法能够通过图像目标框实现雷达航迹拆分。
[0101]
通过上述各实施例可知，本发明的有益效果在于：
[0102]
本发明实现了多传感器数据融合，在光学图像的辅助下能够分辨多个并行的运动目标的特点，从而将雷达航迹分为多条，提高了目标的检测精度。
[0103]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0104]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0105]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0106]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。