一种基于局部拓扑特征描述和Sinkhorn的异源多目标匹配方法与流程

本发明涉图像处理与多源信息融合，具体涉及一种基于局部拓扑特征描述和sinkhorn的异源多目标匹配方法。

背景技术：

1、多类型传感器(如图像、雷达、激光等)融合探测技术越来越广泛地应用于自动驾驶、工业机器人、安防监控等领域。如何实现多源异构探测平台对目标的同一性识别，实现异源多目标信息匹配是完成协同探测的关键。

2、多源异构探测平台所获取的异源多目标信息主要包含的是位置信息，图像特征并不明显，特别是涉及到雷达或激光信息时，则不存在图像特征，此时，同一性识别和匹配工作主要是面向点集位置信息进行处理。

3、传统应用于目标同一性识别的特征提取算法有：sitf、surf和orb等。sift方法利用特征点在图像中邻域像素的梯度方向分布特性进行特征描述；surf算是通过计算特征点在图像中的haar特征进行特征提取；orb算法在brief描述子基础上进行特征描述，而brief的计算也是通过图像灰度计算获得。这些算法都依赖于图像灰度或纹理信息，难以应用在异构异源信息的特征提取上。

4、多目标匹配可以看作数据关联问题，根据现有文献及研究成果，常用的数据关联算法有基于最近邻、全局最近邻(贪婪算法、拍卖算法、匈牙利匹配)及联合概率分布(jpda)等。基于最近邻的关联方法常应用于目标稀疏场景，不适用于密集场景的匹配；基于全局最近邻的方法求解算法成熟，应用广泛，但其匹配结果对所构造的代价矩阵依赖性较强，欠缺鲁棒性；基于联合概率分布的关联算法对密集集群场景适应性强，但是其复杂度高且不能实现对各个目标的一一匹配。

技术实现思路

1、本发明解决的技术问题是：克服现有技术的不足，提供一种基于局部拓扑特征描述和sinkhorn的异源多目标匹配方法，解决了面向点集位置信息的异源多目标信息匹配。

2、本发明的技术方案是：一种基于局部拓扑特征描述和sinkhorn的异源多目标匹配方法，该方法包括如下步骤：

3、获取两幅待匹配视图，将其中一幅视图记为第一待匹配视图，另一幅视图记为第二待匹配视图；

4、将第一待匹配视图和第二待匹配视图中待匹配的异源目标信息以n近邻连接方式构造若干条线段；

5、对第一待匹配图预先构造的线段与其视窗位置关系进行关联，确定映射关系，以线段端点构建一组基，通过该组基对视图中其它待匹配异源目标点进行线性表示得到编码系数，获取待匹配异源目标点的拓扑特征描述；

6、将映射关系应用到第二待匹配图提取具备相同拓扑特征的邻域矩形窗，根据局部拓扑特征不变原理使用编码系数预测第二待匹配图邻域矩形内待匹配异源目标点的位置；

7、根据第二待匹配图中预测目标位置和实际存在目标位置，计算代价矩阵m；

8、根据代价矩阵m，基于sinkhorn和代价矩阵进行多目标数据关联并完成异源多目标匹配。

9、优选地，第一待匹配视图中形成的最近邻线段记为xi',i'＝1～n，将第二待匹配视图中形成的最近邻线段记为yj',j'＝1～m，n为第一待匹配图最近邻线段数量，m为第二待匹配图最近邻线段数量，代价矩阵m的具体计算过程如下：

10、s1、选取第一待匹配视图中第i'根最近邻线段，遍历第二待匹配视图中m根最近邻线段，重复执行步骤s2～步骤s6，之后进入步骤s7；

11、s2、选取第一待匹配图自身矩形窗的任一顶点作为第一待匹配图矩形窗基准点o，建立以第一待匹配视图中第i'根线段其中一个端点为原点、线段为极轴的第一极坐标系，在第一极坐标系内构建第一待匹配视图中第i'根线段与第一待匹配图矩形窗基准点的映射关系；

12、s3、以第一待匹配视图矩形窗基准点o为起点，线段两个端点a和b为终点，构建一组向量和作为一组基，记作第一向量基，对第一待匹配图矩形窗中其它所有的待匹配异源目标点的位置进行线性表示，取其系数作为待匹配异源目标点在第一待匹配图矩形窗中的编码参数(αi,βi),i＝1～ns，得到局部拓扑特征，ns为第一待匹配矩形窗中待匹配异源目标点个数；

13、s4、针对第二待匹配图中的第j'根最近邻线段，以该线段其中一个端点为原点、线段为极轴的第二极坐标系，根据候选邻域矩形经过旋转、平移和缩放变换在第二极坐标系中与第二待匹配图自身视窗矩形与在第一极坐标系下的位置重合的原则，利用第一待匹配视图中的映射关系得到第二待匹配图中线段的候选邻域矩形窗；

14、s5、根据局部拓扑特征不变原理，将候选邻域矩形顶点o’为顶点，第二待匹配图中的第j'根最近邻线段的两个端点a’和b’为终点，构建一组向量和作为第二向量基，将步骤s5获取的待匹配异源目标点在第一待匹配图矩形窗中的编码参数(αi,βi),i＝1～ns，应用到第二待匹配图中的第二向量基上，求解候选邻域矩形内预测目标的位置；

15、s6、计算第二待匹配图中第j'根最近邻线段对应的候选邻域矩形内与每个预测目标与所有实际目标的欧式距离最小值，再将最小值相加，作为第一待匹配视图中第i'根最近邻线段、第二待匹配视图中第j'根最近邻线段所对应的欧式距离；

16、s7、遍历第一待匹配视图中的n根最近邻线段，重复步骤s1～步骤s7，得第一待匹配视图中第i'根最近邻线段、第二待匹配图中第j'根最近邻线段对应欧式距离值为基础计算代价矩阵m的元素，得到代价矩阵m，代价矩阵m的大小为n×m。

17、优选地，所基于sinkhorn和代价矩阵进行多目标数据关联并完成异源多目标匹配具体步骤如下：

18、s7.1、根据代价矩阵m和正则化参数λ，初始化多目标匹配概率矩阵p＝exp-λm；初始化行向量c＝[1/n,1/n…,1/n]，长度为n；初始化列向量r＝[1/m1/m…,1/m]，长度为m；

19、s7.2、将多目标匹配概率矩阵p按列求和得到行中间向量p1，列向量r点除行中间向量p1后与多目标匹配概率矩阵p点乘，得到更新多目标匹配概率矩阵p；

20、s7.3、将多目标匹配概率矩阵p按行求和得到列中间向量p2，行向量c点除列中间向量p2后与多目标匹配概率矩阵p点乘，得到更新多目标匹配概率矩阵p；

21、s7.4、判断多目标匹配概率矩阵p是否收敛，若收敛，则结束，若不收敛则重复s7.2-s7.3。

22、优选地，所述正则化参数λ的初值为100～1000。

23、优选地，判断多目标匹配概率矩阵p是否收敛的方法为：

24、判断步骤s7.2-s7.3迭代前后，矩阵p按行求和各元素差值的最大绝对值是否小于收敛阈值，若小于收敛阈值则认为多目标匹配概率矩阵p收敛，否则，认为多目标匹配概率矩阵p不收敛。

25、优选地，所述收敛阈值小于等于0.01。

26、优选地，所述第一待匹配视图中第i'根线段与第一待匹配图矩形窗基准点的映射关系，第一待匹配图矩形窗基准点在第一极坐标系下的坐标(θ,ρ)表示：

27、

28、

29、其中，(xo,yo)基准点o在第一匹配图直角坐标系下的坐标，(xa,ya)为线段ab的端点a在第一匹配图直角坐标系下的坐标，(xb,yb)为线段ab的端点b在第一匹配图直角坐标系下的坐标，所述第一匹配图直角坐标系以第一待匹配图矩形窗基准点o为原点，矩形窗长边为x轴，矩形窗短边为y轴。

30、优选地，待匹配异源目标点c的位置采用如下方式表示：

31、

32、其中，为以矩形窗基准点为起点，线段端点a为终点构造的向量；

33、为以矩形窗基准点为起点，线段端点b为终点构造的向量；

34、为以矩形窗基准点为起点，线段端点c为终点构造的向量；

35、α和β为待匹配异源目标点在第一待匹配图矩形窗中的编码参数。

36、优选地，候选邻域矩形内预测目标c″的位置，根据如下公式计算得到：

37、

38、优选地，代价矩阵的元素为：

39、

40、其中，disi′,j′为为第一待匹配视图中第i'根最近邻线段与第二待匹配视图中第j'根最近邻线段所对应的欧式距离，thdis为预测目标位置与实际目标位置欧式距离的匹配阈值。

41、本发明与现有技术相比的有益效果是：

42、(1)、本发明先用局部拓扑特征描述的方式得到代价矩阵，将图像信息转换为数据信息，再将代价矩阵与sinkhorn结合，采用数据处理的方法，实现了异源多目标匹配，该方法鲁棒性高、计算复杂度低，应用适应性强；

43、(2)、本发明对待匹配的异源目标信息以n近邻链接方式，构造若干条线段，该方式能避免单一线段选择带来的不稳定性，保证其鲁棒性，同时还可以避免全连接线段的大量运算；

44、(3)、本发明以邻域矩形顶点和一组线段端点构建一组基，并在极坐标下完成邻域矩形窗内其他目标的线性表示和拓扑编码；该编码方式能够适应旋转、平移和缩放等变换，具有更高的鲁棒性。

45、(4)、本发明以目标预测位置与实际位置距离作为参数计算代价矩阵，对代价矩阵进行最优化传输变换，采用sinkhorn进行迭代求解，获得最佳数据关联结果，提升了对待匹配场景目标密集度和复杂度的适应性。