一种基于梯度特征的实时异源目标匹配方法与流程

1.本发明涉及计算机视觉技术领域，特别涉及一种基于梯度特征的实时异源目标匹配方法。


背景技术：

2.图像匹配技术，是图像处理的一项基本技术，它用来匹配相互间具有偏移的两幅或多幅图像。它在医学图像分析、物体辨识及变化检测、目标识别中具有广泛的应用。异源图像匹配是图像匹配领域一个新兴的热点研究课题，其中红外与可见光图像的匹配是多源遥感数据融合、景象匹配导航等技术的基础，有着广阔的发展前景。
3.目前，常用的目标匹配算法大多针对同源匹配，且已经取得不错的匹配效果。但由于红外图像和可见光图像在传感器结构、成像原理等方面的不同，导致异源图像中目标的图像信息存在较大差异，常用目标匹配算法直接用于红外图像与可见光图像的异源目标匹配，效果不佳。同时，由于拍摄角度、拍摄距离的不同，导致图像匹配前需要进行一系列图像变换，该变换过程计算量大，难以满足对匹配算法的实时性要求。


技术实现要素：

4.针对现有同源图像匹配算法无法适应异源匹配、在线提取特征无法满足实时性要求的问题，本公开提出一种基于梯度特征的实时异源目标匹配方法，能够有效提高匹配的速度和精度。
5.本公开提供的基于梯度特征的实时异源目标匹配方法，包括以下步骤：
6.步骤s1：从待匹配目标的可见光参考图中提取关键点及其梯度特征；根据梯度特征生成各个关键点的特征点对；将所述特征点对存为本地文件；
7.步骤s2：从当前帧红外图像中提取关键点及其梯度特征；
8.步骤s3：根据红外探测器相关参数，计算红外相机坐标系到像素坐标系的变换矩阵m1；根据实时红外相机相关信息，计算世界坐标系到红外相机坐标系的变换矩阵m2；根据矩阵m1和m2，计算世界坐标系到像素坐标系的变换矩阵m3；
9.步骤s4：读取所述本地文件中的特征点对，并基于矩阵m3进行世界坐标系到像素坐标系的坐标变换；基于坐标变换后的特征点对，计算对应的坐标变换后的关键点梯度特征；
10.步骤s5：将变换后的关键点梯度特征与当前帧红外图像中的关键点梯度特征进行异源特征相似性计算，判断当前帧中是否存在匹配的目标，存在则输出目标坐在位置坐标，否则，以下一帧红外图像为当前帧，进入步骤s2。
11.进一步地，所述步骤s1中，提取关键点及其梯度特征的方法具体包括以下步骤：
12.获取待匹配目标的可见光参考图，调整其分辨率为1，即世界坐标中1m
×
1m区域在图像中占1个像素；
13.使用sobel算子，分别提取每个点的x方向梯度特征和y方向梯度特征，计算其幅值
和方向场；
14.根据幅值进行筛选过滤，得到若干特征点作为关键点，每个关键点对应的方向场角度作为关键点梯度特征。
15.进一步地，所述步骤s1中，所述幅值和方向场的计算方法包括：
16.每个位置幅值计算公式如下：
[0017][0018]
其中，dx表示该位置x方向梯度，dy表示该位置y方向梯度，magg表示该位置幅值；
[0019]
每个位置方向场计算公式如下：
[0020][0021]
其中，angle计算公式如下：
[0022][0023]
进一步地，所述步骤s1中，每个关键点的特征点对生成方法包括：
[0024]
在关键点坐标p1(x1,y1)对应方向场方向、步长为1的位置，选取坐标点p2(x2,y2)，该坐标点p2与所述关键点p1组成p1点的特征点对(p1,p2)。
[0025]
进一步地，所述步骤s3中，坐标变换矩阵m1的计算方法包括：
[0026]
设红外探测器相关参数包括：视场中心坐标(u0,v0)、像元宽dx、像元高dy和焦距f，则根据相机投影原理，坐标变换矩阵m1计算公式如下：
[0027][0028]
所述矩阵m2的计算公式如下：
[0029][0030]
其中，t表示相机相对于目标的3
×
1平移矩阵，r为根据三个姿态角仿射变换的3
×
3旋转矩阵，三个姿态角指相机坐标系相对于世界坐标系的方位角α、俯仰角β和滚动角δ；
[0031]
所述矩阵m3的计算公式如下：
[0032]
m3＝m1m2。
[0033]
进一步地，所述步骤s4中，将特征点对基于矩阵m3进行坐标变换的方法包括：
[0034]
可见光参考图比例为1时，将图中每个像素点直接平移转换为世界坐标，转换公式如下：
[0035][0036]
其中，(x,y,z)表示像素点对应在世界坐标系中的坐标，(c,r)表示像素点在参考图中坐标位置，w表示参考图横向总像素数，h表示参考图纵向总像素数；
[0037]
则特征点对基于矩阵m3的坐标变换计算公式如下：
[0038][0039][0040]
其中，(u,v)表示特征点在变换后图像中所在像素坐标，zc表示特征点在相机坐标轴z轴上的方向位置。
[0041]
进一步地，所述步骤s4中，计算对应的坐标变换后的关键点梯度特征的方法包括：
[0042]
计算坐标变换后关键点的方向场角度，方向场的计算与步骤s1中方向场计算公式相同，但式中dx和dy的定义为：
[0043][0044]
其中，(x1′
,y1′
)和(x2′y′
)分别为坐标变换后的特征点对；
[0045]
对变换后的关键点梯度特征进行梯度扩散，即把每一个像素点及其n
×
n领域，n为自然数，按照离散化的方向进行或运算，每个关键点梯度特征包含不止一个方向场角度。
[0046]
进一步地，所述n＝5。
[0047]
进一步地，所述步骤s5具体包括以下步骤：
[0048]
按以下公式，进行相似度计算：
[0049][0050]
其中，sa表示实时红外图像关键点方向场角度，ta表示可见光参考图变换后关键点梯度特征方向场角度，l(sa,ta)用于计算两个关键点特征相似度；
[0051]
使用步长为t的滑动窗口方式遍历实时红外图像，所有区域与可见光参考图坐标变换后的关键点梯度特征计算相似度，相似度计算公式如下：
[0052][0053]
其中，k表示参考图中总共提取的关键点个数，m表示该关键点位置存在m个方向场角度特征，sa表示实时红外图像该区域中与可见光参考图关键点对应位置的关键点方向场角度；ls表示该区域与参考图相似度，ls越低表示相似度越高；
[0054]
当某区域相似度小于阈值k时，表示成功匹配到目标，则输出目标所在位置坐标；
[0055]
否则，以下一帧红外图像为当前帧，进入步骤s2。
[0056]
本公开提供的基于梯度特征的实时异源目标匹配方法，通过离线提取可见光参考图中的关键点梯度特征，并将其转换为可进行实时坐标变换的特征点对；在线匹配时，将这些特征点对坐标变换后与实时红外图像关键点特征进行异源特征相似度计算，从而有效提高匹配速度和精度。
[0057]
与现有技术相比，本公开的有益效果是：
①
通过离线生成可在线进行坐标变换的特征点对，减轻实时匹配中的运算量；
②
提高匹配速度；
③
通过设计针对异源特征的相似度计算方式，提高梯度特征对异源匹配的适应性；
④
提高匹配准确率；
⑤
通过使用梯度扩散方式将关键点特征扩散至邻域中，提高匹配算法的抗干扰能力。
附图说明
[0058]
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例方式中，相同的参考标号通常代表相同部件。
[0059]
图1为根据本公开的示例性实施例流程图。
具体实施方式
[0060]
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0061]
图1显示本公开的示例性实施例流程图，包括以下步骤：
[0062]
步骤s101：输入待匹配目标可见光参考图，调整参考图分辨率并提取其关键点梯度特征。
[0063]
参考图分辨率表示世界坐标中1m
×
1m区域在图像中占几个像素。通过对参考图尺度变换，将参考图分辨率调整为1，即世界坐标中1m
×
1m区域在图像中占1个像素。
[0064]
提取关键点梯度特征：使用sobel算子分别提取x方向梯度特征和y方向梯度特征，分别计算幅值和方向场，根据幅值进行筛选过滤得到若干特征点作为关键点，每个关键点对应方向场角度作为关键点梯度特征。
[0065]
其中，每个位置幅值计算公式如下：
[0066][0067]
式中，dx表示该位置x方向梯度，dy表示该位置y方向梯度，magg表示该位置幅值；
[0068]
每个位置方向场计算公式如下：
[0069][0070]
式中angle计算公式如下：
[0071][0072]
步骤s102：基于所述关键点特征，计算生成每个关键点对应的特征点对。
[0073]
其中特征点对的生成方法包括：在关键点坐标p1(x1,y1)对应方向场方向步长为1位置选取坐标点p2(x2,y2)，该坐标点p2与所述关键点p1组成特征点对，该特征点对(p1,p2)用于描述关键点特征。
[0074]
步骤s103：存储所述特征点对生成本地存储文件。在该实施例中，使用yaml文件存储特征数据。
[0075]
步骤s104：输入红外探测器当前帧图像，并提取所述当前帧图像关键点特征，提取关键点特征与步骤s101相同。
[0076]
步骤s105：获取红外探测器相关参数，计算红外相机坐标系到像素坐标系(即图片坐标系)的坐标变换矩阵m1。
[0077]
红外探测器相关参数包括视场中心坐标(u0,v0)、像元宽dx、像元高dy和焦距f。根据相机投影原理，坐标变换矩阵m1计算公式如下：
[0078][0079]
步骤s106：获取实时相机姿态、距目距离等相关信息，计算世界坐标系到红外相机坐标系的坐标变换矩阵m2。
[0080]
红外相机姿态指相机坐标系相对于世界坐标系的方位角α、俯仰角β和滚动角δ，根据仿射坐标变换原理，m2计算公式如下：
[0081][0082]
其中，t表示相机相对于目标的3
×
1平移矩阵，r为根据三个姿态角仿射变换的3
×
3旋转矩阵。
[0083]
步骤s107：结合所述矩阵m1到矩阵m2，计算世界坐标系到像素坐标系的坐标变换矩阵m3。
[0084]
坐标变换矩阵m3指从世界坐标向像素坐标转换的转换矩阵，其计算公式如下：m3＝m1m2
[0085]
步骤s108：读取所述本地存储文件，对存储特征点对进行基于矩阵m3的坐标变换，得到变换后特征点对。
[0086]
计算参考图所有特征点对变换后的新特征点对，首先根据步骤s101所述，参考图像素坐标与世界坐标比例为1：1，因此参考图中每个像素点可直接平移转换为世界坐标，转换公式如下：
[0087][0088]
其中，(x,y,z)表示像素点对应在世界坐标系中的坐标，(c,r)表示像素点在参考图中坐标位置，w表示参考图横向总像素数，h表示参考图纵向总像素数变换计算公式如下：
[0089][0090][0091]
其中，(u,v)表示特征点在变换后图像中所在像素坐标，zc表示特征点在相机坐标
轴z轴的方向位置。
[0092]
步骤s109：基于所述变换后特征点对，计算每个特征点对对应的变换后关键点特征。
[0093]
根据步骤s108中得到的变换后特征点对坐标可计算出变换后关键点特征，即变换后关键点对应的方向场角度，方向场计算公式同步骤s101中计算公式，但式中dx和dy含义与所述步骤s101有所不同，为：
[0094][0095]
其中，(x1′
,y1′
)和(x2′y′
)分别为坐标变换后的特征点对；
[0096]
作为优选，为了使得匹配有一定的容错度，提高匹配抗干扰能力，对变换后的关键点特征进行梯度扩散，即把每一个像素点及其n
×
n邻域，按照离散化的方向进行或运算，每个关键点特征包含不止一个方向场角度。在该实施例中，n＝5。
[0097]
步骤s110：将所述变换后关键点特征与所述当前帧图像关键点特征进行异源特征相似性计算。
[0098]
计算公式：
[0099][0100]
式中，sa表示实时红外图像关键点方向场角度，ta表示参考图变换后关键点特征方向场角度。l(sa,ta)用于计算两个关键点特征相似度。
[0101]
使用步长为t的滑动窗口方式遍历实时红外图像，所有区域与参考图变换后关键点特征计算相似度，相似度计算公式如下：
[0102][0103]
式中，n表示参考图中共提取关键点个数，m表示该关键点位置存在m个方向场角度特征，sa表示实时红外图像该区域中与参考图关键点对应位置的关键点方向场角度。ls表示该区域与参考图相似度，ls越低表示相似度越高。
[0104]
步骤s111：若当前帧中存在满足匹配条件目标，进入步骤s112；否则，将当前帧的下一帧置为当前帧，进入步骤s104；
[0105]
其中，匹配条件指设置相似度阈值k，当某区域相似度小于k时，表示成功匹配到目标。在该实施例中，k＝0.5。
[0106]
步骤s112：输出目标坐在位置坐标，方法结束。
[0107]
上述技术方案只是本发明的示例性实施例，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施例所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。