一种红外与可见光图像的配准方法、融合方法及配准设备与流程

本发明属于图像处理技术，具体涉及一种红外与可见光图像的配准方法、融合方法及配准设备。

背景技术：

1、在现有的红外与可见光双光融合系统中，主流的方法多采用基于靶标标定的仿射配准，对每台设备提前标定不同远近距离的靶标数据来生成相应的仿射配准参数，从而可以达到算法复杂度低、耗时少、鲁棒性强、实用性好等目的。但是，该方法的配准精确度极其依赖于双光系统的光学设计与霍尔距离的准确度，一旦二者有些许轻微误差便会导致融合图像中可见光特征出现严重的偏离。

2、目前，学者们也研究了一些不需要数据标定便可以直接对红外与可见光图像进行配准的方法，如包括：基于区域的方法(相关性、互信息、傅里叶变换)、基于特征的方法(点、线、曲线、面)。然而，这些方法通常只能在极少数特定场景才能配准成功且耗时极高，因此很难应用在具体的红外与可见光双光融合系统中。

3、因此，现有的技术问题至少包括：1)基于靶标标定的仿射配准方法会在部分场景出现严重的偏离；2)不需要数据标定的方法算法复杂高、鲁棒性不强，不具备实际的应用价值。

技术实现思路

1、本发明的目的在于克服现有技术中的至少一种缺陷，提供了一种红外与可见光图像的配准方法、融合方法及配准设备，在靶标标定的仿射配准方法的基础上设计两阶段精确配准策略，可以自动实时修正仿射变换出现的配准偏差，又具备较强的鲁棒性、实用性、普适性等特点，可以较好的应用在红外与可见光双光融合系统中。

2、本发明的技术方案是这样实现的：本发明公开了一种红外与可见光图像的配准方法，包括如下步骤：

3、获取可见光图像和红外图像，并将其中一个图像作为参考图像，另一个图像作为待配准图像；

4、利用标定得到的仿射变换参数对待配准图像进行仿射变换，得到第一配准图像；

5、将参考图像与第一配准图像进行配准，得到第一配准图像相对于参考图像的平移参数偏移量，利用所述平移参数偏移量对标定得到的仿射变换参数中的平移参数进行修正，得到修正后的仿射变换参数。

6、进一步地，本发明的红外与可见光图像的配准方法还包括如下步骤：利用修正后的仿射变换参数对待配准图像进行仿射变换，得到配准图像。

7、进一步地，将参考图像与第一配准图像进行配准，得到第一配准图像相对于参考图像的平移参数偏移量，具体包括：

8、分别对参考图像、第一配准图像进行离散化处理，将得到的其中一个特征点集作为参考点集，另一个特征点集作为待配准点集；

9、将参考点集与待配准点集进行配准，计算待配准点集相对于参考点集的平移参数偏移量。

10、进一步地，对参考图像、第一配准图像进行离散化处理之前还包括如下步骤：

11、特征提取，包括：分别对参考图像、第一配准图像进行边界提取，得到第一边界二值图像、第二边界二值图像；

12、特征匹配，包括：将第一边界二值图像与第二边界二值图像中的边界特征进行相互匹配，删除第一边界二值图像以及第二边界二值图像中未相互匹配的边界特征。

13、进一步地，特征匹配，具体包括：依据第一边界二值图像中的第一边界特征识别并删除第二边界二值图像中未相互匹配的第二边界特征，以及依据第二边界二值图像中的第二边界特征识别并删除第一边界二值图像中未相互匹配的第一边界特征。

14、进一步地，依据第一边界二值图像中的第一边界特征识别并删除第二边界二值图像中未相互匹配的第二边界特征，具体包括：

15、遍历第二边界二值图像，找到大于0的像素位置；

16、在第一边界二值图像中找到同样的像素位置，在该位置以设置的检索半径检索邻域内是否有灰度值大于0的像素，若有，则保持第二边界二值图像中该像素灰度值不变；若没有，则将第二边界二值图像中的该像素的灰度值设置为0；

17、重复以上步骤，遍历完第二边界二值图像的所有像素为止。

18、进一步地，依据第二边界二值图像中的第二边界特征识别并删除第一边界二值图像中未相互匹配的第一边界特征，具体包括：

19、遍历第一边界二值图像，找到灰度值大于0的像素位置；

20、在第二边界二值图像中找到同样的像素位置，在该位置以设置的检索半径检索邻域内是否有灰度值大于0的像素，若有，则保持第一边界二值图像中该像素灰度值不变；若没有，则将第一边界二值图像中的该像素的灰度值设置为0；

21、重复以上步骤，遍历完第一边界二值图像的所有像素为止。

22、进一步地，特征匹配步骤之前还包括图像预处理步骤，图像预处理步骤包括：

23、分别对参考图像、第一配准图像进行缩放处理；

24、或/和，

25、按照设定比例删除参考图像、第一配准图像四周的边缘部分；

26、或/和，

27、将参考图像、第一配准图像转成灰度图像；

28、或/和，

29、分别对参考图像、第一配准图像进行图像光滑。

30、进一步地，特征提取步骤之后以及特征匹配步骤之前还包括如下步骤：分别对第一边界二值图像、第二边界二值图像进行连通域分析，得到每一个连通区域的面积值，将面积值小于预设面积阈值的连通区域像素灰度值一律设置为0。

31、进一步地，对参考图像、第一配准图像进行离散化处理之后还包括降采样步骤，降采样步骤包括：对离散化处理后得到的参考点集和待配准点集进行降采样。

32、进一步地，将参考点集与待配准点集进行配准，计算待配准点集相对于参考点集的平移参数偏移量，具体包括：

33、(a)初始化；

34、(b)计算参考点集和待配准点集之间的协方差矩阵；

35、(c)根据协方差矩阵计算待配准点集相对于参考点集的平移参数偏移量；

36、(d)计算更新后的待配准点集、参考点集的坐标；

37、(e)更新协方差矩阵；

38、(f)根据协方差矩阵判断是否满足停止迭代条件，如果满足停止迭代条件，则停止迭代，输出当前计算的平移参数偏移量；否则，返回步骤(c)继续迭代，直至满足停止迭代条件为止。

39、进一步地，根据协方差矩阵开始迭代求解待配准点集相对于参考点集的平移参数偏移量，具体包括：根据协方差矩阵计算匹配度矩阵；

40、根据匹配度矩阵计算参考点集均值、待配准点集均值；

41、根据参考点集均值、待配准点集均值计算待配准点集相对于参考点集的平移参数偏移量。

42、进一步地，根据协方差矩阵开始迭代求解待配准点集相对于参考点集的平移参数偏移量，具体包括：

43、计算匹配度矩阵p,其中每个元素pmn的计算如下：其中，w为噪声程度参数，σ2为协方差矩阵，ir＝{x_irn,y_irn}为参考点集，n为参考点集的特征点的数量，vis＝{x_visn,y_visn}为待配准点集，m为待配准点集的特征点的数量；

44、计算参考点集均值μir，公式为：计算待配准点集均值μvis，公式为：其中，1为相应维度的单位矩阵；

45、计算待配准点集相对于参考点集的平移参数偏移量t＝{e',f'}，t＝μir-μvis。

46、进一步地，根据参考点集均值、待配准点集均值更新待配准点集、参考点集的坐标；根据更新后的待配准点集、参考点集的坐标更新协方差矩阵。

47、进一步地，计算更新后的点集坐标irnew、visnew：irnew＝ir-μirt,visnew＝vis-μvist，ir＝{x_irn,y_irn}为参考点集，vis＝{x_visn,y_visn}为待配准点集；

48、更新协方差矩阵其中，tr()为矩阵的迹，d()为矩阵的对角元素，1为相应维度的单位矩阵；

49、进一步地，根据协方差矩阵计算限差，停止迭代条件为：设定的初始限差比计算的限差减少的百分比的绝对值小于设定的限差阈值。

50、进一步地，限差e的计算公式为：e＝n*sum(logσ2)，其中sum()为矩阵所有元素的和，σ2为协方差矩阵，n为参考点集的特征点的数量。

51、进一步地，修正后水平方向上的平移参数为e和e'之和，修正后竖直方向上的平移参数为f和f'之和，e为标定得到的水平方向上的平移参数，e'为水平方向上的平移参数偏移量，f为标定得到的竖直方向上的平移参数，f'为竖直方向上的平移参数偏移量。

52、本发明还公开了一种红外与可见光图像的配准设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述红外与可见光图像的配准方法的步骤。

53、本发明还公开了一种红外与可见光图像的融合方法，包括如下步骤：

54、获取可见光图像和红外图像，并将其中一个图像作为参考图像，另一个图像作为待配准图像；

55、采用如上所述的配准方法得到修正后的仿射变换参数；

56、利用修正后的仿射变换参数对待配准图像进行仿射变换，将变换后的配准图像与参考图像进行融合，得到融合图像。

57、本发明至少具有如下有益效果：本发明提供了一种基于稀疏特征的红外与可见光图像的两阶段精确配准方法，针对每帧双光图像，可以自动实时修正仿射变换出现的配准偏差，呈现出准确的双光融合结果，同时又具备较强的鲁棒性、实用性、普适性等特点，可以较好的应用在红外与可见光双光融合系统中。