一种自适应图像特性的可见光和红外融合方法与流程

本发明涉及图像融合领域，具体涉及一种自适应图像特性的可见光和红外融合方法。

背景技术：

1、本节中的陈述仅提供与本公开相关的背景信息，并且可能不构成现有技术。

2、由于战场形式的错综复杂，多传感器的交叉、互补使用已经成为常态化动作；红外传感器利用红外辐射感知周围的客观环境，其图像具有环境适应性好，隐蔽性好，伪装目标辨识度高的优点；但是受限于红外探测器的制作工艺难度和材料纯度影响，红外图像普遍存在分辨率低，噪声大，图像对比度低，灰度范围窄的问题；可见光传感器的图像有光谱信息丰富、动态范围大、细节信息多、视觉性好等优点；但是可见光图像抗干扰能力差，在微光、雾天、目标有伪装等情况下，可见光图像的效果较差；因此可通过图像融合技术将不同传感器在同一状态下或者同一传感器在不同状态下获取的图像进行综合使用，提高图像的质量和信息量，从而对目标能够进行更加全面、准确的分析和认识。

3、传统的图像融合技术主要包括线性加权法、高通滤波器法、ihs变换法等，这些方法操作简单，便于实现，不过这些方法对源图像的细节处理不足，融合后的图像会出现“振铃效应”和块状现象，导致图像质量下降；基于多尺度几何变换的图像融合方法在时域上对源图像的低频分量和高频分量进行分解重构，融合后的图像可以有效保留图像的细节和边缘信息，所以这种算法迅速成为大家研究的热点。

4、基于多尺度几何变换的图像融合方法使通过选取一定的阈值，对低频分量和高频分量进行分解重构，得到融合后的图像；目前该技术多数选取固定阈值，针对不同特性的输入源无法进行改变，不能稳定保证融合后的图像质量；同时，不同规则的多尺度几何变换的图像融合方法主要解决的问题也不一样，目前技术主要使用单一手段对图像进行处理，往往会出现“顾此失彼”的现象，融合后的图像会出现某一特征得到提升，而其他图像特性被忽略的情况。

技术实现思路

1、本发明的目的在于：针对目前多尺度几何变换算法中阈值选取过于固定，融合策略过于单一，造成融合后的图像质量鲁棒性差的问题，提供了一种自适应图像特性的可见光和红外融合方法，通过比较两幅源图像的相似度选取合适的多尺度几何变换图像融合算法，计算源图像的区域能量和全局邻域方差后得到自适应阈值因子，通过合适的融合规则对图像进行处理，保证处理不同特征输入源过程的合理性和稳定性，弥补算法因阈值选取过于固定，融合策略过于单一导致的图像质量鲁棒性差的不足，从而解决了上述问题。

2、本发明的技术方案如下：

3、一种自适应图像特性的可见光和红外融合方法，包括：

4、步骤s1：计算两幅源图像的相似度，并基于相似度和预设的匹配阈值选择对应的融合算法；

5、步骤s2：计算两幅源图像的区域能量和全局邻域方差，并根据区域能量和全局邻域方差计算自适应阈值因子；

6、步骤s3：将自适应阈值因子带入选择的融合算法，进行图像融合处理。

7、进一步地，所述步骤s1，包括：

8、步骤s11：分别计算源图像vis_img和ir_img的邻域方向对比度；

9、步骤s12：根据源图像vis_img和ir_img的邻域方向对比度，计算两幅源图像的相似度；

10、步骤s13：若相似度大于匹配阈值，选择小波变换图像融合算法，对源图像vis_img和ir_img进行图像融合处理；若相似度小于匹配阈值，选择nsct图像融合算法对源图像vis_img和ir_img进行图像融合处理。

11、进一步地，所述步骤s11，包括：

12、

13、式中：

14、为源图像vis_img的邻域方向对比度；

15、为源图像ir_img的邻域方向对比度；

16、为源图像在2i分辨率上的在i方向上均匀度在以点(m,n)为中心的均值；

17、为源图像在2i分辨率上的在i方向上亮度在以点(m,n)为中心的均值。

18、进一步地，所述步骤s12，包括：

19、

20、式中：

21、ta为两幅源图像的相似度；

22、s，t为局部区域的大小。

23、进一步地，两幅源图像的区域能量通过如下公式计算：

24、

25、

26、式中：

27、m×n表示图像区域的大小；

28、和分别是源图像vis_img和ir_img在区域m×n的灰度均值；

29、ev和ei分别是源图像vis_img和ir_img的区域能量。

30、进一步地，两幅源图像的全局邻域方差通过如下公式计算：

31、

32、

33、式中：

34、k×l表示区域大小；

35、pvis(m,n)表示源图像vis_img在点(m，n)处的像素值；

36、pir(m,n)表示源图像ir_img在点(m，n)处的像素值；

37、μvis表示源图像vis_img的均值；

38、μir表示源图像ir_img的均值；

39、sv和si分别是源图像vis_img和ir_img的全局邻域方差。

40、进一步地，所述自适应阈值因子通过如下公式计算：

41、

42、式中：

43、at为自适应阈值因子。

44、进一步地，当选择小波变换图像融合算法，对源图像vis_img和ir_img进行图像融合处理时，所述步骤s3，包括：

45、步骤s31：创建k×l大小的卷积核，对源图像vis_img和ir_img进行小波分解，得到源图像的小波分解系数fv和fi；

46、步骤s32：计算两幅源图像vis_img和ir_img的平均变化率ct；

47、步骤s33：比较平均变化率ct和自适应阈值因子at的大小，如果ct>at,采取加权平均的融合规则，得到融合图像的小波系数f1；如果ct<at，按照模极大值融合规则计算融合图像的小波系数f0；

48、步骤s34：对融合图像的小波系数f1或f0进行小波逆变换，得到基于小波变换图像融合的图像，记为img_wave。

49、进一步地，当选择nsct图像融合算法对源图像vis_img和ir_img进行图像融合处理时，所述步骤s3，包括：

50、步骤s3a：对两幅源图像vis_img和ir_img进行多层nsct变换，得到两幅源图像对应的系数，即对应得到的系数为nv＝{低频系数nl1,高频系数nh1}，ni＝{低频系数nl2,高频系数nh2}；

51、步骤s3b：计算两幅源图像vis_img和ir_img的平均变化率ct；

52、步骤s3c：比较平均变化率ct和自适应阈值因子at的大小，如果ct>at,采取加权平均的融合规则，得到融合图像的nsct系数n1，如果ct<at，按照模极大值融合规则计算融合图像的nsct系数n0；

53、步骤s3d：对融合图像的nsct系数n1或n0进行nsct逆变换，得到基于nsct变换图像融合的图像，记为img_nsct。

54、进一步地，所述平均变化率ct通过如下公式计算：

55、

56、与现有的技术相比本发明的有益效果是：

57、1、一种自适应图像特性的可见光和红外融合方法，针对不同特性的源图像选择合适的融合算法，避免了现有融合算法中忽略图像不确定性的问题，有利于增强源图像的自身特性和提高融合结果的稳定性。

58、2、一种自适应图像特性的可见光和红外融合方法，通过自适应阈值因子选择合适的融合策略，避免了现有融合算法中融合策略过于绝对而导致源图像信息丢失的问题，有利于保留源图像中低频和高频分量信息。