基于差值信息双波段红外图像伪彩色融合方法

1.本发明属于图像处理技术，具体为一种基于差值信息双波段红外图像伪彩色融合方法。


背景技术：

2.红外成像技术是现如今夜视技术研究的热点，相比可见光，红外成像探测技术有着明显优势。首先，红外热成像技术是一种被动式的非接触的检测识别技术，隐蔽性好，可以轻松实现隐蔽探测。其次，红外辐射是自然界中最广泛的辐射，可以在雨雪、烟云等恶劣天气探测，实现全天侯监控。同时，红外探测技术还能对伪装及隐秘目标探测。
3.随着夜视技术的发展，单一波段传感器已经无法适用于所有场合。在复杂场景与恶劣天气下，使用单一波段探测器进行图像采集，所获得的图像信息是不完整的，长波红外图像能够保留景物的细节，中波段的红外图像能够突出目标，增大对比度。因此，使用多波段探测器对目标进行采集融合，将所获得的图像信息优势互补，这样就可以得到更全面的图像信息。
4.伪彩色图像处理是把一幅单色图像转变为彩色图像的技术。伪彩色处理主要是把黑白的灰度图像或者多波段图像转换为彩色图像的技术过程。主要目的是为了提高人眼对图像细节的分辨能力，使图像的某些细节更容易清晰地辨认以及获得隐藏在灰度图像中不能直接通过肉眼观察到的信息。
5.图像融合按照处理层次的不同，可以划分为像素级、特征级和决策级三种融合方式。像素级融合保留了场景的原始信息，准确性高但是处理的信息量较大；特征级融合保留了重要图像特征但有一定的信息压缩，有利于实时处理；决策级融合在源图像和特征提取的基础上进行联合判决，该方法的容错能力高，实时性好，但是信息量的损失较大。


技术实现要素：

6.本发明提出了一种基于fpga的双波段图像伪彩色融合的方法，通过将fpga平台上采集的双波段红外图像利用像素级图像融合并与彩色域算法结合的方法，实现了双波段红外图像的伪彩色融合。
7.实现本发明目的的技术方案为：一种基于差值信息的双波段红外图像伪彩色融合方法，包括以下步骤：
8.步骤1：获取中长波红外图像数据；
9.步骤2：对中长波红外图像数据进行预处理；
10.步骤3：提取预处理后的双波段红外图像的边界，以边界点为特征点进行配准；
11.步骤4：计算配准后的长波红外图像和中波红外图像对应点的差值，得到中波特有区域，长波特有区域和过渡区域；
12.步骤5：通过特有区域在ycbcr颜色空间进行差异赋色，给cb,cr通道赋值；
13.步骤6：计算中波图像和长波图像的边缘强度，根据边缘强度所占比例设置参考图
像的权值系数，将加权后中长波图像之和送入y通道；
14.步骤7：将得到的新的ycbcr空间图像转换至rgb空间，完成图像融合。
15.优选地，对红外图像的预处理包括：图像去噪、图像锐化、图像亮度对比度迭代归一化。
16.优选地，提取双波段红外图像的边界，以边界点为特征点进行配准的具体方法为：
17.提取的红外图像的目标边界点坐标集为(x,y),配准后坐标集为(x
′
,y
′
)，按照仿射变换的性质建立仿射变换的模型，得到配准后的坐标；
18.通过仿射变换模型，参考长波红外图像对中波红外图像进行平移、旋转、缩放变换达到同一场景多源图像配准。
19.优选地，仿射变换模型公式具体为：
[0020][0021]
其中，θ是像素点以左上角为中心点顺时针旋转的角度，β
x
是水平方向位移量，βy是垂直方向位移量。
[0022]
优选地，步骤4对配准后的长波红外图像和中波红外图像进行对应点差值的计算，得到中波特有区域，长波特有区域和过渡区域，具体方法为：
[0023]
对长波红外图像和中波红外图像进行两者的差值计算，得到差异信息，其中，正差值为dif
p
(i,j),负差值为difn(i,j),若无差异，则dif
p
(i,j)＝difn(i,j)＝0；
[0024]
令k＝dif
p
max(i，j)-difnmax(i，j)；
[0025]
其中，dif
p
max(i，j)是红外长波图像与红外中波图像差值最大的像素点，difnmax(i，j)是红外中波图像与红外长波图像差值最大的像素点；
[0026]
根据k值判断不同的区域，具体判断方法如下：
[0027]
当k＜0时
[0028]
当k＞0时
[0029]
优选地，通过特有区域在ycbcr颜色空间进行差异赋色，给cb，cr通道赋值的具体方法为：
[0030]
当k＜0时，
[0031][0032]
当k＞0时，
[0033][0034]
其中，sp为颜色因子，可根据需要调整数值(sp＞0)。
[0035]
优选地，中波图像和长波图像的边缘强度g的计算公式如下：
[0036][0037]
其中，表示图像在第i行第j列的x，y方向上的一阶偏导，m、n为图像的行列数，则：
[0038][0039]
其中，f(x，y)表示图像在点(x，y)位置像素的灰度值。
[0040]
优选地，加权后的中长波图像为：
[0041]
c＝ω
lw
×
f+ω
mw
×g[0042][0043]
其中，f表示长波红外图像的灰度值，g表示中波红外图像的灰度值，c表示加权后的中长波图像，g
lw
表示长波红外图像的边缘强度，g
mw
表示中波红外图像的边缘强度。
[0044]
本发明与现有技术相比，其显著优点为：
[0045]
(1)本发明将灰度融合与彩色域算法结合起来，划分差值区域，能够突出表现出不同波段的成像差异，更有利于人眼观察；
[0046]
(2)本发明可操作性强，可以根据环境需要改变颜色因子以得到适合多种复杂环境需要的红外伪彩色融合图像。
[0047]
(3)本发明提出了一种改进的ycbcr转换rgb的算法减少了运算量，更适用于fpga硬件系统。
[0048]
下面结合附图对本发明做进一步详细的描述。
附图说明
[0049]
图1为本发明实施例的长波红外探测器采集到的长波红外图像。
[0050]
图2为本发明实施例的中波红外探测器采集到的中波红外图像。
[0051]
图3为本发明实施例中波红外和长波红外融合后的图像。
[0052]
图4为本发明实施例中波红外和长波红外融合后的图像。
[0053]
图5为本发明实施例中波红外和长波红外融合后的图像。
[0054]
图6为本发明实施例中波红外和长波红外融合后的图像。
[0055]
图7为本发明的流程图。
具体实施方式
[0056]
在一个实施例中，一种基于差值信息双波段红外图像伪彩色融合方法，包括以下步骤：
[0057]
步骤1：获取中长波红外图像数据；
[0058]
采集双波段红外图像并输入到图像处理板，通过adv7611解码芯片将视频转化为rgb空间8:8:8格式编码数据。
[0059]
步骤2：对输入的红外图像进行预处理。
[0060]
对红外图像的预处理包括：图像去噪、图像锐化、图像亮度对比度迭代归一化。图像去噪主要去除可能影响图像质量的噪声；图像锐化主要是针对红外图像边缘细节不够清晰等问题，通过锐化处理更好地凸显图像中的细节信息；归一化图像亮度和对比度主要改善融合图像的色偏问题。
[0061]
步骤3：对预处理后的图像进行配准，具体方法为：
[0062]
提取双波段红外图像的边界，以边界点为特征点进行配准；
[0063]
设得到的红外图像的目标边界点坐标集为(x,y),配准后坐标集为(x
′
,y
′
)，按照仿射变换的性质建立仿射变换的模型，从而得到配准后的坐标点。通过仿射变换模型，参考长波红外图像对中波红外图像进行平移、旋转、缩放等变换达到同一场景多源图像配准。
[0064]
具体地，仿射变换是一种空间变换模型，其本质是一种线性变换，模型公式为：
[0065][0066]
其中，θ是像素点以左上角为中心点顺时针旋转的角度，β
x
是水平方向位移量，βy是垂直方向位移量。
[0067]
步骤4：对配准后的长波红外图像和中波红外图像进行对应点差值的计算，得到中波特有区域，长波特有区域和过渡区域，具体方法为：
[0068]
对长波红外图像和中波红外图像进行两者的差值计算，得到差异信息，记红外长波灰度图像中的第i行第j列的像素值记为f(i，j)，红外中波灰度图像中的第i行第j列的像素值记为g(i，j)，对两者进行差值计算，记正差值为dif
p
(i,j),记负差值为difn(i,j),若无差异，则dif
p
(i,j)＝difn(i,j)＝0；其计算方式如下：
[0069]
dif
p
(i,j)＝f(i，j)-g(i，j),若f(i，j)》g(i，j)；
[0070]
difn(i,j)＝g(i，j)-f(i，j),若f(i，j)《g(i，j)；
[0071]
根据双波段红外图像的差值来判断不同的区域。
[0072]
令k＝dif
p
max(i，j)-difnmax(i，j)；
[0073]
其中dif
p
max(i，j)是红外长波图像与红外中波图像差值最大的像素点，difnmax(i，j)是红外中波图像与红外长波图像差值最大的像素点。
[0074]
在求取像素的最值的时候，需要产生3
×
3模板，再对模板中的9个像素值求取最值。像素数据依次输入到两个行缓存器中，由读写控制器控制行缓冲器的读写信号在特定时间读写像素，经过列延时后形成3
×
3模板，再对该模板中的9个像素值求取最值处理。
[0075]
行缓存器使用fifo实现，其作用是让先输入的数据先输出，以流水线的形式传输，保证数据顺序不混乱。
[0076]
求出图像的最值后再计算k值，再根据k值判断不同的区域，其具体计算公式如下：
[0077]
当k＜0时
[0078]
当k＞0时
[0079]
步骤5：通过特有区域在ycbcr颜色空间进行差异赋色，给cb，cr通道赋值，得到新的中长波图像；
[0080]
本实施例中，给cb，cr通道赋值是根据中长波红外图像灰度值的差异而赋色的。若中长波灰度值差异明显则分别赋色，若差异不大，则以参考图像的亮度信息为主，不赋色，其具体计算公式如下：
[0081]
当k＜0时，
[0082][0083]
当k＞0时，
[0084][0085]
其中，sp为颜色因子，可根据需要调整数值(sp＞0)。
[0086]
步骤6、计算出中波图像和长波图像的边缘强度g，根据边缘强度所占比例设置参考图像的权值系数，将加权后中长波图像之和送入y通道；
[0087]
本实施例中，计算中波图像和长波图像的边缘强度g的公式如下：
[0088][0089]
其中表示图像在第i行第j列的x，y方向上的一阶偏导，则：
[0090][0091]
其中，f(x，y)表示图像在点(x，y)位置像素的灰度值。
[0092]
再根据边缘强度所占比例设置参考图像的权值系数，最终的参考图像c等于加权后中长波图像之和，设长波红外图像的边缘强度所占比例为ω
lw
，设中波红外图像的边缘强度所占比例为ω
mw
，则：
[0093][0094]
c＝ω
lw
×
f+ω
mw
×
g；
[0095]
其中，g
lw
表示长波红外图像的边缘强度，g
mw
表示中波红外图像的边缘强度，f表示长波红外图像的灰度值，g表示中波红外图像的灰度值。
[0096]
步骤7：将得到的ycbcr空间图像转换至rgb空间，完成图像融合。
[0097]
本实例中，要将ycbcr空间图像转换至rgb空间，利用下面公式将每个像元还原成rgb图像。
[0098][0099]
由于fpga除法器会占用极大的资源，其占用资源量要多于乘法器，而且很多时候不能在一个时钟周期内得出结果。而当不得不使用除法的时候，应尽量使除法转化为除以2的n次方形式，这样便可以利用右移运算来实现该除法运算，从而大大减少硬件资源。
[0100]
为了简化fpga的运算，将1.402简化为将0.344简化为0.714简化为1.772简化为得到公式如下：
[0101][0102]
其中除以32就是将寄存器右移5位，除以8就是将寄存器右移3位。还原成rgb图像后，通过编码芯片将视频通过hdmi输出。
[0103]
实现本实施例的fpga为altera公司的5cefaf1917n芯片，该芯片功耗低、尺寸小，具有丰富的管脚资源、片上存储以及逻辑资源等。红外图像的解码芯片采用的是adv7611，编码芯片采用的是adv7511，串行通信芯片选用的是max3160e，本实施例长波红外探测器选用的是xcore hd系列红外探测器机芯与镜头，中波红外探测器型号为gs3841-sw64015-c，输入的红外图像分辨率均为1280*1024，长波帧频60帧，中波帧频30帧，采集的红外图像如图1、图2所示。