专利名称：基于目标检测的红外与可见光序列图像特征级融合方法
技术领域：
本发明涉及的是一种图像处理技术领域的方法，具体地说，是一种基于目标检测的红外与可见光序列图像特征级融合方法。
背景技术：
过去十几年来信息融合，特别是图像融合已引发了世界范围的广泛兴趣和研究热潮，其应用领域遍及国防、对地观测、机器视觉、智能交通、医学成像、安全检查和工业过程等场合。图像融合是关于协同利用多种成像传感器，组合来自同一场景的多源动态图像信息，形成更适合于人类和机器感知，或者进一步图像分析与理解的单一图像的多层次智能信息处理过程，这种单一图像包含有比任何多源图像对动态场景更精确的描述，其处理过程涉及多源动态图像信息的检测、关联、相关、估计、识别与合成、以及系统优化、管理与控制、态势分析和威胁评估等要素。近年来，图像融合已成为一种十分重要和有用的图像分析与计算机视觉技术。图像融合过程必须满足如下的要求尽可能的保留源图像中所有的显著信息；不要引入任何人为的信息；要保持移不变性；要求时间的稳定性和一致性。在序列图像的融合当中，最后这两点尤其重要。图像融合过程可在不同的信息表示层进行，按照信息抽象的程度，图像信息层可分为信号级、像素级、特征级和符号级。目前，从最简单的像素加权到复杂的多分辨率方法(包括金字塔方法和小波方法)，像素级的静态图像融合方法已得到了国内外学者的广泛研究。
经对现有技术文献的检索发现，Oliver Rockinger等在“SPIE Conf onSignal Processing，Sensor Fusion，and Target Recognition VII”(pp.378-388，1998.4.)上发表“Pixel-level Image FusionThe case of ImageSequences”(像素级图像融合基于图像序列，SPIE信号处理、传感器融合和目标识别会议，奥兰多)。该文应用离散小波框架(DWF，或者说移不变离散小波变换)对序列图像进行融合，但他们所用的变换方法虽然具有很好的移不变性，但是该变换却存在高度的冗余信息，计算量多，而且，由于在大多数情况下我们只是对图像中的目标信息感兴趣而不是其中的像素，而该方法由于融合方法单一，却不能最大限度的保留目标信息。
发明内容
本发明的目的在于克服现有技术和方法中的不足，提供一种基于目标检测的红外与可见光序列图像特征级融合方法，使融合序列图像在具有很好的移不变性、时间的稳定性和一致性的同时，可以使其计算效率比较高，并且能最大限度的保留目标信息，使背景信息具有较高的清晰度，有利于提高监控人员在复杂背景下对目标情景的感知能力。
本发明是通过以下技术方案实现的，本发明首先利用区域生长法分割每一帧源图像，根据有效测量计算，自动得出背景区域和目标区域，但为了提高计算效率，在后续的每一帧源图像里面采用模板匹配法找到目标区域；对分割后的源图像序列采用双树复小波变换(DT-CWT)方法进行变换；在得到变换后的小波系数后，对目标和背景区域分别应用不同的融合规则，以实现特征级的序列图像融合；最后，得到不同区域的小波融合系数后，使用DT-CWT逆变换，即可以得到融合序列图像。特征级融合可以使融合序列图像具有很好的移不变性、时间稳定性和一致性，且能尽可能多的保留目标信息。
以下对本发明作进一步的说明，包括以下步骤第一，目标检测首先，采用一种区域生长方法来分割初始序列图像，区域生长是将具有相似性质的像素集合起来构成区域。采用一种区域生长方法来分割初始红外序列图像，这能比较容易的在分割的红外序列图像里找到目标区域，因为这些目标区域与其余的邻域有着很高的对比度。
对于区域生长的判决条件，本发明采用灰度相似性判决设已分割区域R的灰度均值为x，待测像素点灰度为y，则待测像素点与已分割区域相似性s表示为s＝w(y-x)2(1)式中，w为非负权值。
对于足够小的s(根据本发明的要求，s的值取为s≤100w)，可认为待测像素与已分割区域相似，并入已分割的区域中，否则，不进行合并。同时用y更新均值
xnew←(Nxold+y)/(N+1)(2)式中，N是已生长区域的像素点个数。
然后，对每个候选的区域进行有效测量计算Ci=1(1+e-λ1(μf-μ1))×1(1+e-λ2(μf-μb-μ2))···(2)]]>这里，μf和μb分别表示第i个目标的前景和背景的灰度平均值，λ1和λ2控制指数函数的倾斜度，μ1和μ2分别表示指数函数的偏移量。这就可以根据Ci的值自动得出目标区域和背景区域。
但对每一图像帧里面的候选区域都计算其有效测量会使算法变得低效，所以，采用一种模板匹配方法在以后的帧里面找出目标区域。
本发明采用以像素为匹配特征的相关算法，通过求相似函数h(u,v)=Σx,yf(u+x,v+y)t(x,y)Σx,yf2(u+x,v+y)···(4)]]>的最大值来作为对最佳匹配点的定量度量。
其中，h(u，v)表示相似系数，f(u+x，v+y)表示待匹配图像点的灰度值，t(x，y)表示匹配模板像素点的灰度值。
在可见光序列图像里面，目标检测也类似于红外序列图像。
第二，双树复小波变换(DT-CWT)双树复小波变换很好的解决了标准的离散小波变换(DWT)系数不具备良好的方向选择性的缺点，而且也比Rockinger应用的离散小波框架(或称为移不变离散小波变换)减少了大量的信息冗余。双树复小波变换(DT-CWT)能解决傅立叶滤波器不具备良好的重构性和频率域特性的问题。
为了使得双树复小波变换具备近似的移不变性，对树状结构的每一层滤波器的输出做因子为2的子采样，两棵树的滤波器长度分别为奇数和偶数且它们的相位为线性，保证了滤波器的冲击响应对应于复小波变换系数的实数部分和虚数部分。通过对图像的行和列分别进行双树复小波滤波，即对列滤波器的输出再进行行滤波器共轭滤波，可把一维DT-CWT扩展为二维，这就使得二维信号的DT-CWT变换具有4∶1的冗余度。行滤波器的子采样输出和它们的复共轭构成6个带通图像，这些子图像在±15°、±45°和±75°具有很强的方向选择性。
双树复小波变换对于滤波器的设计比较严格，为了保证小波变换的完美重建，本发明采用Nick Kingsbury发明的Q-shift9小波。
第三，图像融合在单一的目标区域里，融合规则为系数选择法对于第二步骤中得到的小波系数，在该区域内采用目标区域出现的图像帧里所对应区域的小波系数作为融合小波系数。
在重叠目标区域可视条件不同而分别采取系数选择法或者加权平均法对于第二步骤中得到的小波系数，如果该区域的能量系数小于某一相似性系数，就选取小波系数值大的系数作为该区域的融合小波系数；否则，对相应的两个小波系数采用加权平均作为融合小波系数。
在背景区域的融合里面，采用最简单的最大选择规则对于第二步骤中得到的小波系数，在该区域内采用小波系数值大的系数作为融合的小波系数。
第四，双树复小波逆变换对上面得到的小波系数进行双树复小波逆变换即可得到融合的序列图像。
不过由于图像信号是作为实数信号，所以不把两棵数的小波系数作为像素的实部和虚部，而是对这两棵数上的小波系数采用系数为0.5的加权平均，从而得到逆变换后的图像像素灰度值。
本发明所提的基于目标检测的红外与可见光序列图像特征级融合方法所得的融合后序列图像具有时间的稳定性和一致性，其计算效率比较高，且有较好的目标指示特性，具有清晰度较高的背景信息，有利于提高监控人员对目标情景的感知能力，可应用于空地导弹多传感器多源动态图像信息融合，航空电子与机载武器火控系统，多传感器多目标探测、跟踪与识别等各类民用及军用系统中，具有广阔的市场前景和应用价值。
图1为基于目标检测的红外与可见光序列图像特征级融合体系。
图2双树复小波变换(DT-CWT)及其逆变换。
其中图2(a)双树复小波变换；图2(b)双树复小波逆变换。
图3为源序列图像的某一帧及其对应不同融合体系的融合图像。
其中图3(a)可见光源序列图像帧；图3(b)红外源序列图像帧；图3(c)使用DWT(DB4小波)的像素级融合图像帧；图3(d)使用DWT(BIOR4.4小波)的像素级融合图像帧；图3(e)使用DT-CWT(Q-shift9小波)的像素级融合图像帧；图3(f)使用DWF(DB4小波)的像素级融合图像帧；图3(g)使用DWF(BIOR4.4小波)的像素级融合图像帧；图3(h)使用DWT(DB4小波)的特征级融合图像帧；图3(i)使用DWT(BIOR4.4小波)的特征级融合图像帧；图3(j)使用DT-CWT(Q-shift9小波)的特征级融合图像帧；图3(k)使用DWF(DB4小波)的特征级融合图像帧；图3(1)使用DWF(BIOR4.4小波)的特征级融合图像帧。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
1.图像分割首先，采用一种区域生长方法来分割初始序列图像。区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体实现对每个分割的区域找个种子像素作为生长的起点，再将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，这样一个区域就长成了。
种子像素的选择通常可借助具体问题的特点进行。在红外图像中检测目标时，由于一般情况下目标辐射较大，所以可选取图像中最亮的像素作为种子像素。在本实施例中，在图像经过预处理之后，在其中选取灰度值最高的像素点作为种子。为了使生长过程能够各个方向比较均匀，使最终得到的分割结果和实际目标比较相似，本实施例使用先进先出队列，按层次遍历了由起点开始生长所建立的树。
对于区域生长的判决条件，本实施例采用灰度相似性判决设已分割区域R的灰度均值为x，待测像素点灰度为y，则待测像素点与已分割区域相似性s表示为s＝w(y-x)2(5)式中，w为非负权值。
对于足够小的s(根据本发明的要求，s的值取为s≤100w)，可认为待测像素与已分割区域相似，并入已分割的区域中，否则，不进行合并。同时用y更新均值xnew ←(Nxold+y)/(N+1)(6)式中，N是已生长区域的像素点个数。
2.目标检测采用区域生长方法来分割初始红外序列图像之后，对每个候选的区域进行有效测量计算Ci=1(1+e-λ1(μf-μ1))×1(1+e-λ2(μf-μb-μ2))···(7)]]>这里，μf和μb分别表示第i个目标的前景和背景的灰度平均值，λ1和λ2控制指数函数的倾斜度，μ1和μ2分别表示指数函数的偏移量。如果一个目标区域和它的邻域具有很高的对比度，那方程(7)就表示一个接近1的有效测量，否则，这个有效测量就接近0。具有高值有效测量的区域就被选为可能的目标区域。
然而，对每一图像帧里面的候选区域都计算其有效测量会使算法变得低效，所以，本实施例采用一种模型匹配方法在以后的帧里面找出目标区域首先是记录当前图像帧里目标区域的中心位置，并将该目标区域的灰度信息作为模板(模板面积至少应将目标框住)；在下一帧图像中，在当前帧目标中心位置所在的局部区域内，根据当前帧的目标模板在下一帧图像中进行模板匹配，采用以像素为匹配特征的相关算法，通过求相似函数
h(u,v)=Σx,yf(u+x,v+y)t(x,y)Σx,yf2(u+x,v+y)···(8)]]>的最大值来作为对最佳匹配点的定量度量。
其中，h(u，v)表示相似系数，f(u+x，v+y)表示待匹配图像点的灰度值，t(x，y)表示匹配模板像素点的灰度值。
在获得下一帧图像中的目标区域后，将下一帧目标区域的灰度信息作为目标模板。此过程可以依次迭代，从而可检测出红外序列图像中的目标。如果在某些连续的图像帧里面没有检测到目标，基于分割的初始检测算子和有效测量将会反复进行直到检测到了目标。
3.双树复小波变换对于复小波变换，可以得到近似的移不变性和很好的方向选择性，然而，它却不能得到完美的重建，且在单一的树上使用FIR滤波器时也不能得到很好的频率特性，因此，使用有两棵树的双树复小波变换来解决这个问题。它的结构如图2(a)所示。
对于单棵树，其结构和标准的离散小波变换(DWT)一样，然而，双树复小波变换需要设计出滤波器来满足如下性能近似的半采样延迟性能；完美重建(正交或双正交)；FIR滤波器。本发明中的滤波器设计采用Q-shift小波，这就能使双树复小波变换的滤波器满足所提出的性能，具体如下把h0(n)和g0(n)设置成满足如下条件g0(n)＝h0(N-1-n)(9)且使其相角满足如下关系∠G0(ejω)＝-∠H0(ejω)-(N-1)ω(10)即可得到∠H0(ejω)-0.5ω≈-∠H0(ejω)-(N-1)ω(11)
亦即∠H0(ejω)≈-0.5(N-1)ω+0.25ω(12)Q-shift小波就可以解决单一树不能同时得到完美重建和相角线性的问题，使双树复小波变换具有如下优点近似移不变性；很好的方向选择性；完美重建；有限冗余。
4.图像融合为了尽可能的在目标区域里面保留所有的信息，必须使用一种特殊的融合规则。假设目标检测在某一红外帧图像里面给出了M个目标区域TIR={tIR1,tIR2,···,tIRM},]]>在相对应的可见光帧图像里面给出了N个目标区域TV={tV1,tV2,···tVN}]]>。在每一层上，目标区域被2m(与分解系数的分辨率是一致的)进行下采样，得到一个大大减小的目标区域。在两个源图像帧里面的目标区域可以综合成TJ＝TIR∪TV，于是该帧可以分解为三个集合单一的目标区域集，重叠的目标区域集和背景区域集。重叠目标区域表示为TO＝TIR∩TV，单一的目标区域集是由那些没有重叠的所有目标区域组成的，表示为TS＝TJ∩TO，很明显，TJ＝TS∪TO，背景区域集可以表示为B＝TJ。
存单一的目标区域里，融合规则为系数选择法cf(x,y)=cir(x,y),if(x,y)∈TIRcr(x,y),if(x,y)∈TV···(13)]]>在连接的重叠目标区域t∈TO里面，定义两个源图像帧的相似测量为M(t)=2·Σ(x,y)∈tIir(x,y)·Iv(x,y)Σ(x,y)∈t[Iir(x,y)]2+Σ(x,y)∈t[Iv(x,y)]2···(14)]]>这里，Iir和Iv分别表示红外和可见光图像帧。然后，在重叠的目标区域里面的红外和可见光图像帧的系数能量指数可以分别按如下所示计算
Si(t)=Σ(x,y)∈tci(x,y)2···(15)]]>这里，t∈TO，且i＝ir，v分别表示红外和可见光图像帧。这里，要引入一个初始的相似性系数α∈
，并通常设定一个合适的值α＝0.85(这是通过多次的实验结果取最好的效果得到的)。
如果M(t)＜α，则重叠目标区域t∈TO的融合规则为系数选择法 如果M(t)≥α，则采用加权平均方法 这里的权重系数 和 可以这样得到 最后，在背景区域的融合里面，采用最简单的最大选择(MS)规则。
5.双树复小波逆变换双树复小波逆变换的结构如图2(b)所示，它也是由标准的离散小波变换的两棵树所组成的。该逆变换的关键也是在于两棵树的滤波器的设计，其设计仍采用本实施例所提的Q-shift小波。
通过本实施例的融合规则进行小波系数的融合之后，采用双树复小波逆变换即可由小波系数得到融合的图像序列。
不过由于图像信号是作为实数信号，所以不把两棵数的小波系数作为像素的实部和虚部，而是对这两棵数上的小波系数采用系数为0.5的加权平均，从而得到逆变换后的图像像素灰度值。
6.结果评价为了评价本实施例的有效性和实用性，本实施例采用基于互信息理论的评价方法首先，定义图像序列sx(n1，n2，t)的两个连续帧之间的帧间差异(IFD)为dsx(n1，n2，t)＝sx(n1，n2，t)-sx(n1，n2，t+1)(19)为了评价融合图像的时间稳定性和一致性，需要分出融合序列图像的帧间差异的某些至少可以被源序列图像所解释的部分。为了评价帧间信息的关系，在帧间差异上使用基于互信息的信息定量评价。对于稳定性和一致性评价，建立所有源序列图像的帧间差异的随机变量(S1，S2)，并在(S1，S2)和变量F(对应于融合序列图像的帧间差异)之间计算其互信息I((S1，S2)；F)＝H(S1，S2)+H(F)-H(S1，S2，F)(20)如果该互信息最大，则融合图像序列的帧间差异的信息最小。一种时间稳定性和一致性很好的融合方法就会得到一个高值的互信息量，且表明其具有更好的移不变性。
一个连续随机变量A的熵(作为微分熵)可以定义为它的密度函数(ψ(a))的对数的负期望值，即为H(A)=-E{logψ(a)}=-∫-∞∞ψ(a)·logψ(a)da···(21)]]>通过N步采样近似得到帧间差异的实际的灰度密度为ψ^(a)=1NΣi=1NW(a-ai)···(22)]]>这里的W(a)表示一个窗函数，通常是一个0均值和方差为σ2的高斯核。然后，通过采样大小为M的第二次采样可以得到变量A的熵H(A)=-1MΣj=1Mlogψ^(aj)=-1MΣj=1Mlog(1NΣi=1NW(aj-ai))···(23)]]>这个熵的计算方法可以很容易的就扩展到多维随机变量。
如图3所示，本实施例能最大限度的保留目标信息，有利于提高监控人员在复杂背景下对目标情景的感知能力，且使背景信息具有较高的清晰度。
使用双树复小波变换(DT-CWT)，可以使其计算效率比较高(离散小波框架对于m维和n级信号分解，其冗余信息比为(2m×n))∶1；双树复小波变换对于m维分解和任意级信号分解，其冗余信息比为2m∶1)。
结果定量评价如表1所示，评价结果表明本实施例相比以往技术文献的方法，能够得到更好的融合序列图像，使融合序列图像具有更好的移不变性、时间的稳定性和一致性。
表1红外与可将光序列图像帧间差异(IFDs)的平均互信息(AMI)
其中平均互信息是指由32帧序列图像得到的31帧的帧间差异的平均互信息量，像素级指现有文献中的序列图像融合方法——像素级融合，特征级是指本发明提出的的序列图像融合方法——基于目标检测的特征级融合方法。
权利要求
1.一种基于目标检测的红外与可见光序列图像特征级融合方法，其特征在于，首先利用区域生长法分割每一帧源图像，根据有效测量计算，自动得出背景区域和目标区域，对分割后的源图像序列采用双树复小波变换方法进行变换；在得到变换后的小波系数后，对目标和背景区域分别应用不同的融合规则，以实现特征级的序列图像融合；得到不同区域的小波融合系数后，使用双树复小波逆变换，即得到融合序列图像。
2.根据权利要求1所述的基于目标检测的红外与可见光序列图像特征级融合方法，其特征是，包括以下步骤第一，目标检测首先，采用一种区域生长方法来分割初始序列图像，区域生长是将具有相似性质的像素集合起来构成区域，对于区域生长的判决条件，采用灰度相似性判决设已分割区域R的灰度均值为x，待测像素点灰度为y，则待测像素点与已分割区域相似性s表示为S＝w(y-x)2，式中，w为非负权值，对于s≤100w，则认为待测像素与已分割区域相似，并入已分割的区域中，否则，不进行合并，同时用y更新均值xnew←(Nxold+y)/(N+1)，式中，N是已生长区域的像素点个数；然后，对每个候选的区域进行有效测量计算Ci=1(1+e-λ1(μf-μ1))1(1+e-λ2(μf-μb-μ2))]]>这里，μf和μb分别表示第i个目标的前景和背景的灰度平均值，λ1和λ2控制指数函数的倾斜度，μ1和μ2分别表示指数函数的偏移量，这样就能根据Ci的值自动得出目标区域和背景区域；第二，双树复小波变换对树状结构的每一层滤波器的输出做因子为2的子采样，两棵树的滤波器长度分别为奇数和偶数且它们的相位为线性，这样滤波器的冲击响应对应于复小波变换系数的实数部分和虚数部分，通过对图像的行和列分别进行双树复小波滤波，即对列滤波器的输出再进行行滤波器共轭滤波，把一维双树复小波变换扩展为二维，这就使得二维信号的双树复小波变换具有4∶1的冗余度，行滤波器的子采样输出和它们的复共轭构成6个带通图像；第三，图像融合在单一的目标区域里，融合规则为系数选择法对于第二步骤中得到的小波系数，在该区域内采用目标区域出现的图像帧里所对应区域的小波系数作为融合小波系数；在重叠目标区域采取系数选择法或者加权平均法对于第二步骤中得到的小波系数，如果该区域的能量系数小于某一相似性系数，就选取小波系数值大的系数作为该区域的融合小波系数；否则，对相应的两个小波系数采用加权平均作为融合小波系数；在背景区域的融合里面，采用最大选择规则对于第二步骤中得到的小波系数，在该区域内采用小波系数值大的系数作为融合的小波系数；第四，双树复小波逆变换对第三步骤得到的小波系数进行双树复小波逆变换得到融合的序列图像，其中，对两棵数上的小波系数采用系数为0.5的加权平均，得到逆变换后的图像像素灰度值。
3.根据权利要求1或2所述的基于目标检测的红外与可见光序列图像特征级融合方法，其特征是，在后续的每一帧源图像里面采用模板匹配法找到目标区域，具体为采用以像素为匹配特征的算法，通过求相似函数h(u,v)=Σx,yf(u+x,v+y)t(x,y)Σx,yf2(u+x,v+y)]]>的最大值来作为对最佳匹配点的定量度量，其中，h(u，v)表示相似系数，f(u+x，v+y)表示待匹配图像点的灰度值，t(x，y)表示匹配模板像素点的灰度值。
4.根据权利要求1或2所述的基于目标检测的红外与可见光序列图像特征级融合方法，其特征是，所述的双树复小波变换以及双树复小波逆变换，均采用Q-shift9小波。
全文摘要
一种基于目标检测的红外与可见光序列图像特征级融合方法，用于图像融合技术领域。本发明利用区域生长法分割每一帧源图像，根据有效测量计算，自动得出背景区域和目标区域，对分割后的源图像序列采用双树复小波变换方法进行变换；在得到变换后的小波系数后，对目标和背景区域分别应用不同的融合规则，以实现特征级的序列图像融合；得到不同区域的小波融合系数后，使用双树复小波逆变换，即得到融合序列图像。本发明通过使用不同的融合规则，可尽可能多的保留所感兴趣的目标信息；应用双树复小波变换，可以使融合序列图像具有很好的移不变性、时间稳定性和一致性，计算效率比较高。
文档编号G06T5/00GK1932882SQ20061011727
公开日2007年3月21日 申请日期2006年10月19日 优先权日2006年10月19日
发明者敬忠良, 刘从义, 杨波, 肖刚 申请人:上海交通大学