一种适用于SCMOS双增益成像系统的高动态范围扩展方法与流程

一种适用于scmos双增益成像系统的高动态范围扩展方法
技术领域
1.本发明涉及一种适用于scmos双增益成像系统的高动态范围扩展方法，属于图像处理技术领域。


背景技术：

2.成像系统的增益控制主要是为了使探测器输出的模拟信号能满足一定要求，并扩展图像灰度的动态范围。信号增益是感光芯片输出量到达adc采集转换之前电信号的放大倍数。信号增益越大，放大倍数越大，输出的图像灰度值越高，而由于有效信号和噪声信号往往同时放大，导致图像中噪声显著增多。信号增益越小，输出的图像越暗，相机拍摄场景将损失很多细节信息。对于具有双通道增益自动控制功能的scmos探测器，针对任何目标场景可同时输出两幅低动态范围灰度图像，即高增益灰度图像和低增益灰度图像。高增益通道在低照度区域目标场景成像效果较好，而高照度区域目标场景图像亮度值相对较高甚至饱和，往往存在过曝光现象。低增益通道在高照度区域成像效果较好，其余区域图像灰度值相对较低，整体偏暗，地物细节信息多隐藏于黑暗像元内。总之，无论是低增益通道还是高增益通道图像，单一使用一幅图像远远不能满足实际应用的需求，需通过图像融合的方式达到扩展图像动态范围的目的。
3.高动态范围图像融合技术是图像增强技术中的一种处理方法，其主要通过提取多幅图像中有效信息来合成更清晰、准确和动态范围扩展的高动态范围图像。纵观现有高动态范围图像融合算法，直接应用于双增益图像融合存在以下问题：1)融合算法多针对多曝光时间的图像建立，同一目标地物图像亮度值差异主要来源于曝光时间变化，而双增益通道亮度差异来源于增益设置不同；2)融合算法多应用于rgb图像，权重值依赖r、g、b通道特性确定，适用于灰度图像的较少。因此，开展基于双增益成像的高动态范围灰度图像扩展方法研究，不但有助于scmos探测器获取清晰、高质量的地物目标灰度图像，同时对高动态范围图像生成技术发展具有重要意义。


技术实现要素：

4.本发明要解决的技术问题是：克服现有技术的不足，解决了双增益成像的高动态范围灰度图像扩展问题。
5.本发明目的通过以下技术方案予以实现：
6.一种适用于scmos双增益成像系统的高动态范围扩展方法，包括：
7.对高、低增益原图进行初步图像增强；
8.对高、低增益图像分别建立拉普拉斯金字塔序列；
9.对拉普拉斯金字塔的前n-1层和第n层分别进行融合处理，获取金字塔重构后图像结果；
10.对金字塔重构后图像结果进行了对比度调节，获得双增益融合结果。
11.优选的，检测图像中噪声区域，并采用噪声区域周围像素均值进行拟合处理，以实
现初步图像增强。
12.优选的，采用非线性拉伸的方式进行图像初步增强。
13.优选的，采用均方根函数进行拉伸。
14.优选的，采用非线性拉伸前，对数据进行归一化处理。
15.优选的，所述拉普拉斯金字塔具有n层，拉普拉斯金字塔1至n层尺寸逐渐缩减为上一层尺寸的1/2，拉普拉斯金字塔通过高斯金字塔上采样后的相邻两层做差值确定。
16.优选的，针对拉普拉斯金字塔前n-1层采用方向算子计算权重，并构建权重金字塔。
17.优选的，针对拉普拉斯金字塔第n层，采用滤波算子计算权重，并构建权重金字塔。
18.优选的，图像对比度调节的方法为：
[0019][0020]
式中，y为对比度调节后图像灰度值，x为对比度调节前图像灰度归一化值，a1(x)和a2(x)为调节函数，根据γ函数确定，h为判别阈值，采用高、低增益原图灰度均值计算。
[0021]
优选的，获取金字塔重构后图像结果的方法为：
[0022]
将高增益和低增益图像权重金字塔与拉普拉斯金字塔对应层相乘，再通过求和可获取第1至n-1层融合后的金字塔序列；
[0023]
采用低、高增益拉普拉斯金字塔第n层与权重加权融合，获得第n层融合结果；
[0024]
从第二层开始，每层依次进行多次上采样使得尺寸变为与第一层一致，最终将所有层图像数据求和，以获取金字塔重构后图像结果。
[0025]
本发明相比于现有技术具有如下有益效果：
[0026]
本发明将scmos探测器输出的高增益通道和低增益通道图像有机结合，全面充分获取了不同照度区域地物目标细节信息，达到了扩展目标图像动态范围的目的。本发明采用噪声拟合和非线性拉伸的方式，充分利用并挖掘高、低增益图像中不同照度区域细节信息，为高动态范围融合提供充足数据支持。本发明基于拉普拉斯金字塔方法建立一种高动态范围图像扩展方法。本发明针对金字塔的前n-1层和第n层，分别采用方向算子和滤波算子构建权重金字塔，大大提高了基于scmos双增益成像系统获取高动态范围图像的质量。本发明获取的高动态范围图像融合结果，场景包含信息量明显增多，大于原始高增益和低增益图像，且约等于二者信息量的总和。本发明基于拉普拉斯金字塔多分辨率优势和图像细节增强、对比度调节等步骤，有效提升了双增益灰度图像融合结果的准确性、稳定性以及清晰度。
附图说明
[0027]
图1为本发明具体实施例的步骤流程图。
[0028]
图2为双增益图像与高动态范围图像融合结果，其中图2a、图2b、图2c分别为低增益图像、高增益图像和高动态范围图像融合结果。
[0029]
图3为获取的高动态范围图像定量化分析结果。
具体实施方式
[0030]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步详细描述。
[0031]
本发明中基于拉普拉斯金字塔融合方法，提出一种适用于scmos双增益成像系统的高动态范围扩展方法，主要分为五个步骤，即图像细节挖掘、拉普拉斯金字塔建立、基于方向算子的权重金字塔、基于滤波算子的权重金字塔和图像对比度调节。
[0032]
步骤一：图像细节挖掘。针对卫星搭载相机成像过程，探测器焦平面上获取远距离弱目标的辐射量一般较小，为了满足合适的信噪比，通常需要求相机具有较高灵敏度。此时一般采用小电容的方式增大响应电压，而小电容的满阱电子数往往较小，一幅图像中的远距离强目标容易饱和，无法准确测量其辐射值。因而在成像过程中采用双增益控制，以同时有效探测强、弱目标的辐射信息。其中，低增益图像可有效显示高照度区域目标场景信息，而低照度区域灰度值较小，较高曝光时间下获取目标场景图像依然较暗，无法有效识别强、弱目标地物细节信息；高增益图像对低照度区域目标场景显示效果较好，但强目标存在过曝光现象。总之，无论是低增益图像，还是高增益图像，强、弱目标的细节信息均被隐藏于“纯黑”像元或者“纯白”像元内。若直接采用高、低增益原图进行融合，实验结果表明获取高动态范围图像显示效果往往较差。因此，研究首先对高、低增益原图进行初步图像增强，以充分挖掘强、弱目标细节信息，保证图像融合具有较高精度。
[0033]
这里主要从两个方面进行图像增强，其一是检测图像中噪声区域，并采用周围像素均值进行拟合处理，以保证图像具有较高信噪比。由于scmos为大面阵探测器，图像中噪声指行噪声和列噪声。检测方式为分别计算纵向x轴和横向y轴方向梯度值g
x
和gy，row和col为图像行、列总数，i和j为第i行和第j列。当h(i)＝1表示第i行为噪声，l(j)＝1表示第j列为噪声，具体公式如下所示。
[0034][0035][0036]
针对第i行噪声，采用周围3*3模板尺寸进行拟合。
[0037]
f(i,j)＝q1·
[f(i-1,j)+f(i+1,j)]
[0038]
+q2[f(i-1,j-1)+f(i-1,j+1)+f(i+1,j-1)
[0039]
+f(i+1,j+1)]
[0040]
其中，f(i,j)为噪声点拟合值，q1和q2为权重，f(i-1,j)、f(i+1,j)、f(i-1,j-1)、f(i-1,j+1)、f(i+1,j-1)、f(i+1,j+1)等为邻域像素值。由于f(i-1,j)和f(i+1,j)相对其余四个像素距离噪声位置较近，因此分配较大的权重值，即q1》q2。针对第j列噪声，采用周围3*3模板尺寸进行拟合，与上述公式类似。
[0041]
通过上述噪声处理，图像信噪比可以显著提升。其二采用非线性拉伸的方式进行图像增强，实现图像细节信息充分挖掘。由于低照度区域细节信息容易被隐藏于黑暗像元内，所以非线性拉伸过程中需设计合理的算法，扩大低照度区域灰度范围，并适当压缩高照度区域亮度范围。因此，这里采用均方根函数进行拉伸，拉伸过程中首先进行数值归一化处
理。
[0042][0043]
式中，g(i,j)为经过图像细节挖掘后像素值，f(i,j)在噪声拟合后像素值，f
max
和f
min
分别为图像中最大值和最小值。
[0044]
步骤二：拉普拉斯金字塔建立。本发明采用mertens等提出的方法，对高、低增益图像分别建立拉普拉斯金字塔序列，拉普拉斯金字塔序列可充分挖掘不同分辨率下多层目标细节信息。假设拉普拉斯金字塔具有n层，原始图像尺寸为m
×
n，则拉普拉斯金字塔1至n层尺寸逐渐缩减为上一层尺寸的1/2。拉普拉斯金字塔可通过高斯金字塔上采样后的相邻两层做差值获取，而高斯金字塔的建立需通过多次高斯算子滤波和降采样，依次获取每一层，尺寸分别为
[0045]
步骤三：基于方向算子的权重金字塔。本发明对拉普拉斯金字塔的前n-1层和第n层设置不同权重进行融合。针对前n-1层，采用方向算子计算权重，并构建权重金字塔。方向算子根据四个方向的梯度计算，分别为南北方向、东西方向、西北-东南方向、西南-东北方向，计算公式如下。
[0046]
g(x,y,k)＝g1(x,y,k)+g2(x,y,k)+g3(x,y,k)+g4(x,y,k)
[0047]
g1(x,y,k)＝[g(x,y,k)-g(x+1,y,k)]2[0048]
g2(x,y,k)＝[g(x,y,k)-g(x,y+1,k)]2[0049]
g3(x,y,k)＝[g(x,y,k)-g(x+1,y+1,k)]2[0050]
g4(x,y,k)＝[g(x,y),k-g(x-1,y+1,k)]2[0051]
其中，g(x,y,k)为方向梯度值，(x,y)为图像中第x行、第y列，k为拉普拉斯金字塔第k层，g1(x,y,k)、g2(x,y,k)、g3(x,y,k)和g4(x,y,k)分别为南北方向、东西方向、西北-东南方向、西南-东北方向梯度值。根据上述公式可分别计算低增益图像拉普拉斯金字塔和高增益图像拉普拉斯金字塔每层的方向算子数值，然后采用如下规则分别构建高增益与低增益的权重金字塔。
[0052][0053][0054]
式中，w
l
(x,y,k)为低增益通道第k层拉普拉斯金字塔权重，wh(x,y,k)为高增益通道第k层拉普拉斯金字塔权重，g
l
(x,y,k)为低增益图像金字塔对应层方向算子数值，gh(x,y,k)为高增益图像金字塔对应层方向算子数值。将高增益和低增益图像权重金字塔与拉普拉斯金字塔对应层相乘，再通过求和可获取第1至n-1层融合后的金字塔序列。
[0055]
步骤四：基于滤波算子的权重金字塔。针对拉普拉斯金字塔第n层，采用滤波算子计算权重，并构建权重金字塔。滤波模板尺寸为5*5，首先根据滤波计算像元能量值。
[0056][0057]
式中，e(x,y,n)为像元加权值，g
′
(x+u,y+v,n)滤波处理后像元值，u和v表示滤波尺寸，n为拉普拉斯金字塔第n层。随后，根据上述计算结果构建权重金字塔。
[0058][0059][0060]
式中，w
l
′
(x,y,n)为低增益通道第n层拉普拉斯金字塔权重，wh′
(x,y,n)为高增益通道第n层拉普拉斯金字塔权重，e
l
(x,y,n)为低增益图像金字塔对应层方向算子数值，eh(x,y,n)为高增益图像金字塔对应层方向算子数值。随后，分别采用低、高增益拉普拉斯金字塔第n层与权重加权融合，可以获得第n层融合结果。结合步骤三中第1至n-1层融合结果，图像序列对应n层拉普拉斯金字塔。从第二层开始，每层依次进行多次上采样使得尺寸变为与第一层(即原始图像)一致，最终将所有层图像数据求和，以获取金字塔重构后图像结果。
[0061]
步骤五：图像对比度调节。为了使图像融合结果更详细的显示各类地物目标的信息，研究基于曝光时间及图像拍摄时间对金字塔重构得到的图像进行了对比度调节。理论上，曝光时间对遥感图像质量具有较大影响，一般低曝光时间的图像整体亮度较低，很多信息采用金字塔融合等手段未充分挖掘，导致弱目标目视解译难度较大；而高曝光时间遥感成像很可能由于高亮度失去强目标相关信息，使得融合后结果显示效果稍差。此外，图像拍摄时间亦影响图像整体灰度值，相同的融合方法在白天和夜晚的结果往往存在偏差。为了改进图像融合结果，存在两种方式，其一是在融合算子上进行改进，根据每幅高、低增益图像曝光时间和获取时间设置权重值，在进行融合；其二是经过拉普拉斯金字塔重构后的初步融合图像进行对比度调节。针对第一种，假设图像具有row行，col列，融合算子逐像元计算权重调节值，且对n层金字塔分别需要计算，此时的工作量较大。对于第二种，仅需对拉普拉斯金字塔重构后的一幅图像进行，相对简单，节约时间和计算成本。因此，本研究选择第二种方式进行图像对比度调节。具体公式如下所示：
[0062][0063]
式中，y为对比度调节后图像灰度值，x为对比度调节前图像灰度归一化值，a1(x)和a2(x)为调节函数，根据γ函数确定，h为判别阈值，采用高、低增益原图灰度均值计算。灰度值小于h表示图像获取时刻为白天，灰度值大于h表示图像获取时刻为夜晚。经过上述图像对比度调节，即获取基于双增益图像的高动态范围图像融合结果。
[0064]
实施例：
[0065]
(1)针对高增益和低增益图像，分别计算沿纵向x轴和横向y轴方向梯度值，然后根据步骤一中公式检测噪声区域。随后，采用噪声邻域3*3范围内非噪声像素值加权平均，拟合噪声像素值。距离待拟合点近的2个像素值分配较高权重，为1/3；距离待拟合点远的4个像素值分配较低权重，为1/12。最后，在分析高、低增益图像特征的基础上，采用归一化和非
线性拉伸的方式进行图像灰度增强，以充分挖掘低照度区域图像细节信息。图1为本发明实施流程。
[0066]
(2)对双增益图像分别建立拉普拉斯金字塔，针对高增益图像，首先需建立高斯金字塔序列，金字塔的第1层为高增益图像原图；然后基于高斯滤波算子对其进行低通滤波，再进行降采样，使得图像尺寸变为原尺寸的1/2，即为金字塔第二层图像；依次进行低通滤波卷积和1/2降采样，可获得第三层、第四层、
……
第n层，由此可构建高斯金字塔图像序列。这里的高斯滤波算子设置如下：
[0067][0068]
由高斯金字塔的建立过程可以看出，金字塔的第一层至第n层，图像尺寸依次减小，分别为m
×
n、为建立拉普拉斯金字塔，首先需对高斯金字塔第二层进行低通滤波以及上采样，使得采样结果变为原尺寸的2倍，再将高斯金字塔第一层与上采样后图像相减，得到拉普拉斯金字塔第一层，尺寸为m
×
n；对高斯金字塔第三层进行低通滤波和上采样处理，并将高斯金字塔第二层与之相减，得到拉普拉斯金字塔第二层，尺寸为以此类推，可得到第三层、
……
第n-1层，最后将高斯金字塔的第n层直接赋值为拉普拉斯金字塔的n层。采用此方法，对低增益图像建立拉普拉斯金字塔。
[0069]
(3)针对拉普拉斯金字塔的前n-1层，采用方向梯度算子计算高增益和低增益图像四个方向的梯度值，分别为南北方向、东西方向、西北-东南方向、西南-东北方向，并根据步骤三中公式构建权重金字塔。其中，每层权重金字塔的权重为0或1。将高增益和低增益图像权重金字塔与拉普拉斯金字塔对应层相乘，再通过求和可获取前n-1层融合后的金字塔序列。
[0070]
(4)针对拉普拉斯金字塔第n层，采用5*5的模板对其进行滤波，然后分别计算中心像素5*5区域的像素和，并根据步骤四中公式构建权重金字塔。随后进行加权融合，可以获取第n层拉普拉斯金字塔融合结果。
[0071]
针对融合后的金字塔，拉普拉斯金字塔第一层尺寸为m
×
n；拉普拉斯金字塔第二层尺寸为需进行滤波和上采样操作，使得图像尺寸为m
×
n；拉普拉斯金字塔第三层尺寸为进行两次滤波和上采样操作，使得图像尺寸为m
×
n；依次类推，拉普拉斯金字塔第n层尺寸为需进行n-1次滤波和上采样操作，使得图像尺寸为m
×
n。最终，将拉普拉斯金字塔1～n层相加求和，即为金字塔重构。通过金字塔重构，可得到基于高、低增益图像初步融合结果。
[0072]
(5)采用gamma校正算法对图像对比度进行调节，以获得视觉效果更优的图像。gamma校正又称为幂次变换，其本质是为了克服图像采集和图像显示设备的非线性输入输出特性而引入的一种函数。若像元灰度值x∈[0,x
max
]，x_max为最大像素灰度值。采用gamma
校正调节对比度的步骤如下：
[0073]
a.对图像灰度值进行归一化处理，得到归一化像素灰度值x∈[0,1]；
[0074]
b.拟合gamma函数y(x)＝ax
γ
，γ为gamma因子，其取值决定了输入图像到输出图像的灰度映射方式，即决定了增强低灰度还是增强高灰度。
[0075]
c.将经过gamma修正的像素灰度值x做灰度变换，得到变换后的灰度值。
[0076]
(6)双增益融合结果获取，如图2a、2b、2c所示，分别为不同场景区域的原始低增益图像、高增益图像以及高动态范围图像融合结果。低增益图像增益值较小，像元亮度值整体较小；高增益图像增益设置较大，大部分像元达到饱和值，少部分可表征地物特性。这是由于高、低增益倍数比值是scmos探测器的系统参数，参数一旦设置便不可修改。融合结果可以较好的显示低增益图像中黑暗像元隐藏目标地物细节信息，同时又能充分弥补高增益图像中过曝光区域无有效数值的缺陷，总之，高动态范围图像融合效果较好。
[0077]
图像信息熵能够直接的反映出目标图像所含有的信息量，信息熵越大则图像所包含的信息也就越多，相对的图像质量就越好；相反信息熵越小则图像包含的信息也越少，图像质量也越差。因此，本发明采用熵指标定量对比分析了双增益原始图像和融合结果，如图3所示。由图可知，融合后图像中包含信息量明显增多，大于原始高增益和低增益图像，且约等于二者信息量的总和。这也侧面表明本发明中方法可以基于双增益图像数据有效扩展图像动态范围，以及获取高质量高动态范围图像融合结果。
[0078]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
[0079]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。