一种基于多帧处理的内部杂散辐射非均匀性校正方法与流程

本发明涉及一种基于多帧处理的内部杂散辐射非均匀性校正方法，属于红外成像技术领域。

背景技术：

红外成像器件非均匀性引起的固定图案噪声是影响其成像质量的关键因素，需要在后续的图像处理中引入非均匀性校正(nonuniformitycorrection)算法消除噪声。红外焦平面阵列(irfpa)成像系统的非均匀性主要包括(1)由于制造工艺、读出电路的限制，探测器各个单元响应度不均匀；(2)由于成像系统内部包括光学系统与机械结构带来的杂散辐射，叠加在场景辐射上导致成像不均匀，例如熟知的水仙花效应。前者在图像上往往表现为空域高频噪声，例如点状，条纹状；相反，后者叠加的辐射由于不在成像物面，在图像上表现为空域连续的低频噪声，这些非均匀性噪声随着工作时长的增加与温度的变化会缓慢漂移。

目前常用的基于辐射参考源的定标校正(calibrationbasednon-uniformitycorrection,cbnuc)和基于场景的自适应校正(scenebasednon-uniformitycorrection,sbnuc)方法在去除空域高频非均匀性噪声方面取得了很好的效果，但对于系统内部杂散辐射引起的图像空域低频噪声效果不佳。因此，此类噪声的去除常用方法是前端光学系统以及热像仪内部结构设计。现有的使用数字图像处理补偿红外成像系统内部杂散辐射的算法较少，单帧处理校正算法没有利用内部杂散辐射噪声的时域缓变特性，校正效果有限；多帧统计类的校正算法不可避免地会由于过校正而产生“鬼影”。

技术实现要素：

本发明公开的一种基于多帧处理的内部杂散辐射非均匀性校正方法目的是：对红外成像系统中由于内部杂散辐射而带来的空域低频噪声进行校正，具有去除低频非均匀性噪声更彻底，鲁棒性更强优点。

本发明公开的一种基于多帧处理的内部杂散辐射非均匀性校正方法，采用与入射辐射值相关的一点非均匀性校正模型，将空域梯度高通滤波结果作为校正参考源，利用最小均方差(leastmeansquare，lms)算法逐帧计算每一帧图像的校正偏置值的梯度值。为求取每帧图像的校正偏置值，使用多项式模型建立偏置值模型，根据校正偏置值的梯度值拟合出多项式模型中的参数。重复上述过程迭代求解校正偏置值，并将当前校正偏置值作为下一帧图像的一点校正偏置参数。对每一帧图像进行校正处理，随着时间递进，非均匀性校正后输出的红外成像质量逐渐提高。

本发明公开的一种基于多帧处理的内部杂散辐射非均匀性校正方法，包括如下步骤：

步骤1，根据上一帧图像处理得到的校正偏置值，用一点非均匀性校正模型对原始输入图像校正，去除内部杂散辐射带来的图像中的空域低频非均匀性噪声，得到去除空域低频非均匀性噪声的高质量的图像。对于第一帧图像，校正偏置值初始值设为0。

步骤1所述的一点校正模型如公式(1)

zn(i,j)＝yn(i,j)+bn(i,j)(1)

其中，zn(i,j)表示一点校正后的灰度值；bn(i,j)是像元(i,j)的偏置校正参数，用来补偿内部辐射引起的非均匀性。

步骤2，通过空域梯度高通滤波器对图像进行空域梯度滤波，去除图像中的低频非均匀性噪声梯度。

步骤2所述的空域梯度高通滤波器如公式(2)所示，

其中，表示梯度运算符，|x|w×w表示以i,j为中心，w×w窗口中x的均值，st为噪声相似度。函数f用来估算没有低频噪声的理想图像，即剔除图像中的内部辐射引起的低梯度成分。内部辐射的梯度是连续变化并且很小，根据滤波图像噪声剔除程度和细节保留能力的权衡设置st值。

步骤2所述的空域梯度高通滤波器作用为：不考虑梯度的方向，窗口内均值大于阈值的梯度更像是由场景引起的，会被保留，均值小于阈值的梯度，越接近阈值，缩小的幅度越小，相反，减小的幅度越大。

根据工程经验，步骤2所述st值选取4-10，进一步优选设置为4。

步骤3，通过空域梯度滤波结果作为校正逼近值，构建误差函数e，通过梯度下降法最小化所述误差函数e，得到校正偏置值的梯度

通过空域梯度滤波结果作为校正逼近值，构建误差函数e如公式(3)

其中，yn(i,j)表示像元(i,j)校正前的灰度值，bn(i,j)表示像元(i,j)的偏置校正参数，用来补偿内部辐射引起的非均匀性。

使用梯度下降法最小化所述误差函数e，得到校正偏置值的梯度

其中，εn(i,j)表示迭代的学习因子，决定最小均方差(leastmeansquare，lms)算法性能的优劣。学习因子εn(i,j)越大，学习速度越快，但小的学习因子εn(i,j)能够保证算法的稳定性。在基于神经网络的非均匀性校正算法中，学习因子εn(i,j)值应在校正逼近值估算准确时变大，估算不准时变小。根据公式(2)中滤波器剔除内部辐射噪声的原理，内部辐射非均匀性噪声在图像中均匀区域较为明显，并且其梯度受场景影响很小，因此滤波估算结果更准确。相反在场景细节丰富的区域，被去除的低频信息会带有场景中的梯度，逼近的梯度值估算误差较大。因此，使用图像的局部标准差控制学习因子εn(i,j)，表示如下：

其中，σz(i,j)表示图像的空域局部标准差，d为最大学习因子。通过公式(5)知，在图像的局部标准差较小的平滑区域，图像梯度的校正逼近值估算更准确，因此学习因子εn(i,j)更大；当局部标准差较大时，学习因子εn(i,j)较小。

此外，为了防止场景静止时，f估算误差累积，造成内部辐射梯度估算持续偏离真实值，导致图像引入虚假的低频信息，因此通过公式(6)设置时域阈值g，对学习因子εn(i,j)进行调控，使静止区域像元校正参数的梯度不更新。

其中，g为时域阈值，ln(i,j)用来探测灰度的时域变化，如公式(7)所示，

步骤4，利用步骤3得到的校正偏置值的梯度值求解校正偏置值。使用多项式模型建立偏置值灰度模型，根据校正偏置值的梯度值拟合出多项式模型中的参数，即求解出了校正偏置值，作为下一帧图像的一点校正偏置参数。

使用多项式模型的建立偏置值灰度模型，根据校正偏置值的梯度值拟合出多项式模型中的参数。经过公式(4)的逐帧迭代，得到每一帧校正参数的梯度。为了求取每一帧的校正参数，还需要除校正偏置参数梯度以外更多的已知量。当用多项式来表示图像的校正偏置值时，则红外焦平面阵列成像系统的内部辐射校正偏置值表示为

其中，m与γ是向量形式，m是行向量，每一列是公式(8)中i,j组成的多项式，γ是列向量，每一行是多项式中每一项对应的参数。n表示多项式的阶数。n越大，图像g中能够存在的空间频率越高，相反，图像g中只会存在空域低频成分。对于空域低频噪声，选取n<10值保证校正结果的稳定性。到此，只需要将g的梯度拟合为即得到γ，建立如公式(9)误差函数e(γ)

其中，i表示坐标(i,j)，p表示图像的像素总数，g与b是向量形式。求解如公式(9)误差函数e(γ)最小二乘优化问题，通过对误差函数e关于γ求导，令导数等于零得到封闭解：

γ＝(m^tm)^-1m^tb(10)

其中，m是2p×(n+1)(n+2)/2-1的矩阵，(m^tm)^-1m^t提前计算并且存储成查找表。

步骤5：重复步骤1至4，对每一帧图像进行校正处理，随着时间递进，非均匀性校正后输出的红外成像质量逐渐提高，直至得到满足红外成像质量要求的图像，迭代终止，得到相应非均匀性校正后输出的高质量红外成像。

有益效果：

相比基于单帧图像的校正方法，本发明公开的一种基于多帧处理的内部杂散辐射非均匀性校正方法，利用多帧图像中非均匀性噪声固定位置的特点，从时域上逐帧去除非均匀性噪声，单帧图像对校正效果的影响较小，去除低频非均匀性噪声更彻底，因此鲁棒性更强。

附图说明

图1是本发明基于多帧处理的内部杂散辐射非均匀性校正算法的流程图。

图2是本发明基于多帧处理的内部杂散辐射非均匀性校正算法校正过程中的数据图像，其中：(a)为入射辐射估计值的纵向分量，(b)为入射辐射估计值的横向分量，(c)为校正偏置值的梯度的纵向分量，(d)为校正偏置值的梯度的横向分量，(e)为校正偏置预估值bn(i,j)。

图3是使用本发明和sf方法分别对内部辐射低频fpn(northguangwei非制冷长波红外焦平面热像仪内部辐射低频fpn)校正效果对比图，其中：(a)为带噪声图像，(b)sf方法校正效果，(c)本发明校正效果。

图4是使用本发明和sf方法分别对冷反射效应(128×128制冷型热像仪冷反射效应)校正效果对比图，其中：(a)为带噪声图像，(b)sf方法校正效果，(c)本发明校正效果。

具体实施方法

下面结合附图，进一步说明本发明的实施方式。

本实例采用northguangwei非制冷长波红外焦平面热像仪(vox探测器规模384×288，像元间距25μm，14bit输出，帧频50hz)采集视频序列测试内部辐射低频fpn校正效果。为了得到带有内部辐射噪声的真实图像，经过开机定标校正后，关掉挡板校正，在夏天环境温度36℃-38℃下，热像仪持续工作2小时。此时热像仪的内部温度已经升高，从显示器观察图像中出现了类似于四角热的低频噪声。开始以室外复杂场景为目标，采集视频序列。

本实施例的方法流程图如图1所示，本实例公开的一种基于多帧处理的内部杂散辐射非均匀性校正方法，具体实施步骤如下：

步骤1，利用公式(2)对图像进行空域滤波，得到入射辐射估计值对于视频序列的第432帧图像(如附图3(a)所示)来说，在计算432帧图像的校正参数时，求取入射辐射估计值使用的是第431帧图像，利用公式(2)进行空域滤波，得到入射辐射估计值沿纵向方向的分量如图2(a)所示，沿横向方向的梯度如图2(b)所示。

步骤2，计算校正偏置预估值梯度得到第431帧图像的入射辐射估计值后，利用公式(3)构建误差函数，通过梯度下降法最小化所述误差函数，得到第432帧图像的校正偏置值的梯度沿纵向方向的分量如图2(c)所示，沿横向方向的梯度如图2(d)所示。

步骤3，计算校正偏置预估值b432(i,j)。根据公式(8)-(11)，计算第432帧图像的校正偏置预估值b432(i,j)，如图2(e)所示。

步骤4，通过公式(1)，对第432帧图像进行一点校正，得到图3(c)的第432帧图像的校正结果。

第1042帧和第1254帧图像校正过程中的b1042(i,j)、b1254(i,j)如图2所示，同样可得到第1042帧和第1254帧图像校正结果。

图3给出对视频序列处理后的一些典型场景(第432帧、第1042帧以及第1254帧校正前后的图像)，第432帧校正流程如上述具体实施步骤所示，用同样的步骤得到第1042帧和第1254帧图像的校正结果。从图3中看出，sf方法校正后，光斑变弱，图像质量变好，但在图像中间仍然存在明显的暗斑，四角存在低频辐射噪声；本发明基本去除了内部辐射带来的低频噪声，图像的视觉效果更好。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。