专利名称：基于场景统计的神经网络非均匀性校正方法
技术领域：
本发明涉及图像探测处理技术领域，具体属于红外焦平面探测技术 中图像校正方法。
背景技术：
红外焦平面阵列成像系统由于具有灵敏度高，体积小，结构紧凑，作 用距离远、抗干扰性好、穿透烟雾能力强、可全天候、全天时工作等优 点，已成为红外成像技术发展的趋势，而凝视型红外焦平面阵列已成为 未来红外热成像系统发展的主流探测器件。但由于受材料和工艺水平的
限制，红外焦平面阵列(IRFPA)各探测单元响应特性之间普遍存在着非均 匀性，它将导致红外成像系统的温度分辨率等性能显著下降，以至使其 难以满足工程应用要求，因而工程中使用的红外焦平面阵列几乎毫无例 外地都采用非均匀性校正技术。
目前国内外已出现多种多样的红外焦平面阵列非均匀性校正方法，
但归纳起来大致可以分为两类 一类是基于标定的校正方法，主要包括
两点温度标定法(TPC)和多点温度标定法(ETPC)。该类校正方法拥有算法 简单灵活，运算速度快，易于硬件实现等优点，是目前工程应用的主要 方法。但由于受红外焦平面阵列工作时间和环境变化的影响，其响应参 数会发生缓慢漂移，进而影响校正精度，因此，标定类校正方法通常需 要进行周期性标定校正。这样，不仅需要中断实时成像过程，而且操作 复杂。另一类是基于场景的校正方法，主要包括恒定统计平均法(CSC)、 时域高通滤波法(THPFC)和人工神经网络法(A丽C)。该类方法能有效地消除红外焦平面阵列随工作时间和环境变化而发生的响应参数漂移，不需
要定标，只需根据场景信息实现IRFPA非均匀性自适应校正。在基于场景 的校正方法中，以神经网络校正方法最具代表性。
传统神经网络校正法(Scribner)虽然在理论上完全不需要对红外焦 平面阵列进行定标，对探测器参数的线性和稳定性要求也不高。但传统 神经网络校正法也存在明显的不足，特别是对低频空间噪声无能为力。 究其原因是简单地以四邻域均值作为期望输出，参与计算的像素太少， 特别是没有考虑当前像素值，导致期望值与实际值可能存在较大的偏差。 当场景中同一区域内信号变化缓慢，四邻域均值计算期望值是合理的； 当信号在空间上存在剧烈变化时，窗口横跨多个不同的区域，这时用四 邻域均值作为期望值便存在着较大的误差。当目标运动时，这种误差不 会累积，对校正效果影响不明显；当目标长时间趋于静止时，这种误差 会迅速累积，迭代步长越大，误差累积越快，则会出现明显的目标退化。 而当目标由静止变为突然运动时就会在原来位置留下一个反像的校正虚 影。
张天序、石岩等人在《红外焦平面非均匀性噪声的空间频率特性及 空间自适应非均匀性校正方法改进》 一文中，分析了红外焦平面阵列非 均匀性噪声的空间频率特性，指出空间低频噪声为其主要成分。针对传 统空域自适应校正方法去除低频空间噪声存在的不足，提出采用一点校 正和空域自适应校正相结合的方法。该方法中的一点校正是通过对连续 有限帧且不含目标的背景进行时间均值得到的。如果在相机工作期间图 像背景保持不变时，通过对连续不含目标的有限帧背景进行时间均值得到背景图像与实际背景是接近的，这时可以得到较好的校正效果。但在 背景图像实时变化的情况下，按照这种方法得到的背景图像与实际背景 存在较大的误差，这样预处理校正的结果必然会影响最终的校正结果。
由于红外焦平面阵列盲元的存在，导致红外图像模糊不清，而目前 主要是通过信号处理技术检测出盲元，并通过邻域像素进行有效补偿以 提高红外焦平面阵列成像质量。盲元的处理包括盲元检测和补偿两个方 面。传统的盲元处理方法难以实现盲元的在线检测和补偿。在代少升、 张天骐《一种新的红外焦平面阵列盲元处理算法》 一文中，提出了一种
IRFPA盲元即时检测和补偿的新算法。该算法实现简单，通用性强，能 对随机产生的盲元进行即时检测和补偿，但仅仅涉及到盲元的检测和补 偿，未涉及对图像信号偏置进行非均匀性校正及增益非线性校正。
红外焦平面阵列所受的空间噪声有如下两个性质 性质一由非均匀性引起的空间噪声其主要呈现为低频成分。 性质二由增益非均匀性单独引起的空间噪声，主要呈现为高频成 分。然而传统神经网络校正方法的前提假设是非均匀性所导致的空间 噪声，其空间频率主要是高频或白噪声。正是基于该前提，传统的神经 网络校正方法采用像素的4邻域均值作为该像素输出的校正期望值来更 新校正系数，使其呈现空间低通的频率特性。因此，当实际红外焦平面 阵列空间噪声以低频为主时，传统的神经网络校正方法显得无能为力。
如一点校正和空域自适应校正相结合的算法(onepoint—nn_nuc)， 其背景图像的变化会对校正的效果产生影响，背景相对变化较少的部分 校正效果较好，背景变化较大的部分校正效果较差。如果我们预先采用某种预处理校正，消除空间低频部分噪声，只剩 下由增益非均匀性所导致的空间高频噪声，然后再采用神经网络方法进 行后续校正，便能获得较好的校正效果。正是基于上述原因，本发明提 出了基于场景统计的神经网络非均匀性校正方法，即首先通过场景统计
消除由IRFPA偏置非均匀性引起的空间低频噪声，然后再采用神经网络方
法进行后续校正。
发明内容
本发明针对复杂多变的环境条件下引起红外焦平面阵列响应特性和 稳定性的变化，以及传统神经网络校正方法难以消除低频空间噪声的不 足，提出一种基于场景统计和神经网络非均匀性校正方法。该方法包括， 进行盲元检测及补偿，采用场景统计法对图像偏置进行非均匀性校正， 采用神经网络校正法对场景统计校正后且不含低频空间噪声的图像进行 增益非线性校正。
盲元检测及补偿。在对红外焦平面阵列非均匀性进行校正之前，首 先需要进行盲元检测与补偿。以连续k帧图像序列的时域均值作为当前帧
各个像素的响应率B,，即& =("),;判断像素^是否为有效像元，首 先在以像素5,为中心大小为(2"l)x(2A + l)的窗口内查询最大和最小的像 素灰度值^^、^^;然后去掉^_、万^，计算窗口内剩余像素灰度平均值
i+A 乂+A
》，即L':f 二、:；对各像素点进行盲元判定，当满足条件
^^^^9或者A-^—^9时，可判定为盲元，否则为有效像素。如果像素^为盲元，则将盲元矩阵中相应位置(即第i行第j列)置l;对当前 帧原始图像中检测出的盲元位置用盲元像素4邻域均值代替补偿，得到去 除盲元的图像。
采用场景统计法对图像偏置进行非均匀性校正。根据原始图像的时 域均值计算原始图像输入均值M义J，及校正输出均值可U，得到不包 含低频空间噪声的各像素的灰度值(")。
利用第l帧到第n帧原始图像时域均值作为红外焦平面阵列的输入，
可采用递归的方式计算五[《,]:即耿,]《=}"'" + (" —D.I"、"-'。可采用
5的空间平均作为红外焦平面阵列第n帧像素的平均输出五K
<formula>formula see original document page 8</formula>
当前帧的原始图像;^.(")减去红外焦平面阵列第(i， j)像素在时间上
的平均输入^;，便可得到不含低频空间噪声的各像素灰度值z"w)。
采用神经网络校正法对场景统计校正，对不含低频空间噪声的图像 进行增益非线性校正。如采用自适应加权平均滤波器，确定输出的期望 信号。根据校正误差的标准差阈值来判断像素的区域属性，对同一区域 的像素分配较大的权值，对不同区域的像素分配较小的权值，由加权平 均滤波器的权值『M (")确定输出的期望值《,(")。
其中，权值由下式确定
<formula>formula see original document page 8</formula> 其中，7为权值系数。加权滤波器的输出即为期望值巧，,(")，根据下式计算期望值化(")
W J"
本发明与传统神经网络方法和一点校正与神经网络相结合的方法相 比，具有较强的非均匀性校正能力，从而能够获得理想的图像校正效果。 在场景连续变化的实时校正中，既能消除低频空间噪声，又能消除目标 退化和鬼影，提高了算法的运算速度。
图1为本发明校正方法流程示意图。
图2为盲元检测示意图。其中，图2(a)为k帧运动场景示意图；图 2(b)为3X3盲元检测窗口。
具体实施例方式
下面首先从原理上分析算法的实现过程
对红外焦平面阵列采用线性模型进行校正，校正模型为
]^(") = (^(").义"(")+ 0,、乂(") (1) 其中^.表示校正输出，X"表示原始图像输入，C^.表示校正增 益，《,表示校正图像偏置。
对上式两边取期望可得到如下形式的表达式
五[^] = ^(").￡[义"乂] + 0"(") (2) 其中E[]为期望算子，可^.]为校正输出均值，五[XJ为原始图像输入均值，
将(1)式与(2)式相减后得到下式
(")—]=《(").(X^ (")—]) ( 3 )式(3)与式(1)相比较可以看出，式(3)中增加了 ]项，少了偏置项。 将原算法中对偏置O"的计算估计转化为对输入信号均值五[XJ及校正输出均值艰]的计算。如果令、■ (") = ^ (") _ ] ， Z" (") = (") - ,7 ]那么可得、(")=( ,,7(").^(") (4) (4)式中已不再含有低频的空间噪声，此时再用神经网络方法即可对由增益非均匀性引起的高频空间噪声进行校正。校正输出为l (") = (") (《，(")—])+ ] ( 5 )下面进一 步讨论输入信号均值￡[^]和校正输出均值￡[1^]的计算。由于图像序列的时间相关性，利用前n帧原始图像的灰度均值作为红 外焦平面阵列时域平均输入值。用X^表示第K帧图像的(i， j)像素原始 值，用5表示红外焦平面阵列的第(i， j)像素的时间平均输入，贝U:_ 2^",* _S = ^^。用S来代替可X,J，得到下式<formula>formula see original document page 10</formula> (6)由于原始图像的^;在空间上的相关性将随着累积帧数的增加而不断增强，因此可以用^;的空域均值^来代替第(i， j)像素的校正平均输出五[^]:即<formula>formula see original document page 10</formula> (7)m、 n为焦平面阵列行数和列数。将(6)式和(7)式代入(5)式得到最终的校正输出为l (") = Gw (") (、 (") - & + 7 ( 8 )其中&和i分别为(6)式和(7)式计算的结果。以下针对附图和实例对本发明的实施进行具体描述，图1为本发明校正方法流程示意图，具体包括以下步骤初始化、盲元检测及补偿、 场景统计以及神经网络校正。(1) 初始化过程首先进行初始化，初始化图像二维矩阵及参数。初始化各个像素的增益校正系数G为全1矩阵，盲元存储矩阵为全0矩阵，时域输入均值 矩阵为全0矩阵，空域输出均值为0，待校正原始图像序列号fmme二l， 误差阈值th=0. 2，设定用于盲元检测计算的原始图像帧数k为自然数。(2) 盲元检测及补偿根据图像像素灰度值计算像素的响应率，以响应率为中心，对确定 窗口内的像素灰度均值进行査询，找出最大和最小的像素灰度值B皿、An^;去掉^nax、^n，计算窗口内剩余像素灰度平均值^ ，由此确定盲元的位置，并将盲元矩阵相应位置的像素置l;对检测出的盲元位置用 盲元像素4邻域均值代替补偿，得到去除盲元的图像。本发明采用基于场景的实时盲元检测算法对红外焦平面阵列工作过 程中产生的随机盲元进行即时检测。采用当前帧及其之前的连续k-l帧图 像，对各个像素的灰度值进行时域平均来求解其响应率，并记为A。则&可表示为 & ——如图2所示为盲元检测示意图。图中用包含当前帧在内的连续10帧(从n-9帧到n帧)原始图像像素灰度值进行时域平均作为相应像素的响 应率。为了提高运算效率，我们采用迭代方法计算A:<formula>formula see original document page 12</formula>再利用基于场景的实时盲元检测算法对得到的响应率进行盲元检 测，并将盲元矩阵相应位置的元素置为l。 其盲元检测过程如下(a)以响应率^为中心，对(2/z + l)x(2/z + l)窗口内的像素灰度均值进 行查询，找出最大和最小的像素灰度值5_、 5min。0))在窗口内去掉万_、 S^，并求出窗口内剩余像素灰度的平均值^，<formula>formula see original document page 12</formula>(C)比较&M、 L与》差的百分比，即令A:^^或"^^。根据国标GB/T1744421998《红外焦平面验收测试技术标准》中规定，当A^9时， 则认为该像素为盲元，并记录下盲元的位置，将盲元矩阵中相应位置的 元素置为l。(d)盲元补偿。对当前帧原始图像中检测出的盲元位置用盲元像素4邻域均值来代替补偿，得到去除盲元的图像。<formula>formula see original document page 12</formula>(2)场景统计步骤采用场景统计法对图像偏置进行非均匀性校正，其目的是根据原始图像的时域均值计算原始图像输入均值五/Z,J，及校正输出均值厨^]，得 到不包含低频空间噪声的各像素的灰度值Z^W)。由于图像序列存在时间相关性，利用前n帧原始图像灰度值的时域均 值作为红外焦平面阵列(IRFPA)的平均输入。红外焦平面阵列第(i， j)像 素在时间上的平均输入由公式(6)给出。为了提高运算效率和占用较少的存储空间，本发明采用一种递归的 方式进行计算原始图像输入均值五/XJ，艮P-攀,,]《=I"'"+(" — ".^"-' (9)由图像在空间上的相关性可以计算出红外焦平面阵列像素的平均输出即校正输出均值可乙]:w」 Mxiv台^r ''」 当前帧的原始图像《,(n)减去红外焦平面阵列第(i， j)像素在时间上的平均输入^;(原始图像输入均值E/x口)，便可得到不含低频空间噪声的各像素灰度值Zi,(w)。々(")^(")-s(4)神经网络校正采用神经网络校正法对场景统计校正后且不含低频空间噪声的图像 进行增益非线性校正。D. A. Scribner等人提出的传统神经网络校正算法只是简单的利用当 前像素的4邻域均值来计算其期望值化.(w)。这种方法对场景同一区域内部，计算当前像素的期望值是合理的，但在区域边缘处，利用这种方法计算期望值将存在明显不足。同时，在使用四邻域均值计算当前像素的期望值时，由于参与计算的像素数少，对空间低频噪声大的IRFPA不能 获得最接近真实的期望值。为此，本发明采用自适应加权平均滤波器， 使用较多的像素参与平均运算，根据校正误差的标准差阈值来判断像素 的区域，对与中心像素(第i行j列像素)同一区域的像素分配较大的 权值，对不同区域的像素分配较小的权值。对于以第ij像素为中心的(2h+l)滤波窗口内的像素pq，其权值由下式确定<formula>formula see original document page 14</formula>;7为权值系数。加权滤波器的输出即为期望值《,(")<formula>formula see original document page 14</formula>求得期望值&,(")后，再利用下式进行逐帧迭代校正-<formula>formula see original document page 14</formula> 其中K")为第n帧校正输出，GJ")为第n帧增益校正系数，义为迭 代步长。对于以像素i, j为中心的3X3滤波窗口内的像素pq，其4邻域权 值(Wl代表像素i-l， j的权值，称上权值；W2代表像素i + l， j的权值， 称下权值；W3代表像素i， j-l的权值，称左权值；W4代表像素i， j + l的权值，称右权值)由下式确定
<formula>formula see original document page 15</formula>"为权值系数,
加权滤波器的输出即为期望值化W:
F 二『1. Z (")+『2. Z,+1(") +『3. Z",, (") +『4 Z,J+1 (") + Z,,y (")
求得期望值后，再利用下式进行逐帧迭代校正
^( ) = Gw(")-Z;J(") + I (") = j (" -1) - 2; (") 乂 (")-《v ("》 其中~(")为第n帧校正输出，Gw.(")为第ri帧增益校正系数，义为迭 代步长。
传统的神经网络校正方法采用原始图像计算期望信号，本发明的神 经网络校正中采用校正输出图像计算期望信号，而且还增加了当前像素 用于期望估计，并且采用自适应加权滤波的方法计算期望值，因而本发 明能够有效地克服传统神经网络校正存在的目标退化、鬼影等缺陷。本 发明提出的基于场景统计和神经网络校正相结合的方法与一点校正和神 经网络相结合的方法都能够很好地消除空间低频噪声。但当图像背景不断变化时， 一点校正与神经网络相结合的方法就会因为初始采样背景图 像与运动背景图像存在差异而使校正效果变差，当这种误差增加时，校 正误差也随之增加，甚至目标会被淹没在背景中。本发明基于场景统计 和神经网络相结合的校正方法，是利用场景相关性不断地进行统计，实 时地更新背景图像。在场景连续变化的实时校正中，本发明的方法校正 效果好，抑制了目标退化和鬼影，背景图像的变化对校正效果几乎没有 影响。
权利要求
1.一种基于场景统计的神经网络非均匀性校正方法，其特征在于，具体包括以下步骤初始化图像相关矩阵及参数；根据图像像素灰度值进行盲元检测及补偿；采用场景统计法对图像偏置进行非均匀性校正；采用神经网络校正法，根据校正误差的标准差阈值判断图像像素的区域属性，对场景统计校正后且不含低频空间噪声的图像进行增益非线性校正，获得图像的期望输出值。
2. 根据权利要求1所述的神经网络非均匀性校正方法，其特征在于，所述盲元检测及补偿具体包括根据图像像素灰度值计算像素响应率； 以响应率为中心，査找最大和最小的图像像素灰度均值4^、 A"去掉Aax、万，，再计算窗口内剩余图像像素灰度平均值^;对各像素点进行盲 元判定，由此确定盲元的位置，并将盲元矩阵中相应位置的图像像素置l; 最后，对检测出的盲元位置用盲元像素4邻域均值代替补偿，得到去除盲 元的图像。
3. 根据权利要求l所述的神经网络非均匀性校正方法，其特征在于所 述场景统计法具体为根据原始图像的时域均值计算原始图像的输入均 值￡[《，,]，由图像在空间上的相关性计算图像像素的校正输出均值五[^]， 用当前帧的原始图像;^.( )减去原始图像输入均值^^"，得到不包含低 频空间噪声的图像像素灰度值(w)。
4. 根据权利要求l所述的神经网络非均匀性校正方法，其特征在于， 所述判断图像像素的区域属性具体包括，采用自适应加权平均滤波器， 对同一区域的像素分配较大的权值，对不同区域的像素分配较小的权值， 由加权平均滤波器的权值『^(")确定输出的图像期望值i^(")。
5. 根据权利要求2所述的神经网络非均匀性校正方法，其特征在于，确定盲元位置的具体方法为当满足条件A-^^^9或者A-^^^9^ 5譲时，该位置为盲元，否则为有效像素。
6. 根据权利要求2所述的神经网络非均匀性校正方法，其特征在于， 所述计算像素响应率的具体步骤为以连续k帧图像序列像素灰度值的时 域均值作为当前帧各像素响应率^。
全文摘要
本发明请求保护一种基于场景统计的神经网络非均匀性校正方法，属于红外焦平面探测领域。针对传统神经网络校正方法难以消除低频空间噪声的不足，提出一种基于场景统计的神经网络非均匀性校正方法。该方法包括，初始化图像相关矩阵及参数；根据图像像素灰度值进行盲元检测及补偿；采用场景统计法对图像偏置进行非均匀性校正；采用神经网络校正法，根据校正误差的标准差阈值判断像素的区域属性，对场景统计校正后且不含低频空间噪声的图像进行增益非线性校正。本发明获得图像期望信号的校正效果好，抑制了目标退化及鬼影，背景图像的变化对校正效果几乎没有影响。该方法可广泛应用于图像探测处理中。
文档编号G01J5/00GK101666682SQ20091010455
公开日2010年3月10日 申请日期2009年8月6日 优先权日2009年8月6日
发明者代少升, 吴传玺, 将清平, 张天骐 申请人:重庆邮电大学