盲元检测方法及装置与流程
本发明涉及图像处理技术邻域，更具体地，涉及盲元检测方法及装置。
背景技术：
红外成像系统因材料缺陷的限制和制作工艺水平的影响，成像过程中难免会出现盲元问题。随机盲元是在成像系统使用时随机产生的，而盲元的存在会在生成的图像中形成较亮或较暗的点，对诸如红外小目标检测等会造成大概率的漏检和虚警。因此，在红外成像系统中剔除盲元是关键的非均匀性校正步骤。
目前，常用的盲元检测算法分为定标法和基于场景的检测方法两大类：
1、定标法，需要停止系统工作来拍摄单帧或序列黑体辐射图像，操作流程复杂，且仅限于检测固定盲元。
2、基于场景的检测方法，能够有效检测成像过程中的随机盲元，应用广泛，但该方法往往针对某一类或几类图像，泛化性较差。
技术实现要素：
本发明提供一种克服上述问题或者至少部分地解决上述问题的盲元检测方法及装置。
第一个方面，本发明实施例提供一种盲元检测方法，包括：
获取连续拍摄的多幅红外图像，对所述多幅红外图像进行时域均值处理，获得时域均值图像，所述时域均值图像中每个像元的灰度值为所述多幅红外图像中相同位置的像元的灰度均值；
对所述时域均值图像进行图像分割，获得多个分割区域，对任意一个所述分割区域进行空域均值处理，获得所述分割区域的空域均值图像，所述空域均值图像中每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得；
根据所有空域均值图像与时域均值图像获得差值图像，所述差值图像中每个像元的值根据时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差获得；
若所述差值图像中的像元的值大于预设阈值，则判断所述像元为盲元点；所述预设阈值的大小与所述像元所在的分割区域相关。
第二个方面，本发明实施例提供一种盲元检测装置，包括：
时域均值处理模块，用于获取连续拍摄的多幅红外图像，对所述多幅红外图像进行时域均值处理，获得时域均值图像，所述时域均值图像中每个像元的灰度值为所述多幅红外图像中相同位置的像元的灰度均值；
空域均值处理模块，用于对所述时域均值图像进行图像分割，获得多个分割区域，对任意一个所述分割区域进行空域均值处理，获得所述分割区域的空域均值图像，所述空域均值图像中每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得；
差值图像获取模块，用于根据所有空域均值图像与时域均值图像获得差值图像，所述差值图像中每个像元的值根据时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差获得；
盲元判断模块，用于若所述差值图像中的像元的值大于预设阈值，则判断所述像元为盲元点；所述预设阈值的大小与所述像元所在的分割区域相关。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的盲元检测方法及装置，通过局部求均值的方式计算不同分割区域的灰度值，以获得空域均值图像，并根据空域均值图像与时域均值图像的差值获得差值图像，最后根据不同分割区域设置不同的阈值，根据阈值对差值图像中的相应分割区域的像元的值进行比对，克服了现有技术基于全局的阈值处理易造成弱小目标虚警或漏检的问题，本发明实施例具有速度快，结果准的特点。经实际应用发现，本发明实施例的盲元检测方法特别适用于针对舰船的红外图像中盲元的检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例提供的盲元检测方法的流程示意图；
图2为根据本发明实施例提供的盲元检测方法获得的差值图像的示意图；
图3为根据本发明另一个实施例提供的盲元检测方法获得的差值图像的示意图；
图4为根据本发明实施例提供的盲元检测装置的结构示意图；
图5为根据本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了克服现有技术的上述问题，本发明实施例提供了一种盲元检测方法，其发明构思为：根据图像的盲元特性，若红外图像中的某个像素点的灰度值基本为某一固定值，且明显异于相邻区域灰度值，则可能为盲元点，本发明实施例通过对连续拍摄的红外图像进行时域均值处理，获得时域均值图像，以记录红外图像中各像素点灰度值在时间域上的变化情况；继续对时域均值图像进行分割，获得多个分割区域，对每个分割区域进行空域均值处理，获得空域均值图像，空域均值图像中像元的灰度值进一步体现了该像元在所在区域中灰度值的差异度，最后根据空域图像与时域均值图像获得差值图像，使得差值图像中像元的灰度值能够体现出在时间和空间上的变化特征，通过与区域相关的阈值进行比对，克服了常规基于全局的图像和阈值处理造成的弱小目标虚警或者漏检，能够更准确地确定盲元的位置。
图1为根据本发明实施例提供的盲元检测方法的流程示意图，如图所示，包括：
s101、获取连续拍摄的多幅红外图像，对多幅红外图像进行时域均值处理，获得时域均值图像。
需要说明的是，连续拍摄能够保证获得的多幅红外图像中盲元稳定，避免因器件、环境或者拍摄周期太长等因素造成盲元波动的问题。时域均值处理即对多幅红外图像中相同位置的像元的灰度去平均值，即时域均值图像中每个像元的灰度值为多幅红外图像中相同位置的像元的灰度均值。具体地，取连续拍摄的k幅红外图像，进行时域均值处理得到时域均值图像
根据上述公式，对于任意一个位置的像元，在计算平均值时还可以采用将最大值和最小值剔除，从剩余的灰度值中计算平均值，本发明实施例获取时域均值图像的目的是为了获取每个像元在时间上的变化情况，本领域技术人员可以理解的是，盲元点的灰度值基本保持为某一固定值。
s102、对时域均值图像进行图像分割，获得多个分割区域，对任意一个分割区域进行空域均值处理，获得分割区域的空域均值图像。
本领域技术人员可以理解的是，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。本发明实施例通过对时域均值图像进行图像分割，可以将具有相似形式的像元划归到一个分割区域中。本发明实施例在进行盲元分析时，区别于现有技术从全局进行分析，而是采用以分割区域为单元进行判断，这样可以更准确地检测出盲元。
本发明实施例的空域均值图像，其中的每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得。也就是说，空域均值图像中的每个像元的灰度值体现了该像元的局部差异性。值得注意的是，现有技术完成基于整幅图像的均值进行去均值处理，本发明实施例进行空域均值处理的方式相比现有技术能够减少漏检和虚警。
具体地，在对时域均值图像进行图像分割后，得到r个分割区域，对于第r个分割区域sr，其中r＝1～r，首先计算分割区域内的灰度均值sr’，然后将时域均值图像中每个像元的灰度值与该像元所在分割区域(假设该像元在分割区域sr)的灰度均值sr’相减，获得的灰度值s’可以直接作为空域均值图像中像元的灰度值，也可以将灰度值s’取绝对值作为空域均值图像中像元的灰度值，甚至还可以对灰度值s’乘以预设权重作为空域均值图像中像元的灰度值，本发明实施例不对空域均值图像中每个像元的灰度值的具体计算方式作具体地限定。
s103、根据所有空域均值图像与时域均值图像获得差值图像，差值图像中每个像元的值根据时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差获得。
对于同一个位置的像元，在时域均值图像中该像元的灰度值表征了红外图像在时域上的变化情况，同时消除了异常数据的干扰，而在空域均值图像中该像元的灰度值表征了红外图像在局部上的差异情况，因此，将两种图像同一位置的像元的灰度值求差，获得的差值图像中每个像元的值即可同时反映出时域和空域两个维度上的信息，便于更准确地进行盲元检测。具体地，差值图像中像元的值既可以取时域均值图像和空域均值图像中灰度值的差，也可以取差值的绝对值，还可以取差值与比例系数相乘的值，本发明实施例不作进一步的限定。
图2为根据本发明实施例提供的盲元检测方法获得的差值图像的示意图。如图2所示，在差值图像中，正常像元的灰度值基本接近于0，而在盲元点出则为异常的尖峰，主要体现为过热像元处为正尖峰，死像元处为负尖峰。
s104、若差值图像中的像元的灰度值大于预设阈值，则判断像元为盲元点，预设阈值的大小与像元所在的分割区域相关。
本发明实施例与现有技术采用一个全局的预设阈值进行比较的方式不同，采用对不同的分割区域设置不同的预设阈值的方式。红外图像中不同区域的灰度值表现存在差异，通常情况下，物体背景像素灰度值较高(尤其是舰船发动机舱区域)，传统方法中用整幅图像的灰度均值和方差进行阈值设置，极其容易将图像中这些物体中较高的像素值区域误检为盲元，而基于区域的阈值设置仅会将区域中个别灰度值明显异于区域其他像素点的点检测为盲元。
具体地，可以运用3σ原则设置阈值，3σ原则又称作拉伊达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。且3σ适用于有较多组数据的时候。3σ原则设置阈值的公式为：th(r)＝δ(r)+3σ(r)；其中，th(r)表示分割区域r的阈值，δ(r)表示分割区域r内像素灰度值的方差，σ(r)即分割区域r内像元的灰度均值。此外，还可以根据分割区域内的像元响应率设置阈值，红外探测器中的像元响应率是指在一定的帧周期或者行周期条件下，红外焦平面各像元对单位辐射功率产生的输出信号电压；还可以根据分割区域内各像元的灰度值与灰度均值的大小关系设置阈值；还可以根据图像梯度设置阈值，本发明实施例不对具体设置预设阈值的方法作进一步的限定。
需要说明的是，本发明实施例的盲元检测方法，通过局部求均值的方式计算不同分割区域的灰度值，以获得空域均值图像，并根据空域均值图像与时域均值图像的差值获得差值图像，最后根据不同分割区域设置不同的阈值，根据阈值对差值图像中的相应分割区域的像元的值进行比对，克服了现有技术基于全局的阈值处理易造成弱小目标虚警或漏检的问题，本发明实施例具有速度快，结果准的特点。经实际应用发现，本发明实施例的盲元检测方法特别适用于针对舰船的红外图像中盲元的检测。
在上述各实施例的基础上，作为一种可选实施例，本发明实施例中对时域均值图像进行图像分割的算法具体为超像素分割算法。
超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。具体地，可以采用slic(英文全称：simplelineariterativeclustering)，即简单的线性迭代聚类。它是2010年提出的一种思想简单、实现方便的算法。
需要说明的是，传统基于固定尺寸窗口的局部阈值法，在检测盲元的过程中，会存在盲元点恰好处在分割边界处的情况，这种人为强制的分割会使得极个别像素的灰度值较高，但不属于盲元的像素点易被误检，同时由于超像素分割是根据相邻像素的纹理、颜色、亮度等特征将图像划分为包含固定像素数的不规则图像块，这种分割使得盲元不会处于分割边界处，而且这种柔和分割不会造成图像中物体(如舰船)过度分割，能够有效的区分背景和物体区域，使空域均值处理中得到的像素灰度均值和方差更具有代表性。此外，超像素分割算法仅需要设置超像素分割区域的像素数，在分割效率，像素紧凑度，边缘保持度等方面都较为理想。
在上述各实施例的基础上，作为一种可选实施例，本发明实施例的预设阈值根据像元所在的分割区域的灰度均值和灰度值的方差获得。例如，上述实施例中提及的根据3σ原则设置预设阈值的方案。
在图2所示的实施例中，差值图像中每个像元的值为时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差的值。盲元分为过热像元和死像元，过热像元表现为异常的正尖峰，死像元表现为异常的负尖峰，进行去均值处理后得到的差值图像在死像元处变现为低于0的负尖峰，过热像元处表现为高于0的正尖峰，由于正常像元的值几乎接近于0，为了使阈值设置过程中参数设置统一化，既对这两种盲元进行统一阈值参数设置，差值图像中每个像元的值为时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差的绝对值。图3为根据本发明另一个实施例提供的盲元检测方法获得的差值图像的示意图。如图3所示，由于采用了绝对值的表达形式，差值图像中所有像元的值均在平面以上进行展示。
在上述各实施例的基础上，作为一种可选实施例，本发明实施例中阈值的设置方式根据3σ原则进行改进，具体计算公式为：
th(r)＝δ(r)+t·σ(r)
其中，th(r)表示分割区域r的预设阈值，δ(r)表示分割区域r的灰度均值，σ(r)表示分割区域r的灰度值的方差，t为可变参数。
需要说明的是，“3σ”检测方法认为图像中像元的灰度值服从正态分布，将像元灰度值落在“±3σ”之外的像元判别成盲元，但这种方法一般判别不够严谨，对有很大时域噪声和存在强线性关系的像元极易漏检，因此在“3σ”的基础上，本发明实施例用可变的预设参数t代替3，并对分割区域分别进行局部阈值处理，得到阈值，更加严谨。t和分割区域阈值的结合，消除了全局阈值设置中的不全面性，同时可变的阈值设置参数t可以针对不同的分割区域自适应设置，相比“3σ”检测方法更具有灵活性。优选地，预设参数t的取值范围为5至25之间的整数。
在上述各实施例的基础上，作为一种可选实施例，根据超像素分割算法对时域均值图像进行分割后形成的分割区域中，每个分割区域中的像元数为600-1500个。
在实际应用中，超像素分割区域像素数大小主要影响虚警率，由于盲元分散在图像各个区域，若分割区域像素数过小，对于不存在真正盲元的分割区域会造成大量的误检，若分割区域像素数过大，会使得分割区域包含背景和物体两部分像素，使用分割区域像素灰度值均值做去均值处理效果不佳，因此，本发明实施例通过大量实验，尤其是针对舰船的红外图像进行分析，发现当采样超像素分割算法进行图像分割时，当分割区域内的像元数为600-1500个时，每个分割区域中盲元点可以更全面地检测出来。
图4为根据本发明实施例提供的盲元检测装置的结构示意图，如图4所示，该盲元检测装置包括：时域均值处理模块401；空域均值处理模块402；差值图像获取模块403；盲元判断模块404。
时域均值处理模块401用于获取连续拍摄的多幅红外图像，对多幅红外图像进行时域均值处理，获得时域均值图像，时域均值图像中每个像元的灰度值为多幅红外图像中相同位置的像元的灰度均值。
具体地，连续拍摄能够保证获得的多幅红外图像中盲元稳定，避免因器件、环境或者拍摄周期太长等因素造成盲元波动的问题。时域均值处理模块即对多幅红外图像中相同位置的像元的灰度去平均值，即时域均值图像中每个像元的灰度值为多幅红外图像中相同位置的像元的灰度均值。具体地，取连续拍摄的k幅红外图像，进行时域均值处理得到时域均值图像
根据上述公式，对于任意一个位置的像元，在计算平均值时还可以采用将最大值和最小值剔除，从剩余的灰度值中计算平均值，本发明实施例获取时域均值图像的目的是为了获取每个像元在时间上的变化情况，本领域技术人员可以理解的是，盲元点的灰度值基本保持为某一固定值。
空域均值处理模块402用于对时域均值图像进行图像分割，获得多个分割区域，对任意一个分割区域进行空域均值处理，获得分割区域的空域均值图像，空域均值图像中每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得
具体地，本发明实施例的空域均值处理模块通过对时域均值图像进行图像分割，可以将具有相似形式的像元划归到一个分割区域中。本发明实施例在进行盲元分析时，区别于现有技术从全局进行分析，而是采用以分割区域为单元进行判断，这样可以更准确地检测出盲元。
本发明实施例的空域均值图像，其中的每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得。也就是说，空域均值图像中的每个像元的灰度值体现了该像元的局部差异性。值得注意的是，现有技术完成基于整幅图像的均值进行去均值处理，本发明实施例进行空域均值处理的方式相比现有技术能够减少漏检和虚警。
差值图像获取模块403，用于根据所有空域均值图像与时域均值图像获得差值图像，差值图像中每个像元的值根据时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差获得。
具体地，对于同一个位置的像元，在时域均值图像中该像元的灰度值表征了红外图像在时域上的变化情况，同时消除了异常数据的干扰，而在空域均值图像中该像元的灰度值表征了红外图像在局部上的差异情况，因此，差值图像获取模块将两种图像同一位置的像元的灰度值求差，获得的差值图像中每个像元的值即可同时反映出时域和空域两个维度上的信息，便于更准确地进行盲元检测。具体地，差值图像中像元的值既可以取时域均值图像和空域均值图像中灰度值的差，也可以取差值的绝对值，还可以取差值与比例系数相乘的值，本发明实施例不作进一步的限定。
盲元判断模块404，用于若差值图像中的像元的值大于预设阈值，则判断像元为盲元点；预设阈值的大小与像元所在的分割区域相关。
本发明实施例与现有技术采用一个全局的预设阈值进行比较的方式不同，盲元判断模块采用对不同的分割区域设置不同的预设阈值的方式。红外图像中不同区域的灰度值表现存在差异，通常情况下，物体背景像素灰度值较高(尤其是舰船发动机舱区域)，传统方法中用整幅图像的灰度均值和方差进行阈值设置，极其容易将图像中这些物体中较高的像素值区域误检为盲元，而基于区域的阈值设置仅会将区域中个别灰度值明显异于区域其他像素点的点检测为盲元。
本发明实施例提供的盲元检测装置，具体执行上述各盲元检测方法实施例流程，具体请详见上述各盲元检测方法实施例的内容，在此不再赘述。本发明实施例提供的盲元检测装置，通过局部求均值的方式计算不同分割区域的灰度值，以获得空域均值图像，并根据空域均值图像与时域均值图像的差值获得差值图像，最后根据不同分割区域设置不同的阈值，根据阈值对差值图像中的相应分割区域的像元的值进行比对，克服了现有技术基于全局的阈值处理易造成弱小目标虚警或漏检的问题，本发明实施例具有速度快，结果准的特点。经实际应用发现，本发明实施例的盲元检测方法特别适用于针对舰船的红外图像中盲元的检测。
图5为根据本发明实施例提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communicationsinterface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储在存储器530上并可在处理器510上运行的计算机程序，以执行上述各实施例提供的盲元检测方法，例如包括：获取连续拍摄的多幅红外图像，对多幅红外图像进行时域均值处理，获得时域均值图像，时域均值图像中每个像元的灰度值为多幅红外图像中相同位置的像元的灰度均值；对时域均值图像进行图像分割，获得多个分割区域，对任意一个分割区域进行空域均值处理，获得分割区域的空域均值图像，空域均值图像中每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得；根据所有空域均值图像与时域均值图像获得差值图像，差值图像中每个像元的值根据时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差获得；若差值图像中的像元的值大于预设阈值，则判断像元为盲元点；预设阈值的大小与像元所在的分割区域相关。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的盲元检测方法，例如包括：获取连续拍摄的多幅红外图像，对多幅红外图像进行时域均值处理，获得时域均值图像，时域均值图像中每个像元的灰度值为多幅红外图像中相同位置的像元的灰度均值；对时域均值图像进行图像分割，获得多个分割区域，对任意一个分割区域进行空域均值处理，获得分割区域的空域均值图像，空域均值图像中每个像元的灰度值根据时域均值图像中相同位置的像元的灰度值与时域均值图像中分割区域的灰度均值的差获得；根据所有空域均值图像与时域均值图像获得差值图像，差值图像中每个像元的值根据时域均值图像中相同位置的像元的灰度值与空域均值图像中相同位置的像元的灰度值之差获得；若差值图像中的像元的值大于预设阈值，则判断像元为盲元点；预设阈值的大小与像元所在的分割区域相关。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
- 还没有人留言评论。精彩留言会获得点赞！