一种航天材料损伤检测图像多目标全像素分割方法与流程

1.本发明属于损伤检测应用以及模式识别技术领域，更具体地说，本发明涉及一种航天材料损伤检测图像多目标全像素分割方法。


背景技术：

2.航天器在发射和在轨运行过程中，极易遭受各类微小物体的意外撞击，比如太空垃圾碎片、微小流星体、剥落的涂层等。特别是日益增加的太空垃圾碎片对在轨航天的危害最大，由于这个微小碎片具有极高的撞击速度(通常达到几公里每秒甚至十几公里每秒)，极易导致航天器表面产生各类超高速撞击损伤，比如穿孔、撞击坑、层裂、剥落等，使得航天器的结构发生破坏或者部件功能下降/失效。因此，为保证在轨航天器的正常工作，必须对航天器表面损伤进行有效的检测，从而对超高速撞击导致的风险进行评估，指导航天器的维修保障。可见，利用各类检测数据对损伤类型和损伤程度进行有效地识别和判读，这对于开展航天器损伤评估和风险预测是非常重要的。
3.红外热成像技术具有安全、直观、快速、高效、检测面积大、无接触等优点，在航天器在轨检测中发挥了重要作用，其基础原理是：基于傅里叶传热与红外辐射原理，当被检对象受到外部热激励时(太阳光照射或人工光源照射)，由于材料缺陷的存在导致热传导过程受到影响，并表现为被检对象表面瞬态温度响应的差异，通过红外热像仪采集表面温度场响应，从而了解被检对象表面和内部的缺陷状态。红外成像仪采集到的数据是由多帧红外热图像构成的红外热图像序列数据，其包含了被检区域内每个像素点的温度变化信息(瞬态热响应曲线)，通过对红外热图像序列数据进行分析和处理，获取缺陷的重构图像，从而实现对撞击损伤缺陷的可视化检测。
4.为了对损伤缺陷进行精确评估，就需要对缺陷的红外重构图像中目标缺陷区域与背景区域进行有效分离。区别于常规的自然可见光图像，红外图像具有较低的分辨率和模糊的边缘，尤其是在复杂的检测背景中，由于背景中存在其他热源或者是材料本身的热反射性强等原因，会导致背景区域重叠和混乱，降低目标与背景之间的对比度，严重干扰重构图像中的缺陷识别，并对缺陷区域精确提取和类型准确识别造成较大困难。为解决上述问题，需要通过图像分割算法对原始图像进行处理，将目标区域与背景区域有效分离，可见，正确分割缺陷成为目标识别过程中的关键步骤。在现有的研究中，通过利用fcm算法及其改进的算法对图像进行分割，但是这些分割问题往往面向的是一个损伤函数，即一个目标函数。一方面，如果在充分满足保留细节的前提下，缺陷的检测率虽有一定的提高，但是也保留了噪声，容易对缺陷识别造成误判，导致误检率的上升。另一方面，若只满足对图像进行整体去噪，由于微小空间碎片撞击导致的损伤缺陷尺寸小且数量多，这些同噪音近似的微小缺陷会一并随着去噪过程而去除，降低了缺陷的检测率和检测精度。因此，上述常规分割方法运用到本发明对象，即缺陷的红外重构图像中，由于不能权衡缺陷的误检率与检测率，分割效果不尽人意。特别是考虑到红外热图像反映的是试件的热辐射信息，容易受到环境、成像链路等影响，使得获得的缺陷红外重构图像背景噪声大。同时，由于缺陷区域与背景区
域的表面热辐射能力的差异，使得缺陷的红外重构图像的边缘不够平滑、边缘区域划分不够清晰，也不利于图像分割。
5.为了降低缺陷的误检率并提高检测率，去除噪声并充分保留细节，我们设置了噪声消除函数和细节保留函数，并且考虑到红外图像反映的是通过施加热激励后不同区域的温度差异，而温度变化是连续的，因此各区域之间没有明显的轮廓划分，所以我们又引入了一个边缘保持函数，以实现对缺陷的准确分割。在设置噪声消除函数时，通过设置模糊因子充分考虑红外图像的邻域信息尽可能地消除噪声像素点对红外图像分割的影响，但是红外图像受到噪声影响较大，在噪声消除效果不好时，可能会出现相似的两类缺陷分为一类、将噪声和边界分为一类的情况，故我们引入了一个衡量类间离散度的函数，能够灵活调整各类别聚类中心之间的距离，来解决相似性较小的不同缺陷类别之间的像素点难以区分的问题。在设置细节保留函数时，为了保留更多的缺陷细节信息，需要分割后图像的紧致性小且分离性大，并且为了增强微小缺陷信息，这里考虑到邻域像素点和中心像素点位置和颜色之间的相关性，引入了一个相关性系数，如果邻域像素与中心像素的相关性较大，则在目标函数中考虑该像素的信息，如果邻域像素与中心像素的相关性较小，则在目标函数中不考虑该像素的信息。在设置边缘保持函数时，利用局部梯度信息，通过计算边缘像素来对红外图像进行边缘修订，准确分割的关键是邻域像素对中心像素的影响程度，因此这里基于像素灰度差的相关性来计算邻域像素对中心像素的影响程度，相关性大的，说明该邻域像素和中心像素属于同一类，并通过放大邻域像素对中心像素隶属度的影响来增强缺陷边缘信息，从而提高图像分割效果。
6.在实现三个分割性能时，去除噪声的同时会模糊掉一些细节和边缘信息，而保留清晰的细节和边缘信息又会影响去除噪声的效果。为了实现红外图像的准确分割，我们既想在去除噪声的同时又能保留清晰的细节和边缘信息。若仅用分割模型，实现三个分割性能的目标函数在构成分割函数时对应的权重系数待定，需要不断调试来确定权重系数，以控制各个目标函数之间的平衡，算法的计算效率和普适性低，不能保证最后红外重构图像的分割质量。基此，在设置了实现三个分割性能的目标函数构成分割模型后，本发明将多目标优化算法和分割模型相结合，通过权重向量将多目标优化问题分解为若干个标量子问题，每个子问题的权重向量的分量能够反映每个目标函数对分割目标函数重要程度，利用多目标算法在空间中搜索的过程中结合自适应权重向量调整，在调整权重向量时，考虑到稀疏数据会导致部分缺陷特征缺失，不能反映某些维度目标函数的分割性能，用欧式距离来定义数据的稀疏度水平大小，基于像素点的稀疏度水平大小来调整权重向量，根据权重向量来自适应匹配各个目标函数的权重系数，来控制各个目标函数之间的平衡，并且同时求取各类别的聚类中心，再通过计算像素点与聚类中心的距离，将像素点进行类别划分，实现一次性分割红外重构图像。
7.本发明基于多目标优化分割的缺陷检测，使用红外热像仪记录被测对象表面温度场变化，满足原位、非接触的无损检测需求，通过对红外热图像序列进行分析处理，满足对复杂缺陷高精度检测和识别需求。算法使用变换行列步长的方式对红外热图像序列进行采样，获得具有典型温度变化特征的瞬态热响应曲线构成的数据集，提高后续数据分类的速度。利用fcm算法得到个像素点与聚类中心的隶属度，对比隶属度大小对数据集中每一瞬态热响应曲线进行分类，并选取分类后的典型热响应曲线进行红外热图像重建，获得缺陷重
构图像。在此基础上，本发明进一步利用多目标优化理论进行红外重构图像中的缺陷分割，针对噪声问题和边缘模糊问题分别构造合适的目标函数以提高分割的精度，既保证了缺陷的检测率高同时也降低了误检率，从而有效提取出重构图像中的损伤缺陷区域，以便于复杂缺陷的量化研究。


技术实现要素：

8.本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
9.为了实现根据本发明的这些目的和其它优点，提供了一种航天材料损伤检测图像多目标全像素分割方法，包括以下步骤：
10.步骤一、对采集到的试件红外数据在提取有效信息后，按照缺陷类型对其进行分类并提取出每类缺陷的典型瞬态热响应；
11.步骤二、将选择出的典型瞬态热响应构成变换矩阵，获得红外重构图像；
12.步骤三、使用多目标优化算法结合分割模型对含有m
×
n个像素点的红外重构图像x＝(x1,
…
,x
mn
)进行背景区域和缺陷区域的分离；在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数，采用多目标优化算法权衡设置的三个目标函数，设置多目标优化问题；
13.步骤四、使用多目标优化算法结合分割模型在像素点个数为m
×
n的红外重构图像中对试件缺陷实现一次性分割，具体步骤包括：
14.步骤s41、多目标优化算法参数初始化；获取m
×
n个均匀分布的权重向量；在满足多目标优化问题的可行空间中均匀采样产生初始种群；初始化多目标优化函数；采用基于切比雪夫的分解模型分解子问题；设置外部种群ep为空集；
15.步骤s42、进化多目标优化算法，更新种群中的个体；根据欧氏距离来定义稀疏度水平大小，基于稀疏度水平大的个体调整权重向量；
16.步骤s43、从多目标优化算法得到的最优聚类中心集中选择权衡解，作为最终的聚类中心；
17.步骤s44、计算红外热图像中的像素点到聚类中心的距离；
18.步骤s45、根据红外图像中像素点到聚类中心的距离对像素点进行类别划分，划分结束后得到最后试件缺陷红外重构图像的分割图像。
19.优选的是，其中，所述步骤一的具体方法包括：对采集到的试件d维红外热图像序列s(m,n,:)，m＝1,...,m,n＝1,...n，采用分块分步长的方式提取有效的瞬态热响应，其中m和n分别表示三维矩阵的第m行和第n列，第三个维度表示红外热图像的帧数；对提取出的有效瞬态热响应根据缺陷类型k，对其划分为k个区域，从划分好的各类缺陷区域中提取最能代表当前类别缺陷特征的典型瞬态热响应。
20.优选的是，其中，所述步骤二获得红外重构图像的方法为：由步骤一提取出的k个d维典型瞬态热响应，获得维度为d
×
k的线性变化矩阵h1，将s(m,n,:)由三维矩阵化为二维矩阵，即对红外热视频中每一帧图像向量化，将每一帧图像矩阵按列取值并排列后得到包含一帧的像素点温度信息的向量且作为新矩阵的行向量，构建出一个新的二维矩阵p(x,y)
a
×
b
，a＝d，b＝m
×
n；用矩阵h1对p进行线性变换，即其中为矩阵h1的k
×
d维
伪逆矩阵；将二维图像矩阵o再按行取值构成原图像尺寸大小的二维图像，得到k张大小为m
×
n的红外重构图像。
21.优选的是，其中，所述步骤三使用多目标优化算法结合分割模型对含有m
×
n个像素点的红外重构图像x＝(x1,
…
,x
mn
)进行背景区域和缺陷区域的分离的具体方法包括：在噪声去除、保留细节及保持边缘三中目的的指导下构建红外图像分割函数，采用多目标优化算法权衡设置的三个目标函数，设置的多目标优化问题如下式所示：
22.minf(ν)＝[f1(ν),f2(v),f3(v)]
t
[0023]
s.t v＝(v1,
…
,v
c
)
t
[0024]
其中，c为分类数目，v＝(v1,
…
,v
c
)
t
表示一组候选聚类中心；利用权重向量在空间中搜索最能权衡好这三个目标函数的最优解，作为聚类中心；
[0025]
步骤s31、f1(v)为解决噪声问题的单目标噪声去除函数sgns；在fcm算法中引入模糊因子，利用重构图像邻域窗内像素点间的欧氏距离d
ij
来确定像素点间的空间约束关系的基础上，针对差异不大的相近类别之间难以区分的问题再引入一个类间离散度度量函数，设计的f1(v)表达式如下式所示：
[0026][0027]
其中，mn为红外重构图像中像素点个数，c为聚类数目，u
ti
是像素点x
i
对聚类中心v
t
的隶属度，为模糊因子，其定义式为：n
i
是以像素点x
i
为中心的邻域像素集合，d
ij
是像素x
i
和像素x
j
的欧氏距离，距离中心像素越近的邻域像素点对中心像素的影响作用也越强；η
t
为类间离散度参数，v
t
为聚类中心代表当前类别像素点的温度均值，为红外图像中所有像素点的温度均值；函数f1(v)需要满足：利用拉格朗日乘数法求得像素x
i
相对于聚类中心v
t
的隶属度为
[0028][0029]
聚类中心v
t
更新公式为：
[0030][0031]
步骤s32、f2(v)为解决细节保留问题的单目标细节保留函数sgdr；考虑图像局部空间信息能进一步指导图像像素的分割，有利于解决边缘模糊的问题，并引入一个衡量像素位置及像素的颜色的相关系数m
ij
；构造细节保留函数f2(v)如下式所示：
[0032][0033]
其中，mn为红外重构图像中像素点个数，c为聚类数目，v
t
是聚类中心，u
ti
是像素点x
i
对聚类中心v
t
的隶属度，m∈[1,∞)为平滑参数，n
i
是像素点x
i
的邻域像素，是邻域像素集合n
i
中的像素个数，α是控制空间信息约束的参数，表示邻域像素x
i
与中心像素v
t
的相关性，记像素x
i
和v
t
的空间坐标分别为(x
im
,y
in
)、(v
tm
,v
tn
)，灰度值分别为g(x
i
)、g(v
t
)，则有：
[0034][0035][0036]
其中，λ
s
是空间尺度的影响因子，λ
g
是灰度尺度影响因子，为以像素x
i
为中心的邻域像素的平均灰度方差；函数f2(v)需要满足：利用拉格朗日数乘法求得像素x
i
相对于聚类中心v
t
的隶属度为
[0037][0038]
聚类中心v
t
的更新公式为：
[0039][0040]
步骤s33、f3(v)为解决边缘保持问题的单目标边缘保持函数；为了获得准确的分割结果，在目标函数中引入一个根据灰度级进行分割的边缘保持函数，并且为了加强边缘信息，引入了一个放大函数a
ti
放大邻域像素x
i
对中心像素v
t
隶属度的影响；构造边缘保持函数f3(v)如下式所示：
[0041][0042]
其中，mn为红外重构图像中像素点个数，c为聚类数目，n表示像素点的灰度值，u
ti
表示灰度值为n的像素点x
i
关于当前聚类中心v
t
的隶属度，m∈[1,∞)为平滑参数，u
n
为红外图像灰度级为n的数目，ψ
n
为灰度值为n的像素点个数，为像素点x
i
的邻域像素的灰度值的加权和，n
i
是x
i
的邻域像素集合，是集合n
i
中像素点的个数，β是局部空间信息影响因子；n
i
是以像素x
i
为中心的邻域像素集合，是集合n
i
中的像素点个数，g(x
i
)和g(x
j
)分别表示像素点x
i
和其邻域像素x
j
的灰度值，为邻域像素集合n
i
中的像素x
j
与中心像素x
i
的平均灰度差；函数f3(v)需要满足：利用拉格朗日乘数法求得像素x
i
相对于聚类中心v
t
的隶属度为
[0043][0044]
聚类中心v
t
的更新公式为：
[0045][0046]
由此完成了红外图像分割函数的构建。
[0047]
优选的是，其中，所述步骤四使用多目标优化算法结合分割模型在像素点个数为m
×
n的红外重构图像中对试件缺陷实现一次性分割的具体步骤为：
[0048]
步骤s41、多目标优化算法参数设置初始化，具体步骤包括：
[0049]
步骤s411、多目标优化的目标函数f(v)，最大迭代次数g
max
，阈值ζ、ε；种群大小m
×
n；每个邻域中权重向量的个数t；
[0050]
步骤s412、获取m
×
n个均匀分布的权重向量：λ1,
…
,λ
mn
，并计算每个权重向量最近的t个权重向量b(i)＝{i1,
…
,i
t
},i＝1,
…
,mn,是λ
i
最近的t个权重向量；
[0051]
步骤s413、在满足多目标优化问题的可行空间中均匀采样产生初始种群s1,
…
,
s
mn
，令fv
i
＝f(s
i
)，i＝1,
…
,mn；
[0052]
步骤s414、初始化满足其为红外图像分割多目标优化问题中每个目标函数的最优值；
[0053]
步骤s415、采用基于切比雪夫的分解模型分解子问题，其中第j个子问题为：
[0054][0055]
其中，是第j个子问题的权重向量，控制噪声抑制函数的权值，控制细节保留函数的权重，控制边缘保持函数的权重；和分别三个函数当前的最优函数值；
[0056]
步骤s416、设置外部种群ep为空集；
[0057]
步骤s42、进行多目标优化算法更新；当小于最大迭代次数g
max
的时候，内迭代l次更新权重向量一次，即mod(g,l)＝0时，先进入步骤s421更新个体，在进行步骤s422调整权重向量，否则只进行步骤s421更新种群中的个体；
[0058]
步骤s421、更新种群中的个体，具体包括：
[0059]
步骤s4211、复制：从权重向量b(i)中随机选取两个序号k,l,运用差分进化算法由s
k
,s
l
产生一个对于图像分割多目标问题新的解e：
[0060]
步骤s4212、改进：对e进行图像分割多目标优化问题中所提出的约束调节处理产生e
′
；
[0061]
步骤s4213、更新参考点f
*
，若参考点的数值f
*
＜f
*
(e')，则f
*
＝f
*
(e')；
[0062]
步骤s4214、更新邻域解：根据tchebycheff的数学表达式若g
te
(e'|λ
j
,f
*
)≤g
te
(s
j
|λ
j
,f
*
)，j∈b(i)，则s
j
＝e
′
,，fv
i
＝f(e
′
)，种群中的个体便更新完成；
[0063]
步骤s422、调整权重向量，具体包括：
[0064]
步骤s4221、计算种群中的个体与其k个近邻的欧式距离和：
[0065][0066]
其中，j＝1,
…
,k为的k个近邻；
[0067]
步骤s4222、对sud大的n个个体进行更新操作，具体包括：
[0068]
步骤s42221、删除个体对应的权重向量λ
n
，插入新的权重向量λ
new
：
[0069][0070]
其中，λ
new
＝(λ
new1
,λ
new2
,λ
new3
)；
[0071]
步骤42222、从权重向量λ
n
的邻域向量中随机找到两个权重向量λ
n1
和λ
n2
，并找到它
们对应的个体和
[0072]
步骤42223、在两个个体和之间随机生成一个新解
[0073][0074]
其中，
[0075]
步骤s42224、根据生成的权重向量调整个体生成新的个体作为新的聚类中心：
[0076][0077]
步骤s42225、用新的个体替换权重向量调整完成；
[0078]
步骤s423、更新ep：移除所有被f(e
′
)支配的向量，若f(e
′
)不被ep里面向量所支配，把e
′
加入ep；
[0079]
步骤s43、终止迭代：若满足终止条件g＝g
max
，输出ep得到最优即得到使图像分割多目标问题达到最优聚类中心集，否则增加迭代次数g＝g+1转到步骤s52；
[0080]
步骤s44、从步骤s43中得到的最优聚类中心集中，选取权衡解s
q
作为最终的聚类中心，计算空间中像素点x
i
，i＝1,
…
,mn到各聚类中心s
q
的距离：
[0081][0082]
其中，和x
i
＝(x
im
,x
in
)分别为权衡解s
q
和像素点x
i
的空间位置坐标；
[0083]
步骤s45、将像素点划分为距离最近的那一类缺陷区域，分类结束后得到试件缺陷红外重构图像的分割图像。
[0084]
本发明至少包括以下有益效果：本发明提供的航天材料损伤检测图像多目标全像素分割方法通过红外热图像序列数据中温度点最大值进行列向搜索比较获得变换列步长，同时利用瞬态热响应曲线中温度最大值对数据进行分块，获得每个数据块的变换行步长，使用变换列步长和变换行步长进行采样获得具有含有典型温度变化的瞬态热响应曲线构成的采样数据集，使用fcm算法，得到了采样数据集分类的隶属度。利用隶属度对数据集中每一瞬态热响应曲线进行分类，并利用分类后的典型热响应曲线进行重构缺陷图像。将多目标优化算法结合分割模型，实现缺陷的一次性分割。
[0085]
同时，本发明航天材料损伤检测图像多目标全像素分割方法，还具有以下有益效果：
[0086]
(1)、本发明提出的多目标优化的热图像分割框架将多目标理论引入，针对需要被解决的三个目标问题分别建立目标函数，针对性地解决分割问题，使获得的分割图像是三者的权衡，分割获得的结果图像兼具噪声消除、细节保留和边缘保持三种性能。在设置了实现三个分割性能的目标函数构成分割模型后，本发明将多目标优化算法和分割模型相结合，通过权重向量将多目标优化问题分解为若干个标量子问题，每个子问题的权重向量的分量能够反映每个目标函数对分割目标函数重要程度，利用多目标算法在空间中搜索的过程中结合自适应权重向量调整，在调整权重向量时，考虑到稀疏数据会导致部分缺陷特征
缺失，不能反映某些维度目标函数的分割性能，用欧式距离来定义数据的稀疏度水平大小，基于像素点的稀疏度水平大小来调整权重向量，根据权重向量来自适应匹配各个目标函数的权重系数，来控制各个目标函数之间的平衡，并且同时求取各类别的聚类中心，再通过计算像素点与聚类中心的距离，将像素点进行类别划分，实现一次性分割红外重构图像。
[0087]
(2)、本发明提出的分割模型，结合了多目标优化算法，在权衡好三个分割性能的同时，解决了分割模型存在的需要实时更新各个目标函数的权重系数问题。通过在空间中搜索不断更新权重系数，同时求取聚类中心，搜索结束后一次性分割红外图像，在确保分割质量的同时，计算效率更高，普适性更强。
[0088]
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明：
[0089]
图1为本发明航天材料损伤检测图像多目标全像素分割方法流程图；
[0090]
图2为本发明实施例中多目标优化问题求解后得到的pf面图；
[0091]
图3为本发明实施例中撞击坑内部的ttr曲线；
[0092]
图4为本发明实施例中撞击坑内部ttr曲线对应的红外重构图像；
[0093]
图5为本发明实施例中撞击坑背景区域的ttr曲线；
[0094]
图6为本发明实施例中撞击坑背景区域ttr曲线对应的红外重构图像；
[0095]
图7为本发明实施例中撞击坑边缘的ttr曲线；
[0096]
图8为本发明实施例中撞击坑边缘ttr曲线对应的红外重构图像；
[0097]
图9为本发明实施例撞击坑重构图像缺陷分割结果图；
[0098]
图10为本发明实施例撞击坑中心重构图像缺陷分割结果图。
具体实施方式：
[0099]
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0100]
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
[0101]
如图1所示：本发明的一种航天材料损伤检测图像多目标全像素分割方法，包括以下步骤：
[0102]
步骤一、对采集到的试件红外数据在提取有效信息后，按照缺陷类型对其进行分类并提取出每类缺陷的典型瞬态热响应；
[0103]
步骤二、将选择出的典型瞬态热响应构成变换矩阵，获得红外重构图像；
[0104]
步骤三、使用多目标优化算法结合分割模型对含有m
×
n个像素点的红外重构图像x＝(x1,
…
,x
mn
)进行背景区域和缺陷区域的分离；在噪声去除、保留细节及保持边缘三种目的指导下构建红外图像分割函数，采用多目标优化算法权衡设置的三个目标函数，设置多目标优化问题；
[0105]
步骤四、使用多目标优化算法结合分割模型在像素点个数为m
×
n的红外重构图像中对试件缺陷实现一次性分割，具体步骤包括：
[0106]
步骤s41、多目标优化算法参数初始化；获取m
×
n个均匀分布的权重向量；在满足多目标优化问题的可行空间中均匀采样产生初始种群；初始化多目标优化函数；采用基于切比雪夫的分解模型分解子问题；设置外部种群ep为空集；
[0107]
步骤s42、进化多目标优化算法，更新种群中的个体；根据欧氏距离来定义稀疏度水平大小，基于稀疏度水平大的个体调整权重向量；
[0108]
步骤s43、从多目标优化算法得到的最优聚类中心集中选择权衡解，作为最终的聚类中心；
[0109]
步骤s44、计算红外热图像中的像素点到聚类中心的距离；
[0110]
步骤s45、根据红外图像中像素点到聚类中心的距离对像素点进行类别划分，划分结束后得到最后试件缺陷红外重构图像的分割图像。
[0111]
在上述技术方案中，所述步骤一的具体方法包括：对采集到的试件d维红外热图像序列s(m,n,:)，m＝1,...,m,n＝1,...n，采用分块分步长的方式提取有效的瞬态热响应，其中m和n分别表示三维矩阵的第m行和第n列，第三个维度表示红外热图像的帧数；对提取出的有效瞬态热响应根据缺陷类型k，对其划分为k个区域，从划分好的各类缺陷区域中提取最能代表当前类别缺陷特征的典型瞬态热响应。
[0112]
在上述技术方案中，所述步骤二获得红外重构图像的方法为：由步骤一提取出的k个d维典型瞬态热响应，获得维度为d
×
k的线性变化矩阵h1，将s(m,n,:)由三维矩阵化为二维矩阵，即对红外热视频中每一帧图像向量化，将每一帧图像矩阵按列取值并排列后得到包含一帧的像素点温度信息的向量且作为新矩阵的行向量，构建出一个新的二维矩阵p(x,y)
a
×
b
，a＝d，b＝m
×
n；用矩阵h1对p进行线性变换，即其中为矩阵h1的k
×
d维伪逆矩阵；将二维图像矩阵o再按行取值构成原图像尺寸大小的二维图像，得到k张大小为m
×
n的红外重构图像。
[0113]
在上述技术方案中，所述步骤三使用多目标优化算法结合分割模型对含有m
×
n个像素点的红外重构图像x＝(x1,
…
,x
mn
)进行背景区域和缺陷区域的分离，缺陷的红外重构图像受复杂能量来源、成像链路、试件表面杂质等带来的背景噪声大，红外重构图像颜色信息弱，对比度差的问题，使得一般分割方式不能获得良好的分割结果；因此在噪声去除、保留细节及保持边缘三中目的的指导下构建红外图像分割函数，采用多目标优化算法权衡设置的三个目标函数，设置的多目标优化问题如下式所示：
[0114]
minf(ν)＝[f1(ν),f2(v),f3(v)]
t
[0115]
s.t v＝(v1,
…
,v
c
)
t
[0116]
其中，c为分类数目，v＝(v1,
…
,v
c
)
t
表示一组候选聚类中心；利用权重向量在空间中搜索最能权衡好这三个目标函数的最优解，作为聚类中心；
[0117]
步骤s31、f1(v)为解决噪声问题的单目标噪声去除函数sgns；在fcm算法中引入模糊因子，利用重构图像邻域窗内像素点间的欧氏距离d
ij
来确定像素点间的空间约束关系的基础上，针对差异不大的相近类别之间难以区分的问题再引入一个类间离散度度量函数，设计的f1(v)表达式如下式所示：
[0118]
[0119]
其中，mn为红外重构图像中像素点个数，c为聚类数目，u
ti
是像素点x
i
对聚类中心v
t
的隶属度，va
ti
为模糊因子，其定义式为：n
i
是以像素点x
i
为中心的邻域像素集合，d
ij
是像素x
i
和像素x
j
的欧氏距离，距离中心像素越近的邻域像素点对中心像素的影响作用也越强；η
t
为类间离散度参数，v
t
为聚类中心代表当前类别像素点的温度均值，为红外图像中所有像素点的温度均值；函数f1(v)需要满足：利用拉格朗日乘数法求得像素x
i
相对于聚类中心v
t
的隶属度为
[0120][0121]
聚类中心v
t
更新公式为：
[0122][0123]
步骤s32、f2(v)为解决细节保留问题的单目标细节保留函数sgdr；考虑图像局部空间信息能进一步指导图像像素的分割，有利于解决边缘模糊的问题，并引入一个衡量像素位置及像素的颜色的相关系数m
ij
；构造细节保留函数f2(v)如下式所示：
[0124][0125]
其中，mn为红外重构图像中像素点个数，c为聚类数目，v
t
是聚类中心，u
ti
是像素点x
i
对聚类中心v
t
的隶属度，m∈[1,∞)为平滑参数，n
i
是像素点x
i
的邻域像素，是邻域像素集合n
i
中的像素个数，α是控制空间信息约束的参数，表示邻域像素x
i
与中心像素v
t
的相关性，记像素x
i
和v
t
的空间坐标分别为(x
im
,y
in
)、(v
tm
,v
tn
)，灰度值分别为g(x
i
)、g(v
t
)，则有：
[0126][0127][0128]
其中，λ
s
是空间尺度的影响因子，λ
g
是灰度尺度影响因子，
为以像素x
i
为中心的邻域像素的平均灰度方差；函数f2(v)需要满足：利用拉格朗日数乘法求得像素x
i
相对于聚类中心v
t
的隶属度为
[0129][0130]
聚类中心v
t
的更新公式为：
[0131][0132]
步骤s33、f3(v)为解决边缘保持问题的单目标边缘保持函数；为了获得准确的分割结果，在目标函数中引入一个根据灰度级进行分割的边缘保持函数，并且为了加强边缘信息，引入了一个放大函数a
ti
放大邻域像素x
i
对中心像素v
t
隶属度的影响；构造边缘保持函数f3(v)如下式所示：
[0133][0134]
其中，mn为红外重构图像中像素点个数，c为聚类数目，n表示像素点的灰度值，u
ti
表示灰度值为n的像素点x
i
关于当前聚类中心v
t
的隶属度，m∈[1,∞)为平滑参数，u
n
为红外图像灰度级为n的数目，ψ
n
为灰度值为n的像素点个数，为像素点x
i
的邻域像素的灰度值的加权和，n
i
是x
i
的邻域像素集合，是集合n
i
中像素点的个数，β是局部空间信息影响因子；n
i
是以像素x
i
为中心的邻域像素集合，是集合n
i
中的像素点个数，g(x
i
)和g(x
j
)分别表示像素点x
i
和其邻域像素x
j
的灰度值，为邻域像素集合n
i
中的像素x
j
与中心像素x
i
的平均灰度差；函数f3(v)需要满足：利用拉格朗日
乘数法求得像素x
i
相对于聚类中心v
t
的隶属度为
[0135][0136]
聚类中心v
t
的更新公式为：
[0137][0138]
由此完成了红外图像分割函数的构建。
[0139]
在上述技术方案中，所述步骤四使用多目标优化算法结合分割模型在像素点个数为m
×
n的红外重构图像中对试件缺陷实现一次性分割的具体步骤为：
[0140]
步骤s41、多目标优化算法参数设置初始化，具体步骤包括：
[0141]
步骤s411、多目标优化的目标函数f(v)，最大迭代次数g
max
，阈值ζ、ε；种群大小m
×
n；每个邻域中权重向量的个数t；
[0142]
步骤s412、获取m
×
n个均匀分布的权重向量：λ1,
…
,λ
mn
，并计算每个权重向量最近的t个权重向量b(i)＝{i1,
…
,i
t
},i＝1,
…
,mn,是λ
i
最近的t个权重向量；
[0143]
步骤s413、在满足多目标优化问题的可行空间中均匀采样产生初始种群s1,
…
,s
mn
，令fv
i
＝f(s
i
)，i＝1,
…
,mn；
[0144]
步骤s414、初始化满足其为红外图像分割多目标优化问题中每个目标函数的最优值；
[0145]
步骤s415、采用基于切比雪夫的分解模型分解子问题，其中第j个子问题为：
[0146][0147]
其中，是第j个子问题的权重向量，控制噪声抑制函数的权值，控制细节保留函数的权重，控制边缘保持函数的权重；和分别三个函数当前的最优函数值；
[0148]
步骤s416、设置外部种群ep为空集；
[0149]
步骤s42、进行多目标优化算法更新；当小于最大迭代次数g
max
的时候，内迭代l次更新权重向量一次，即mod(g,l)＝0时，先进入步骤s421更新个体，在进行步骤s422调整权重向量，否则只进行步骤s421更新种群中的个体；
[0150]
步骤s421、更新种群中的个体，具体包括：
[0151]
步骤s4211、复制：从权重向量b(i)中随机选取两个序号k,l,运用差分进化算法由s
k
,s
l
产生一个对于图像分割多目标问题新的解e：
[0152]
步骤s4212、改进：对e进行图像分割多目标优化问题中所提出的约束调节处理产生e
′
；
[0153]
步骤s4213、更新参考点f
*
，若参考点的数值f
*
＜f
*
(e')，则f
*
＝f
*
(e')；
[0154]
步骤s4214、更新邻域解：根据tchebycheff的数学表达式若g
te
(e'|λ
j
,f
*
)≤g
te
(s
j
|λ
j
,f
*
)，j∈b(i)，则s
j
＝e
′
,，fv
i
＝f(e
′
)，种群中的个体便更新完成；
[0155]
步骤s422、调整权重向量，具体包括：
[0156]
步骤s4221、计算种群中的个体与其k个近邻的欧式距离和：
[0157][0158]
其中，j＝1,
…
,k为的k个近邻；
[0159]
步骤s4222、对sud大的n个个体进行更新操作，具体包括：
[0160]
步骤s42221、删除个体对应的权重向量λ
n
，插入新的权重向量λ
new
：
[0161][0162]
其中，λ
new
＝(λ
new1
,λ
new2
,λ
new3
)；
[0163]
步骤42222、从权重向量λ
n
的邻域向量中随机找到两个权重向量λ
n1
和λ
n2
，并找到它们对应的个体和
[0164]
步骤42223、在两个个体和之间随机生成一个新解
[0165][0166]
其中，
[0167]
步骤s42224、根据生成的权重向量调整个体生成新的个体作为新的聚类中心：
[0168][0169]
步骤s42225、用新的个体替换权重向量调整完成；
[0170]
步骤s423、更新ep：移除所有被f(e
′
)支配的向量，若f(e
′
)不被ep里面向量所支配，把e
′
加入ep；
[0171]
步骤s43、终止迭代：若满足终止条件g＝g
max
，输出ep得到最优即得到使图像分割多目标问题达到最优聚类中心集，否则增加迭代次数g＝g+1转到步骤s52；
[0172]
步骤s44、从步骤s43中得到的最优聚类中心集中，选取权衡解s
q
作为最终的聚类中心，计算空间中像素点x
i
，i＝1,
…
,mn到各聚类中心s
q
的距离：
[0173][0174]
其中，和x
i
＝(x
im
,x
in
)分别为权衡解s
q
和像素点x
i
的空间位置坐标；
[0175]
步骤s45、将像素点划分为距离最近的那一类缺陷区域，分类结束后得到试件缺陷红外重构图像的分割图像。
[0176]
综上，本发明提出了一种航天材料损伤检测图像多目标全像素分割方法。变量区间搜索的自动分割方法是为了实现红外视频分割获得待分类数据集，数据集中包含了典型变化特征的温度曲线。fcm算法获得数据集相应的聚类，利用像素点与聚类中心的隶属度进行“软”划分，提高分类结果的可靠性。分类后的每一类数据子集中都含有相应的温度变化特征。利用主要特征对红外热图像序列进行重构由此获得缺陷的红外重构图像，反映出试件的缺陷特征。对于含有突出缺陷的红外重构图像进行目标分割获得的结果图像既能实现噪声消除又能保证细节保留，边缘保持也能提高图像分割的精度。
[0177]
实施例：
[0178]
在本实施例中，红外热像仪共采集了500帧像素大小为512
×
640的图像。即每张图上共有327680个温度点，每个温度点的温度值被记录500次，这种时变的温度条件构成了温度点的瞬态热响应ttr。步骤一在从红外热序列中提取有效瞬态热响应后，再对根据缺陷类型进行区域划分，从划分好的每类区域中，提取典型瞬态热响应。在提取有效瞬态热响应时，设置参数re
cl
＝0.92，从327680个温度点中提取了包含完整缺陷信息的469个有效瞬态热响应。根据像素点对每类聚类中心的隶属度进行软化分，将50，207和212条热响应曲线划分到相应分类。从每类缺陷区域中提取代表该类缺陷信息的典型瞬态热响应，代表三个缺陷区域的典型瞬态热响应构成矩阵x1。对原二维矩阵p(x,y)
500
×
327680
进行线性变换，使用其中，为x1的伪逆矩阵，得到二维图像矩阵o，将二维图像矩阵o再按行取值重构成原图像尺寸大小512
×
640的二维图像，得到3张大小为512
×
640的红外重构图像，红外缺陷重构图像及对应的ttr曲线见图3、图4、图5、图6、图7和图8，其中图3和图4分别是撞击坑内部的ttr曲线和对应的红外重构图像，图5和图6分别是撞击坑背景区域的ttr曲线和对应的红外重构图像，图7和图8分别是撞击坑边缘的ttr曲线和对应的红外重构图像。
[0179]
如图3、图5和图7所示分类出的ttr曲线可观察到不同分类的ttr在温度上升率和温度下降率都有不同的差异，可以根据差异以及红外重构图像颜色的凸显区域来判断重构图像中的表达区域类型，试件的区域类型有撞击坑内部、背景区域以及撞击坑边缘。
[0180]
本发明中多目标优化分割算法的最大代数设置为200，设置每迭代10次基于个体稀疏度水平大小调整权重向量一次，当迭代次数满足调整权重向量的条件时，先调整权重向量再更新个体。在根据分割性能设置的目标函数中，设置平滑参数m为2，聚类数目c为3。得到如图2所示的得到由帕累托最优集在空间上形成的曲面pf前沿面。从pf前沿面中选择权衡解作为最终聚类中心，计算红外重构图像中的像素点与聚类中心的距离，将像素点划分为距离近的那一类缺陷，聚类结束后得到红外图像的分割图像，一次性得到分割后的图像如图9和图10所示，其中图9为撞击坑边缘红外图像的分割图像，图10为撞击坑内部中心红外图像的分割图像。实验结果证实本文构建的函数sgnsf1(v)、sgdrf2(v)和边缘保持函数
soemf3(v)分别可以起到抑制噪声、保留细节和保持边缘的作用，将缺陷区域和背景区域准确剥离，实现红外图像的准确分割。
[0181]
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
[0182]
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。