一种表征复原图像振铃效应的特征提取方法与流程

本发明涉及图像质量评估技术领域，特别是涉及一种表征复原图像振铃效应的特征提取方法。

背景技术

在光学成像链路中，图像由于受大气环境、接收设备、处理技术和传输设备的限制等不同因素的影响，会产生不同程度的图像失真，严重制约了遥感图像的应用价值。实际获取的图像由于成像未能很好地聚焦或因成像平台的相对位移产生模糊，需要对受到模糊失真影响的图像进行复原或称解模糊。

图像的解模糊过程伴随着图像模糊失真程度的变化和振铃伪像的产生。振铃效应的产生是通常由于复原过程中复原算法的复原模型比如点扩散函数选取不当，或是滤波器在频域上有非常陡峭的变化比如理想低通滤波器的高频截断。振铃效应表现为图像边界附近或整幅图像中周期性振荡的额外波纹。因此，如何综合衡量振铃效应和模糊对图像质量变化的影响，保持图像质量评价的结果与人眼视觉的主观感知结果之间较好的一致性，是复原模糊图像质量评价的关键。

同时，考虑到在实际光学遥感成像过程中完美的参考图像无法获取，无参考图像质量评价方法相比于全参考方法更具有实用价值和研究意义。

通用的无参考图像质量评价方法首先提取图像特征，然后利用图像特征依赖于机器(支持向量机、神经网络等)训练学习来评价图像质量。如：2012年mittala等人提出brisque(blindreferenceimagespatialqualityevaluator)算法，利用局部归一化亮度特征和局部归一化亮度的方向乘积特征，直接利用支撑向量回归(supportvectorregression,svr)得到图像质量分数。brisque算法在空域提取了图像的结构特征和方向特征，相对biqi方法，较大地提高了图像质量评价效果。brisque算法没有提取图像的频域特征，缺少能够表征图像变换域的特征。2016年liul等人提出ogiqa(orientedgradientsimagequalityassessment)算法，提取了图像梯度特征和梯度相对方向特征,并通过adaboostingbp神经网络训练学习得到所提取特征与主观分数的映射关系。ogiqa算法具有较好的主客观一致性，但没有提取图像高阶特征。2005年，mbalasubramanian等提出只考虑图像边缘振铃强弱的全参考振铃评价指标，得到了较为广泛的应用，但其只考虑了迭代次数对振铃效应影响的大小，未综合考虑图像的清晰度等信息，且由于使用全参考方法，具有一定的局限性。

综上所述，目前需要一种针对复原模糊图像振铃效应的无参考评价指标，对复原图像进行质量评价，从而辅助图片筛选及复原算法优化。

技术实现要素：

发明的目的是为了解决对模糊图像的复原中产生的振铃效应进行无参考图像质量评价的问题，提出一种相应的特征提取方法。

本发明为一种表征复原图像振铃效应的特征提取方法，所述方法首先通过对复原图像进行差分图以及差分条纹图的构造，提取差分条纹图的条纹数量和条纹宽度特征，然后利用训练集训练后的神经网络或支持向量机进行图像分数的预测。

所述差分图的构造包括以下步骤：

首先计算复原模糊图ires的水平方向差分图dhor：

dhor(a,b)＝ires(a+1,b)-ires(a,b)(1.1)

其中a＝1,2,...,m-1，b＝1,2,...,n；

然后计算复原模糊图的竖直方向差分图dver：

dver(a,b)＝ires(a,b+1)-ires(a,b)(1.2)

其中，a＝1,2,...,m，b＝1,2,...,n-1，a为图像水平方向像素，共m个，b为图像竖直方向像素，共n个；

计算水平方向差分图dhor竖直方向平均值

由于边界振铃的存在，序列的值呈现周期性的振荡，振荡的强度可以表征竖直边界振铃的强度brmver，表达为：

其中hhor(k)为序列第k个峰值，lhor(k)为序列第k个谷值，k为经验值，根据实验确定；

通过相同方式计算竖直方向差分图dver水平方向平均值和表征水平边界振铃的强度brmhor，表达为：

brmhor表达为：

进一步的，所述差分条纹图的构造方法为：

在差分图的基础上，将向量扩展成同大小的方阵，生成差分条纹图。

进一步的，条纹数量判断方法为从边缘像素至中心像素根据峰谷值之差的阈值ta判断是否为条纹的峰值和谷值，若是条纹，则条纹数加1，并记录条纹边界位置，之后根据条纹边界位置确定条纹宽度，再根据阈值tb去除过宽的误差条纹，对图像两部分条纹数量及宽度求均值，即可得到条纹数量snum和条纹宽度swidth指标。

进一步的，所述阈值ta与模糊程度及所使用的数据库有关，模糊程度越大，差分条纹图峰谷值的差值普遍降低，阈值ta的级别越低，ta的值越小；数据库中包含的所有图像的模糊程度差距越大，设置的阈值ta的级别越多；tb根据实验确定。

进一步的，所述差分条纹图的条纹数量和条纹宽度特征提取包括以下步骤，具体算法如下：

对于左半部分图像，沿像素从左到右的顺序依次计算第(i+1)处与i处像素的差值，并对所得的差值进行判断，判断条件为：i处像素值小于0(黑)，且(i+1)处像素大于零(白)，同时两者差值大于给定阈值ta，判断为条纹后，条纹计数加1，并且记录相应的条纹位置。

进一步的，对图像取中心对称后，对图像右半部进行条纹数量及宽度的计算，对所得的条纹数量及宽度值求平均得到水平方向差分条纹图像的条纹数量snum和条纹宽度swidth特征指标，对于对图像转置处理后，其计算方法同得到对一幅图像得到四维特征向量，分别为两个方向的条纹数量snum和条纹宽度swidth特征。

进一步的，当条纹数增大到阈值tc之后，对条纹宽度进行同步判断，若条纹宽度大于阈值td，则不做处理，若条纹宽度小于阈值td，则对条纹数量进行加权修正处理，具体为：当与其对应的条纹宽度小于1时，对所得到的条纹数量和条纹宽度进行相乘处理；当与其对应的条纹宽度大于1时，对所得到的条纹数量和条纹宽度的倒数进行相乘处理。

本发明的有益效果在于：

1.不需要参考图像，利用失真图像自身特性，进行图像质量评价

2.不同于直接对图像求梯度特征(所求特征中图像内容和振铃产生的梯度特征相混合)，本发明从振铃效应出发，利用振铃效应产生的不同方向条纹的峰谷差值、条纹宽度、条纹数量特征模拟图像梯度信息特征，具有较强的针对性。同时，可以与其他针对性强的特征，如针对模糊的特征、针对噪声的特征等，进行有效的结合，从而实现对混合失真图像的评价。

3.针对不同类型的图像，可以根据对条纹特征中各个阈值的选择对算法进行调整与优化，具有较好的普适性。

附图说明

图1为不同复原失真程度的差分条纹图。

具体实施方式

下面结合附图和具体实例对本发明做更进一步的解释：

本提供的首先计算复原模糊图ires的水平方向差分图dhor：

dhor(a,b)＝ires(a+1,b)-ires(a,b)(1.1)

其中a＝1,2,...,m-1，b＝1,2,...,n，a为图像水平方向像素，共m个，b为图像竖直方向像素，共n个。

然后计算复原模糊图的竖直方向差分图dver：

dver(a,b)＝ires(a,b+1)-ires(a,b)(1.2)

其中a＝1,2,...,m，b＝1,2,...,n-1；

计算水平方向差分图dhor竖直方向平均值

由于边界振铃的存在，序列的值呈现周期性的振荡，振荡的强度可以表征竖直边界振铃的强度brmver，表达为：

其中hhor(k)为序列第k个峰值，lhor(k)为序列第k个谷值。k为经验值，根据实验确定；

通过相同方式计算竖直方向差分图dver水平方向平均值和表征水平边界振铃的强度brmhor，表达为：

brmhor表达为：

差分条纹图

条纹数量和条纹宽度和snum(stripenumber)、swidth(stripewidth)为在基础上，将向量扩展成同大小的方阵，生成差分条纹图，如图1所示，为不同图像的差分条纹图。

条纹数量判断方法为从边缘像素至中心像素根据峰谷值之差的阈值ta判断是否为条纹的峰值和谷值，若是条纹，则条纹数加1，并记录条纹边界位置，之后根据条纹边界位置确定条纹宽度，再根据阈值tb去除过宽的误差条纹，对图像两部分条纹数量及宽度求均值，即可得到条纹数量snum和条纹宽度swidth指标。其中，阈值ta与模糊程度及所使用的数据库有关，模糊程度越大，差分条纹图峰谷值的差值普遍降低，阈值ta的级别越低，ta的值越小；数据库中包含的所有图像的模糊程度差距越大，设置的阈值ta的级别越多。tb根据实验确定，具体算法如下：

算法：

输入：左半部分

输出：图像左半部分条纹数量以及条纹宽度

对于左半部分图像，沿像素从左到右的顺序依次计算第(i+1)处与i处像素的差值，并对所得的差值进行判断，判断条件为：i处像素值小于0(黑)，且(i+1)处像素大于零(白)，同时两者差值大于给定阈值ta，判断为条纹后，条纹计数加1，并且记录相应的条纹位置。

同理，对图像取中心对称后，可以对图像右半部进行条纹数量及宽度的计算，对所得的条纹数量及宽度值求平均即可得到水平方向差分条纹图像的条纹数量snum和条纹宽度swidth特征指标。对于对图像转置处理后，其计算方法同最后，即可得到对一幅图像得到4维特征向量，分别为两个方向的条纹数量snum和条纹宽度swidth特征。

考虑到图像中的条纹数多到一定程度时，可能出现的图像质量极差(条纹多且粗，导致人眼不能感知图像内容)与图像质量反而变好的情况(复原程度增大，但由于条纹多且细，对图像的影响反而变小)，当条纹数增大到一定阈值tc之后，对条纹宽度进行同步判断，若条纹宽度大于阈值td，则不做处理，若条纹宽度小于阈值td，则对条纹数量进行加权修正处理，具体为：当与其对应的条纹宽度小于1时，对所得到的条纹数量和条纹宽度进行相乘处理；当与其对应的条纹宽度大于1时，对所得到的条纹数量和条纹宽度的倒数进行相乘处理。

本发明的思路及方法，具体实现该技术方案的方法和途径很多，以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。