估计图像模糊度的方法和装置与流程

本申请涉及图像质量评价，具体涉及一种无参考的图像模糊度估计方法和装置。

背景技术：

在各种成像系统中，由于聚焦不准、系统与物体之间的相对运动、探测器交叉串扰等因素都会造成图像模糊，从而图像质量经常会出现退化，对图像视觉效果和后续的特征提取、识别理解造成一定的影响。图像模糊程度的严重性可以通过一定的评价算法进行定量估计，可用于成像系统图像质量监控和自动聚焦等过程，也可以指导后续的图像处理算法效果改进。

图像质量评价分为有参考、半参考和无参考方法，考虑到实际应用是无法得到未退化的清晰图像，无参考的图像模糊度评价方法更具实用价值。无参考图像模糊度评价方法主要包括基于边缘的方法、基于像素统计信息的方法、基于变换域的方法等。基于边缘分析进行模糊度评价方法的优点是概念直观、计算相对简便，但对图像内容有一定的依赖性，当原始图像中缺少锐利边缘时会导致估计不准确。基于像素的模糊度评价方法利用了图像的统计信息，鲁棒性好，但它忽略了像素的位置信息，图像中的噪声(尤其是脉冲噪声)会形成较强的梯度值，从而对估计造成较大的影响。基于变换域的模糊度评价方法综合了图像的频域特性和多尺度特征，有些方法同时利用了空间信息，对模糊度的估计具有较好的准确性和鲁棒性。但这些方法都没有利用图像信息在不同尺度上的一致性，很多方法还需要训练回归函数，给实际应用带来一定的不便。

技术实现要素：

鉴于现有技术中的一个或多个问题，提出了一种估计图像的模糊度的方法和装置。

在本发明的一个方面，提出了一种估计图像的模糊度的方法，包括步骤：获取一幅图像；对所述图像进行变换得到所述图像的多尺度表示；计算每个尺度下的梯度归一化直方图与所述图像的原始梯度归一化直方图之间的误差向量，并且将每个尺度下的误差向量用其平方和的倒数加权求和；以及基于各个尺度下加权求和的误差向量得到模糊度估计值。

根据本发明的实施例，所述每个尺度下的梯度归一化直方图包括如下至少之一：水平方向梯度归一化直方图、垂直方向梯度归一化直方图、和对角方向梯度归一化直方图。

根据本发明的实施例对于彩色图像，计算各个颜色通道各自的梯度归一化直方图和原始归一化梯度直方图。

根据本发明的实施例基于各个尺度下加权求和的误差向量得到模糊度估计值的步骤包括：对各个尺度下误差向量求和，得到和向量；计算和向量的均值和标准差；将所述均值和标准差求和并乘以常数得到所述模糊度估计值。

根据本发明的实施例所述变换包括小波变换或其他多尺度变换。

在本发明的另一方面，提出了一种估计图像的模糊度的装置，包括：获取一幅图像的装置；对所述图像进行变换得到所述图像的多尺度表示的装置；计算每个尺度下的梯度归一化直方图与所述图像的原始梯度归一化直方图之间的误差向量，并且将每个尺度下的误差向量用其平方和的倒数加权求和的装置；以及基于各个尺度下加权求和的误差向量得到模糊度估计值的装置。

利用上述实施例的方案，对各种不同内容的模糊图像都有很好的评价效果，在业界常用live、tid2008、csiq、ivc等公开数据库的模糊图像上的评价结果均与人眼评价结果具有较高的相关性。

此外，相对当前很多无参考图像质量评价方法，上述实施例的评价方法完全基于图像模糊对图像内容的内在影响进行评价，无需事先进行任何训练，因而评价效果不依赖于任何训练数据，具有更好的通用性和稳定性。

此外，上述实施例的方案仅需进行例如小波变换、梯度计算和直方图统计等操作，没有耗时的卷积运算或其他局部块处理过程，特征提取过程简单，评价速度快。

附图说明

为了更好地理解本发明，将根据以下附图对本发明进行详细描述：

图1示出了根据本发明实施例的系统的结构示意图；

图2示出了如图1所示的图像处理设备的结构示意图；

图3示出了根据本发明实施例的评价图像模糊度的方法的示意性流程图；

图4示出了根据本发明实施例的清晰图像的例子(评分为0.00)；

图5示出了根据本发明实施例的轻度模糊图像(评分为3.69)；

图6示出了根据本发明实施例的中度模糊图像(评分为40.23)；以及

图7示出了根据本发明实施例的重度模糊图像(评分为92.77)。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、材料或方法。

鉴于现有技术的问题，本发明的实施例提出一种快速、有效的无参考图像模糊度评价方法。通过提取图像在不同多尺度下相对稳定的梯度直方图特征，根据每个尺度下这些特征与原始图像特征差异的大小，进行图像模糊程度的定量评价。利用这一评价结果，可对影响图像质量的各种因素进行分析比较，通过软硬件手段进行图像质量改进，方便后期的图像处理，或对成像系统进行质量稳定性评价和动态监控。

根据本发明的实施例，提出了一种基于小波变换和图像多尺度梯度l1范数与l2范数平方之比一致性的模糊度估计方法，不需要人工挑选和标注数据，更无需任何训练过程，是一种快速有效的无参考图像模糊度评价方法。

例如，本发明实施例中，基于小波变换得到图像的多尺度表示，在每个尺度下统计梯度的归一化直方图，与原始尺度下的梯度归一化直方图比较计算差向量，再计算绝对误差向量并采用梯度l2范数平方进行加权，最后利用差向量的均值和标准差之后估计图像的模糊程度。整个估计过程中无需人工挑选图像数据，更不需要人眼观察评价数据，计算量较小，可自动、快速地完成图像的模糊严重程度估计。

图1示出了根据本发明实施例的系统的结构示意图。如图1所示，在本发明实施例中，图像捕获设备110例如为可见光图像捕获设备或者去是其他的诸如x射线成像设备之类的图像捕获设备。图像捕获设备110得到的图像输入到模糊度评价设备120进行根据本发明实施例的模糊度评价过程。

图2示出了如图1所示的模糊度评价设备120的结构框图。如图2所示，图像捕获设备110将得到的数据通过接口单元128和总线124存储在存储器121中。只读存储器(rom)122中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(ram)123用于在处理器126工作过程中暂存各种数据。另外，存储器121中还存储有用于进行数据处理的计算机程序。内部总线124连接上述的存储器121、只读存储器122、随机存取存储器123、输入装置125、处理器126、显示装置127和接口单元128。

在用户通过诸如键盘和鼠标之类的输入装置125输入的操作命令后，计算机程序的指令代码命令处理器126执行预定的图像模糊度评价方法，在得到数据处理结果之后，将其显示在诸如lcd显示器之类的显示装置127上，或者直接以诸如打印之类硬拷贝的形式输出处理结果。

图3示出了根据本发明实施例的评价图像模糊度的方法的示意性流程图。如图3所示，在步骤s310，获取一幅待评价的图像。在步骤s320，对所述图像进行变换得到所述图像的多尺度表示。例如，对该图像进行小波变换或者其他多尺度变换，得到变换后的多尺度表示(图像)。

在步骤s330，计算每个尺度下的梯度归一化直方图与所述图像的原始梯度归一化直方图之间的误差向量，并且将每个尺度下的误差向量用其平方和的倒数加权求和。根据一些实施例，对于一幅输入图像，计算其x方向、y方向和斜向的梯度gx、gy、gd(对多通道彩色图像需逐个通道计算)：

统计每个梯度图的归一化直方图(即直方图中所有系数的和等于1)得到h_gx0、h_gy0、h_gd0。

根据本发明的实施例，在计算输入图像在原始尺度下的特征时，先计算图像沿x、y、斜方向梯度，确定梯度直方图的取值范围和维度，例如对典型的256级灰度图像，取梯度直方图范围为[-255～255]，对三个方向的梯度图像分别统计511维直方图，并进行归一化，即除以总的梯度个数使直方图中所有系数之和等于1。

然后，对图像进行n级小波变换，在第n(1≤n≤n)级变换后得到的三个高频系数[chn,cvn,cdn]，分别计算其x方向、y方向和斜向的梯度[ghxn、ghyn、ghdn]、[gvxn、gvyn、gvdn]和[gdxn、gdyn、gddn]。再统计归一化直方图得到[h_ghxn、h_ghyn、h_ghdn]、[h_gvxn、h_gvyn、h_gvdn]和[h_gdxn、h_gdyn、h_gddn]，计算直方图绝对误差向量：

将三个直方图差向量用l2范数平方的倒数加权求和得到误差向量：

上式(3)中，k为统计直方图的维度，即直方图向量的长度。

例如，对图像进行n级小波变换分解(典型的n＝4)，对每个尺度下的每个高频图像计算其沿x、y、斜方向梯度，在每个尺度下得到9个直方图，所有直方图均进行归一化处理。

然后，计算每个尺度下3个x方向梯度直方图与原始尺度x方向梯度直方图的误差向量，每个点的值取3个绝对误差中的最大值。将这一误差向量用3个方向梯度的l2范数平方除以总的梯度像素数(即梯度平方的均值)的倒数进行加权。对y方向和斜方向作同样的处理，将三个加权向量求和得到这一尺度下的误差向量。

在步骤s340，基于各个尺度下加权求和的误差向量得到模糊度估计值。例如，对每个尺度作同样的计算，并将所有的误差向量累加得到总的误差向量d。将所有尺度下得到的误差向量求得到：

根据这一误差向量得到定量的模糊度估计值，也就是将误差向量的均值和标准差求之和与常数c相乘：

q＝c·(mean(d)+std(d))(5)

上式(5)中，c为一个正常数(典型的c＝100)，仅影响评价结果的取值范围。此值越小表明图像越清晰，越大说明图像越模糊。图4示出了根据本发明实施例的清晰图像的例子(评分为0.00)。

图5示出了根据本发明实施例的轻度模糊图像(评分为3.69)。图6示出了根据本发明实施例的中度模糊图像(评分为40.23)。图7示出了根据本发明实施例的重度模糊图像(评分为92.77)。从图4-图7可以看出，随着模糊度值的增加人眼感觉到的图像越来越模糊。

虽然在上述实施例中是以水平、垂直和斜向三个方向的梯度为例进行说明，但是本领域的技术人员可以理解，可以在其他方向上的梯度进行计算，也可以仅仅考虑某个方向上的梯度。例如，仅仅考虑运动方向上的梯度，从而对运动方向的模糊进行估计。

此外，虽然上面的描述是以小波变换为例进行说明的，但是本领域的技术人员可以理解，使用其他的多尺度变换也是可行的。

上述实施例的方法同现有各种无参考图像模糊度评价方法相比，有以下几个优势：(1)评价效果好。对各种不同内容的模糊图像都有很好的评价效果，在业界常用live、tid2008、csiq、ivc等公开数据库的模糊图像上的评价结果均与人眼评价结果具有较高的相关性。(2)通用性和稳定性好。相对当前很多无参考图像质量评价方法，本发明所提出的评价方法完全基于图像模糊对图像内容的内在影响进行评价，无需事先进行任何训练，因而评价效果不依赖于任何训练数据，具有更好的通用性和稳定性。(3)执行速度快。算法仅需进行小波变换、梯度计算和直方图统计，没有耗时的卷积运算或其他局部块处理过程，特征提取过程简单，评价速度快，在典型的768*1024图像上评价时间少于0.1秒。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了估算图像模糊度的方法和装置的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(cd)、数字通用盘(dvd)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。