对非均匀运动模糊进行去模糊的方法和设备与流程

对非均匀运动模糊进行去模糊的方法和设备本申请要求于2012年3月13日提交到韩国知识产权局的第10-2012-0025623号韩国专利申请的优先权利益，其公开通过引用包含于此。技术领域一个或多个示例性实施例涉及一种基于图块单元对大规模图像中的非均匀运动模糊进行去模糊的方法和设备。

背景技术：
模糊是在使用用于获得图像的设备的同时获得图像(诸如，使用相机拍摄)的过程期间经常发生的现象。模糊现象是图像质量降低的主要原因之一。当在光的量不足的环境(例如，黑暗的室内位置或夜晚的室外位置)中使用设备(例如，相机等)获得图像时，需要足够量的光以获得清晰的图像。因此，图像传感器可曝光比通常情况更长的时间段。然而，当曝光时间太长时，由于图像传感器在曝光时间期间摇晃而在获得的图像中可能发生模糊。从图像去除模糊可能很困难，因为需要的信息的量可能大于提供的信息的量。具体地讲，由于相机的平移运动和旋转运动，图像的每个像素通常包括不同方向和不同程度的非均匀运动模糊。关于这种非均匀运动模糊的信息可存储在像素单元中，并且可被处理。然而，由于用于处理在真实日常生活中拍摄的大规模图像的存储空间的容量有限，关于非均匀运动模糊的信息的估计可能很困难。这种大规模图像可具有大于10兆像素的尺寸。

技术实现要素：
通过提供一种对输入图像中的非均匀运动模糊进行去模糊的方法来实现前述和/或其它方面，该方法包括：将输入图像划分为具有预定尺寸的多个图块；从所述多个图块选择单个图块；通过执行图像配准来估计选择的图块的非均匀运动模糊信息；通过基于估计的非均匀运动模糊信息对非均匀运动模糊进行去模糊，获得所述多个图块中的每个图块的潜像；以及使用获得的潜像恢复输入图像。选择的步骤可包括：基于所述多个图块中的每个图块中所包括的边缘像素的方向产生所述多个图块中的每个图块的梯度直方图，其中，所述边缘像素基于边缘像素的数量和边缘像素的梯度方向被分类；以及使用产生的梯度直方图选择所述单个图块。产生的步骤可包括：产生所述多个图块中的每个图块的梯度图；基于梯度图的梯度大小确定边缘像素；基于梯度方向对确定边缘像素进行分类；及基于分类的边缘像素产生所述多个图块中的每个图块的梯度直方图。选择的步骤可包括：使用产生的梯度直方图针对所述多个图块中的每个图块核实沿每个梯度方向所包括的边缘像素的数量；以及基于核实的边缘像素的数量选择所述单个图块。获得的步骤可包括：校正估计的非均匀运动模糊信息以与输入图像中的相关位置所对应的像素坐标匹配；以及使用校正的非均匀运动模糊信息作为所述多个图块中的每个图块的非均匀运动模糊信息来对非均匀运动模糊进行去模糊。所述输入图像可对应于包括非均匀运动模糊的单帧、包括非均匀运动模糊的复帧以及包括包含非均匀运动模糊的单个模糊图像和不存在模糊的单个噪声图像的复帧中的至少一个。获得的步骤可包括：当输入图像对应于包括非均匀运动模糊的单帧和包括非均匀运动模糊的复帧之一时，使用共轭梯度法对非均匀运动模糊进行去模糊。获得的步骤可包括：当输入图像对应于包括包含非均匀运动模糊的单个模糊图像和不存在模糊的单个噪声图像的复帧时，使用Richardson-Lucy(RL)去卷积算法对非均匀运动模糊进行去模糊。所述方法可还包括：在所述多个图块中的每个图块的边界部分上执行填充。执行填充的步骤可包括：基于估计的非均匀运动模糊信息和与所述多个图块中的每个图块对应的像素的位置信息，计算针对所述多个图块中的每个图块添加的填充物的尺寸；以及将所述多个图块中的每个图块的尺寸扩大至计算的将要添加的填充物的尺寸。基于构成所述多个图块中的每个图块的像素由于模糊而移动的像素距离，可计算将要添加的填充物的尺寸。获得的步骤可包括：通过在根据将要添加的填充物的尺寸扩大尺寸的所述多个图块中的每个图块中对非均匀运动模糊进行去模糊，获得潜像。通过提供一种用于对输入图像中的非均匀运动模糊进行去模糊的设备来实现前述和/或其它方面，该设备包括：划分单元，将输入图像划分为具有预定尺寸的多个图块；选择单元，从所述多个图块选择单个图块；估计单元，通过执行图像配准来估计选择的图块的非均匀运动模糊信息；获得单元，通过基于估计的非均匀运动模糊信息对非均匀运动模糊进行去模糊来获得所述多个图块中的每个图块的潜像；和恢复单元，使用获得的潜像恢复输入图像。选择单元可包括：产生装置，基于所述多个图块中的每个图块中所包括的边缘像素的方向产生所述多个图块中的每个图块的梯度直方图，其中，所述边缘像素基于边缘像素的数量和边缘像素的梯度方向被分类；和选择装置，使用产生的梯度直方图选择所述单个图块。获得单元可包括：校正装置，校正估计的非均匀运动模糊信息以与输入图像中的相关位置所对应的像素坐标匹配；和去模糊装置，使用校正的非均匀运动模糊信息作为所述多个图块中的每个图块的非均匀运动模糊信息来对非均匀运动模糊进行去模糊。所述输入图像可对应于包括非均匀运动模糊的单帧、包括非均匀运动模糊的复帧以及包括包含非均匀运动模糊的单个模糊图像和不存在模糊的单个噪声图像的复帧中的至少一个。所述设备可还包括：填充执行单元，在所述多个图块中的每个图块的边界部分上执行填充。填充执行单元可包括：计算装置，基于估计的非均匀运动模糊信息和与所述多个图块中的每个图块对应的像素的位置信息计算针对所述多个图块中的每个图块添加的填充物的尺寸；和扩大装置，根据计算的将要添加的填充物的尺寸扩大所述多个图块中的每个图块的尺寸。获得单元可通过在根据将要添加的填充物的尺寸扩大尺寸的所述多个图块中的每个图块中对非均匀运动模糊进行去模糊来获得潜像。通过提供一种对输入图像进行去模糊的方法来实现前述和/或其它方面。该方法包括：通过执行图像配准来估计输入图像的多个图块中的单个图块的非均匀运动模糊信息；以及通过基于所述单个图块的估计的非均匀运动模糊信息对所述单个图块的非均匀运动模糊进行去模糊，获得所述多个图块中的每个图块的潜像。通过提供一种恢复被划分为多个图块的输入图像的方法来实现前述和/或其它方面。该方法包括：基于所述多个图块中的单个图块的估计的非均匀运动模糊信息和与所述多个图块中的每个图块对应的像素的位置信息，在所述多个图块中的图块的边界部分上执行填充，其中，通过执行图像配准来估计非均匀运动模糊信息。在下面的描述中将会部分地阐述实施例的另外的方面，并且这些方面部分地将会通过描述而变得清楚，或者通过实施本公开可学习这些方面。附图说明通过下面结合附图对实施例进行的描述，这些和/或其它方面将会变得清楚和更易于理解，其中：图1用于描述根据示例性实施例的基于图块单元对大规模图像中的非均匀运动模糊进行去模糊的方法；图2示出根据示例性实施例的基于图块单元对大规模图像中的非均匀运动模糊进行去模糊的方法；图3示出根据示例性实施例的对输入图像中的非均匀运动模糊进行去模糊的方法中的选择单个图块的方法；图4示出根据示例性实施例的对输入图像中的非均匀运动模糊进行去模糊的方法中的执行填充的方法；图5示出根据示例性实施例的包括非均匀运动模糊的输入模糊图像；图6示出根据示例性实施例的不存在模糊的输入噪声图像；图7示出根据示例性实施例的对输入图像中的非均匀运动模糊进行去模糊的方法中的在不执行填充的情况下对模糊进行去模糊的结果；图8示出根据示例性实施例的对输入图像中的非均匀运动模糊进行去模糊的方法中的通过执行填充来对模糊进行去模糊的结果；和图9示出根据示例性实施例的基于图块单元对大规模图像中的非均匀运动模糊进行去模糊的设备。具体实施方式现在将对实施例进行详细的描述，其示例表示在附图中，其中，相同的标号始终表示相同元件。下面通过参照附图对实施例进行描述以解释本发明。图1示出根据示例性实施例的基于图块单元对大规模图像中的非均匀运动模糊进行去模糊的方法。参照图1，当在操作110中提供大规模输入图像时，用于对非均匀运动模糊进行去模糊的设备(以下，去模糊设备)可将输入图像划分为相对于输入图像而言具有相对较小尺寸的多个图块，并获得每个图块的梯度图。在这种情况下，根据输入图像的尺寸，所述多个图块的尺寸和所述多个图块的数量可以是可变的。在操作120中，去模糊设备可通过基于梯度方向测量边缘像素的数量来产生所述多个图块中的每个图块的梯度直方图，并且可使用产生的梯度直方图来选择最佳图块。在这种情况下，通过比较所述多个图块中的每个图块的梯度直方图，去模糊设备可选择具有各种边缘方向并包括大量边缘像素的图块作为最佳图块。在操作130中，去模糊设备可通过执行图像配准来估计选择的最佳图块的非均匀运动模糊信息。在这种情况下，估计的非均匀运动模糊信息可被校正以与输入图像中的相关位置所对应的像素坐标匹配，并且可用作整个图像的模糊信息(例如，非均匀运动模糊信息)。在操作140中，去模糊设备可在所述多个图块中的每个图块的边界部分上执行填充，以便去除所述多个图块中的每个图块的外侧区域中的伪影。在这种情况下，去模糊设备可通过基于估计的模糊信息和与所述多个图块中的每个图块对应的像素的位置信息计算将要添加的填充物的尺寸来执行填充。在操作150中，去模糊设备可针对与输入图像的部分区域对应的所述多个图块中的每个图块顺序地对非均匀运动模糊进行去模糊。在这种情况下，当输入图像对应于包括非均匀运动模糊的复帧（multi-frame）或单帧时，可通过使用共轭梯度法解将在稍后描述的方程7来获得潜像。当输入图像对应于包括单个模糊图像和单个噪声图像的复帧时，可使用与将在稍后描述的的方程11和方程12对应的Richardson-Lucy(RL)去卷积算法获得去模糊的潜像。当作为操作150的结果获得所述多个图块中的每个图块的潜像时，在操作160中，去模糊设备可通过把所述多个图块放在一起来恢复最终的清晰的大规模输入图像。以下，将详细描述基于图块单元对大规模输入图像中的非均匀运动模糊进行去模糊的方法。通常，通过相机的投影变换摇晃的非均匀运动模糊可由方程1表示。[方程1]在方程1中，b、l和n分别表示包括模糊的模糊图像、潜像和在获得图像的过程期间发生的未知噪声的向量表达式。Pi表示代表在时间点ti的相机的投影变换运动的行列式，并且wi表示当相机在时间点ti停止时的相对时间长度，也就是说，在时间点ti的相机的曝光时间。这里，∑iwi＝1。方程1可指示：可使用在相机的路线上的每个坐标和每个视点的清晰图像l之和表示模糊图像b。在基于图块单元对大规模图像中的非均匀运动模糊进行去模糊的方法中，可通过应用方程1来执行盲运动去模糊。通常，在盲运动去模糊中，仅使用输入模糊图像b，可计算潜像l和非均匀运动模糊信息Pi和wi。然而，根据示例性实施例，输入图像可具有各种形式，例如，包括非均匀运动模糊的单帧、包括非均匀运动模糊的复帧以及包括单个模糊图像和不存在模糊的单个噪声图像的复帧。因此，使用不同形式的输入图像，可计算最终的清晰的潜像l和最后的非均匀运动模糊信息Pi和wi。针对模糊图像，对输入图像中的非均匀运动模糊进行去模糊的方法可分为可满足方程1的非均匀运动模糊信息Pi和wi的估计以及使用估计的非均匀运动模糊信息Pi和wi的潜像l的获得。通过经迭代过程的优化可执行所述估计和获得。这里，可执行经迭代过程的优化以逐渐地提高包括非均匀运动模糊信息的P和w的准确性。使用最终计算的非均匀运动模糊信息P和w以及包括非均匀运动模糊的输入模糊图像b可获得最终的去模糊的潜像。在迭代地执行非均匀运动模糊信息的估计和潜像的获得的优化过程期间估计的中间潜像可对于去模糊的恢复的输入图像不具有直接影响。然而，估计的中间潜像可对非均匀运动模糊信息P和w的估计具有影响，由此间接地影响去模糊的潜像。以下，将描述估计非均匀运动模糊信息的过程。可使用图像配准来执行估计非均匀运动模糊信息的过程。该估计过程可...