一种基于图像序列的水对空畸变校正算法的制作方法

本发明涉及一种基于图像序列的水对空畸变校正算法，属于图像畸变校正的技术领域，尤其涉及非刚性图像畸变校正领域。

背景技术：

水下对空成像技术在水下潜水艇上浮通道安全监视、潜艇对海面和空域的预警、海洋环境监测及水文波浪预报等领域具有广泛的应用。在诸多水下作业情况下，往往需要及时了解海面上的环境以及被观测目标的信息等，在一般情况下，当潜艇在上浮或靠岸的过程中，在没伸出潜望镜之前，通常无法感知到其正上方是否存在船只、障碍物等物体，这一缺陷就会造成潜艇及其潜望镜与其上方物体发生碰撞，引发事故。基于水下对空的视觉观测系统可以保证潜艇在上浮过程中的安全运行，以合理安排部署其上浮作业，最大程度上的避免和减少与海面上船舶、障碍物等碰撞的可能。

对于水对空成像图像畸变矫正技术的研究，其技术核心主要集中在图像处理算法上，以提取有用信息重构海、空场景，最终达到复原图像的目的。考虑到波面估测的困难性，我们从畸变视频序列中分析图像畸变矩阵，然后进行图像的矫正。

水下对空成像技术是水下视觉系统的一种特殊形式，通常所述的水下视觉是指视觉图像获取装置位于水下，由于图像光路经过了海水介质，导致成像出现畸变及分辨率降低等现象。根据被观测目标的位置，水下视觉系统可分为水-水成像系统和水-气成像系统。水-水成像系统指视觉图像获取装置和目标均处于水中；水-气成像系统指视觉图像获取装置处于水中，被观测目标处于海洋表面或海洋上空的空气中，在此光学系统中，被观测目标处于海洋表面或海洋上空的空气中，由于水-气成像系统出现了水-气两种介质，导致其成像及处理方法有其特殊性，并有相当的研究难度。至今，国内外学者一直在不懈研究探索并完善该技术。

技术实现要素：

本发明的目的是为了提供一种基于图像序列的水对空畸变校正算法，能够对水对空成畸变进行校正，提高图像配准算法的精度，较精确的估测畸变矩阵，实现水对空成像畸变图像的高质量的恢复。

本发明的目的是这样实现的：步骤如下：

步骤一、将图像序列的均值图像作为图像配准的基准图像；

步骤二、对均值图像进行去模糊处理，具体是基于图像边缘增强和噪声抑制的去模糊算法对获取的均值图像进行去模糊处理；

步骤三、采用一种非刚性的b-spline图像配准方法估测图像畸变矩阵，采用l-bfgs优化方法解决配准算法的优化问题；

步骤四、为了估测准确的畸变矩阵，采用多次迭代配准算法优化畸变矩阵，根据最后获得畸变矩阵基于2d插值来恢复畸变的图像序列。

本发明还包括这样一些结构特征：

1.在步骤一中，采用畸变图像序列的均值作为图像配准的基准图像。

2.步骤二中去模糊具体包括：

采用最大先验法对模糊核的估测，给出x、m和k分别为濳像、模糊图像和模糊核，则模糊核模型为：

其中：f(x)和f(k)分别为濳像和模糊核的先验，λ和β为f(x)和f(k)的权重值；将模糊核模型分解为两个子问题：x和k的子问题，分别为：

优化两个子问题的标准方法是从初始化x和k开始，然后交替更新迭代中的x和k，且交替更新x和k的表达式为：

其中：m'是图像m经过图像边缘增强和噪声抑制处理后的图像，关于k的最小化问题为：

其中：则关于k最小化问题通过快速傅里叶变换可变换为：

其中：和分别为快速傅里叶变换和快速傅里叶逆变换，是共轭转置算子；采用基于半二次分裂的有效交替最小化方法，则x的更新为：

其中：ω1和ω2是两个辅助变量，η是一个控制参数，则x的更新的闭环解为：

3.步骤三的具体步骤如下：

畸变矩阵估计取决于图像配准，b-spline的变换向量γ(x,y)可以表示为：

其中，φi,j是变换向量的控制点，和bm和bl是标准b-spline的基准函数，且有：

为了估测精确的畸变矩阵，使用局部变换参数最小化能量函数：

其中，

h(m),h(γ(ii'))分别代表m和γ(ii')的边缘熵，s表示图像区域的面积。

与现有技术相比，本发明的有益效果是：发明在完成图像畸变校正的条件下，既提高了图像配准技术的精度，又提高了即便图像恢复的质量。针对现有畸变校正算法的不足，本发明提出了一种基于图像序列的水对空畸变校正算法，根据水面波浪特性，图像的每个像素总是在一段时间内围绕其真实位置振荡。可以假设外力总是想要将图像的每个像素拉回到其原始位置。在图像序列中，我们发现每个像素位于只是位置的次数比其他像素更多。所以，本发明以图像序列的均值图像作为图像配准算法的基准图像。由于图像序列受到动态水波的干扰，在均值图像中会产生运动模糊，所以本发明采用基于图像边缘增强和噪声抑制的图像去模糊方法来解决这一问题。经过本发明的图像去模糊处理，提高了基准图像和畸变图像序列的配准精度。

附图说明

图1为本发明的算法流程图；

图2为图像去模糊示例图像。

图3为水对空成像畸变校正示例图像。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

结合图1至图3，本发明公开了一种基于图像序列的水对空畸变校正算法，该算法包括以下步骤：

本发明是这样实现的，一种基于图像序列的水对空畸变校正算法包括以下步骤：

s1、将图像序列的均值图像作为图像配准的基准图像；

s2、对均值图像进行去模糊处理，由于图像序列受到动态水波的干扰，在均值图像中会产生运动模糊，所以，采用基于图像边缘增强和噪声抑制的去模糊算法对获取的均值图像进行去模糊处理，这样可以提高图像配准的精度；

s3、采用一种非刚性的b-spline图像配准方法估测图像畸变矩阵，另外，采用l-bfgs优化方法解决配准算法的优化问题；

s4、为了估测准确的畸变矩阵，采用多次迭代配准算法优化畸变矩阵，根据最后获得畸变矩阵基于2d插值来恢复畸变的图像序列。

如步骤s1所述，将图像序列的均值图像作为图像配准的基准图像。

如步骤s2所述，对均值图像进行去模糊处理，由于图像序列受到动态水波的干扰，在均值图像中会产生运动模糊，所以，采用基于图像边缘增强和噪声抑制的去模糊算法对获取的均值图像进行去模糊处理，这样可以提高图像配准的精度。去模糊具体步骤如下：

首先是模糊核的估测，本发明采用最大先验法(map)，假设x,m和k分别为濳像，模糊图像和模糊核，则模糊核模型可以表示为：

f(x)和f(k)分别为濳像和模糊核的先验，λ和β为f(x)和f(k)的权重值。为了优化(1)的问题，(1)可以被分解为两个子问题：x和k的子问题，他们可以表示为：

为了准确估计核，提出了一种基于边缘增强和噪声抑制的方法，优化两个子问题的标准方法是从初始化x和k开始。然后交替更新迭代中的x和k。交替更新x和k的表达式可以表述为：

m'是图像m经过图像边缘增强和噪声抑制处理后的图像，关于k的最小化问题可表述为：

(6)通过快速傅里叶变换可变换为：

和分别为快速傅里叶变换和快速傅里叶逆变换，是共轭转置算子。模糊核k被估测出来之后，本发明采用基于半二次分裂的有效交替最小化方法，则x的更新表达为：

ω1和ω2是两个辅助变量。η是一个控制参数。(8)的闭环解可写为：

在这一步骤去模糊图像可以很容得到，图2为一个去模糊图像示例。

如步骤s3所述，采用一种非刚性的b-spline图像配准方法估测图像畸变矩阵，另外，采用l-bfgs优化方法解决配准算法的优化问题；具体步骤如下：

畸变矩阵估计取决于图像配准。在本发明，一种基于b-spline的非刚性图像配准算法被提出。b-spline是图像处理中广泛使用的技术。它们的本地支持，可控连续性和紧凑的描述使它们非常有效地插值和近似函数。它们已被用于图像配准中的变换估计。b-spline的变换向量γ(x,y)可以表示为：

在(10)中，φi,j是变换向量的控制点，和bm和bl是标准b-spline的基准函数，它们可以定义为：

为了估测精确的畸变矩阵，我们使用局部变换参数最小化能量函数。

在(12)中，

h(m),h(γ(ii'))分别代表m和γ(ii')的边缘熵。s表示图像区域的面积。

如步骤s4所示，为了估测准确的畸变矩阵，采用多次迭代配准算法优化畸变矩阵，根据最后获得畸变矩阵基于2d插值来恢复畸变的图像序列。图3为水对空成像的畸变图像和校正后的图像。

综上，本发明公开了一种基于图像序列的水对空畸变校正算法，该算法包括一下主要步骤：首先计算图像序列的均值获取一帧均值图像作为图像配准的基准图像；由于图像序列受到动态水波的干扰，在均值图像中会产生运动模糊，所以采用图像去模糊的方法来解决这一问题，这可以提高图像配准的精度。基准图像完成图像模糊之后，为了估测图像畸变矩阵，本发明采用了一种非刚性图像配准方法。为了优化配准方法，采用l-bfgs优化方法。l-bfgs是一种基于bfgs的改进方法。对于无约束优化，它是有限记忆的准牛顿。l-bfgs方法通过用来自最后迭代的信息近似逆hessian矩阵来迭代地找到最小化值。在估计畸变矩阵之后，可以基于2d插值来恢复畸变的图像序列。本发明在实现图像畸变的同时，较现有算法对畸变图像恢复质量进一步提高，可以实现各种波形扰动下产生的畸变图像的恢复。