融合偏振信息的快速水下图像增强方法

1.本发明涉及计算机视觉领域，更具体地说是一种融合偏振信息的快速水下图像增强方法。


背景技术：

2.偏振成像是实现水下图像去散射的一种手段。偏振成像系统的工作原理是通过旋转偏振片，将目标反射信号与背景散射光信号的偏振态分离出来，再对背景散射光实现共模抑制，从中提取有用的目标反射光信息。因此，偏振被广泛应用于去除散射效应，提升图像对比度。偏振成像系统的难点在于检测弱目标并获取其精确的时延和多普勒信息，而提高任意“时延-多普勒”域内的弱目标分辨能力是获取弱目标准确信息的根本。
3.近年来，国内外学者在利用偏振成像技术去散射方面做了大量研究工作。具有代表性的，如schechner在《advanced visibility improvement basedon polarization filtered images》中利用后向散射光与目标反射光的偏振态差异将后向散射分量去除，但该算法需要人为选取“最好”和“最差”的图像，具有一定的主观性。mudge在《real time polarimetric dehazing》中对schechner模型做出了完善，利用stokes矢量表征偏振信息，在获取 stokes矢量各个分量之后，通过换算方程得到最好偏振图像“最好”和最差偏振图像“最差”后再复原清晰场景图像，提高了算法的适用性。但是还存在因ccd多次快照引入的噪声以及色偏、忽略退偏度较高物体的偏振特性导致目标物体与散射光无法有效分离带来的精度下降等问题。
4.以上提到的两种代表性偏振成像技术都存在一定的局限性，这些局限性使其难以在工程实际中获得应用。


技术实现要素：

5.本发明针对现有方法的不足，提出一种融合偏振信息的快速水下图像增强方法，主要解决现有的图像增强方法计算量大、实时性差，难以工程应用的问题。
6.本方法利用stokes矢量将原有的难以求解的最优差分分量问题转化为若干个易于求解的一次优化问题，并通过迭代得到满足条件的增强后的图像。
7.本发明解决其技术问题所采用的详细步骤如下：
8.步骤1：计算整幅图像的全局参数；
9.步骤2：利用参数求解图像的最优差分图像；
10.步骤3：求解后向散射光的偏振度；
11.步骤4：利用最优差分图像和后向散射光偏振度求解出目标物体反射光的偏振度；
12.步骤5：估计出增强图像。
13.进一步的，一种融合偏振信息的快速水下图像增强方法，具体方法为：
14.步骤1：计算整幅图像的全局参数
15.基于stokes矢量的偏振成像方法通常以任意方向为0
°
参考方向，再按照参考向分
别旋转偏振片45
°
，90
°
和135
°
获得另外三幅偏振方位图像，其强度分别记作i(0)，i(45)，i(90)和i(135)。根据stokes矢量的定义式，联立方程组，可以求解出stokes参数为：
16.s0＝i(0)+i(90)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)
17.q＝i(0)-i(90)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)
18.u＝i(45)-i(135)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(27)
19.其中，s0是场景的总光强，即与图像的整体强度相等，即s0＝i；q是水平方向和垂直方向的强度差；u是45
°
和135
°
方向的强度差。偏振度和偏振角的表达式可以分别表示为：
[0020][0021][0022]
步骤2：利用参数求解图像的最优差分图像
[0023]
根据马吕斯定律可知，当后向散射光偏振方向与相互正交的检偏器透过方向均为45
°
时，偏振差分成像可以通过光学检偏器的共模抑制作用来滤除后向散射光。此时，从检偏器处可以获得两种图像：当透光轴平行于θ方向，所摄图像为i
||
(θ)，而当透光轴垂直于θ方向，则所摄图像为i
⊥
(θ)。为了方便，后续简写为i
||
和i
⊥
。根据stokes矢量的物理意义，光经过相互正交检偏器调制后，其光强分别变为：
[0024]i||
(i)＝i
i-sin(2θa)
·
qi+cos(2θa)
·
uiꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(30)
[0025]i⊥
(i)＝ii+sin(2θa)
·qi-cos(2θa)
·
uiꢀꢀꢀꢀꢀꢀ
(31)
[0026]
其中，i表示后向散射光(a)和目标物体反射光(t)。由偏振差分原理有：
[0027]ipd
(a)＝i
||
(a)-i
⊥
(a)＝qa·
sin(2θa)-ua·
cos(2θa)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(32)
[0028]ipd
(t)＝i
||
(t)-i
⊥
(t)＝2(cos(2θa)
·ut-sin(2θa)
·qt
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(33)
[0029]
其中，i
pd
(a)和i
pd
(t)分别表示后向散射光和目标反射光的差分分量。由于tan(2θa)＝ua/qa，代入式(8)中可得i
pd
(a)＝0，滤除了后向散射光后，剩下的仅有目标反射的差分分量，即：
[0030]ipd
＝i
||-i
⊥
＝i
pd
(a)+i
pd
(t)＝2(cos(2θa)
·ut-sin(2θa)
·qt
)
ꢀꢀꢀ
(34)
[0031]
在图像增强技术中，通常认为目标反射光为有用信息，而后向散射光作为杂散光应当被滤除。因此，目标反射光的偏振分量i
pd
即为最优偏振差分分量。
[0032]
步骤3：求解后向散射光的偏振度
[0033]
将后向散射光i(a)分解在相互垂直的两个方向上，以0
°
方向为参考方向，该方向上的背景光分量为i0(a)，从图中可以看出，平行于背景光振动方向的分量可以表示成
[0034][0035]
垂直于后向散射光振动方向的分量则可以写成
[0036][0037]
根据偏振图像定义，后向散射光的偏振差分分量可由下式得到：
[0038]ipd
(a)＝i(a
||
)-i(a
⊥
)
ꢀꢀꢀ
(37)
[0039]
令i0(a)＝εi(a)，ε是0到1之间的一个变量，结合偏振度的定义可得：
[0040][0041]
其中，pa表示后向散射光的偏振度。根据偏振度与stokes矢量的关系可以得出：
[0042]
|q(a)|/i(a)≤paꢀꢀꢀ
(39)
[0043]
于是有：
[0044]
|2ε-1|≤paꢀꢀꢀ
(40)
[0045]
由式(16)可知
[0046][0047]
结合式(14)和式(17)可以得出后向散射光偏振度pa的范围
[0048][0049]
步骤4：利用最优差分图像和后向散射光偏振度求解出目标物体反射光的偏振度
[0050]
根据偏振度定义可以求后向散射光偏振分量
[0051][0052]
图像成像模型又可以写成：
[0053]
i＝a
∞
+(j(x)-a
∞
)
·
t(x)
ꢀꢀꢀ
(44)
[0054]
将后向散射光与目标反射光均改写成偏振部分与非偏振部分之和，以i(0) 为例，可得：
[0055][0056]
其中，pa和pd分别表示后向散射光和目标反射光的偏振度，j
px
表示的是目标反射光偏振分量在x轴上的分量。在某一方向上，光的偏振量仅有目标反射光和后向散射光的偏振量，于是有
[0057][0058]
可以求得j
px
[0059]jpx
＝i(0)sin2θa+cos2θa[j
p-i(90)]
ꢀꢀꢀ
(47)
[0060]
将式(23)代入式(21)可求得目标反射光的偏振度pd。
[0061]
步骤5：估计出增强图像。
[0062]
利用最优偏振差分分量(目标反射光偏振分量)和目标反射光偏振度可得去散射后的图像：
[0063][0064]
本发明与现有方法相比，具有以下优点：
[0065]
(1)本发明利用stokes矢量准确计算出正交偏振图像，代替了手动旋转偏振器件
的繁琐；
[0066]
(2)本发明融合最优偏振差分分量，实现对后向散射光的共模抑制，使算法运算时间相比于传统方法降低了70％左右；
[0067]
本发明在估算后向散射光偏振度与偏振角时，摆脱了原始图像对场景中空地区域的要求，提高了去散射成像的适用性。
附图说明
[0068]
图1曝光物体的偏振增强过程示意图；
[0069]
图2暗图像的偏振增强过程示意图。
具体实施方式
[0070]
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0071][0072]
下面结合附图、具体实施方式和实施例对本发明进行详细说明。
[0073]
本发明是融合偏振信息的快速水下图像增强方法，通过应用最大最小方法将原有的难以求解的四次优化问题转化为若干个易于求解的一次问题，并通过迭代方法得到满足条件的探测波形。
[0074]
具体实施过程为：
[0075]
步骤1：计算整幅图像的全局参数
[0076]
基于stokes矢量的偏振成像方法通常以任意方向为0
°
参考方向，再按照参考向分别旋转偏振片45
°
，90
°
和135
°
获得另外三幅偏振方位图像，其强度分别记作i(0)，i(45)，i(90)和i(135)。根据stokes矢量的定义式，联立方程组，可以求解出stokes参数为：
[0077]
s0＝i(0)+i(90)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(49)
[0078]
q＝i(0)-i(90)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(50)
[0079]
u＝i(45)-i(135)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(51)
[0080]
其中，s0是场景的总光强，即与图像的整体强度相等，即s0＝i；q是水平方向和垂直方向的强度差；u是45
°
和135
°
方向的强度差。偏振度和偏振角的表达式可以分别表示为：
[0081][0082][0083]
步骤2：利用参数求解图像的最优差分图像
[0084]
根据马吕斯定律可知，当后向散射光偏振方向与相互正交的检偏器透过方向均为45
°
时，偏振差分成像可以通过光学检偏器的共模抑制作用来滤除后向散射光。此时，从检偏器处可以获得两种图像：当透光轴平行于θ方向，所摄图像为i
||
(θ)，而当透光轴垂直于θ方向，则所摄图像为i
⊥
(θ)。为了方便，后续简写为i
||
和i
⊥
。根据stokes矢量的物理意义，光
经过相互正交检偏器调制后，其光强分别变为：
[0085]i||
(i)＝i
i-sin(2θa)
·
qi+cos(2θa)
·
uiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(54)
[0086]i⊥
(i)＝ii+sin(2θa)
·qi-cos(2θa)
·
uiꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(55)
[0087]
其中，i表示后向散射光(a)和目标物体反射光(t)。由偏振差分原理有：
[0088]ipd
(a)＝i
||
(a)-i
⊥
(a)＝qa·
sin(2θa)-ua·
cos(2θa)
ꢀꢀꢀꢀꢀꢀ
(56)
[0089]ipd
(t)＝i
||
(t)-i
⊥
(t)＝2(cos(2θa)
·ut-sin(2θa)
·qt
)
ꢀꢀꢀ
(57)
[0090]
其中，i
pd
(a)和i
pd
(t)分别表示后向散射光和目标反射光的差分分量。由于tan(2θa)＝ua/qa，代入式(56)中可得i
pd
(a)＝0，滤除了后向散射光后，剩下的仅有目标反射的差分分量，即：
[0091]ipd
＝i||-i
⊥
＝i
pd
(a)+i
pd
(t)＝2(cos(2θa)
·ut-sin(2θa)
·qt
)
ꢀꢀꢀ
(58)
[0092]
在图像增强技术中，通常认为目标反射光为有用信息，而后向散射光作为杂散光应当被滤除。因此，目标反射光的偏振分量i
pd
即为最优偏振差分分量。
[0093]
步骤3：求解后向散射光的偏振度
[0094]
将后向散射光i(a)分解在相互垂直的两个方向上，以0
°
方向为参考方向，该方向上的背景光分量为i0(a)，从图中可以看出，平行于背景光振动方向的分量可以表示成
[0095][0096]
垂直于后向散射光振动方向的分量则可以写成
[0097][0098]
根据偏振图像定义，后向散射光的偏振差分分量可由下式得到：
[0099]ipd
(a)＝i(a
||
)-i(a
⊥
)
ꢀꢀꢀ
(61)
[0100]
令i0(a)＝εi(a)，ε是0到1之间的一个变量，结合偏振度的定义可得：
[0101][0102]
其中，pa表示后向散射光的偏振度。根据偏振度与stokes矢量的关系可以得出：
[0103]
|q(a)|/i(a)≤paꢀꢀꢀ
(63)
[0104]
于是有：
[0105]
|2ε-1|≤paꢀꢀꢀ
(64)
[0106]
由式(64)可知
[0107][0108]
结合式(62)和式(65)可以得出后向散射光偏振度pa的范围
[0109][0110]
步骤4：利用最优差分图像和后向散射光偏振度求解出目标物体反射光的偏振度
[0111]
根据偏振度定义可以求后向散射光偏振分量
[0112][0113]
图像成像模型又可以写成：
[0114]
i＝a
∞
+(j(x)-a
∞
)
·
t(x)
ꢀꢀꢀ
(68)
[0115]
将后向散射光与目标反射光均改写成偏振部分与非偏振部分之和，以i(0) 为例，可得：
[0116][0117]
其中，pa和pd分别表示后向散射光和目标反射光的偏振度，j
px
表示的是目标反射光偏振分量在x轴上的分量。在某一方向上，光的偏振量仅有目标反射光和后向散射光的偏振量，于是有
[0118][0119]
可以求得j
px
[0120]jpx
＝i(0)sin2θa+cos2θa[j
p-i(90)]
ꢀꢀꢀ
(71)
[0121]
将式(71)代入式(69)可求得目标反射光的偏振度pd。
[0122]
步骤5：估计出增强图像。
[0123]
利用最优偏振差分分量(目标反射光偏振分量)和目标反射光偏振度可得去散射后的图像：
[0124][0125]
为了验证本发明方法的有效性，下面结合实验仿真进行详细说明。
[0126]
水下图像增强方法中具有挑战性的问题就是在处理暗环境下光照不足的情形。此时，通常使用人造光源来改善，然而，人造光源与均匀的自然光不同，存在两种情况：
[0127]
(1)光源过强，导致退偏度较低的物体产生较强的曝光现象，物体的轮廓几乎看不清，为了观测算法处理物体大面积曝光时的性能，本文加大光强，采用对光反射率较大的白色小球作为观测物体，如图1所示，(a)是原始图像，曝光后的小球几乎已经看不清原来的形态；(b-e)分别是0
°
，45
°
，90
°
，135
°
的偏振图，偏振片可以滤除一部分杂光，经本发明方法处理后的结果如图(f) 所示。显而易见，相比于原始图像，经处理后的结果很大程度上改善了物体曝光的问题，小球的轮廓以及颜色都能清晰可见。这是因为fufp方法不仅利用偏振片的滤光性，还在方法中考虑到物体反射光的偏振态，最终取得积极的效果。
[0128]
(2)另一种情况为光照不足，这会导致光的能量无法传播到较远距离处，使图像暗处无法有效探测，如图2所示，图2为暗图像的偏振增强过程。(a) 是分别是0
°
，45
°
，90
°
，135
°
的偏振图，偏振片可以滤除一部分杂光，经fufp 方法处理后的结果如图(f)所示。由图可见，处理后的图像清晰度得到显著提升，同时由于补偿了光衰减的能量，得到的图像亮度也明显得到增强。从利用本发明方法处理后得出的结果可以看出本发明方法可以有效改善光照不足情况下的图像，在暗环境下几乎看不清白球的轮廓的情况下，增强后的图像可以有效保留图像的颜色纹理细节等信息。
[0129]
将fufp方法的运行时间与利用nlr方法处理后的图像的运行时间相比，如表1所示。由于nlr方法对于每张图都要重复计算透射率，景深等信息，这样使算法效率大大降低，反观fufp方法，不需要额外的计算景深，透射率，也无需人机交互的过程，更好地提高了水下图像增强方法的平均运算时间，增加了在目标识别等领域中的可实用性，使方法效率得到了显著的提升。
[0130]
表1运行时间对比
[0131][0132]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。