一种光场图像旋转误差校正方法与流程

本发明涉及图像处理领域，具体涉及一种光场图像旋转误差校正技术。

背景技术：

光场相机应用光场成像技术，可通过单次曝光获取并显示来自空间目标的多角度光场辐射强度分布。不同于传统成像设备仅记录空间信息，它能够同时记录四维光场的二维空间信息和二维角度信息。光辐射角度信息的保留为实现目标场景的多视角成像、数字重对焦及三维重建提供了所需的光场数据。近年来，利用光场图像数据已开发出多种复杂场景的重建算法，光场相机正逐步应用于在高温火焰测量、目标识别、粒子测速、实时监测等工程领域。

光场相机通过在主镜头和图像传感器之间加入微透镜阵列来获得记录完整光场信息的原始图像，该图像由各微透镜单元所成的子图像按序排列组成，其子图像位置及所覆盖的像元位置是实现四维光场解析的基础。然而，由于相机装配精度的限制，微透镜阵列或图像传感器可能存在一定的旋转角度，实际拍摄的光场图像中各子图像会发生不同程度的偏转。子图像的失配造成光场解码时空间和角度信息的混淆或缺失，使得目标的重建精度和效率显著降低。因此，有必要对光场图像的旋转误差进行校正，以补偿系统内部元件间的旋转角度对光场成像的影响。

目前，光场图像旋转误差校正方法通常先标定出所有子图像(即微透镜)的中心点，利用各中心点连线估计其旋转角，并将图像旋转相应的角度实现图像校正。此类方法由于采用模板匹配、渐晕峰值等方法对整体图像进行中心标定，计算量大、耗时长，并且受到主镜头渐晕效应的影响，边缘子图像的中心定位精度不高，导致求解旋转角度存在偏差；其次，中心标定和图像旋转的定位精度均为像素级，由于像素尺寸的限制，实际中心点定位及后续图像校正结果的误差会进一步增加；并且对于光场图像来说，各子图像的位置及其所覆盖像元的位置对应的空间信息和角度信息是相互关联的，仅对图像整体进行旋转将会带来额外的光场空间信息偏转。

技术实现要素：

本发明的目的是为了解决现有光场图像旋转误差校正方法存在的计算量大、耗时长、旋转角度求解精度低以及校正效果不理想的问题，从而提供一种光场图像旋转误差校正方法。

本发明所述的一种光场图像旋转误差校正方法，该方法包括以下步骤：

步骤一：使用光场相机对白色匀光板成像，获取光场原始白图像i；

步骤二：对光场原始白图像i进行滤波处理，并提取滤波后光场原始白图像i的中心区域图像作为参考图像i′；

步骤三：将参考图像i′划分为多个微透镜子图像，在每个微透镜子图像内进行局部搜索，确定粗调中心区域d；

步骤四：对粗调中心区域d内的像素点进行插值处理，得到具有亚像素精度的像素点坐标及其灰度值，然后计算每个微透镜子图像的中心坐标(xci,ycj)；

步骤五：分别对同一行/列的微透镜子图像的中心坐标(xci,ycj)进行线性拟合，根据拟合函数估计出图像旋转角度θ；

步骤六：将待校正光场原始图像li中的各像素点进行旋转角度为θ的反向旋转坐标映射和插值处理，获得校正后的光场原始图像li′；

步骤七：基于校正后的光场原始图像li′，对目标场景进行四维光场解析和数字重聚焦处理，得到重聚焦图像ri，将重聚焦图像ri中的像素点进行旋转角度为θ的正向旋转坐标映射和插值处理，获得校正后的重聚焦图像ri′。

优选的是，步骤一具体为：

将白色匀光板固定在光场相机镜头前方，保证白色匀光板平面与光场相机的光轴相互垂直；调整光场相机光圈值直至成像屏上光斑刚好不发生串扰，对白色匀光板平面光源进行拍摄，得到光场原始白图像i。

优选的是，步骤二中采用中值滤波方法对光场原始白图像i进行滤波，滤波窗口s＝3×3。

优选的是，步骤三具体为：

根据滤波后光场原始白图像i的子图像覆盖像素个数l×l，将参考图像i′划分为m×m个微透镜子图像，然后对每个微透镜子图像区域内的像素点灰度值分别按照行列求和；

将各个微透镜子图像对应的各行、列求和结果分别进行降序排序，分别选取前r个求和结果对应的行、列，然后对行、列坐标分量进行升序排序，各坐标所对应的像素点组成r×r的方形粗调中心区域d。

优选的是，步骤四具体为：

采用双线性插值法对粗调中心区域d内的每个像素点进行系数为k的亚像素细分，可利用的像素点增加至rk×rk，定位精度达到了1/k像素；设插值点坐标为(x+p/k,y+q/k)，与其相邻的4个整像素点坐标为(x,y)、(x+1,y)、(x,y+1)和(x+1,y+1)，则插值点的灰度值f(x+p/k,y+q/k)为：

f(x+p/k,y+q/k)＝(1-p/k)×(1-q/k)×f(x,y)+(1-p/k)×q/k×f(x,y+1)+(1-q/k)×p/k×f(x+1,y)+p/k×q/k×f(x+1,y+1)

其中，f(x,y)为参考图像i′中像素点(x,y)的灰度值，p、q表示两相邻整像素点间的第p行、第q列的插值点，其中p＝1,2,…,k-1，q＝1,2,…,k-1；k为正整数；

然后利用灰度重心法计算每个微透镜子图像的中心坐标(xci,ycj)，中心坐标的行坐标xci和列坐标ycj的计算公式分别为：

优选的是，步骤五具体为：

利用最小二乘法分别对同一行/列的微透镜子图像的中心坐标(xci,ycj)进行线性拟合，得到拟合函数及为第i行拟合函数的斜率，bi为第i行拟合函数的常量，为第j列拟合函数的斜率，bj为第i列拟合函数的常量，然后计算所有拟合函数的平均斜率

其中，m为微透镜子图像的行数和列数；

则光场原始白图像i的旋转角度θ为：

优选的是，步骤六具体为：

光场原始白图像i的分辨率为m×n，待校正光场原始图像li中坐标为(x^*,y^*)的像素点反向旋转角度θ后的坐标为(x′,y′)，旋转前后的坐标满足如下关系：

采用双线性插值法求解像素点(x^*,y^*)的灰度值f(x^*,y^*)，即为校正后的光场原始图像li′中像素点(x′,y′)的灰度值f′(x′,y′)；

f′(x′,y′)＝(1-u)×(1-v)×f(x,y)+(1-u)×v×f(x,y+1)+u×(1-v)×f(x+1,y)+u×v×f(x+1,y+1)

其中，x为不超过x^*的最大整数，y为不超过y^*的最大整数；u＝x-x,v＝y-y；依次计算各像素点(x′,y′)的灰度值f′(x′,y′)，获得校正后的光场原始图像li′。

优选的是，步骤七具体为：

建立校正后的光场原始图像li′中各像素点灰度值f′(x′,y′)与空间光线的对应关系，即将二维图像解析为四维光场，再进行数字重聚焦处理，得到重聚焦图像ri；

重聚焦图像ri的分辨率为m′×n′，重聚焦图像ri中坐标为(s′,t′)的像素点进行角度为θ的正向旋转后像素点坐标为(s″,t″)，旋转前后的坐标满足如下关系：

采用双线性插值法求解重聚焦图像ri中像素点(s′,t′)的灰度值ef′(s′,t′)，即为校正后的重聚焦图像ri′中像素点(s″,t″)的灰度值e′f′(s″,t″)：

e′f′(s″,t″)＝(1-p′)×(1-q′)×ef′(s,t)+(1-p′)×q′×ef′(s,t+1)+p′×(1-q′)×ef′(s+1,t)+p′×q′×ef′(s+1,t+1)

其中，s为不超过s′的最大整数，t为不超过t′的最大整数；p′＝s′-s,q′＝t′-t。

本发明的有益效果为：

本发明利用光场相机的光场原始白图像，通过图像滤波预处理并提取灰度较为均匀的中心区域作为参考图像来降低图像噪声和渐晕效应对粗调中心区域定位的影响，并且能够有效减小数据计算量和计算时间。在此基础上，在微透镜子图像中心定位、光场图像反向旋转和重聚焦图像正向旋转中均采用插值处理，将定位精度提高至亚像素级，从而保证所估计旋转角度的准确性以及旋转校正前后图像信息的一致性，解决了现有光场图像旋转校正方法存在的计算量大、旋转角度求解精度低、校正效果不佳等问题。此外，本方法具备普适性，适用于各种光场相机或光场成像模型获取的光场图像旋转校正，通过初始估计出的图像旋转角度就可实现不同目标场景图像的快速校正，为后续的光场数据处理提供基础。

附图说明

图1是本发明的一种光场图像旋转校正方法的基本流程图；

图2为光场相机获取的光场原始白图像i；

图3为提取参考图像i′的方位示意图；

图4为粗调中心区域d的示意图；

图5为校正前具有旋转误差的光场原始图像li及相应重聚焦图像，(a)为光场原始图像li，(b)为重聚焦图像；

图6为校正后的光场原始图像li′及相应重聚焦图像，(a)为光场原始图像，(b)为重聚焦图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

图1为本实施方式提供的一种光场图像旋转校正方法的基本流程图。如图1所示，该方法包括以下步骤：

步骤一：使用光场相机对白色匀光板成像，获取光场原始白图像i；

采用白色匀光板作为均匀面光源，将其固定在光场相机镜头前方，将白色匀光板固定在光场相机镜头前方，保证白色匀光板平面与光场相机的光轴相互垂直；调整光场相机光圈值直至成像屏上光斑刚好不发生串扰，对白色匀光板平面光源进行拍摄，获取如图2所示的光场原始白图像i，光场原始白图像i的分辨率为m×n。

步骤二：对光场原始白图像i进行滤波处理，并提取滤波后光场原始白图像i的中心区域图像作为参考图像i′；

首先，采用中值滤波方法对光场原始白图像i进行预处理，以滤去图像中存在的噪声同时保持子图像边缘特征。滤波窗口的选取与所处理图像特征有关，窗口越大，抑制噪声效果越明显，但图像细节也越模糊。对于光场原始白图像i，经过测试当滤波窗口s＝3×3时，其平滑去噪效果和子图像边缘保持效果达到最优平衡点，则有：

式中，g(x,y)为光场原始白图像i中像素点(x,y)的灰度值；g′(x,y)为滤波后像素点的灰度值。

在此基础上，为减轻光场相机主镜头渐晕效应的影响，从滤波后白图像的中心区域提取m×m个子图像作为参考图像i′，子图像覆盖像素个数为l×l，则参考图像i′的分辨率大小为n×n＝(m×l)×(m×l)，各像素点灰度值为：

f(x,y)＝g′(x0+x,y0+y)(2)

式中，f(x,y)为参考图像i′中像素点(x,y)的灰度值，其中x＝1,2,…,n，y＝1,2,…,n；g′(x0+x,y0+y)为滤波白图像中对应像素点的灰度值，其中x0＝m/2-m×l，y0＝n/2-m×l。为保证后续图像旋转角度的求解精度并考虑到数据计算量和处理速度，本实施方式提取滤波白图像中心区域的m×m＝10×10个子图像作为参考图像i′，其提取方位示意图如图3所示，白色框线内的图像即为所提取参考图像i′。

步骤三：将参考图像i′划分为多个微透镜子图像，在每个微透镜子图像内进行局部搜索，确定粗调中心区域d；

根据子图像覆盖像素个数l×l，将参考图像i′划分为10×10个微透镜子图像；然后，对每个微透镜区域内的像素点灰度值分别按照行列求和：

其中，s表示像素点灰度值求和结果，上标row、col分别表示按行求和及按列求和，下标ij表示参考图像i′中位于第i行第j列的微透镜子图像，其中i＝1,2,…,10，j＝1,2,…,10。

根据微透镜的渐晕效应，将微透镜子图像ij中各行、列求和结果分别进行降序排序，选取前4个求和结果对应的行、列，然后对行、列坐标分量进行升序排序，排序后记为x1、x2、x3、x4和y1、y2、y3、y4，其所在像素点组成4×4的方形粗调中心区域d，d＝{f(x1,y1),f(x1,y2),…,f(x2,y1),f(x2,y2),…,f(x4,y4)}。各微透镜子图像所确定的粗调中心区域d如图4所示。

步骤四：对粗调中心区域d内的像素点进行插值处理，得到具有亚像素精度的像素点坐标及其灰度值，然后计算每个微透镜子图像的中心坐标(xci,ycj)；

为提高微透镜子图像中心定位精度，采用双线性插值法对粗调中心区域d内的每个像素点进行系数为k的亚像素细分，可利用的像素点增加至rk×rk，定位精度达到了1/k像素；设插值点坐标为(x+p/k,y+q/k)，与其相邻的4个整像素点坐标为(x,y)、(x+1,y)、(x,y+1)和(x+1,y+1)，则插值点的灰度值f(x+p/k,y+q/k)为：

其中，f(x,y)为参考图像i′中像素点(x,y)的灰度值，p、q表示两相邻整像素点间的第p行、第q列的插值点，其中p＝1,2,…,k-1，q＝1,2,…,k-1；

在此基础上，然后利用灰度重心法计算每个微透镜子图像的中心坐标(xci,ycj)，中心坐标的行坐标xci和列坐标ycj的计算公式分别为：

对于粗调中心区域d，经过测试当插值系数k＝10时，中心定位精度可达到要求，同时避免计算量过大，故本实施方式设定插值系数k＝10。

步骤五：分别对同一行/列的微透镜子图像的中心坐标(xci,ycj)进行线性拟合，根据拟合函数估计出图像旋转角度θ；

基于参考图像i′中各微透镜子图像的中心坐标(xci,ycj)，利用最小二乘法分别对同一行及同一列的中心坐标进行线性拟合，可得到拟合函数及然后计算所有拟合函数的平均斜率

则光场原始白图像i的旋转角度(逆时针为正)为：

步骤六：基于图像旋转角度θ，将待校正光场原始图像li中的各像素点进行旋转角度为θ的反向旋转坐标映射和插值处理，获得校正后的光场原始图像li′；

为防止图像像素点在坐标映射过程中出现映射重叠或映射不完全，采用向后映射实现图像旋转校正。设待校正光场原始图像li中的像素点(x^*,y^*)顺时针旋转角度θ后的坐标为(x′,y′)，两者满足如下关系：

则对于光场原始图像li′中任一像素点(x′,y′)的灰度值f′(x′,y′)，可先通过(9)式将该像素点映射回待校正光场原始图像li中对应的像素点坐标(x^*,y^*)，通常情况下为非整数(亚像素)坐标，然后采用双线性插值法求解f(x^*,y^*)，即为校正后光场原始图像li′中像素点(x′,y′)的灰度值f′(x′,y′)：

其中，x为不超过x的最大整数，y为不超过y的最大整数；u＝x-x,v＝y-y。

依次计算光场原始图像li′中像素点(x′,y′)的灰度值f′(x′,y′)，获得校正后的光场原始图像li′，此时该图像中各子图像位置与所覆盖像元位置对应排列，解决了子图像间的失配问题。

步骤七：基于校正后的光场原始图像li′，对目标场景进行四维光场解析和数字重聚焦处理，得到重聚焦图像ri，将重聚焦图像ri中的像素点进行旋转角度为θ的正向旋转坐标映射和插值处理，获得校正后的重聚焦图像ri′。

建立校正后的光场原始图像li′中各像素点灰度值f′(x′,y′)与空间光线的对应关系，即将二维图像解析为四维光场：

lf(u,v,s,t)＝f′(x′,y′)(11)

其中，lf(u,v,s,t)表示通过主镜头平面的位置坐标(u,v)和原聚焦平面f的位置坐标(s,t)的空间光线的光强。

数字重聚焦公式为：

其中，(s′,t′)表示光线lf通过重聚焦平面的位置坐标，ef′(s′,t′)为像素点(s′,t′)的灰度值；α为聚焦深度系数，α＝f′/f，f′为目标到重聚焦平面的距离，f为目标到原聚焦平面的距离，改变系数α可得到不同聚焦深度的重聚焦图像ri。

对于重聚焦图像ri，采用向后映射和双线性插值法进行旋转角度θ的正向旋转校正，从而获得校正后的重聚焦图像ri′。其中，旋转坐标映射关系为：

其中，重聚焦图像ri的分辨率为m′×n′；(s′,t′)为重聚焦图像ri中的像素点坐标；(s″,t″)表示逆时针旋转角度θ后的像素点坐标，即校正后重聚焦图像ri′中的像素点坐标。则对于重聚焦图像ri′中任一像素点(s″,t″)的灰度值e′f′(s″,t″)，可先通过(13)式将该像素点映射回待校正重聚焦图像ri中对应的像素点坐标(s′,t′)，通常情况下为非整数(亚像素)坐标，然后采用双线性插值法求解ef′(s′,t′)，即为校正后重聚焦图像ri′中像素点灰度值e′f′(s″,t″)：

其中，s为不超过s′的最大整数，t为不超过t′的最大整数；p′＝s′-s,q′＝t′-t。

利用本发明的一种光场图像旋转误差校正方法对光场图像进行校正测试。在光场相机仿真成像系统中设定旋转误差角度-1°进行成像实验，获取如图5所示的光场图像作为测试图像。在图像校正之前，由于光场相机内部元件间存在旋转角度导致该光场图像的光斑发生一定的旋转，所成聚焦深度系数α＝0.9876的重聚焦图像，(b)出现严重的失真变形和混叠现象。采用本发明的校正方法对该光场图像的光场原始白图像按照步骤二至步骤五进行操作，计算出光场图像的旋转误差角度θ＝-1.0027°，估计误差e＝0.0027°。在此基础上，按照步骤六至步骤七校正该光场图像(包括原始图像及相应的重聚焦图像)。图6(a)所示为校正后的光场原始图像，可以看出校正后的原始图像的光斑位置及间距得到了较好的修正，校正后的重聚焦图像(b)较为清晰，图像失真情况得到了明显的改善。同时，校正前的光场原始图像的图像质量评价指标ssim(结构相似度)值为0.4944、mse(均方误差)值为1979.2495，其重聚焦图像的ssim值为0.9875、mse值为23.2347；校正后的光场原始图像的ssim值为0.9684、mse值为121.5574，校正后的重聚焦图像的ssim值为0.9992、mse值为1.4860，明显优于校正前的图像质量。该结果表明，本发明的校正方法能够有效估计光场图像存在的旋转误差并对其进行校正，满足了光场成像和光场数据采集的要求。