基于主辅协同双光路设计的全向成像方法
【专利摘要】本发明属于图像信息处理领域，解决折反射全向成像散焦模糊问题，提供一种基于主辅协同双光路设计的全向成像方法。首先通过主辅协同的双光路成像系统对同一场景的光线通过分光装置分别在普通孔径和编码孔径相机成像；设计适用于折反射成像系统的编码孔径方案，使得系统能够更准确辨识全向图像的模糊尺度；设计针对全向图像成像特点的反卷积方法，对散焦模糊图像进行复原得到全聚焦全向图像。本发明将成像结构和成像方法的共同改进紧密结合，有效提高折反射全向成像去散焦模糊效果，对于提高图像质量，促进其在相关领域的广泛应用具有重要意义。
【专利说明】基于主辅协同双光路设计的全向成像方法
【技术领域】
[0001]本发明属于图像信息处理领域，具体涉及全向成像方法。
【背景技术】
[0002]全向图像/视频能覆盖大范围的宽视角场景，凭借360度视角的优势，近年来吸引了大量计算机视觉、光学仪器等交叉领域研究人员在基础理论、产品设计、应用开发等多方面展开研究。全景成像技术大致分为单相机旋转式[I]、鱼眼成像[2]、拼接成像[3]和折反射成像[4]等几类。其中，反射面与折射透镜相结合的折反射成像方式是近年来研究较为集中的成像方式，其原理是利用曲面反射镜收集来自三维空间360度范围内物体的光线，并将其反射到光学成像系统成像。原始采集的折反射全向图存在严重的同心圆环状变形，不适合于直观反映真实的自然界场景，在实际应用中通常需要将其展开为更符合人眼视觉习惯的柱面全景图像，如图2所示。
[0003]然而，折反射全向成像固有的空间分辨率低、分辨率不均匀、散焦模糊等基础问题日益成为影响全向成像清晰度的最主要因素，严重限制了折反射全向成像技术的发展。折反射全向成像系统无论聚焦内环区域、中环区域还是外环区域，都会造成其它区域的散焦模糊，如图3所示，图3 (a)内环图像清晰，图(b)中环图像`清晰，图(c)外环图像清晰。目前，折反射散焦模糊问题的主要技术难点包括两个方面:(1)折反射成像系统曲面光学结构造成的图像散焦模糊，很难准确地辨识其模糊尺度；(2)由于折反射全向图像的成像方式不同于普通图像，只采用传统的图像复原反卷积算法，则很难达到更好的效果。
[0004]为了解决问题，目前广泛采用且较为有效的方法是编码孔径技术[5]。如图4所示，该技术利用特殊设计的掩膜来改进成像装置，对还没有到达图像传感器的光束进行了针对性的编码加工，为图像采集后的处理过程提供更多有效的信息。经过编码孔径获得的图像，能够更准确地辨识出各个区域的模糊尺度，进而更准确地利用点扩散函数的尺度和反卷积算法进行图像复原。但编码孔径相机采集的单幅编码图像由于掩码遮挡损失了特定频率的信息，影响了图像去散焦模糊的效果[6]。
【发明内容】
[0005]本发明为解决折反射全向成像存在的散焦模糊问题，提供一种基于主辅协同双光路设计的全向成像方法，将普通孔径和编码孔径的优势互补，利用编码孔径辅助辨识图像散焦模糊尺度，再通过对普通孔径采集的没有信息损失的图像做反卷积复原得到全聚焦全向图像，进一步提高成像效果。
[0006]为实现上述技术效果，本发明采用的具体技术方案是:
[0007]本发明还提供了一种基于主辅协同双光路设计的全向成像方法，包括如下步骤:
[0008]步骤一、将同一场景的光线分成用于图像复原的主光路和用于编码孔径辨识模糊尺度的辅助光路，分别在普通孔径相机和编码孔径相机成像，其中主光路的光能大于辅助光路的光能；[0009]步骤二、构建折反射全向成像散焦模糊数学模型，选择编码孔径方案，辨识出折反射全向图像各个区域的散焦模糊尺度；
[0010]步骤三、对散焦模糊图像进行复原得到全聚焦全向图像:
[0011]1、首先将散焦模糊图像分成多个环状区域；
[0012]2、提出基于全向全变分最小化的图像复原方法，对每一块环状区域的散焦模糊图像进行复原；
[0013]3、对所有复原后的环状区域的清晰图像进行拼接，获得全聚焦全向图像；
[0014]其中基于全向全变分最小化的图像复原方法为:将全向图像中的像素点反投影到柱面全景图像中，在柱面全景图像中根据梯度计算方法确定水平和垂直方向的相邻像素点，然后正投影到全向图像中，找到对应像素点的相应位置，计算该像素点的梯度值大小。
[0015]具体来讲，步骤二中所述折反射全向成像散焦模糊数学模型的构建方法如下:建立ROZ坐标系，其中原点O在光心平面正上方，与光心平面距离为C，Z轴垂直于光心平面，R轴平行于光心平面。已知实景空间物点w和反射镜面上一点mr(a，β)，其中α, β为反射镜面参数，入射光线w?的单位方向向量为ei ( a，β )，经反射镜面上一点a，β )的反射光线的单位方向向量为ej a，β)，反射镜面上一点mja，β)的单位法向量为nr(a, β)，根据已知的反射镜面参数，可求得1^(0，β)，也可求得实景空间物点w经反射镜面上一点a，β )成的虚像we( a，β )的位置；再使用已知的Jacobian方法求得虚像wc( α，β )到点mr( α，β )的距离rc ;`当反射镜面上的点mr( α，β )位于主入射光线wf与镜面的交点Hici处时,设虚像W。( α，β )所在的物点深度为Sd,则Sd为:
[0016]Sd= (dc+m0p0) sin μ
[0017](I)
[0018]其中，dc为点W。和点mQ之间的距离。进一步得到折反射全向成像散焦模型:
[0019]Y=X*Fs+n
[0020](2)
[0021]其中，Y是得到的模糊图像，X是全聚焦的清晰图像，Fs是由卷积核形状F和卷积尺度S构成的卷积矩阵，卷积尺度S和深度Sd是一一对应的，η为图像的噪声。根据以上的散焦模型，就可以根据后面编码孔径的卷积核形状F，建立一套各个卷积尺度S的模糊标准，并依据标准就可以分析模糊图像的模糊尺度，找到相匹配的卷积尺度进行反卷积做图
像复原。
[0022]具体来讲，所述编码孔径的选择方法为:采用多种编码孔径设计方案分别绘制平方和曲线，从中选择形状尖锐度最高的残差平方和曲线，该残差平方和曲线对应的编码孔径设计方案即为最优方案。
[0023]由于较好的编码孔径卷积核形状F可以较容易地辨识出不同的卷积尺度S，所以编码孔径设计的好坏，决定了是否可以精确确定图像的模糊尺度，也很大程度上决定了图像复原的优劣。为了确定全向图像的最优编码孔径方案，对模糊图像所有可能的模糊尺度进行反卷积，采用功率谱统计模型计算残差平方和，并记录残差平方和最小的结果图像所对应的模糊尺度，即为模糊图像的正确模糊尺度。所述功率谱统计模型的建立方法为:
[0024]若忽略噪声，成像散焦模型在频域下的表示为:
[0025]I Y I = I XF I = |X||F[0026](3)
[0027]其中，Y是模糊图像，X是全聚焦的清晰图像，F是卷积核形状。
[0028]首先将频谱F (U，V)转化到极坐标下F (W，Φ )，然后对其Φ坐标积分，功率谱模型为:
[0029]
【权利要求】
1.一种基于主辅协同双光路设计的全向成像方法，其特征在于，包括如下步骤: 步骤一、将同一场景的光线分成用于图像复原的主光路和用于编码孔径辨识模糊尺度的辅助光路，分别在普通孔径相机和编码孔径相机成像，其中主光路的光能大于辅助光路的光能； 步骤二、构建折反射全向成像散焦模糊数学模型，选择编码孔径方案，结合折反射系统的结构，辨识出折反射全向图像各个区域的散焦模糊尺度； 步骤三、对散焦模糊图像进行复原得到全聚焦全向图像: 1)首先将散焦模糊图像分成多个环状区域； 2)提出基于全向全变分最小化的图像复原方法，对每一块环状区域的散焦模糊图像进行复原； 3)对所有复原后的环状区域的清晰图像进行拼接，获得全聚焦全向图像； 其中基于全向全变分最小化的图像复原方法为:将全向图像中的像素点反投影到柱面全景图像中，在柱面全景图像中根据梯度计算方法确定水平和垂直方向的相邻像素点，然后正投影到全向图像中，找到对应像素点的相应位置，计算该像素点的梯度值大小。
2.根据权利要求1所述基于主辅协同双光路设计的全向成像方法，其特征在于，步骤二中所述折反射全向成像散焦模糊数学模型的构建方法如下:建立ROZ坐标系，建立ROZ坐标系，其中原点O在光心平面正上方，与光心平面距离为C，Z轴垂直于光心平面，R轴平行于光心平面；已知实景空间物点w和反射镜面上一点mja，β)，其中α, β为反射镜面参数，入射光线w?的单位方向向量为ei(a，β)，经反射镜面上一点πν(α，β)的反射光线的单位方向向量为eja，β)，反射镜面上一点πν(α，β)的单位法向量为~(0，β),根据已知的反射镜面参数，可求得\ ( a，β )，也可求得实景空间物点w经反射镜面上一点mr ( a，β )成的虚像W。( a，β )的位置；再使用已知的Jacobian方法求得虚像W。( α，β )到点mr( α，β )的距离rc ;当反射镜面上的点mr( α，β )位于主入射光线wf与镜面的交点m0处时，设虚像W。( α，β )所在的物点深度为Sd,则Sd为:
Sd=(dc+m0p0)siny
(1) 其中，d。为点W。和点Hltl之间的距离。进一步得到折反射全向成像散焦模型: y=x*fs+ η
(2) 其中，Y是得到的模糊图像，X是全聚焦的清晰图像，Fs是由卷积核形状F和卷积尺度S构成的卷积矩阵，卷积尺度S和深度Sd是一一对应的，η为图像的噪声；根据以上的折反射全向成像散焦模型，再根据编码孔径的卷积核形状F，建立一套各个卷积尺度S的模糊标准，并依据模糊标准分析模糊图像的模糊尺度，找到相匹配的卷积尺度进行反卷积做图像复原。
3.根据权利要求1所述基于主辅协同双光路设计的全向成像方法，其特征在于，所述编码孔径的选择方法为:采用多种编码孔径设计方案分别绘制平方和曲线，从中选择形状尖锐度最高的残差平方和曲线，该残差平方和曲线对应的编码孔径设计方案即为最优方`案。
4.根据权利要求1所述基于主辅协同双光路设计的全向成像方法，其特征在于，对模糊图像所有可能的模糊尺度进行反卷积，采用功率谱统计模型分别求解残差平方和，记录残差平方和最小的那幅结果图像所使用的模糊尺度，就是该模糊图像的正确模糊尺度；所述功率谱统计模型的建立方法为: 若忽略噪声，成像散焦模型在频域下的表示为:
5.根据权利要求1-4之一所述基于主辅协同双光路设计的全向成像方法，其特征在于，步骤三中的所述基于全向全变分最小化的图像复原方法具体为:设全向图像中的点I(i, j)反投影到柱面全景图像中的点P(U，V)，首先找到柱面全景图像中水平和垂直方向的相邻点P(u+l，v)和P (u, v+1),再根据正投影找到全向图像中对应的点I(i+sl, j+tl)和I (i+s2, j+t2),则全向图像中点I(i, j)处的梯度幅值用下式表示:
【文档编号】G02B17/08GK103873773SQ201410076397
【公开日】2014年6月18日 申请日期:2014年3月4日 优先权日:2014年3月4日
【发明者】刘煜, 张茂军, 王炜, 熊志辉, 尹晓晴 申请人:中国人民解放军国防科学技术大学