一种聚焦光场相机内外参数标定方法
【技术领域】
[0001 ]本发明属于光场相机标定技术领域，具体涉及一种聚焦光场相机的内外参数标定 方法。
【背景技术】
[0002] 光场相机，基本机构和原理不同于传统相机，置一个微透镜阵列于主镜头和探测 器之间，每个微透镜接收经主透镜进入的光线后，然后将不同方向的光线聚焦到微透镜下 的不同位置的像素。这样，传感器所有像素被MXN的微透镜阵列划分为MXN个子图像，子图 像中每个像素都对应着某个特定方向的光线，代表着目标某位置的成像。通过微透镜的划 分，探测器同时记录了二维的强度信息和二维的方向信息，构成光场的四维数据。相机不仅 能够记录投射到相机探测器上光线的强度信息，还能够分辨光线的方向，从而实现四维光 场的记录。虚拟焦平面是相机探测器(CCD)关于光场相机的整个成像系统在物空间的共辄 面。虚拟焦平面关于主透镜成像系统有一个共辄面，由于没有成像探测器记录这一像，称作 虚拟像面，虚拟像面关于微透镜阵列也有一个共辄面，即相机的CCD。虚拟光源点，经过这两 个成像单元，最后在CCD上成像。光场相机可根据微透镜与CCD的位置关系分为传统光场相 机和聚焦光场相机，传统光场相机中微透镜阵列与CCD的距离等于微透镜的焦距，聚焦光场 相机中该距离不等于微透镜的焦距。
[0003] 要根据光场相机拍摄的原始图像，确定各光线的空间方向及位置，获取被拍摄目 标的三维信息，需要通过标定技术确定光场相机的内外参数。传统的相机标定方法如直接 线性变换方法(DLT变换)和径向一致约束法(RAC)。标定过程中需要运用到精密加工的标定 模块，标定模块可以是一维、二维和三维的，通过标定模块上已知的三维坐标点与其图像对 应点之间的对应关系，可以计算出相机的内部和外部参数，估计相机参数的精度较高，可以 使用任意的相机模型来进行标定。目前光场相机标定研究较少，Yunsu Bok提出了基于传统 相机标定方法的光场相机的标定方法，该标定法使用标定模块原始图像中的线性特征来进 行标定。然而，对于聚焦光场相机，光场原始图像有可识别特征点，这些特征点可直接用于 聚焦光场相机的标定，因此不需要使用线性特征。同时，由于聚焦光场相机与传统光场相机 的结构差异，Yunsu Bok提出了基于传统相机标定方法不能进一步计算所有聚焦光场相机 内部参数，包括主透镜（主面)与微透镜阵列的距离L，微透镜阵列与CCD的距离S v以及微透 镜阵列与虚拟像面的距离lm，因而该方法不能用于聚焦光场相机的标定。Ole Johannsen提 出基于传统相机标定方法的聚焦光场相机的标定方法。该标定法使用标定模块原始图像， 建立了基于小孔相机模型的标定模块上已知三维坐标点与其图像对应点之间的对应关系， 通过序列二次规划(SQP)算法优化目标函数来求解该模型，从而计算出相机的内部和外部 参数，然而该方法优化求解时需要较为精确的初始值，否则容易出现局部最优解。
【发明内容】
[0004] 发明目的：针对已有的标定技术无法精确获得聚焦光场相机的全部内外参数，为 了能够计算光线的空间方向及位置或被拍摄目标的空间三维信息，本发明提出了一种聚焦 光场相机内外参数标定方法。
[0005] 基本思路:聚焦光场相机拍摄标定板（印有国际象棋棋盘图案的平板）的图像，将 聚焦光场相机主透镜和各微透镜近视为薄透镜，先根据微透镜成像原理，将光场相机原始 图像上已知的像点（棋盘图案角点）转化成虚拟像面上虚拟像点，再根据主透镜成像原理， 建立虚拟像点与标定板上对应角点之间的数学模型，该模型可利用张正友相机标定算法进 行求解，获得待标定的外部参数和相机部分内部参数，再利用聚焦光场相机F数匹配这一特 性，进一步计算出相机的全部内部参数。
[0006] -种聚焦光场相机内外参数标定法，其特征在于，包括如下步骤：
[0007] 步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标;固定聚焦光场相机，转动标定板， 改变标定板平面相对于相机探测面的夹角，从不同角度拍摄并保存η张(η 2 3,通常为4-6) 标定板图像;记录标定板图像上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下 的坐标，以及角点Μ在世界坐标系下的坐标；
[0008] 该步骤一在图像上定义图像坐标系υ-ο-ν，ο点称为相机光心，X轴和Υ轴与图像的X 轴与Υ轴平行，Ζ轴为相机的光轴，它与图像平面垂直，由点0与Χ，Υ，Ζ轴组成的直角坐标系为 相机坐标系。在环境中选择一个基准坐标系来描述相机的位置，并用它描述环境中任何物 体的位置，该坐标系称为世界坐标系，由Xw，Yw，Zw轴组成。标定板使用棋盘格图案，为保证 标定板图像上的角点坐标能够被精确识别，用高清打印机打印高清晰度的标定板图案，将 标定板和光场相机置于光学平台上，二者相距一定距离，调整标定板的位置，使得光场相机 能够拍摄到全部标定板的图像。变换标定板和光场相机的相对放置角度，拍摄并保存若干 张不同角度下的标定板原始图像(相机CCD直接获得的未经处理的图像）。记录标定板图像 上的各角点Μ的像点m以及对应的微透镜中心在图像坐标系下的坐标，以及角点Μ在世界坐 标系下的坐标。
[0009] 步骤二、计算各虚拟像点m'在图像坐标系下的坐标：
[0010] *m \ J
'm V ^·ν J
[0011] 式中，lm是微透镜阵列与CCD的距离，Sv是虚拟像面与微透镜阵列的距离，（Mu，Mv) 是微透镜中心在图像坐标系下的坐标；
[0012] 将微透镜等效成小孔模型，两个像点过微透镜中心的成像光线交于虚拟像点处， 根据微透镜的放大率匕计算公式，利用步骤一得到的两像点在图像坐标系下的u坐标m、 U2， 微透镜中心在图像坐标系下的U坐标Mul、Mu2计算虚拟像点m '在图像坐标系下的坐标：
[0015]式中，（U，V)和(Mu，Mv)分别是像点m及其对应微透镜中心在图像坐标系下的坐标。 [0016]步骤三、建立标定板上角点Μ与虚拟像点m'的标定模型：
[0013
[0014
[0017] .s-m' = \[R t]M
[0018] 基于张正友相机标定法求解该模型，获得聚焦光场相机内部参数矩阵A和外部参 数[Rt]，其中[Rt]为相机坐标系与世界坐标系的坐标转换矩阵，R是旋转变换矩阵，t是平移 变换矩阵，A是基于小孔模型的聚焦光场相机主透镜物像转换矩阵；s是比例系数，?'是各 虚拟像点m'在图像坐标系下的坐标[u，ν，1 ]τ，Μ是对应角点Μ在世界坐标系下的坐标[Xw， Yw,l]T；
[0019] 将主透镜简化成小孔模型，则角点m与虚拟像点m'的对应关系可由下式确定，
[0020] sfii:' = A[Rt]M
[00211引入单应性矩阵H，上式进一步简化为：
[0022] = HM
[0023] 其中，
[0024]
[0025]
[0026]
[0027] 式中s是比例系数，A是聚焦光场相机主透镜成像的物像(M-m'）转换矩阵，[R，t]是 世界坐标系与相机坐标系的坐标变换矩阵，其中R是旋转变换矩阵，t是平移变换矩阵。(uo， vo)是主透镜的光心点在图像坐标系下的坐标。L是主透镜与微透镜阵列之间的距离。dx和 dy是各像素的尺寸大小，q是图像坐标系中两图像坐标轴的不垂直性倾斜角(两图像坐标轴 夹角与直角之差）。'是各虚拟像点m'在图像坐标系下的坐标[u，v，1 ]τ，:麻:是对应角点Μ在 世界坐标系下的坐标[Xw，Yw，l]T。基于张正友标定法求解得到单应性矩阵Η，内部参数矩阵A 和外部参数矩阵[R，t]。
[0028] 步骤四、根据聚焦光场相机F数匹配这一特性，计算得主透镜与微透镜阵列的距离 L，微透镜阵列与(XD的距离Sv以及虚拟像面与微透镜阵列的距离l m;
[0029] 利用步骤三中得到的α，即（L-Sv)/dx和步骤二得到的Mlm/Sv)，进一步计算聚焦 光场相机其他内部参数(相机内部各部件相对位置参数），即主透镜(主面)与微透镜阵列的 距离L，微透镜阵列与CCD的距离S v以及虚拟像面与微透镜阵列的距离lm，需要增加约束条 件。根据聚焦光场相机主透镜和微透镜的F相等，即主透镜的像方出瞳孔径的直径D，微透镜 阵列上各微透镜的直径d，主透镜(主面)与微透镜阵列的距离L以及虚拟像面与微透镜阵列 的距离lm满足，
[0030]
[0031] 最终可得：
[0032]
[0033] 有益效果:本发明具有如下优点：
[0034] (1)能够精确标定聚焦光场相机的全部内外参数，而现有的标定技术无法实现这 一目的；
[0035] (2)基于张正友传统标定法实现的标定技术，具有较好的鲁棒性、实用性和较高的 精度。
【附图说明】
[0036] 图1是聚焦光场相机标定装置图；
[0037]图3是像点-虚拟像点变换原理图；
[0038]图2是聚焦光场相机标定模型原理图；
[0039]图4是聚焦光场相机F数匹配原理图；
[0040] 其中，1 一标定板、2-光场相机、3-计算机、4一主透镜、5-微透镜阵列、6-探测 面(CXD)、7-固定夹、8-调整架、9 一支架、10-光学平台、11 一角点、12-虚拟像点、13-微 透镜中心点、14 一像点、15-光线、16-虚拟像面、17-光阑、18-宏像素。
【具体实施方式】
[0041] 下面结合附图和具体实施例，进一步阐明本发明。应理解这些实施例仅用于说明 本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各 种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0042] -种聚焦光场相机内外参数标定法，包括如下步骤：
[0043]步骤一、在图像上定义图像坐标系U-0-V，每一像素的坐标分别是该像素在数组中 的列数和行数，（u，v)是以像素为单位的图像坐标系坐标。0点称为相机光心，X轴和