光场相机外参数标定装置及方法
【技术领域】
[0001] 本发明涉及计算机视觉、计算摄像学和光学工程领域，具体涉及一种基于颜色编 码板的光场相机外参数标定装置和方法，能够标定多个双平面光场之间的旋转和平移关 系。
【背景技术】
[0002] 光场成像理论是计算摄像学领域的研究热点，据此国外研究机构设计了多种各具 特色的单视光场成像系统，其中基于微透镜阵列的光场相机成为主流的光场采集设备。但 受限于成像原理和传感器制备工艺，单视光场成像系统对目标光场信号采样的完备性较 差，导致其存在视场角有限、景深不足、位置和角度分辨率低、深度恢复精度较差、对遮挡不 鲁棒等缺点。因此，将光场计算理论从单视点延拓至多视点可有效解决单视光场面临的问 题。
[0003]多视点光场研究面临的首要问题是光场相机的外参标定。Birklbauer等引入一个 光场相机四维运动模型，在固定旋转步进和聚焦平面深度的情况下，依据该模型完成了多 个光场的校准和频域融合结构，但其不适用于光场相机平移运动的情况。Xue等在精简光场 相机模型的基础上推导了多个光场相机间的平面变换关系，在光场相机运动情况已知的条 件下实现了高质量的多视光场拼接与融合，但在光场相机运动情况未知时无法实现光场相 机间平面变换。因此，在未知光场相机旋转角度和平移距离情况下，现有算法不能获得光场 相机的外参。
【发明内容】
[0004] 为了克服现有技术的不足，本发明提供一种基于颜色编码板的外参数标定装置和 算法，能够在不依赖固定的光场相机运动平台的情况下，计算光场相机的外部参数。
[0005] 本发明解决其技术问题所采用的技术方案是:一种外参标定装置，包括一张颜色 编码板和一个角度旋转台；将颜色编码板放置于光场相机主透镜前方2m以内，并将颜色编 码板固定在角度旋转台上;所述的颜色编码板由颜色编码纸和微透镜阵列组成;颜色编码 纸上打印至少2*3个标定圆，标定圆颜色在水平和竖直两个方向上分别取红绿蓝通道的两 种，标定圆上的打印点沿水平和竖直方向在0-255范围内均匀采样，相邻标定圆在同一方向 上所取的颜色通道相异;微透镜阵列放置于颜色编码纸靠近光场相机方向一侧，使颜色编 码纸上每个标定圆位于一个微透镜正后方，且标定圆直径小于微透镜直径。
[0006] 所述标定圆内相邻打印点的最小间S
其中，f'表示颜色编码纸 和颜色编码板上微透镜光心的距离，d表示光场相机内微透镜直径，Μ表示角度采样数，即空 间中同一物点在图像传感器上被记录的次数，k=min(a)，设一个微透镜后方成像半径为r， 微透镜单元中心到相邻微透镜的空隙中心的距离为a，则比例因子α满足α · r2a。
[0007] 所述颜色编码纸和颜色编码板上微透镜光心的距离f'与传感器上单个圆斑对应 的打印点数目nP的关系如下：
[0008]
[0009]
[0010]
[0011]
[0012]
[0013]其中，yo表示打印点在Y轴上的坐标，为颜色编码纸上单个标定圆内的两个打 印点，Qi发出的光线穿过主透镜下边缘，Q3发出的光线穿过主透镜上边缘，dr表示颜色编码 板上微透镜直径，Td表示颜色编码板中微透镜阵列透镜光心所在平面和光场相机主透镜光 心的距离，D表示光场相机主透镜通光孔径的直径，α〇表示颜色编码板上微透镜中心和光场 相机主透镜中心的连线与相机光轴的夹角，<^、€1 3分别表示透过其前方微透镜发出的 光线和相机光轴的夹角。
[0014] 所述单个圆斑对应打印点个数在横向和纵向上均不大于10。
[0015] 所述颜色编码板上标定圆的最小中心Κ
其中，g表示光 场相机内部传感器和微透镜阵列中微透镜光心所在〒_间跟，z表不光场相机内微透镜阵 列中微透镜光心所在平面和虚拟平面间距，F表示虚拟平面和主透镜所在平面间距，D表示 光场相机主透镜通光孔径直径，上方标定圆发出的上边缘光线和与上方标定圆相邻的下标 定圆发出的下边缘光线交于一点，Td表示颜色编码板中微透镜阵列透镜光心所在平面和光 场相机主透镜光心的距离。
[0016] 本发明还提出一种光场相机外部参数标定方法，包括以下步骤：
[0017] 步骤1，将颜色编码板放置于角度旋转台，在每个旋转角度上记录对应打印点所发出 的光线信息，旋转多个角度记录所有打印点发出的光线;角度旋转台步进小于等于颜色编码纸 上单个打印点可被分辨的角度
，其中，FoV为微透镜视场角，
d'为标定圆直径，f'表示颜色编码纸和颜色编码板上微透镜光心的距离，nr为标定圆直径 范围内可打印点数；
[0018] 步骤2,以颜色编码板所在坐标系为XYZ，其中微透镜阵列所在平面为Χ0Υ，原点0位 于微透镜阵列平面面向光场相机拍摄场景一侧，纵向为X轴，横向为Y轴，颜色编码板所在平 面的法向量为Z轴;拍摄颜色编码板，记录标定圆发出光线的角度，包括以下步骤：
[0019] (1)放置颜色编码板使其初始位置所在平面垂直于相机光轴；
[0020] (2)利用步进电机使颜色编码板的Χ0Υ面绕X轴正向和负向各旋转固定步进，旋转 多次以后使标定圆上所有打印点透过微透镜发出的光线被记录；
[0021 ] (3)根据颜色编码板相对其初始位置的旋转角度ξΕ (-90°，90° )，得到标定板法向 量和相机光轴的夹角η = ξ;
[0022] (4)提取传感器上圆斑中心，根据内参解码，计算其所在微透镜中心坐标，通过光 线传播和折射矩阵，计算光场相机主透镜外部光线在Υ0Ζ面上的投影和相机光轴的夹角β，
[0023]
.
[0024] 其中Α为折射矩阵，Tt为传播矩阵，F为主透镜焦距，g表示光场相机内部传感器和 微透镜阵列中微透镜光心所在平面间距，z表示光场相机内微透镜阵列中微透镜光心所在 平面和虚拟平面间距，Ρο为CCD上圆斑中心坐标，Pi表示圆斑所在微透镜中心坐标，P 2表示解 码出的光线与主透镜平面交点的坐标；
[0025] (5)计算光线在Υ0Ζ面的投影与Z轴的夹角γ =η+β;
[0026] (6)将颜色编码板绕Ζ轴旋转90°，重复步骤(2)~(5)，计算光线在Χ0Ζ面的投影和Ζ 轴的夹角；
[0027] 步骤3,在每一步拍摄的图像中，将每个标定圆在传感器上成像圆斑的颜色拟合为 一个颜色值，作为标定圆上不同打印点发出光线的颜色信息;将颜色编码板上各个方向发 出光线的颜色和角度对应关系作为光线的先验信息；
[0028] 步骤4,拍摄带有颜色编码板的场景，根据传感器上圆斑颜色拟合的颜色值，查找 先验信息中其匹配的光线在Χ0Ζ面和Υ0Ζ面上投影与Ζ轴的夹角，结合圆斑对应标定圆前方 微透镜中心的坐标，建立ΧΥΖ坐标系下的出射光线方程；
[0029] 步骤5,建立入射光线方程，计算传感器记录图像上圆斑中心的位置，结合内参查 找其所在微透镜中心坐标，根据两点坐标获得光线双平面坐标，通过传播、折射矩阵，计算 光线在主透镜外双平面uvst的方程，并将其转换到相机所在的XiYiZi坐标系下；
[0030] 步骤6,根据出射光线方程和入射光线方程匹配对建立方程；
[0031] 以光场相机所在坐标系为XiYiZi，其中传感器所在平面为XiOiYi，原点(^位于传感 器平面左上角(面向光场相机拍摄场景观察），纵向为心轴，横向为心轴，光轴方向为Z 1;假设 坐标系坐标系XYZ的X轴夹角为ω，Y轴夹角为於，ζ轴夹角为κ，ΧΥΖ坐标系原点变换 到X i Y i Z i坐标系原点的位移为（Τ χ，T y，Τ ζ )，则两个坐标系之间的旋转矩阵
[0032] 在ΧΥΖ坐标系上任意一条直线表示为l(x，y，z，rx，ry，r z)，（x，y，ζ)表示1上任意一 点在ΧΥΖ下的坐标，[rx，ry，rz]T表示1的方向向量;直线1转换到ΧιΥιΖι坐标系下的坐标表示 为li(x'，y'，z'，rx'，ry'，rz'），（x'，y'，z'）表示点(x，y，z)在ΧιΥιΖι下的