专利名称：折反射全向相机镜面位姿的单图自标定方法
技术领域：
本发明涉及计算机视觉领域中全向相机的参数标定方法。具体来说是一种获得折反射全向相机中反射镜面与透视相机之间的旋转矩阵和平移向量等位姿参数的方法。
背景技术：
能覆盖水平方向360度视场的折反射全向相机弥补了传统相机视场受限的不足， 在移动机器人导航、视频会议、远程教育、视频监控和场景重建等领域得到了广泛的应用。 折反射全向相机一般由一个普通透视相机和一个反射镜面组成。它们的共同特点是来自物体的入射光线先经过镜面反射后再进入透视相机。决定全向相机特性的参数主要有镜面参数、透视相机参数以及镜面和透视相机之间的位姿参数。全向相机标定方法大致分为如下两类一类不再把全向相机各个组成部分的参数单独考虑，而是将其总的成像特性用泰勒级数模型表示，通过拍摄多幅标定模板的图像，根据特征点的对应关系获得泰勒级数模型的参数。这类标定方法适合相机和镜面参数未知，但镜面和透视相机安装精度较高，轴向误差很小的情况。如鱼眼相机、单视点折反射全向相机等。当安装误差较大时，单视点折反相机也变成了非单视点。另一类方法可以针对非单视点折反射相机，它还是将全向相机的参数分为镜面参数、透视相机参数以及位姿参数，全部或者部分进行标定。文献l(Jonathan Fabrizio，Jean-Philippe Tarel and Ryad Benosman, "Calibration of Panoramic Catadioptric Sensors Made Easier，，，in Proceedings of the Third Workshop on Omnidirectional Vision, pp.45-52, (2002)) 利用镜面的外边缘和专门设计的底部边缘作为标定物，从镜面的边界图像上恢复出未知的 CCD相机内参以及镜面与相机之间的位置关系。但专门设计的镜面底部边缘无疑占用了胃身寸^；· 2(Mashit￡i，Τ. ，lwai，Y. and Yachida, Μ. "Calibration method for misaligned catadioptric camera，，，in IEICE-Trans，E89-D，1984-1993 (2006))禾Ij 用镜面上边缘以及多条无穷远直线的像来估计镜面与相机的位置关系。但是这种方法仅仅适合于镜面中心轴与摄像机光轴不重合误差较小的情况，并且还需要准备由多条直线构成的标定模板。文献 3 (Morel，0.，Fofi，D.，“Calibration of catadioptric sensors by polarization imaging，，，in Proc. IEEE International Conference on Robotics and Automation,pp. 3939-3944(2007))利用偏振图像来标定镜面参数，它需要拍摄三幅不同的偏振图像。文献 4 (Goncalves，N.，Arauj 〇，H.，“Estimating parameters of noncentral catadioptric systems using bundle adjustment”， in Computer Vision and Image Understanding, pp. 11-28(2009))基于场景中预先布置好的标定模板，采用非线性优化的方法(光束平差法)标定出透视相机内参，镜面参数以及镜面与相机之间的位置关系。在实际应用中，折反射全向相机的镜面参数一般已知而且加工精度较高，误差很小可以忽略。透视相机参数也可以通过很成熟的相机标定方法事先获得。而镜面和透视相机之间的位姿参数，受安装精度的限制很难得到保证。因此需要对该参数进行标定。
发明内容
针对现有标定方法的不足，针对镜面参数和相机内参已知的情况，本发明的目的在于提供一种折反射全向相机镜面位姿的单图自标定方法，不需要任何其他标定物，只需折反射相机拍摄的一幅图像就能完全确定反射镜面与透视相机之间相对位置关系的标定方法。本发明采用的技术方案的步骤如下(1)利用折反射全向相机拍摄一幅图像，确保图像中反射镜面边缘成像清晰；(2)利用Carmy算子，分别检测出图像中反射镜面边缘和相机镜头边缘的成像边界，利用这两组椭圆成像边界像素点构成的点集，分别拟合出两个椭圆的方程；两个椭圆系数分别用矩阵表示为I和Q C1;(3)根据反射镜面边缘成像的椭圆方程和已知的镜面以及透视相机参数，估计反射镜面与透视相机之间的两组候选位姿参数；(4)将实际相机镜头边缘和相机投影中心的距离hi在取值范围内离散化，对每一个Ii1，利用获得的两组候选位姿参数，分别生成两组镜头预测成像；(5)比较两组镜头预测成像和实际镜头成像，平均误差最小的镜头预测成像所对应的位姿参数即为所求的镜面位姿参数，同时它所对应的h就是实际镜头边缘和相机投影中心的距离。所述的步骤(3)中候选位姿参数的估计步骤为令Ie = KTIK，其中K为已知的透视相机内参矩阵，将进Ic进行特征值分解为Ic = VAVt，其中Λ =CliagiA1, λ 2, λ 3}为特征值矩阵，V = (vi; V2, V3)为特征值对应的特征向量矩阵。则镜面坐标系和摄像机坐标系之间的旋转变换为Rm = VR ；
其中R为一旋转矩阵
权利要求
1.一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，该方法的步骤如下(1)利用折反射全向相机拍摄一幅图像，确保图像中反射镜面边缘成像清晰；(2)利用Carmy算子，分别检测出图像中反射镜面边缘和相机镜头边缘的成像边界，利用这两组椭圆成像边界像素点构成的点集，分别拟合出两个椭圆的方程；两个椭圆系数分别用矩阵表示为I和％；(3)根据反射镜面边缘成像的椭圆方程和已知的镜面以及透视相机参数，估计反射镜面与透视相机之间的两组候选位姿参数；(4)将实际相机镜头边缘和相机投影中心的距离Ii1在取值范围内离散化，对每一个h1; 利用获得的两组候选位姿参数，分别生成两组镜头预测成像；(5)比较两组镜头预测成像和实际镜头成像，平均误差最小的镜头预测成像所对应的位姿参数即为所求的镜面位姿参数，同时它所对应的Ii1就是实际镜头边缘和相机投影中心的距离。
2.根据权利要求1所述的一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，所述的步骤(3)中候选位姿参数的估计步骤为令Ie = KTIK，其中K为已知的透视相机内参矩阵，将进Ic进行特征值分解为Ic = VAVt，其中A = CliagU1, K，^3I为特征值矩阵，V= (Vl, V2, V3)为特征值对应的特征向量矩阵，则镜面坐标系和摄像机坐标系之间的旋转变换为
3.根据权利要求1所述的一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，所述的步骤(4)两组镜头预测成像生成的步骤为将摄像机坐标系下的半径为！^且其中心距离光心Ii1的镜头边缘上的L个均勻采样点
4.根据权利要求1所述的一种折反射全向相机镜面位姿的单图自标定方法，其特征在于，所述的步骤(5)中镜面位姿参数选择的步骤为从实际镜头图像的椭圆中心Utl每隔固定的角度向椭圆边界= 0，1，2)拉W条射线，分别与三个椭圆相交于ukl (k = 0，1，2 ;1 =0，1，2··· W-1)，由下式来定义平均误差
全文摘要
本发明公开了一种折反射全向相机镜面位姿的单图自标定方法。它首先利用所采集的图像中镜面外边缘上的像点所拟合而成的椭圆，计算获得两个候选位姿。利用这两个候选位姿分别生成透视相机镜头边缘的两组预测成像。将这两组预测成像和实际镜头成像比较，差别小的预测成像所对应的候选位姿即为实际镜面位姿。标定过程中必需的实际镜头边缘和相机投影中心的距离是通过优化搜索的方法获得的。本发明克服了已有标定方法的不足，在已知镜面参数和透视相机参数的情况下，不需要任何其它的标定物，只需要折反射全向相机的一幅自拍图像即可估计出反射镜面与透视相机之间的旋转矩阵和平移向量。本标定方法兼具抗干扰性强、操作简单、精度较高的特点。
文档编号G06T7/00GK102184545SQ20111014946
公开日2011年9月14日 申请日期2011年6月2日 优先权日2011年6月2日
发明者孙波, 项志宇 申请人:浙江大学