一种可变结构的双目视觉测量系统及参数确定方法
【专利摘要】本发明一种可变结构的双目视觉测量系统及参数确定方法，通过主动改变双目相机的光轴指向增大测量相机的观测范围，增加了辅助光路，将参考标志引入左右相机主光路，形成内嵌的参考标志，通过内嵌参考标志在像面上的变化，计算相机的姿态变换矩阵，从而完成相机外部参数的实时修正，最后利用离线标定的内部参数、畸变参数和在线获得的外部参数进行双目视觉测量。本发明将外部参数的标定融入每次测量中，每次测量时均需要对外部参数进行重新标定，实现了变结构双目视觉测量，增加了立体相机的灵活性和测量范围，极大地降低了测量成本，同时能够保证测量目标处于视场中心，可以有效提高测量的精度。
【专利说明】-种可变结构的双目视觉测量系统及参数确定方法
【技术领域】
[0001] 本发明属于视觉测量【技术领域】，特别是涉及一种可变结构的双目视觉测量系统及 参数确定方法。
【背景技术】
[0002] 视觉测量技术W计算机视觉为理论基础，融合现代光学、计算机技术、图像处理与 分析技术等现代科学技术为一体，组成光机电一体化的综合测量系统。原理上具有非接触、 实时性强、精度高、信息量丰富等优点，随着相关硬件和软件性能的飞速发展和成本不断降 低，视觉测量的原理优势得到充分发挥，广泛应用于军事、工业、农林业、医学、航空航天等 领域。视觉测量技术包括单目视觉、双目视觉、H目视觉W及多目视觉等多种工作模式，其 中双目视觉是最常见的工作模式，其优点是原理简单、测量精度高。双目视觉测量的基础和 前提是已知相机的几何光学特性参数W及相机在参考坐标系中的位置和姿态，分别称为相 机的内部参数、崎变参数W及外部参数。该些参数一般是未知的，需要通过一定方法获得， 获取相机参数的过程称之为相机标定。任何双目视觉测量系统在工作之前都必须经过相机 标定。
[0003] 在传统的双目视觉测量方法中，将两个相机对称放置，相机光轴与基线的夹角保 持不变。在进行测量时，光轴指向不能够改变，因而双目构型保持不变，称为固定结构的双 目视觉。固定结构双目视觉的缺点是双目相机的公共视场较小，无法实现由远至近较大范 围的测量，并且较难保持测量目标始终位于视场中央，容易丢失目标。当绕相机坐标系中也 旋转相机（即保持基线距（502)不变）时，双目相机的光轴指向和双目构型发生变化，如图 1所示。随着双目相机光轴与基线夹角巧〇3、504)逐渐变小，双目相机的公共视场巧01)由 远至近不断变化，而变结构双目视觉的公共视场是所有该些公共视场之和，与图1 (a)-图 1(d)所示任意固定结构的双目公共视场（501)相比，变结构的双目视觉公共视场更大，测 量范围更广。为了实现由远至近的测量，传统的方法可能需要配置有多组固定结构的双目 相机。
[0004] 变结构双目视觉测量方法比固定结构双目视觉测量方法相比，更接近生物视觉， 有望模仿人的视觉系统，是对立体视觉基础理论的丰富和发展。但是变结构双目视觉测量 方法存在的最大问题是；双目相机构型改变后，需要重新对双目相机的外部参数进行标定， 该极大的限制了变结构双目视觉的应用和推广。
[0005]目前相机标定算法主要分为基于标定祀标的标定方法，自标定方法和基于主动视 觉的方法。基于标定祀标的方法通过建立标定祀标上已知点的H维坐标与其图像坐标的对 应关系，求取相机模型的内部参数、崎变参数和外部参数，根据标定祀标的形式，该方法可 W分为；1)基于3D标定祀标的方法，2)基于2D祀标的方法，3)基于ID标定祀标的方法，其 中基于3D标定祀标的方法精度较高，能够实现双目相机的相对位置和姿态W及相对于参 考坐标系的位置和姿态的标定，但标定过程复杂。自标定方法无需标定块，仅靠多幅图像对 应点之间的关系直接进行标定，克服了传统方法的缺点，灵活性强，缺点是鲁棒性差，精度 不高。主要包括四种方法；1)基于Kruppa方程的方法，2)基于绝对二次曲线的方法；3)基 于分层求解的方法；4)基于场景约束的方法。基于主动视觉的标定方法通过控制主动视觉 平台的运动获得相机的某些运动信息，比如围绕光也的旋转、正交运动、纯平移运动等。该 类算法的优点是算法简单，往往能获得线性解，鲁棒性高；缺点是不能适用于相机运动未知 或无法控制的场合。
[0006]基于W上相机标定的基本理论和方法，提出了许多在动态环境中的双目视觉在线 标定的方法。在基于双目视觉的车载导航系统中，双目相机的外部参数会随着车子的震动 而发生改变，意大利帕尔马大学的研究者为此开发了ARGO系统，在发动机盖上安装参考标 志，用于在行车过程中在线修正双目视觉系统，提高导航的精度。为了解决空间任务中视 觉测量系统中的参数扰动问题，尚洋等提出了通过固连辅助相机来实时校准主相机的方 法，其认为测量相机与辅助相机刚性连接，受到相同扰动干扰。辅助相机对准空间平台上 的参考标志，利用对辅助相机进行标定的结果来修正测量相机。文献《单目主动视觉无人 机导引中摄像机内参数标定的线性方法》提出了无人机导引中单目变焦相机在线标定方 法，相机安装于无人机的底部的主动平台上，着舰时始终对准着舰平面上的不对称分布的 正方形参考标志，单幅图像即可线性标定焦距。文献《Attitudedeterminationoflarge non-cooperativespacecraftsinfinalapproach》提出了一个基于单目的确定大型非合 作航天器姿态的方法（实际上相当于单目相机的外部参数标定）。通过观测目标航天器上 的矩形特征，获取非合作航天器的外部姿态。该些方法与具体应用场合有关，应用范围较 小，无法解决变结构的双目相机外参数实时标定的问题。
【发明内容】
[0007]本发明的目的在于；克服现有技术的不足，提供了一种可变结构的双目视觉测量 系统及参数确定方法，通过主动改变双目相机的光轴指向增大测量相机的观测范围，并通 过参考标志在像面上的变化，计算相机的姿态变换矩阵从而实现双目相机外部参数的在线 修正。
[000引本发明的技术解决方案：
[0009]一种可变结构的双目视觉测量系统，包括左侧相机主光路、右侧相机主光路、辅助 光路和参考标志；其中，所述的左侧相机主光路包括摄影物镜、CCD和第一保护玻璃，其中 摄影物镜和CCD构成左侧相机；所述的右侧相机主光路包括摄影物镜、CCD和第二保护玻 璃，其中摄影物镜和CCD构成右侧相机；所述的辅助光路包括平行光管、第一反射镜、直角 棱镜、第二反射镜、第H反射镜、第四反射镜、第五反射镜、第六反射镜；
[0010] 参考标志发出的光通过平行光管入射到第一反射镜，直角棱镜将经反射镜进入直 角棱镜的光分成两路，其中一路依次经过第五反射镜、第六反射镜、第二保护玻璃的反射， 最后进入右侧相机摄影物镜，成像于右侧相机CCD;另外一路依次第二反射镜、第H反射 镜、第四反射镜、第一保护玻璃的反射，进入左侧相机摄影物镜，成像于左侧相机CCD;
[0011] 被测目标的光线透过第一保护玻璃，经摄影物镜，成像于左侧相机CCDW及透过 第二保护玻璃，经摄影物镜，成像于右侧相机CCD。
[0012] 所述的参考标志为平面标定参照物。
[0013]所述的第一保护玻璃和第二保护玻璃在外表面锻制增透膜，用于透射外界的入射 光束；在内表面锻制分光膜，将第四反射镜和第六反射镜反射的光，进行反射，使之进入左 右两侧摄影物镜。
[0014] 所述的摄影物镜的焦距F数为3。
[0015] 一种适用于双目视觉测量系统的参数确定方法，包括如下步骤：
[0016] (1)离线获取初始数据；
[0017] (Ia)打开主光路，关闭辅助光路，利用立体标定祀标，进行双目相机内部参数、崎 变参数和初始外部参数的精确标定，并记录；
[0018](化）关闭主光路，打开辅助光路，在左右相机像面上检测初始时刻参考标志的图 像坐标，并记录；
[0019] (2)在线修正相机姿态并测量；
[0020] (2a)同时打开主光路和辅助光路，使得测量目标与参考标志同时成像于左右侧相 机CCD上；
[0021] (2b)随着测量目标位置的变化，改变光轴指向，使得测量目标始终位于视场的中 央；
[0022] (2c)在左右侧相机CCD上分别进行被测量目标的特征点提取和当前时刻参考标 志图像坐标的检测，并记录；
[0023] (2d)通过参考标志在左右侧相机CCD上当前时刻相机坐标系与初始时刻相机坐 标系的图像坐标，分别求取左右相机的姿态变换矩阵；
[0024] (2e)利用步骤（2d)得到的姿态变换矩阵，对步骤（Ia)中的初始外部参数进行补 偿，获取当前时刻的外部参数；
[00巧](2f)双目测量系统调整完毕，利用双目视觉测量法进行相应测量。
[0026] 所述步骤（2d)中求取左右相机的姿态变换矩阵的步骤如下：
[0027] (2dl)利用下式计算初始时刻和当前时刻，参考标志在相机坐标系下的方向余 弦：
【权利要求】
1. 一种可变结构的双目视觉测量系统，其特征在于包括：左侧相机主光路（I)、右侧相 机主光路（2)、辅助光路（3)和参考标志（401);其中，所述的左侧相机主光路（1)包括摄影 物镜（IOl)XCD (102)和第一保护玻璃（309)，其中摄影物镜（101)和CCD (102)构成左侧相 机；所述的右侧相机主光路（2)包括摄影物镜（201)、CCD (202)和第二保护玻璃（310)，其 中摄影物镜（201)和CCD (202)构成右侧相机；所述的辅助光路（3)包括平行光管（301)、第 一反射镜（302)、直角棱镜（303)、第二反射镜（304)、第三反射镜（305)、第四反射镜（306)、 第五反射镜（307)、第六反射镜（308); 参考标志（401)发出的光通过平行光管（301)入射到第一反射镜（302)，直角棱镜 (303)将经反射镜（302)进入直角棱镜（303)的光分成两路，其中一路依次经过第五反射镜 (307)、第六反射镜（308)、第二保护玻璃（310)的反射，最后进入右侧相机摄影物镜（201)， 成像于右侧相机CCD(202);另外一路依次第二反射镜（304)、第三反射镜（305)、第四反 射镜（306)、第一保护玻璃（309)的反射，进入左侧相机摄影物镜（101)，成像于左侧相机 CCD(102)； 被测目标的光线透过第一保护玻璃（309)，经摄影物镜（101)，成像于左侧相机 CXD (102)以及透过第二保护玻璃（310)，经摄影物镜（201)，成像于右侧相机CXD (202)。
2. 根据权利要求1所述的一种可变结构的双目视觉测量系统，其特征在于：所述的参 考标志（401)为平面标定参照物。
3. 根据权利要求1所述的一种可变结构的双目视觉测量系统，其特征在于：所述的第 一保护玻璃（309)和第二保护玻璃（310)在外表面镀制增透膜，用于透射外界的入射光束； 在内表面镀制分光膜，将反射镜（306)和反射镜（308)反射的光，进行反射，使之进入左右 两侧摄影物镜。
4. 根据权利要求1所述的一种可变结构的双目视觉测量系统，其特征在于：所述的摄 影物镜的焦距F数为3。
5. -种适用于权利要求1所述的双目视觉测量系统的参数确定方法，其特征在于包括 如下步骤： (1) 离线获取初始数据； (la) 打开主光路，关闭辅助光路，利用立体标定靶标，进行双目相机内部参数、畸变参 数和初始外部参数的精确标定，并记录； (lb) 关闭主光路，打开辅助光路，在左右相机像面上检测初始时刻参考标志的图像坐 标，并记录； (2) 在线修正相机姿态并测量； (2a)同时打开主光路和辅助光路，使得测量目标与参考标志同时成像于左右侧相机 CCD 上； (2b)随着测量目标位置的变化，改变光轴指向，使得测量目标始终位于视场的中央； (2c)在左右侧相机CCD上分别进行被测量目标的特征点提取和当前时刻参考标志图 像坐标的检测，并记录； (2d)通过参考标志在左右侧相机CCD上当前时刻相机坐标系与初始时刻相机坐标系 的图像坐标，分别求取左右相机的姿态变换矩阵； (2e)利用步骤（2d)得到的姿态变换矩阵，对步骤（Ia)中的初始外部参数进行补偿，获 取当前时刻的外部参数； (2f)双目测量系统调整完毕，利用双目视觉测量法进行相应测量。
6. 根据权利要求5所述的双目视觉测量系统的参数确定方法，其特征在于：所述步骤 (2d)中求取左右相机的姿态变换矩阵的步骤如下： (2dl)利用下式计算初始时刻和当前时刻，参考标志在相机坐标系下的方向余弦：
其中，K表示内参数矩阵；（<、< )和（mj、4 )表示初始时刻和当前时刻，参考标 志在(XD上的图像坐标，j表示参考标志上第j个点,取正整数； (2d2)利用下式计算姿态变换矩阵R21 : R21 = ABt (BBt) 其中，A =Iiv12 V22 ... Vi2LB=Iiv11 V21 ... Vi1]。
7. 根据权利要求6所述的双目视觉测量系统的参数确定方法，其特征在于：所述步骤 (2e)中获取当前时刻的外部参数的具体方式如下： (2el)通过离线标定获得初始时刻相机坐标系与参考坐标系的转换关系[Rlb Tlb]:
其中，（Xel, y# zj表示初始时刻,相机坐标系中的点坐标；(xb, yb, zb,)表示参考坐标 系中的点坐标； (2e2)已知当前时刻相机坐标系与初始时刻相机坐标系之间变换矩阵R21，可得二者 的坐标变换关系：
其中，（Xmyc^zel)和（Xmyc^ze2)分别表示初始时刻和当前时亥lj，相机坐标系中的点 坐标； (2e3)根据步骤（2el)和步骤（2e2)中得到的转换关系，计算得到当前时刻相机坐标系 与参考坐标系的变换关系：
(2e4)获取当前时刻的外部参数：
【文档编号】G01C11/00GK104359461SQ201410638595
【公开日】2015年2月18日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】曾峦, 翟优, 单秋沙, 杜小平, 方秀花, 熊伟, 李刚, 张雅声, 郑志奇 申请人:中国人民解放军装备学院