专利名称：变焦镜头标定方法
技术领域：
本发明涉及光学技术领域，尤其涉及一种变焦镜头标定方法。
背景技术：
虚拟演播室系统中一个关键技术就是摄像机跟踪技术，跟踪技术包括图 像跟踪，机械传感器跟踪，电磁跟踪等技术。其中机械跟踪包含两个关键技 术，初始定位技术和跟踪技术。跟踪技术主要是利用传感器传回的角度值， 对摄像机的姿态(包括摄像机的位置和朝向)进行修改，使得当摄像机姿态 发生变化时，虚拟场景能够随之发生相应的改变，和实际场景(比如主持人) 的变换保持一致。同时，当摄像机镜头变焦时，虚拟场景应该随之进行相应 的放大或缩小。本文描述的变焦镜头的标定技术，提出了一种测量摄像机镜 头内部参数的方法，使得当实际摄像机焦距发生改变时，虚拟摄像机也能做 相应的改变，使重新渲染的虚拟场景能够和真实场景的变化保持一致。
如上所述，作为虚拟演播室的关键技术的摄像机跟踪技术，跟踪是否准 确直接影响到虚拟场景和真实场景的叠加效果。若跟踪不准确，则来自摄像 机的视频图像和图文工作站渲染的虚拟场景会出现错位的现象，导致虚拟场 景^^人一种不真实的感觉，使得虚拟演播室失去了意义。
目前普遍使用的跟踪技术是机械传感跟踪。这项技术中有两项很重要的
关键技术初始定位和变焦镜头的标定。初始定位是计算摄像机的初始姿态， 为后期跟踪提供一个基础，该基础的好坏会影响到跟踪的准确性。然而变焦 镜头的标定，则同样是非常关键的技术。在跟踪过程中一旦摄像机镜头的焦 距发生改变，则需要修改镜头内部参数，这些内部参数的准确性，直接影响 到虛拟场景放大(或缩小)倍数与实际场景是否一致，并且放大(或缩小) 后是否还能够和实际场奈很好的重合。
摄像机变焦镜头标定技术主要目的是测量摄像机内部参数，即确定摄像(1)
机内部参数矩阵《
<formula>formula see original document page 5</formula>
如图1所示，平面a表示摄像机的成像平面(b和a是同一个平面)。A 点表示z轴与成像平面的交点，也就是光心在图像平面上的位置。K矩阵中的 /表示镜头的焦距，A和办如图1所示，表示一个像素的宽度和高度(以mm 为单位)。f/。和r。则表示光心在图像平面上的位置。
目前国际上对于定焦(焦距不改变)镜头的标定技术已经比较成熟，大 多采用图像分析的方法，比如利用图2中所示的标志板来进行计算。这种标 定方法在镜头焦距比较短的时候，效果很好，但是当镜头焦距达到80mm甚 至是更长时，标定的不确定度会比较大。 一般的摄像机最长焦距都可以达到 160mm以上，因此直接用这种方法来处理长焦镜头是不太合适的。
发明内容
本发明要提供一种变焦镜头的标定方法，实现真实摄像机的焦距变化时，
虛拟摄像机对真实摄像机的准确跟踪。
为达到上述目的，本发明提供一种变焦镜头的标定方法，包括以下步骤 对于一标准参照物，'获取变焦镜头在不同焦距下拍摄的图像； 根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿
矩阵的对应关系。
其中，所述标准参照物为标志板。
其中，所述获取变焦镜头在不同焦距下拍摄的图像的步骤具体包括 将变焦镜头的焦距调至最小，拍摄当前图像。
增加焦距直至焦距的最大值，在焦距增加过程中，记录每次焦距增加时 的变焦脉沖，并进行图像采集。
其中，所述变焦镜头在不同焦距下拍摄图像时，所述变焦镜头的位置保 持不变。
其中，所述根据不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系的步骤具体包括
读取所述变焦镜头的焦距最小时拍摄的图像； 根据所述焦距最小时拍摄的图像获取所述变焦镜头的初始姿态； 读取下一副幅图像以及对应的变焦脉冲值；
根据所述图像获取所述变焦脉冲值下，所述镜头的内部参数以及相对于 所述初始姿态的补偿矩阵。
其中，所述初始姿态包括所述变焦镜头的初始位置坐标，以及初始的旋 转矩阵和平移矩阵；所述相对于所述初始姿态的补偿矩阵包括与所述初始的
旋转矩阵和平移矩阵对应的变焦镜头光轴偏移引起的旋转补偿矩阵和平移补 偿矩阵。
其中，所述获取不同焦距与镜头内部参数和补偿矩阵的对应关系后，还 包括步骤
根据所述不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像 才几的变焦进行3艮踪。
其中，所述根据不同焦距与镜头内部参数和补偿矩阵的对应关系，对真 实摄像机的变焦进行跟踪的步骤具体为
获取真实摄像机的变焦脉冲值；
根据所述变焦脉沖值获取对应的镜头内部参数和补偿矩阵，并应用于虚 拟摄像机的变焦镜头中，'对真实摄像机的变焦进行跟踪。
其中，所述根据所述变焦脉冲值获取对应的镜头内部参数和补偿矩阵的 步骤具体为
对于所述对应关系存在的变焦脉沖值，直接查询所述变焦脉冲值对应的 镜头内部参数和补偿矩阵；
对于所述对应关系不存在的变焦脉沖值，利用已经存在的变焦脉冲值与 镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参 数和补偿矩阵。
与现有技术相比，本发明具有以下优点
从分析变焦镜头的结构着手，研究变焦镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数和补偿矩阵进行修正，实现了对真实摄像机 的准确跟踪。
图l是现有技术中摄像机变焦镜头的成像平面示意图； 图2是现有技术中标志板的示意图； 图3A是现有技术中变焦镜头结构示意图； 图3B是现有技术中变焦镜头主光轴发生旋转的示意图； 图4是本发明中变焦镜头标定方法的流程图； 图5是本发明中变焦镜头在不同焦距下拍摄的图像的流程图； 图6是本发明中获取不同焦距与镜头内部参数和补偿矩阵的对应关系的 流程图。
具体实施例方式
以下结合附图和实施例，对本发明的实施方式进行详细说明。 本发明中一种变焦镜头标定方法，从分析变焦镜头的结构着手，研究镜 头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数进行修正，以 实现对真实摄像机的准确跟踪。
为了更加清楚的说明本发明的实施方式，首先对目前变焦镜头的特性进 行说明。目前变焦镜头结构示意图如图3A所示，其中整个变焦镜头由ABCD 四个透4fe组所组成，其中A、 D分别为前后固定组，而B、 C透^i且在变焦时 会发生移动，实现焦距的改变。整个透镜组从效果上来看，可以等效为只有
一个透#;的透#:组，该it^竟所在的位置即为整个系统的等效主面。在实际应
用中的安装有变焦镜头的摄像机的坐标系就建立在该等效主面上，0为摄<14几 坐标系原点，主光轴为z轴，向左为正，y轴沿主面向上，x轴垂直于纸面向外。 理想情况下，当焦距发生改变时，像平面不发生改变，即仍然与CCD靶 面重合，主光轴不发生变化，等效主面沿着主光轴移动(若焦距变大，则等 效主面远离CCD移动)。这样就使得即使摄像机的姿态不发生改变， 一旦焦距改变，摄像机坐标系中的y轴在移动，因此摄像机的平移矩阵T也会发生改变。
但是在实际应用中，镜头并不会只按照上述理想情况运动，而是不仅主 光轴会发生侧移，同时也会发生旋转，如图3B所示。
如此一来，当摄像机姿态不发生变化，而只是变焦镜头发生焦距变化的 情况下，不仅摄像机的内参矩阵K发生改变，旋转矩阵R和平移矩阵T都会发 生改变。因此需要知道这些矩阵的变化规律，才能准确的叠加虚拟场景。这 些变化规律可以用 一个相对旋转矩阵M和相对平移矩阵Ar来表示，跟踪时的 旋转和平移矩阵则需要对这两个矩阵进行补偿。
假设初始旋转矩阵为i 。，初始平移矩阵为r。，修正后的旋转矩阵为R，平 移矩阵为T,则修正方式如下式所示
<formula>formula see original document page 8</formula>
(2)
由于镜头焦距不同，对应的补偿矩阵为M,和A7;也不同，因此需要测出不
同焦距下对应的补偿矩阵，然后对于没有测量的部分，则可以使用线性插值计算。
本发明中一种镜头标定方法的原理为
空间中的任意一点P通过摄像机的变焦镜头投影到屏幕上时，遵循下式
其中X为摄像机变焦镜头的内部参数矩阵，旋转矩阵11为3*3的矩阵，坐标 点P和平移矩阵T均为3"的矩阵。因此RP+T表示一个3"的矩阵。^则为该 (RP+T)矩阵的最后一个数。令
附=v (4) 1
即以m表示P点投影到屏幕上的屏幕坐标(左上角为原点)，u表示列数，v表示行数。若已知及。、r。， Ai 、 Ar作为变量，计算(3)式中的R和T，则可以 计算点P的屏幕坐标m。此时若能够从拍摄到的图像上搜索到该点的坐标M, 则可以比4交M和m的差别，以此作为标准，用优化的方法来计算Ai 、 Ar。
e = Z(M-w)2 =Z(M —《'(i -尸+ r)/Zc)2 (5)
将(2)式代入(5)式，.则可以得到e关于M和Ar的表达式。采用L.M (Levenberg-Marquardt)算法计算e的最小值，则可以得到该焦距下的内参《、 以及M和A7的具体值。
因为计算焦距的准确值的过程比较复杂，因此本发明中采用变焦脉沖值 作为焦距变化的参考标准。在镜头的焦距变大或变小时，焦距对应的变焦脉 沖值也会随之变大或变小。因此在变化焦距的整个过程中，通过记录与焦距 对应的变焦脉冲、与该焦距下对应的摄像机内部参数和对应的补偿矩阵的对 应关系，即可获取不同焦距下的摄像机内部参数和对应的补偿矩阵。
本发明一种变焦镜头标定方法如图4所示，包括以下步骤
步骤s401、获取变焦镜头在不同焦距下拍摄的图像。
步骤s402、根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部 参^t和补偿矩阵的对应关系。
具体的，上述步骤s401中，获取变焦镜头在不同焦距下拍摄的图像的流 程如图5所示，包括以下步骤
步骤s501、将摄像机焦距调至最小，进行第一次标定。
当摄像机变焦镜头的焦距最小时，变焦脉冲值为零。
步骤s502、固定标志板，摄像机对准标志板。
该标志板的示意图如上述图2所示。
步骤s503、拍摄当前图像。
步骤s504、记录当前变焦脉冲。
步骤s505、判断当前焦距是否为最大焦距，若不是则进行步骤s506,否 则进行步骤s507。
步骤s506、保持摄像机不动，增大焦距，并进行步骤s503。步骤s507、结束图像采集。
采集到所需的所有图像后，即可进行步骤s402中所描述的变焦镜头的标 定过程。该根据不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补 偿矩阵的对应关系的过程如图6所示，包括以下步骤
步骤s601、摄像机焦距调至最小，用通用方法进行标定。
步骤s602、读取拍摄的第一幅图像。
步骤s603、初始化摄像机姿态。
该初始化方法可以采用正交迭代法等现有技术中常用的才聂像机姿态初始 化方法。初始化后的摄像机姿态包括摄像机的初始位置坐标，初始内部参 数、以及初始的旋转矩阵M和相对平移矩阵Ar。
步骤s604、读取下一副幅图l象。
步骤s605、读取对应的变焦脉沖值。
步骤s606、优化计算摄像机内参数和补偿矩阵。
该优化计算的方法即为使用上述公式(5)进行优化计算的过程。计算后 的补偿矩阵为变焦后的矩阵相对初始的旋转矩阵Ai 和相对平移矩阵Ar的补 偿矩阵Ai ,和at;,另外还包括变焦后的摄像机变焦镜头内参数。
步骤s607、判断是否为最后一副图像，不是则进行步骤s604,否则进行 步骤s608。
步骤s608、将结果保存在文件中。
通过该方法，在所保存的文件中存储有每一变焦脉冲值以及该变焦脉冲 值下的摄像机变焦镜头内参数和补偿矩阵。这样，在进行虛拟摄像机对真实 摄像机的跟踪时，除了保持空间位置同步外，根据真实摄像机的变焦脉沖值 变化，获取对应的该变焦脉沖值下的摄像机变焦镜头内参数和补偿矩阵，并 应用在虚拟才聂像机中，即可实现虚拟摄像机对真实摄像机的准确跟踪。对于 在文件中不存在对应数据的变焦脉冲值，可以使用已有的变焦脉沖值进行插 值计算，获取对应的摄像机内参数和补偿矩阵。
通过使用本发明提供的方法，实现了对变焦镜头的焦距变化时，获取不 同焦距对应的摄像机内参数和补偿矩阵，并根据不同焦距对应的摄像机内参
10数和补偿矩阵对摄像机的内部参数以及姿态进行修正。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发 明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件， 但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案 本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来， 该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备 执行本发明实施例所述的方法。
以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此， 任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
权利要求
1、一种变焦镜头标定方法，其特征在于，包括以下步骤对于一标准参照物，获取变焦镜头在不同焦距下拍摄的图像；根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。
2、 如权利要求1所述变焦镜头标定方法，其特征在于，所述标准参照物 为标志板。
3、 如权利要求1所述变焦镜头标定方法，其特征在于，所述获取变焦镜 头在不同焦距下拍摄的图像的步骤具体包括将变焦镜头的焦距调至最小，拍摄当前图像。增加焦距直至焦距的最大值，在焦距增加过程中，记录每次焦距增加时 的变焦脉沖，并进行图像采集。
4、 如权利要求1或3所述变焦镜头标定方法，其特征在于，所述变焦镜 头在不同焦距下拍摄图像时，所述变焦镜头的位置保持不变。
5、 如权利要求3所述变焦镜头标定方法，其特征在于，所述根据不同焦 距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系的步 骤具体包括读取所述变焦镜头的焦距最小时拍摄的图像； 根据所述焦距最小时拍摄的图像获取所述变焦镜头的初始姿态； 读取下一副幅图像以及对应的变焦脉沖值；根据所述图像获取所述变焦脉沖值下，所述镜头的内部参数以及相对于 所述初始姿态的补偿矩阵。
6、 如权利要求5所述变焦镜头标定方法，其特征在于，所述初始姿态包 括所述变焦镜头的初始位置坐标，以及初始的旋转矩阵和平移矩阵；所述相 对于所述初始姿态的补偿矩阵包括与所述初始的旋转矩阵和平移矩阵对应的 变焦镜头光轴偏移引起的旋转补偿矩阵和平移补偿矩阵。
7、 如权利要求1所迷变焦镜头标定方法，其特征在于，所述获取不同焦 距与镜头内部参数和补偿矩阵的对应关系后，还包括步骤根据所述不同焦距与镜头内部参数和补偿矩阵的对应关系，对真实摄像才几的变焦进行跟踪。
8、 如权利要求7所述变焦镜头标定方法，其特征在于，所述根据不同焦距与镜头内部参数和补德矩阵的对应关系，对真实摄像机的变焦进行跟踪的步骤具体为获取真实摄像机的变焦脉沖值；根据所述变焦脉冲值获取对应的镜头内部参数和补偿矩阵，并应用于虚 拟摄像机的变焦镜头中，'对真实摄像机的变焦进行跟踪。
9、 如权利要求8所述变焦镜头标定方法，其特征在于，所述根据所述变 焦脉沖值获取对应的镜头内部参数和补偿矩阵的步骤具体为对于所述对应关系存在的变焦脉冲值，直接查询所述变焦脉沖值对应的 镜头内部参数和补偿矩阵；对于所述对应关系不存在的变焦脉冲值，利用已经存在的变焦脉冲值与 镜头内部参数和补偿矩阵的对应关系进行插值计算，获取对应的镜头内部参 数和补偿矩阵。
全文摘要
本发明公开了一种变焦镜头标定方法，包括以下步骤对于一标准参照物，获取变焦镜头在不同焦距下拍摄的图像；根据所述不同焦距下拍摄的图像，获取不同焦距与镜头内部参数和补偿矩阵的对应关系。通过使用本发明提供的变焦镜头标定方法，从分析变焦镜头的结构着手，研究变焦镜头在变焦时光心和主光轴的运动规律，从而对摄像机内部参数和补偿矩阵进行修正，实现了对真实摄像机的准确跟踪。
文档编号G06T7/00GK101447073SQ20071017805
公开日2009年6月3日 申请日期2007年11月26日 优先权日2007年11月26日
发明者伟 刘, 涛 李 申请人:新奥特(北京)视频技术有限公司