专利名称：来自点匹配的单应性传送的制作方法
技术领域：
本发明通常涉及到三维视频图像产生的视图形态，并且更具体地涉及单应传送和用于计算在扩展图像序列中的单应矩阵的外极点几何的使用。
单应性是涉及到下列两中情况中的两个图像的线投影变换(1)一个被投射到两个图像平面上的平面世界物体，其中，图像平面涉及任意的摄影机运动；或(2)仅仅为了纯粹的摄影机旋转的到图像平面上的任意的世界图像的投影。在图4A中说明的针孔摄影机模式被用于第一视图，来定义摄影参考坐标系(x、y并且z，其中z是光轴)内的图像m的位置，m是包含三维世界点W和摄像机光心C的线与图像平面R的交点。图4B中说明的表示第二视图的类似针孔摄影机的光心C在第一摄像机或视图的图像平面R上的投影是外极点e，并且外极点e′同样地是光心C在第二摄像机或视图的图像平面R’上的投影。
分别表示图像像素W在图像平面R和R’上的投影的图像m(由坐标x、y定义)和m’(由坐标x’、y’定义)构成一个共轭对，并且一个涉及该共轭对的基本矩阵F可以被计算(参见例如R.Hartley & A.Zisserman的计算机视图中的多视图几何学219-242页的″外极线几何和基本矩阵″(剑桥大学出版社2000出版)，其内容在此通过参考被合并)和使用来为了像点根据线性投射公式来发展从第一摄像机或视图参考坐标系到第二摄像机或视图参考坐标系的射影映射的一个3×3的单应矩阵H12x′y′1=h11h12h13h21h22h23h31h32h33xy1,]]>其等价于x′=h11x+h12y+h13h31x+h32y+h33]]>y′=h21x+h22y+h23h31x+h32y+h33]]>单应矩阵描述了在一个平面内的通过摄像机的纯旋转或世界图像的两个图像之间的一对一点映射。把消失点映射到消失点的无穷远单应矩阵H12是一个重要的情况而且仅仅取决于刚性位移的旋转分量。在例如三维(3D)视频的产生和渲染过程中，单应矩阵计算是一个非常重要和困难的任务。这对于无穷远单应矩阵的计算来说是尤其真实的，其需要知道(1)三组线或平行线，(2)对应于非常地远离摄像机的图像的视图之间的点匹配，或(3)完成摄像机校准参数。对于常规情况来说上述这些当中没有容易计算的。
因此，在本技术中，尤其是在扩展的图像序列中需要一个计算无穷远单应矩阵的简化方法。
为了克服上述的先有技术的缺陷，本发明的主要目的是提供在视频系统中，利用主体像对的点匹配，将图像序列内的一个像对的无穷远单应性传送到图象序列中的其它图象对。包括无穷远单应矩阵的已知像对和第三图像的一个图象组被选择。然后用于重叠已知的无穷远单应矩阵像对的像对的单应矩阵传送的中间参数通过已知的无穷远单应矩阵和外极点以及该重叠像对的基本矩阵被计算，来导出被选择的重叠像对的无穷远单应矩阵。该进程然后可以被一直重复，直到图像序列内所有有关的像对的无穷远单应矩阵已经被导出。
上文已经大致地列出了本发明的特色和技术优势，因此本领域普通技术人员可能更好地理解随后的发明详细说明。本发明的附加特征和优点将在形成发明权利要求对象的下文中被描述。本领域普通技术人员会理解的是，他们可以容易地以被公开的概念和特殊实施例为基础来改变或设计实现本发明的相同目的的其它构造。本领域普通技术人员还会意识到这种等效构造在其主要形式中不应背离本发明的精神和范围。在接受下列发明详细说明之前，公布遍及此专利文件中的被使用的某些词汇的定义可能是有益的术语″包括″和″由...组成″以及从中的衍生物无限制地意味着包含；意味着和/或的术语″或″是包括在内的；字句″与...有关″和″与此关联″以及从中的衍生物可以意味包括、被包括在...内、与...互联、包含、被包含在...中、连接到或与...相连、耦合到或与...耦合、可与...传递的、协同、分解、毗连、与...紧邻、被绑定到或与...绑定，有，有...的性质等等；和术语″控制器″意指任何设备、系统或在至少控制一个操作的其中部分，而不论这样一个设备是在硬件、固件、软件或还是在至少同样的两个的一些组合中被执行。应当指出，与任何特殊控制器有关的功能可以本地或远程地被集中或分散。遍及此专利文件的某些词汇的定义被提供，并且本领域普通技术人员会理解此类定义在许多甚至大多数情况下施加于这种被定义词汇的先前以及将来的使用。
为了更完全地理解本发明及其优点，现参考连同附图的下列说明，其中同样的数字指定同样的对象，并且其中
图1描述一个使用利用根据本发明的一个实施例的点匹配的单应矩阵传送方法的视频系统的框图；图2描述用于计算利用根据本发明的一个实施例的点匹配的单应性传送的图像数据；图3是一个计算利用根据本发明的一个实施例的点匹配的单应性传送的进程的高级流程图；图4A和4B描述计算外极点几何和单应矩阵的模式。
发明内容
下列论述的图1到图3和在此专利文件中用于描述本发明原理的各个实施例仅仅用图解而没有任何限制本发明的方法被分析。本技术领域普通技术人员会理解本发明的原理可以在任何适当安排的设备中被执行。
图1描述一个使用利用根据本发明的一个实施例的点匹配的单应性传送方法的视频系统的框图。视频系统100包括一个视频接收机，其可能是一个计算机或其它数据处理系统；卫星的、地面的或电缆广播电视接收机；机顶盒；或电视游戏单元。视频接收机101有用于接收图像序列的输入端103和用于发射已处理图像数据到显示器或记录设备的选择输出端104。
可仿效实施例中的视频接收机101包括下面更详细地描述的计算使用被接收的图像序列的点匹配的单应性传送的图像处理机104。视频接收机101可能还选择性地包括存储被接收的图像序列、被计算的单应性信息或其它数据的存储器105和用于显示利用被计算的单应性信息来修改的图像或图像序列的显示器106。例如，图像处理机可以在深度重建、形体模型化或三维(3D)电视机的图像形态中被使用，并且可以产生基于被接收的图像序列被改变的图像序列来从不同角度来显示场景。
本领域普通技术人员会认识到视频接收机的完整结构与操作没有在此被叙述或描述。反而，仅仅视频接收机的如此多的本发明独有的或理解本发明必需的结构与操作在附图中被描述和说明。适当的视频接收机的其余结构和操作可以是常规的，不过在下列细节中说明的是本发明中视频接收机计算被接收的图像序列的单应性信息。
图2描述用于计算利用根据本发明的一个实施例的点匹配的单应性传送的图像数据。图像序列200I1、I2、I3，...In(其中n是任何正非零整数)被图像处理机104接收。此外被图像处理机104接收或者计算的是在图像序列200内和在图像序列200内的两个连续图像的无穷远单应性202(或″无穷远单应性″)的任何给出的像对之间的点匹配制表201。
一般地，无穷远单应性202被假设是用于图像序列200内的开头两个连续图像I1和I2，并且根据本发明的单应性传送将用最初的三个图像I1、I2和I3来说明。因为全部三个图像之间的点匹配是已知的，所以外极点eij和图像组I1、I2和I3内任何像对之间的基本矩阵Fij的计算是简单明了的，而且可以使用本技术中的任何适当的已知方法来执行。
在本技术领域中已知是，两个图像i、j之间的任意的单应性(对于一个任意的平面z)都通过这个表达式与那些图像的外极点eij和基本矩阵Fij有关 其中Hij是两个单应矩阵的行列并且[eij]x通过下列公式从外极点矢量eij被导出[eij]x=0-e3e2e30-e1-e2e10]]>单应矩阵Hji同样地与外极点矩阵eji和基本矩阵Fji相关。因为外极点矩阵eji和eji、基本矩阵Fij和Fji和单应矩阵Hij和Hji仅仅由一个比例来定义，所以每个这些矢量/矩阵有等于1的规范的附加约束被引入。
本技术领域中已知是(不过没有被很广泛地使用)两个图像之间的任意单应矩阵Hij可以被写作Hij=cij′Hij∞+eijzij′T---(2)]]>其中，cij′是一个未知标量，Hij∞是映射来自图像i的图像到图像j内的对应图像的无穷远单应矩阵，和Zij′T是未知向量的转置。公式(2)等价于Hij∞=cijHij+eijzijT---(3)]]>其中，cij是一个未知标量和z′ij是未知矢量。
最终，在本技术中已知是，三个任意图像i、j、k之间的无穷远单应矩阵与下列有关Hik∞＝Hjk∞Hij∞(4)如上所述，图像序列200内的任何像对之间的点匹配是已知的或能够被容易地计算(例如通过稀疏光流计算)的，因此外极点矩阵和基本矩阵可以被容易地确定。此外，至少对于图像序列200内的一个像对(还有在可仿效实施例中的开头两个连续图像)的一个无穷远单应矩阵是已知的或者可以被计算的。因为对于两个图像的无穷远单应矩阵的计算是很困难的，其往往需要人工干预来作出决定或判断(其对于任何重要的大小的图像序列来说是不实用的)，所以本发明通过点匹配201和已知的无穷远单应矩阵202来计算图像序列200内的任何像对之间的全部无穷远单应矩阵。
公式(1)到(4)适用任何任意的像组i、j、k，所以一般地那些变量可以被设置为i＝1、j＝2和k＝3(即使用图像I1、I2和I3)。把公式(3)代入公式(4)从而得到c13H13+e13z13T=(c23H23+e23z23T)H12∞---(5)]]>通过在公式两边同时乘以矩阵[e13]x并注意[e13]xe13＝0和[e13]xH13＝F13就产生下列结果c13F13=(c23[e13]xH23+[e13]xe23z23T)H12∞,]]>其等价于
c23[e13]xH23+[e13]xe23z23T=c13F13H12∞-1---(6)]]>等式(6)是c23和z23的线性方程，其可以被容易地求解(其可以示出对应的矩阵是四行列)。一旦c23和z23被确定，无穷远单应矩阵H23∞就可以从等式(1)和(3)被计算，并且如果需要的话无穷远单应矩阵H13∞可以从等式(4)被计算。然后可以对利用那些图像的点匹配的图象I2、I3和I4和无穷远的单应矩阵H23∞重复该过程，然后同理对图像序列200内的所有剩余图像依次重复。
本领域普通技术人员会认识到等式(1)、(3)和(4)可以用于内插以及外推无穷远单应矩阵传送，即无穷远单应矩阵H12∞和H23∞可以利用点匹配和无穷远单应矩阵H13∞通过从下列等式求解c23和z23然后使用上述等式(1)、(3)和(4)来被确定。
(c12F12)-1=(c23[e12]xH23+[e12]xe23z23T)H13∞-1]]>另外，虽然可仿效实施例使用图像序列200内的开头两个连续图像I1和I2之间的无穷远单应矩阵H12∞和通过向前处理图像序列200来计算无穷远单应性传送，但是图像序列200内任何位置的任何连续像对无穷远单应性都可以被使用，并且无穷远单应性传送都可以通过向前或向后处理图像序列200来计算。举例来说，如果在上述例子中已知的是无穷远单应矩阵H23∞而不是无穷远单应矩阵H12∞，则无穷远单应矩阵H12∞和H13∞可以通过从下列等式求解c12和z12或求解c13和z13然后使用上述等式(1)、(3)和(4)被确定。
c13F13=H23∞(c12[e13]xH12+[e13]xe12z12T)]]>(c12F12)-1=(c13[e12]xH13+[e12]xe13z13T)H23∞-1]]>根据本发明的无穷远单应性传送中的灵活性允许将被接收的图像序列、被计算的像对之间的点匹配(和外极点矩阵和基本矩阵)和被选择的任何像对(不一定连续)来计算第一个无穷远单应矩阵，其然后被传送到上述的剩余像对。被使用来计算初始的无穷远单应矩阵的像对因此可以为了便于计算初始的无穷远单应矩阵而被选择。
本领域普通技术人员还会认识到点匹配、外极点矩阵和基本矩阵不必对图像序列200内的全部独一像对而被计算来传送根据本发明的无穷远单应矩阵。例如，除非图像I1和I7之间的无穷远单应矩阵被需要，否则图像I1和I7之间的点匹配不是必需的。因为无穷远单应矩阵通常仅仅在连续图像之间是需要的，所以所需的点匹配、外极点矩阵和基本矩阵仅仅适合于图像序列200内的每三个连续图像组的全部独一像对(例如I1、I2和I3；I2、I3和I4；I3、I4和I5；...In-2、In-1和In)。同样地，不连续像对(例如H13∞)的无穷远单应矩阵用不着一定被计算。
图3是一个计算利用根据本发明的一个实施例的点匹配的单应性传送的进程的高级流程图。进程300从接收单应矩阵传送将被执行(步骤301)的图像序列开始。被接收的图像序列内的像对(至少被选择的)的点匹配首先通过计算或接收/检索被获得，并且外极点矩阵和基本矩阵从点匹配(步骤302)被计算。
图像序列内的一个像对的无穷远单应矩阵然后通过计算或接收/检索(步骤303)被获得，然后包括无穷远单应矩阵已知的像对和第三图像的像组被选择(步骤304)。被选择的像组包括三个像对无穷远单应矩阵已知像对(例如上面的例子中的I1和I2)；和两个″重叠″像对(包括来自无穷远单应矩阵的已知像对的图像的像对，或上述例子中的像对I2/I3和I1/I3)。
重叠像对之一的无穷远单应矩阵的中间传送参数然后利用已知无穷远单应矩阵被计算(步骤305)。这些中间参数包括对于那个重叠像对(Hij∞)的无穷远单应矩阵的标量(cij)和对于那个重叠像对(eij)的外极点矩阵的复矢量(z)。中间传送参数然后被用来计算被选择的重叠像对的无穷远单应矩阵(步骤306)，如果需要，则其可以被用于计算被选择的像组内的另一个像对的无穷远单应矩阵(步骤307)。
单应矩阵传送进程(步骤304-307)然后被一直重复到所有像对，或至少无穷远单应矩阵要求的所有像对连同无穷远单应矩阵已知的重叠像对都被选择(步骤308)。进程然后一直保持等待状态到另一个根据本发明的单应矩阵传送的图像序列被接收(步骤309)。
本发明允许至少图像序列内的所有连续像对的无穷远单应矩阵通过单个的已知无穷远单应矩阵和(足够的)主体像对之间的点匹配被计算。本发明的算法与独立计算每个对象像对的无穷远单应矩阵相比更加简易，并且因此对于任何三维视频操作都是非常有用的。
应当重视的是，虽然本发明已经在十分实用的系统环境中被说明，但本领域普通技术人员还会理解至少本发明的部分机理能够以包含各种形式指令的机用媒介的形式被分配，而且不论使用什么负担媒介的特殊类型的信号，本发明同样地适用于实际地实现分配。机用媒介的例子包括诸如只读存储器(ROM)或电可擦可编程只读存储器(EEPROM)之类的非易失性的、固定编码的类型的媒介，诸如软盘、硬盘驱动器和光盘只读存储器(CD-ROM)或数字多用磁盘(DVD)之类的可记录类型的媒介，和诸如数字和模拟通信链路之类的传送类型媒介。
尽管本发明已经被详细描述，那些本领域普通技术人员会理解在此公开的本发明的各种改变、置换、变化、增强、细微差别、等级、更少形式、变更、校正、改进和去除可以在其主要形式不背离本发明的精神和范围的前提下被作出。
权利要求
1.一个传送已知无穷远单应性(202)的系统(100)，其包括处理图像序列(200)的图像处理机(104)，其中，图像处理机(104)从图像序列(200)选择一个像对，该被选择的像对包括已知无穷远单应性(202)施加的两个图像之一和一个附加图像；和从已知无穷远单应性(202)导出一个被选择像对的无穷远单应矩阵。
2.根据权利要求1的系统(100)，其中，图像处理机(104)在导出被选择像对的无穷远单应矩阵时确定被选择像对的单应矩阵的中间传送参数。
3.根据权利要求2的系统(100)，其中，图像处理机(104)确定被选择像对的单应矩阵的复标量和被选择像对的外极点矩阵的复矢量。
4.根据权利要求1的系统(100)，其中，在图像序列(200)内辅助图像与到已知的无穷远单应性(202)施加的两个图像之一相继。
5.根据权利要求1的系统(100)，其中，已知无穷远单应性(202)施加的两个图像是图像序列(200)内的连续图像。
6.根据权利要求1的系统(100)，其中，已知无穷远单应性(202)施加的两个图像是图像序列(200)内的连续图像i、j，辅助图像是与图像序列(200)内的图像i、j连续的图像k，其中，图像处理机(104)求解cjk[eik]xHjk+[eik]xejkzjkT=cikFikHij∞-1,]]>其中，Hjk是图像j、k的单应矩阵，cjk单应矩阵Hjk的复标量，ejk是图像j、k的外极点矩阵，ZjkT是外极点矩阵ejk的未知复矢量的转置，[eik]x从图像i、k的外极点矩阵eik被导出，cik是图像i、k的单应矩阵Hik的复标量，Fik是图像i、k的单应矩阵，和Hij∞-1是已知的无穷远单应性(202)的逆矩阵。
7.根据权利要求1的系统(100)，其中，已知的无穷远单应性(202)把图像序列内(200)的第二个图像的图像点与图像序列(200)内的第一个图像的图像点关联起来。
8.处理图像序列的系统100，包括包括用于接收图像序列(200)的输入端(102)的视频系统(101)，和处理图像序列(200)的视频系统(101)内的图像处理机(104)，其中，图像处理机(104)从图像序列(200)选择一个像对，被选择的像对包括已知的无穷远单应性施加的两个图像之一和一个辅助图像，和从已知的无穷远单应性(202)导出被选择像对的无穷远单应性。
9.根据权利要求8的系统(100)，其中，图像处理机(104)在导出被选择像对的无穷远单应矩阵时，确定被选择像对的单应矩阵的中间传送参数。
10.根据权利要求8的系统(100)，其中，已知的无穷远单应矩阵(202)施加的两个图像是在图像序列(200)内的连续图像i、k，辅助图像是与图像序列(200)内的图像i、k相继的图像k，其中，图像处理机104求解cjk[eik]xHjk+[eik]xejkzjkT=cikFikHij∞-1,]]>其中，Hjk是图像j、k的单应矩阵，cjk是单应矩阵Hjk的复标量，ejk是图像j、k的外极点矩阵，ZjkT是外极点矩阵ejk的未知复矢量的转置，[eik]x从图像i、k的外极点矩阵eik被导出，cik是图像i、k的单应矩阵的复标量，Fik是图像i、k的基本矩阵，和Hij∞-1是已知无限矩阵(202)的逆矩阵。
11.一个把图像序列(200)内的两个图像的已知无穷远单应矩阵(202)传送到图像序列(200)内的其它像对的方法(300)，其包括从图像序列(200)选择一个像对，被选择的像对包括已知的无穷远单应性(202)施加的两个图像之一和一个辅助图像；和从已知的无穷远单应性(202)导出一个被选择像对的无穷远单应性。
12.根据权利要求11的方法(300)，其中，从已知的无穷远单应性(202)导出被选择像对的无穷远单应性的步骤还包括确定被选择像对的单应性的中间传送参数。
13.根据权利要求11的方法(300)，其中，从图像序列(200)选择一个像对的步骤还包括从图像序列(200)内相继到已知的无穷远单应性(202)施加的两个图像之一的图像中选择辅助图像。
14.根据权利要求11的方法(300)，其中，已知的无穷远单应性(202)施加的两个图像是图像序列(200)内的连续图像。
15.根据权利要求11的方法，其中，已知的无穷远单应性(202)施加的两个图像是图像序列(200)内的连续图像i、j，辅助图像是与图像序列(200)内的图像i、j相继的图像k，和其中，从已知的无穷远单应性(202)导出被选择像对的无穷远单应性的步骤还包括求解cjk[eik]xHjk+[eik]xejkzjkT=cikFikHij∞-1,]]>其中，Hjk是图像j、k的单应矩阵，cjk是单应矩阵Hjk的复标量，ejk是图像j、k的外极点矩阵，ZjkT是外极点矩阵ejk的未知复矢量的转置，[eik]x从图像i、k的外极点矩阵eik被导出，cik是图像i、k的单应矩阵Hik的复标量，Fik是图像i、k的基本矩阵，和Hij∞-1是已知的无穷远单应矩阵(202)的逆矩阵。
全文摘要
图像序列内的一个像对的无穷远单应矩阵利用对象像对的点匹配被传送到该图像序列内的其它像对。一个像组包括无穷远单应矩阵已知的像对和被选择的第三图像。然后用于一个重叠已知无穷远单应矩阵像对的像对的单应矩阵传送的中间参数从已知的无穷远单应矩阵和外极点以及该重叠像对的基本矩阵被计算来导出被选择的重叠像对的无穷远单应矩阵。该进程然后可以被一直重复到图像序列内所有所关心的像对的无穷远单应矩阵已经被导出。
文档编号G06T7/00GK1585962SQ02822203
公开日2005年2月23日 申请日期2002年10月1日 优先权日2001年11月5日
发明者M·特拉科维 申请人:皇家飞利浦电子股份有限公司