专利名称：跟踪一幅数字图象中的一个感兴趣的目标的方法和装置的制作方法
技术领域：
本发明涉及产生全景图象的方法和装置，更具体地说，涉及跟踪这个全景图象中一个感兴趣的目标并把这样全景图象所希望的部分进行放大的方法和装置。
背景技术：
为了从数字摄像机获得全景图象，已经提出或建议多种技术。一般说来，全景图象具有在180和360度之间的视野。产生全景图象的大多数技术利用许多被使用已知的图象处理技术对准的重叠的图象去创建一个单一的、完整的图象。关于这样的图象处理技术的一般讨论，举例来说，参看P.Anandan和P.J.Burt的“通过对准参考镶嵌字符使图象稳定化”，ARPA94(I425-434)，BibRef9400，或P.Anandan等人的“实时场景的稳定化和镶嵌构造”，ARPA94(I457-465)，BibRef9400AndA4，A1，A3，A5和A4WACV94(54-62)，这里结合每一个作为参考。
为了捕捉用以产生全景图象的多个叠加图象，已经提出或建议多种技术。例如，许多系统使用多台摄像机记录多幅图象。然后处理多幅图象以创建企望的全景图象。因为各个摄像机之间的关系一般是固定的，所以这些图象之间的关系也是已知的。当然，相对单一摄像机实现来说，多台摄像机方案的问题是额外的费用。
因此，许多系统使用单台摄像机获得多幅图象。例如，国际专利申请号WO99/62252公开了这样一种视频摄像机，它以恒定速度旋转来捕捉感兴趣的全景场景的视频图象。然后可以处理数字视频文件来创建所希望的全景图象。
在另一种变体中，日本专利申请号11004373使用一台固定摄像机和一个旋转反射镜获得了360度全景图象。在摄像机上方以预先设定的倾斜度安装反射镜，这样，当反射镜绕摄像机的光轴旋转时，反射镜的视野就捕捉所希望的全景场景。然后处理各个的重叠的图象来创建所希望的全景图象。
为跟踪数字图象，包括全景图象中的目标，已经提出或建议了多种技术。在这样的跟踪系统中，由于计算问题，方向跟踪典型地使用低分辨率进行，而且感兴趣的图象部分可以使用较高分辨率图象放大。跟踪任务保持目标在摄像机的视野中，这样操作者就可以监视感兴趣的目标。以这种方式，操作者可以随心所欲地在较小视野的高分辨率和较大视野的低分辨率之间切换。
利用运动部件，例如附件的反射镜或摄像机，在变焦操作期间控制它的运动，以放大感兴趣的部分，典型地得到更高的分辨率图象。例如三菱电气(美国)利用两个反射镜提供全方向的视觉系统。例如，参见http//www.mitsubishi.com/mea/tecomn，html。在利用附加的反射镜把感兴趣的区域放大的实施中，典型地要求复杂的光学装置。同样地，在利用附加的摄像机把感兴趣的区域放大的实施中，在单台摄像机设备上所增加的费用是过高的。
因此，需要有一种方法和装置，在放大时不使用可控制的运动硬件，提供全景图象的跟踪。还需要有一种方法和装置，对于附加的运动部件不用机械控制运动，提供具有视野多个部分同时放大的全景图象跟踪。
发明概述一般来说，被公开的跟踪对数字图象感兴趣目标的方法和装置，至少有一个高分辨率部分。在一种实施例中，在这里被认为是“成型反射镜实施例”，一个成型的旋转反射镜，至少将视野的一部分放大，这样对应放大区域，固定的摄像机就可以获得较高分辨率的图象。在第二种实施例中，此处称为“两台摄像机实施例”，不同分辨率的两台静止摄像机聚焦在平面旋转反射镜上。较低分辨率的第一静止摄像机产生整个的全景图象，而较高分辨率的第二静止摄像机产生较小视野的较高分辨率图象。
在成型反射镜实施例中，旋转的反射镜包含将视野一部分放大的一个放大区域，以及减少视野剩余部分的一个或几个附加区域。在说明性的实施例中，旋转的反射镜是曲面的以产生可改变放大分辨率的区域。将视野一部分放大的放大区域通常具有凹面形状，而减少视野剩余部分的缩减区域通常具有凸面形状。
在说明性的两台摄像机实施例中，使用第一静止摄像机和平面旋转反射镜就可以获得360度全景图象。平面旋转反射镜绕摄像机的光轴旋转。反射镜以预定的倾角固定在摄像机上方，这样当反射镜旋转，反射镜的视野捕捉所希望的全景反射镜头。同时利用了比第一摄像机分辨率或放大率高的第二摄像机。第二个半反射镜沿着光轴放置。半反射镜将预定百分比的反射光透射给第一摄像机，并将预定百分比的反射光反射给第二摄像机。
参考下面的详细描述和图，会获得对本发明更完全的了解以及本发明的进一步特点和优点。
附图简述
图1说明按照本发明一个实施例的全景图象跟踪系统；图2A和2B分别说明图1中旋转反射镜的一个实施例的前视图和顶视图；图3说明按照本发明两台摄像机实施例的全景图象跟踪系统；以及图4是结合本发明的整体特点描述典型全景摄影跟踪系统的流程图。
发明详述图1说明按照本发明一个实施例的全景图象跟踪系统100。使用一台静止摄像机120和旋转反射镜200，本发明获得360度全景图象，下面结合图2进一步讨论。这里描述的说明性实施例中，静止摄像机120悬挂在室内，被天花板110和两面墙壁115a、115b限定。如图1中所示，旋转反射镜200绕摄像机120的光轴130旋转。反射镜200使用一个以固定速度按大约360度转动的被动、非可控制的电机旋转。反射镜200按预定的倾角固定在摄像机120上方，这样，当反射镜200围绕着摄像机120旋转时，反射镜200的视野140捕捉所希望的全景反射镜头。在这种方式中，全景图象跟踪系统100处理使用已知图象处理技术处理一系列图象以创建需要的全景图象。
本发明提供至少有一个高分辨率部分的全景图象。按照本发明的一个特点，不使用可控制的运动硬件在全景图象中进行跟踪。在一种实施例中，此处称为“成型反射镜实施例”，一个成型的旋转反射镜200，至少将视野的一部分放大，这样对应放大区域，静止的摄像机120就可以获得较高分辨率的图象。在另一种实施例中，此处称为“两台摄像机实施例”，具有不同分辨率的两台静止摄像机120聚焦在平面旋转反射镜200上。较低分辨率的第一静止摄像机120-1产生整个的全景图象，而较高分辨率的第二静止摄像机120-2产生较小视野的较高分辨率图象。
成型反射镜实施例图2A是依照本发明的说明性旋转反射镜200的前视图。如图2A所示，说明性旋转反射镜200包含一个将视野一部分放大的放大区域220，以及缩减视野剩余部分的两个区域210a，210b。因此，图2A所示的说明性旋转反射镜200顺着水平轴旋转，放大区域220在每个图象产生一个垂直的高分辨率带。
图2B是图2A说明性旋转反射镜200的顶视图。如图2B所示，旋转反射镜200是曲面的以产生变化的放大分辨率区域。将视野一部分放大的放大区域220通常有凹面形状，而将视野剩余部分缩减的缩减区域210a，210b有凸面形状。换句话说，放大区域220是高分辨率区，它通过把水平尺寸放大并把视野的一部分240投影到比视野240部分宽的图象条上得到。同样地，缩减区域210a，210b是低分辨率区，它通过把水平尺寸缩短并把视野的相应部分230a，230b投影到比视野230a，230b部分窄的图象条上得到。一般说来，230a，230b图象部分的水平分辨率为每个全景度f/a个象素，反之，240图象部分的水平分辨率为每个全景度fb个象素，这里，f是一个常数，a和b都是大于1的数。
因此，当旋转反射镜200旋转时，静止摄像机120捕捉多幅用于产生所需的全景图象的图象。每幅图象捕捉完整的视野140(如图1和2B所示)，包含一个高分辨率部分240和两个低分辨率部分230a，230b。按照本发明的另一个特点，高分辨率部分240是亚取样，以获得两个低分辨率部分230a，230b那样同样的分辨率。特别地，高分辨率部分240被系数1/ab亚取样。
以此方式，所需的全景图象被作为低分辨率图象得到。因此，运动目标出现并可以以单一的低分辨率图象跟踪。为了详细讨论对感兴趣的低分辨率图象目标进行跟踪，例如，参看D.Gutchess等人的“使用全向和主动摄像机自动监视”会刊。在Computer Vision2000(2000)上的亚洲会议，或C.Wren等人“Pfinder人体的实时跟踪”，IEEE.Trans.PAMI，19(7)(1997)，这里结合每一篇作为参考。
对于给定的实施过程，协调反射镜200的旋转速度和垂直带240的水平宽度，这样，在反射镜200的每个旋转周期，整个视野140的每一部分都得到高分辨率图象。在这样的方式中，全景图象是随着反射镜200每个旋转周期更新的。维护一个整个全景摄影的低分辨率版本，以及对应完全的全景摄影的每一个相临高分辨率垂直带240。
如下面结合图4进一步讨论的那样，给出把视野一部分放大的要求，重新得到相应的高分辨率垂直带240，并叠加在整个全景摄影的低分辨率图象上。人们注意到，本发明通过把高分辨率图象亚取样到所希望的分辨率，允许低分辨率和高分辨率之间的任何分辨率。然而，对于图象视野，低分辨率图象上的任何东西的视野都是高分辨率图象的较小视野。
两台摄像机实施例图3按照本发明的两台摄像机实施例图解说明全景图象跟踪系统300。两台摄像机实施例，使用一台第一静止摄像机320-1和平面旋转反射镜325，获得360度全景图象。第一静止摄像机320-1悬挂在室内，被天花板310和两面墙壁315a、315b限定。如图3所示，平面旋转反射镜325绕摄像机320-1的光轴330旋转。使用一个以固定速度按大约360度转动的被动、不可控的电机使反射镜325旋转。反射镜325以预定的倾角固定在摄像机320-1上方，这样，当反射镜325绕着摄像机320-1旋转时，反射镜325的视野340捕捉所需要的全景反射镜头。在这种方式中，全景图象跟踪系统300处理使用已知图象处理技术处理一系列图象以创建需要的全景图象。
在两台摄像机实施例中，同时利用了分辨率或放大率比第一摄像机320-1高的第二摄像机320-2。如图3所示，一个第二半反射镜345，例如半镀银反射镜，沿着光轴330放置。半反射镜345将预定百分比的反射光从反射镜325的透射给摄像机320-1，并将预定百分比的反射光从反射镜325反射给摄像机320-2。第一摄像机320-1捕捉一串叠加的可以被集成以获得全景图象的低分辨率图象。另外，第二摄像机320-2捕捉一串较高分辨率的图象，可以利用它们放大所需要的感兴趣区域。在说明性的实施例中，第二摄像机320-2捕捉的较高分辨率图象是垂直带，类似于上述讨论的成型反射镜实施例中的样式。
跟踪过程本发明可以在全景摄影的单一低分辨率图象中跟踪感兴趣的目标。图4是结合本发明特点描述典型全景摄影跟踪过程400的流程图。如图4所示，全景摄影跟踪过程400在步骤410期间，使用上述讨论的成型反射镜和两台摄像机实施例，连续捕捉低分辨率全景图象和高分辨率带。
一旦收到把视野放大的请求(例如，从跟随运动目标的自动跟踪模型)，当在步骤415期间探测到时，全景摄影跟踪过程400在步骤420期间取回相应的高分辨率垂直带240。然后，取回的高分辨率垂直带240在步骤430期间被重叠在整个全景摄影低分辨率图象上。再一次注意到，本发明通过亚取样高分辨率图象到所希望的分辨率，允许低分辨率图象和高分辨率图象之间的任何分辨率。然后程序控制回到步骤410继续实时更新全景图象，直到选择了新的放大区域。
要弄清楚的是，这里描述和说明的实施例及变化仅仅是本发明的原理说明，对于那些熟悉本技术的人，可以在不偏离本发明的范围和精神的前提下，进行各种各样的修改。
权利要求
1.数字图象系统(100)，包含具有视野(140)的成型旋转反射镜(200)，其中所述的视野(140)包括较高分辨率区域(220)；和聚焦在所述旋转反射镜(200)上并捕捉所述视野(140)大多数图象的摄像机(120)。
2.权利要求1的数字图象系统(100)，其中所述成型旋转反射镜(200)包括一个通常为凹面面域，以得到所述视野(140)的所述高分辨率区域(220)。
3.权利要求1的数字图象系统(100)，其中所述成型旋转反射镜(200)至少包括一个通常为凸面面域(210)，以得到所述视野(140)的所述低分辨率区域。
4.权利要求1的数字图象系统(100)，其中所述成型旋转反射镜(200)以固定速度旋转。
5.权利要求1的数字图象系统(100)，其中所述成型旋转反射镜(200)使用被动的、不可控制的电机旋转，电机使所述的反射镜绕着固定的轴旋转。
6.权利要求1的数字图象系统(100)，其中所述视野(140)捕捉全景图象。
7.数字图象系统(100)，包含具有视野(340)的旋转反射镜(325)；聚焦在所述旋转反射镜(325)上并捕捉所述视野(340)的大多数图象的第一静止摄像机(320-1)；在所述第一静止摄像机(320-1)前面的光路中的第二反射镜(345)；以及聚焦在所述第二个反射镜(345)上并捕捉所述视野(340)大多数图象的第二静止摄像机(320-2)，其中所述第二摄像机(320-2)有比所述第一摄像机(320-1)高的分辨率。
8.权利要求7的数字图象系统(100)，还包含位于所述第一和第二静止摄像机(320-1，2)光路中的半反射镜，这样，所述半反射镜把预定百分比的反射光从所述旋转反射镜(325)透射给所述第一摄像机(320-1)，并把预定百分比的所述反射光从旋转反射镜(325)反射给所述第二摄像机(320-2)。
9.权利要求7的数字图象系统(100)，其中所述视野(340)捕捉全景图象。
10.权利要求7的数字图象系统(100)，其中所述旋转反射镜(325)以固定速度旋转。
11.权利要求7的数字图象系统(100)，其中所述视野(140)捕捉全景图象。
12.权利要求7的数字图象系统(100)，其中所述第二反射镜(345)是半反射镜。
13.权利要求7的数字图象系统(100)，其中所述第二反射镜(345)是半镀银反射镜。
14.获得数字图象的方法，包含如下步骤旋转具有视野(140)的成型反射镜(200)，其中所述的视野(140)包括较高分辨率区域(220)；和将摄像机(120)聚焦在所述旋转反射镜(200)上；并捕捉所述视野(140)的大多数图象。
15.权利要求14的方法，其中所述的成型反射镜(200)包括一个通常的凹面区域以获得所述视野(140)的较高分辨率区域(220)。
16.权利要求14的方法，其中所述的成型反射镜(200)至少包括一个通常的凸面区域(210)以获得所述视野(140)的较低分辨率区域。
17.权利要求14的方法，其中所述的旋转步骤以固定速度旋转所述成型反射镜(200)。
18.权利要求14的方法，其中所述旋转步骤使用一个被动的、非可控制的电机旋转所述成型反射镜(200)，电机使所述反射镜绕着固定轴旋转。
19.权利要求14的方法，其中所述视野(140)捕捉全景图象。
20.权利要求19的方法，进一步包含把所述大多数图象集成的步骤，以得到所述的全景图象。
21.获得数字图象的方法包含以下几个步骤旋转具有视野(340)的反射镜(325)；把第一静止摄像机(320-1)聚焦在所述旋转反射镜(325)上；使用所述第一静止摄像机(320-1)捕捉所述视野(340)的大多数图象；把第二反射镜(345)置于所述第一静止摄像机(320-1)前面的光路中；和把第二静止摄像机(320-2)聚焦在所述第二反射镜(345)上并捕捉所述视野(340)的大多数图象，其中所述第二摄像机(320-2)和所述第一摄像机(320-1)相比有较高的分辨率。
22.权利要求21的方法，进一步包含下面步骤，把半反射镜(345)置于所述第一和第二静止摄像机(320-1，2)的光路中，这样所述半反射镜把预定百分比的反射光从所述旋转反射镜(325)透射给所述第一摄像机(320-1)，并把所述旋转反射镜(325)预定百分比的反射光反射给所述第二摄像机(320-2)。
23.权利要求21的方法，其中所述大多数图象可以被集成以获得全景图象。
24.权利要求21的方法，其中所述旋转步进以固定速度旋转所述反射镜(325)。
25.权利要求21的方法，其中所述第二反射镜(345)是半反射镜。
26.权利要求21的方法，其中所述第二反射镜(345)是半镀银反射镜。
27.获得数字图象的制作条款，包含装有计算机可读码设备的计算机可读介质，所述的计算机可读程序码设备包含旋转带有视野(140)的成型反射镜(200)的步骤，其中所述的视野(140)包含高分辨率区域(220)；和将摄像机聚焦于所述的旋转反射镜(200)的步骤；和捕捉所述视野(140)的大多数图象的步骤。
28.获得数字图象的制作条款，包含具有计算机可读码设备的计算机可读介质，所述的计算机可读程序码设备包含旋转具有视野(340)的反射镜(325)的步骤；把第一静止摄像机(320-1)聚焦在所述旋转反射镜(325)上的步骤；使用所述第一静止摄像机(320-1)捕捉所述视野(340)大多数图象的步骤；把第二反射镜(345)置于所述第一静止摄像机(320-1)前面光路中的步骤；以及把第二静止摄像机(320-2)聚焦在所述第二反射镜(345)上并捕捉所述视野(340)大多数图象的步骤，其中所述第二摄像机(320-2)和所述第一摄像机(320-1)相比有较高的分辨率。
全文摘要
一种用于跟踪一幅至少有一个高分辨率区域的数字图象中的一个感兴趣的目标的方法和装置被公开。在“成型反射镜实施例”中，成型旋转反射镜至少将视野的一部分放大，这样，静止摄像机得到相应于被放大的区域的高分辨率图象。在“两台摄像机实施例”中，分辨率不同的两台静止摄像机被聚焦在平面旋转反射镜上。具有较低分辨率的第一静止摄像机产生整个全景图象，而具有高分辨率的第二静止摄像机产生较小视野的高分辨率图象。在成型反射镜实施例中，旋转反射镜包含将视野一部分放大的一个放大区域和缩减视野剩余部分的另外区域。在说明性的实施例中，旋转反射镜弯曲以产生可变的放大分辨率的区域。在说明性的两台摄像机实施例中，使用第一静止摄像机和平面旋转反射镜得到360度的全景图象。同时利用了比第一摄像机具有较高分辨率或较高放大率的第二摄像机。半反射镜把预定百分比的反射光透射给第一摄像机并把预定的百分比的反射光反射给第二摄像机。
文档编号G06T1/00GK1404682SQ01803285
公开日2003年3月19日 申请日期2001年8月16日 优先权日2000年8月25日
发明者D·魏恩沙尔, D·M·莱昂斯 申请人:皇家菲利浦电子有限公司