专利名称：全景图像式虚拟现实实时播放系统和方法
技术领域：
本发明涉及一可在图像式虚拟现实中以实时速度利用电脑产生各种不同视角的图像的方法及装置。
在一般图形式虚拟现实的应用中，利用电脑快速绘出高品质的图形和图像技术是非常重要的，因为在图形式虚拟现实中，使用者可以毫无限制地漫游于其中，为了达到此目的，电脑必须以极快的速度来执行三维空间中的物体坐标与屏幕二维坐标间的几何转换，才可以达到使用者所需要的实时互动性。因此，一般而言，虚拟现实的应用通常需要利用计算能力极强的高速图形处理器，才可有令人满意的效果。然而，高性能的处理器因价格较高，使用者未必都愿意付出此代价。因此，为了迁就于低价位个人电脑的性能限制，虚拟现实的设计者不得不将其所设计的虚拟现实限制于较低复杂度的规模，如此也就导致了虚拟现实的真实度降低，而使使用者对其品质不满意。
鉴于以上所述的原因，有些研究人员提出了另外一种方式来构建虚拟现实，用这种方式所构建的虚拟现实可降低对处理器性能的需求，我们称用此方式所要构建的虚拟现实为“图像式虚拟现实”。在图像式(image-based)虚拟现实的构建中，主要是将几张由照相机所拍出的照片由图像扫描器输入电脑成为数字图像(或以数字照相机直接拍摄)，然后以人工方式或电脑软件经过图像处理，将这些数字图像接合成为一个全景图像(panoramic image)。有了此一全景图像之后，接着就将此全景图像贴到一个简单的几何形状(例如立方体、圆柱或球体)表面上于是该几何形状表面上的图像就构成一个虚拟现实的环境图(Environment Map)。使用者要浏览此图像式虚拟现实时，就将观测位置设于该几何形状的几何中心，然后就可利用该环境图上的像素(Pixel)值，来合成不同视角的图像并展现给使用者观看。有关于此的相关技术的说明可参看《IEEE(电气与电子工程师学会)计算机图形和应用》1996年11月第6卷第11号的第21-29页由Greene所写的文章《环境图和万物投影的其它应用》(“Environment Mapping and Other Application of WorldProjections”)以及《信号图形进程》95版(SIGGRAPH′95 Proceeding)1995年的第29-38页由S.E.Chen所写的文章《真实环境导航的快速VR-图像式方法)》(“QuickTime VR-AnImage-Based Approachto Virtual EnvironmentNavigation”)。在这两篇文章中分别以在立方体和圆柱上的图像举出了作为环境图的例子。
基本来讲，要从虚拟现实的环境图上合成不同视角的图像，就必须根据此视角经过几何坐标的转换，将此几何形状上的三维坐标投射至二维的视平面(即电脑屏幕)坐标上。与一般虚拟现实最大的不同之处是，图像式虚拟现实的几何转换相当简单，而且也与虚拟现实中各种物体的复杂度无关。唯一影响图像式虚拟现实的复杂度的是所使用的几何形状及其视平面(view plane)大小。只要形状及视平面大小固定，不管虚拟现实多复杂，所需的计算量都是固定的。此外，图像式虚拟现实所呈现出来的图像完全与实景相同，并非人工设计的三维图形物体，因此可得到更高的逼真度和自然度。
在相关技术的专利中，美国专利第5,359,363号、第5,384,588号、第5,313,306号以及第5,185,667号，都是用球体作为环境图的几何形状。球状环境图的最大好处是使用者可在虚拟现实中得到全方位的视角方向，不像圆柱只有在水平方向的全方位视角而在垂直方向则受限于圆柱的高度。也不像立方体的环境图，在棱线部分会产生图像的扭曲。不过，球状环境图有一个最大的问题是环境图的制作相当困难，尤其在照片的拍摄上相当不易，目前大多是采用特殊的鱼眼镜头来拍摄较为方便可行，但是此种镜头价位不低，这不符合一般使用者的经济原则。
虽然全方位的视角是一个优点，然而，此优点通常只在一些特殊的应用中才会有需求，例如想制作一个很值得看的天花板的图像式虚拟现实，在大部分的图像虚拟现实应用中，使用者不必去浏览正上方的景物。因此，目前大部分的图像式虚拟现实应用中用圆柱环境图即可满足需求。美国专利第5,396,583号专利即是以圆柱环境图作为图像式虚拟现实的基础的技术，本发明所公开的方法及装置也是以圆柱环境图作为图像式虚拟现实的基础。
要从环境图中合成出任意视角的图像可利用电脑绘图中的“贴图技术”(Texture Mapping，参考
图1)，在贴图步骤中，一个平面矩形图像被贴到一几何物体上(即本发明所称的环境图)，假设此环境图的每一个像素都可以用坐标(u,v)来表示，并且此环境图的几何物体上的每一点都可以用三维空间坐标(XW,Yw,Zw)来表示。现在假设视平面上每一点坐标以(XS,YS)来表示，因此，要在视平面上合成图像，则对于视平面的每一点必须找到其在环境图上的对应像素，也就是说，我们必须找到(u,v)坐标系统与(XS,YS)坐标系统之间的对应关系。
由于在图像式虚拟现实中，如果使用者经常变换观测位置，则视平面上每一像素点须经常更新，这种频繁的坐标转换计算须占用大部分的处理器时间，对低价位的中央处理器而言，负担极重。因此，为了简化起见，目前所有的图像式虚拟现实都把使用者的观测位置限制在其环境图的几何物体的几何中心，使用者只能在该观测点上变换其视角以观测不同景物。虽然这种限制降低了使用者对虚拟现实的互动性，但是此图像式虚拟现实仍然很适用于一些应用中，例如虚拟旅游，房屋中介，虚拟商场等等。如果要以几何式虚拟现实来作这些应用，可能需要的代价远比图像式虚拟现实要高，而这也正是图像式虚拟现实越来越受欢迎的原因。
在图1中，我们图示了从柱状环境图将某一视角图像合成到视平面的方法，此后我们将称此程序为图像反扭曲程序，其目的是要将环境图所在的柱状表面10映射至视平面12上。已知此圆柱14的半径为r(实际上，可由全景图像的宽度除以二倍圆周率算出)，且从观测点到视平面12的距离为d，而视平面12与水平面的夹角为φ。因此，要在此图像虚拟现实中做的视角的水平移动，代表将视平面沿着水平方向移以圆柱14的中心轴旋转；同理，使用者的抬头或低头的动作代表角度φ的变动；而d的变动则代表使用者在做图像放大或缩小的动作。
圆柱环境图的反扭曲程序有一个很特殊的特性，那就是如果d和φ不变，则不管使用者的水平视角如何，视平面12对映至柱状环境图的区域形状不变，变的只是一个水平位移量。基于此特点，则可以设计特殊的技巧来加速反扭曲程序。例如在美国专利第5,396,583号中，其发明人就提出一种查表法作为加速的手段。在他们的反扭曲程序中可分为两个阶段，在第一阶段中，他们先将视平面12上每一条垂直扫描线，映射至其在柱状环境图上的对应的垂直扫描线，这种对应关系只是一个垂直方向放大或缩小的关系，因此他们就将此垂直扫描线的起始位置及其放大或缩小比例记在表中；在第二阶段中，他们将做过垂直方向扫描线缩放动作的图像，再做一次水平方向的扫描线缩放动作，而得到最后的反扭曲结果。这种方法的好处是再做水平视角的改变时，无须重新更新表中的数据，因此，有了此表，在播放时视平面上的像素点在环境图上的对应点可以很快地被找到。
不过，这种好处只在d和φ两个变量不变时才可利用，如果d或φ任一值有所变化，那么视平面12对映至柱状环境图的形状就会改变，因此，也就导致了记录在表中的数据必须重新计算，而此重新计算也会影响到播放速度，须注意的是d或φ的变动是非常频繁的，因为使用者经常会改变视角(φ)以及作镜头拉近或拉远的动作(d的改变)。因此，本发明公开了一种新的播放技术，并利用新的查表技术来减少重新计算表中数据的频率，以改进播放速度。
本发明的目的是提供一可以从柱状环境图像上映射一部分图像至矩形视平面，而合成任一视角画面的方法。本方法的特点在于计算量小，因此，可以达到实时播放的速度。本发明中使用到一全景图像(即前述的柱状环境图)，包含复数个像素点、一投影缓冲区、以及一视平面。其主要执行过程为先将代表全景图像上某一选定的第一区域第一部分的图像的复数个像素点投影至投影缓冲区上，然后再从此第一部分的投影缓冲区选取其中某一第二部分的图像像素点，映射至视平面上，而视平面上的这些像素点即构成所需要的合成图像。
本发明也提出一个可以按上述方法制作的全景图像式虚拟现实实时播放系统，此系统包含一视频存储器，用来存储全景图像的复数个像素点、代表投影缓冲区的第一像素点区或第一位元对映区域、以及代表视平面的第二像素点区或第二位元对映区域。同时此系统也包括一个输入装置例如鼠标或键盘等，以便使用者可以改变其视角和作镜头拉近拉远的动作，并且标出全景图像中某一要看的第一区域图像。本系统也须有一微处理器及存储器来负责全景图像、投影缓冲区、以及视平面间像素点对映的计算，以及计算数据的储存。微处理器将全景图像上某一选定的第一区域的图像像素点映射至第一像素点区。最后，本系统还须有一视频处理器，它根据微处理器的指令，将代表要选定的全景图像区域的第一部分中的第二部分图像像素点，映射至第二像素点区。以及本系统还有一用来显示全景图像第二部分的图像的视频屏幕。
上述系统的具体实施步骤为，先将全景图像贴至一柱状的表面而形成一个环境图。本发明再由此柱状环境图根据使用者的视角方向，决定出第一区域的图像像素点。然后将此区域的图像像素点依三维空间的投影方式，将其投影至一与使用者视角垂直且与圆柱正切的投影缓冲区。
代表全景图像的复数个像素点，分割成第一复数条扫描线(scanlines)。同样，代表全景图像上某一选定的第一区域的第一部分的图像，分割成第二复数条扫描线。而该全景图像第一部分中的第二部分图像，分割成第三复数条扫描线。该第二复数条扫描线形成一第一矩形块，且该第三复数条扫描线形成一比第一矩形块小的第二矩形块。
映射第一部分中第二部分图像像素点的步骤，经过起点及终点相同或相近相邻扫描线的合并后，此第二复数条扫描线形成第三复数个矩形块。本发明将该第三复数个矩形块的起始位置存入一检测表中，由于我们可以动态给定一个条件来决定两相邻扫描线是否要合并到一个矩形块内，而此矩形块的大小将决定所播放的图像质量。换句话说，本发明可以在播放时动态调整图像质量及播放速度。例如在使用者作快速的视角变换时，他们对图像质量较不注意，因此，本发明可以动态改变扫描线合并的规则，使所形成的矩形块较少，以利于播放速度的提高。相反地，如果使用者在慢速浏览时，对图像质量要求较高(因为他们可能正在细看某个视角方向的景物)，所以本发明会改变合并规则来产生较多的矩形块，以得到较佳的图像质量。
基本上来讲，本发明在效果上与先前技术最大的差别在于本发明所使用的检测表远较先前技术小，而且表中数据重新计算的频率也远较先前技术低，同时，本发明也可充分利用一些视频处理器上的加速功能，以得到更好的播放效果。有关本发明的方法和装置的详细描述，将在后文中叙述。
图1为将一柱状环境图映射至视平面的侧视图。
图2为本发明中所用到的贴图技术的基本步骤。
图3A和3B分别是视平面的仰角(φ)为0°及45°时视平面映射至柱状环境图上的区域形状。
图4是本发明所用的柱状环境图、投影缓冲区及视平面的位置关系图。
图5是用来制作本发明的电脑系统结构图。
图6绘出由投影缓冲区映射至柱状环境图的图像区域(由复数条垂直扫描线组成)。
图7为本发明所用的柱状环境图、投影缓冲区及视平面的几何关系图。
图8绘出将相邻扫描线合并成复数个矩形块。
图9A是一个由矩形块合并成的柱状环境图的部分。
图9B是图9A的环境图对映至投影缓冲区的例子。
图9C是本发明所使用的检测表数据结构。
参考图2，贴图(Texture Mapping)技术主要包含两个步骤，第一步骤(100)是将图像坐标系统30转换成一三维几何曲面32上的坐标系统。此过程我们称为扭曲程序(Warping process)，与此相关的技术可以参考Alan Wate所著的3D计算机图形(Computer Graphics)(1993年Addision-Wesley公司出版)，图像经过扭曲程序后就形成了一个环境图。有了这个环境图，第二步骤(102)就是根据观测方向，将此几何曲面32的环境图上的某一区块的图像投射到一视平面(或屏幕)34，我们称此程序为反扭曲程序。
对一柱状图像虚拟现实的应用而言，此几何曲面32为一圆柱形曲面。要产生柱状环境图可有两种方法，第一种方法为使用特殊的全景图像照像机(例如Globuscore公司所生产的35mm Globuscore照相机)来拍摄，此方式成本较高。第二种方法为利用一般照相机固定在三角架上，将照相机依水平方向旋转，在几个方向上拍摄照片(注意二相邻角度的照片间须有部分相同的景物重复)，先将每一张单张照片作前述的柱状扭曲程序处理，然后再以人工或图像处理软件来将所有扭曲的照片依相重叠的景物作接合，即可产生一柱状环境图。
接着，在播放过程亦即第二步骤图像反扭曲程序中，我们使用一种新的查表技术来改进播放速度。在先前技术中，美国专利5,396,583提出了使用一查表法来记录视平面映射至环境图上的图像区域中每一条扫描线的起始和终止位置，因此，此表中的数据数目至少是视平面宽度的二倍。但由于使用者经常须改变其视角方向，所以，此表中的固定数据仍不够，有些数据仍须在播放时以实时速度产生，再配合查表技术来产生所需图像。本发明所提出的新的反扭曲技术可改进上述的缺点。
如前所述，在先前技术中有两种状况须对检测表中的数据作更新处理，这两种状况包括仰角(φ)的改变，以及镜头拉近或拉远的动作(观测点与视平面距离d的改变)。例如在图3A与图3B中，我们绘出了在仰角φ为0°和45°时，视平面映射至环境图的形状(d值不变)。由于形状改变，因此检测表中的数据无法被直接使用，必须作实时更新才可。由于仰角φ和距离d值在使用者浏览过程中经常变化，因此，其播放速度亦会受到严重影响。有鉴于此，本发明采用了一种新的反扭曲程序，同时还使用了一个投影缓冲区。
参考图4，此投影缓冲区40(由矩形ABCD表示)位于与使用者视角方向44垂直，且与柱状环境图42正切的位置。其高度等于此柱状环境图的高度，而且此投影缓冲区40的中心位置46与观测位置48等高(观测位置48位于圆柱的几何中心)。另外还有一个视平面50(由矩形EFGH表示)其大小决定于使用者所要的观测视窗大小。而投影缓冲区40的宽度则至少与视平面的宽度相等。
本发明的反扭曲程序包含两个步骤，第一步骤中是从柱状环境图42中映射一非矩形区域的图像至投影缓冲区40，第二步骤是再从投影缓冲区中映射一矩形区域至视平面上，即构成最后显示给使用者观看的图像。由于观测时从观测点48到投影缓冲区40的距离是固定的(等于圆柱的半径)，而且投影缓冲区40也不会在垂直方向移动，因此d与φ值对投影缓冲区40而言都是固定的。所以，投影缓冲区映射至柱状环境图的形状和大小是不变的。亦即，本发明无须在播放时对检测表数据作更新处理。
当使用者在做抬头或低头的动作时，在本发明的反扭曲程序中，我们只将视平面50向上或向下平移一个角度(φ)，但是视平面50本身还是维持与投影缓冲区40平行。由于视平面50与投影缓冲区40是平行的，所以从视平面50映射至投影缓冲区40的区域依然是一个矩形区域52(由矩形efgh表示)。定位此矩形区域52只须算出其左上顶点及其右下顶点区域即可，而无须决定所有像素点的对应点。因此，在本发明中，播放时需要动态决定的就是此二顶点坐标。至于该检测表中的数据，除非投影缓冲区40大小改变(表示视平面大小有改变)，否则根本不须更新。
图5是一个本发明的电脑播放系统结构示意图。在此播放系统中，使用者利用一输入装置60(如鼠标或键盘)来作其视角方向控制，或作镜头拉近或拉远的动作。而此图像虚拟现实的环境图42(图4)被储存在外部存储装置62(例如硬碟机)中，在起始时，此全景环境图42会被存入视频存储器64中。微处理器68负责计算和查询检测表中的数据，而此检测表存储于系统存储器70中，并被上述反扭曲程序所使用。另外，还有一个视频处理器66负责接收检测表送来的数据，以及从微处理器68来的指令，处理视频存储器中的数据，并将合成的图像显示于屏幕上。在本系统中，投影缓冲区40为视频存储器64中的一块并非屏幕显示缓冲区域65，而视平面(或屏幕72)则为视频存器64中的一块并非屏幕显示缓冲区域65，而视平面(或屏幕72)则为视频存储器64上另外一块屏幕显示位元对应区域67。
参见图6，从投影缓冲区40映射至环境图42的形状如该图所示，在投影缓冲区40中的每一垂直扫描线43对应于环境图42中一投影部分42a的一条垂直扫描线45。由于此映射形状不变，所以如果要作水平方向的视角方向移动，则只要在作投影缓冲区40至环境图42的映射中，加上一个水平方向的位移即可。投影缓冲区40与环境图42间的映射关系，以及视平面50与投影缓冲区40间映射关系可用基本的几何学计算求得，如下面所示可推得此二者映射关系，假设投影缓冲区40上的像素点坐标以(x,)表示，而环境图42的像素点坐标以(u,v)表示，则(u,v)与(x,y)间的关系为u=rtan-1(xr)----(1)]]>y=yr/x2+r2----(2)]]>其中r为圆柱的半径。
参考图7，投影缓冲区40上的像素点坐标(x,y)与视平面上的像素点坐标(x′,y′)间的关系如下
其中d表示观测点至视平面间的距离的水平分量，而φ则为抬头或低头的仰角。根据以上说明，我们可以将本发明的反扭曲过程以下面的方块图表示环境图像--+ 投影缓冲区-- →视平面(u,v)映射关系 (x,y)映射关系由式 (x′,y′)由式(1)及 (3)求得；在播放式(2)求得；时，实时计算对应矩并在计算后， 形区域的左上及右下建立一一检测表 顶点。
本发明扭曲程序如果用更高性能的视频处理器将更能发挥特长，因为这些高性能的视频处理器，一般都能运用绘图卡的高速存储区块搬移或复制的硬件加速功能(BITBLT,bit block transfer)，如图5所示的快速存储器区块搬移或复制的硬件装置69。而且它们还允许存储区块在搬移或复制后的大小不一样，也就是说它们可做快速的图像放大或缩小。此外，由于视频处理器与中央微处理器间是可以独立工作的，因此，在视频处理器在做存储区域的搬移或复制时，不会占用到微处理器内数据总线的频宽，因此微处理器仍然可以继续其他的计算工作。
为了合理利用视频处理器的快速区块搬移功能，本发明改进了先前的以垂直扫描线为单位的查表法技术。参考图8，先前技术将所有垂直扫描线80的起始及终止位置存入检测表中，但在大部分的情况下，许多相邻的垂直扫描线都会有相同或接近的起始位置及终止位置，对与这些起始及终止位置相同或接近的相邻垂直扫描线，我们可以将它们集合起来形成一个矩形块82。所以，在本发明的检测表中，记录的不是垂直扫描线的位置，而是这些矩形块82的位置。因此，本发明的检测表大小较先前技术所用的查表小，而且记录的矩形区更适合于视频处理器中的区块搬移或复制硬件69的处理。
本发明的检测表中所记录的矩形块的宽度大小，将影响所合成的图像质量，宽度越小，则所需的矩形块相对也增多，也就会有较佳的图像质量。但在有些时候，图像质量并不一定很重要，例如使用者在作快速的视角方向变换时，他们可能希望能有较快的播放速度，以便他们会快速将视线移至所要看的部分，此时，图像质量并非极为重要。因此，本发明会根据使用者的视角方向变换速度来改变垂直扫描线合并的规则，合并出较大但较少的矩形块以得到更快的播放速度。相反地，如果使用者视角度变换速度变慢时，本发明则会自动合并出较小但较多的矩形块来提高图像质量。
目前本发明用来群组或合并相邻扫描线的方法，是由一可变门槛值T来决定，假设第一条垂直扫描线的起始和终止位置为V1和V2则将接续其后的垂直扫描线均组群或合并为一矩形块，直到找到一条垂直扫描的起始位置(或终止位置)与V1(或V2)相差超过T值、才将此垂直扫描视为下一个矩形块的第一条扫描线。以此垂直扫描线为基准，将起始及终止位置与此垂直扫描线相差都不超过T值的后续扫描线均合并入同一矩形块。其余扫描线的合并依此类推。因此，如果要做动态图像质量的自动调节，只要动态改变T值即可。要注意的是，T值改变，则检测表须重新计算。如果不作动态图像质量调节，则本发明的检测表只在变动视平面大小时才须重新计算，否则数据都不需更新。
参考图9A及9B，对一长2976像素点，宽768像素点的柱状环境像90而言，可求得圆柱半径为2976/2π=473.6像素点。假设视平面大小为800×600像素，所以投影缓冲区92的大小为800×768像素。接着，依据前述的建表方法，我们建立一检测表94，其数据结构如图9C所示。此表中记录着合并出来的矩形块98(见图9A)的位置数据96，以及这些合并后的矩形块98对映至投影缓冲区的矩形块99(见图9B)的位置数据100。而动态图像质量控制参数、门槛值T，可被设为任何大于或等于0的值。
上述的描述只是用来辅助说明本发明的主旨，更可利用本发明原理以不同的实施例实践。
权利要求
1．一种全景图像式虚拟现实实时播放方法，可以从全景图像上映射一被选部分的图像到一视平面，而合成任一视角画面，此方法至少包含提供一个包含复数个代表全景图像的像素值的环境图；从该环境图，将代表环境图像中一被选的第一区域的第一部分图像像素值，映射至一投影缓冲区；从该投影缓冲区，将该第一部分中的第二部分的图像像素值映射至一视平面上，该第二部分像素值代表全景图像中欲播放的区域；及最后将视平面上的图像显示在屏幕上。
2．如权利要求1所述的图像播放方法，其中所述的环境图为，将拍摄的照片利用贴图技术贴于一圆柱形曲面上，并将该投影缓冲区置于与圆柱正切且和使用者视线垂直的位置，该投影缓冲区的中心点高度与观测位置(圆柱的几何中心)等高。
3．如权利要求2所述的图像播放方法，其中所述的复数个代表全景图像的像素值划分成第一复数条扫描线，所述的代表全景图像中该被选上的第一区域的第一部分图像像素值划分成第二复数条扫描线，且该第一部分中的第二部分的图像像素值划分成第三复数条扫描线。
4．如权利要求3所述的图像播放方法，其中所述的映射第一部分中的第二部分图像像素值的步骤，包含计算每一该第二复数条扫描线的起始及终止位置。
5．如权利要求4所述的图像播放方法，其中所述的第二复数条扫描线合并成一第一矩形块，且所述的第三复数条扫描线合并成一较该第一矩形块小的第二矩形块。
6．如权利要求5所述的图像播放方法，其中所述的映射代表全景图像中一被选的第一区域的第一部分的图像像素值的步骤，包含产生一检测表，该检测表用来存储每一该第二复数条扫描线的起始及终止位置。
7．如权利要求5所述的图像播放方法，其中所述的映射代表全景图像中一被选的第一区域的第一部分的图像像素值的步骤，包含产生一检测表，该检测表用来存储被群组过的该第二复数条扫描线的相邻扫描线所合并成的矩形块的位置。
8．如权利要求7所述的图像播放方法，其中所述的第二复数条扫描线的群组方式，是将具有相同的起始或终止位置的相邻扫描线加从以组群成为矩形块。
9．如权利要求7所述的图像播放方法，其中所述的第二复数条扫描线的群组内相邻扫描线数目是由一可变门槛值T来动态决定，将起始或终止位置差值小于T值的相邻扫描线加以组群成为矩形块。
10．一种全景图像式虚拟现实实时播放系统，可以从全景图像上映射一被选部分的图像至一视平面，而合成任一视角画面，此系统至少包含一视频存储器，用以存储一包含复数个代表全景图像的像素值的环境图，一代表投影缓冲区的第一位元对映区域，及一代表视平面的第二位元对映区域；一输入装置，用来让使用者控制其视角方向，标出要看的某一第一部分全景图像；一微处理器，用来做像素点位置坐标系统的转换计算，负责将代表被选的全景图像区域的第一部分图像像素值，映射至该第一位元对映区域；一视频处理器，根据微处理器的指令，将该第一部分图像像素点中的第二部分图像像素点，映射至该第二位元对映区域；及一显示装置，显示映射的第二部分图像。
11．如权利要求10所述的图像播放系统，其中所述的环境图为，将拍摄的照片利用贴图技术贴于一圆柱形曲面上，并将该投影缓冲区置于与圆柱正切且和使用者视线垂直的位置，该投影缓冲区的中心点高度与观测位置(圆柱的几何中心)等高。
12．如权利要求11所述的图像播放系统，其中所述的复数个代表全景图像的像素值划分成第一复数条扫描线，所述的代表全景图像中该被选上的第一区域的第一部分图像像素值划分成第二复数条扫描线，且该第一部分中的第二部分的图像像素值划分成第三复数条扫描线。
13．如权利要求12所述的图像播放系统，其中所述的微处理器计算每一该第二复数条扫描线的起始及终止位置，并将第二复数条扫描线合并成一第一矩形块，且将第三复数条扫描线合并成一较该第一矩形块小的第二矩形块。
14．如权利要求13所述的图像播放系统，其中所述的微处理器映射复数图像像素值时，产生一用来存储每一该第二复数条扫描线的起始及终止点位置的检测表。
15．如权利要求13所述的图像播放系统，其中所述的微处理器映射复数图像像素值时会产生一检测表，该检测表用来存储被群组过的该第二复数条扫描线的相邻扫描线所合并成的矩形块的位置。
16．如权利要求15所述的图像播放系统，其中所述的第二复数条扫描线的群组方式，是将具有相同的起始或终止位置的相邻扫描线加以组群成为矩形块。
17．如权利要求15所述的图像播放系统，其中所述的第二复数条扫描线的群组内相邻扫描线数目是由一可变门槛值T来动态决定，将起始或终止位置差值小于T值的相邻扫描线加以组群成为矩形块。
18．如权利要求11所述的图像播放系统，其中该视频处理器包含一存储器区块快速搬移及复制的硬件装置。
全文摘要
本发明提供可以从全景图像上映射一部分图像至矩形视平面,从而合成任一视角画面的方法和装置。本方法的特点是计算量小,因此可以达到实时播放的速度。本发明使用到一包含复数像素点的全景图像(即前述的柱状环境图)、一投影缓冲区、以及一视平面。其主要执行过程为先将全景图像上某一选定区域的复数像素点,投影至投影缓冲区上,再从此投影缓冲区的某一区域的像素点,映射至视平面上,而此视平面上的像素点即构成所要的合成图像。
文档编号G06T3/00GK1225541SQ9810406
公开日1999年8月11日 申请日期1998年2月6日 优先权日1998年2月6日
发明者江政钦, 谢君伟, 程治 申请人:财团法人工业技术研究院