在广播事件中在互联网上使用仿真流的实时视频游戏的制作方法

专利名称：在广播事件中在互联网上使用仿真流的实时视频游戏的制作方法
技术领域：
本发明涉及通过网络来流动多媒体文件。本发明尤其涉及允许在广播环境下，对在互联网上的流动的图象或视频动画的仿真。本发明尤其涉及能使终端用户与由图象或视频动画而创建的环境相互配合。
背景技术：
术语“流式技术”(streaming)是指将数据从服务器传递给客户机，从而可在接收端将其当作一个稳定的连续的流来处理。随着互联网的发展，流式技术变得越来越重要，这是因为大多数用户不能足够快地访问并下载例如包含图象动画、音频、视频或其组合等等内容的大量的多媒体文件。但是，流式技术会使用户的浏览器以及插入件在接收到完整的文件之前就开始处理数据。对于所用的流式技术，接收文件的客户机一方必须能够收集数据，并必须能将其当作一个稳定的流而传送给处理这些数据的应用程序。这意味着，如果客户机接收数据比所需要的速度要快，则需要对过量的数据进行缓冲。另一方面，如果数据到达不及时，则数据的表现形式将不会平滑。
这里所用的术语“文件”表明可以得到数据处理并能被当作一个整体进行处理的相关数据项的全体。在本发明的范围内，术语“文件”既指实时产生的数据也指从存储器中所检索到的数据。
在众多的技术中，时下可行的或是正在开发的用于通过互联网进行图象数据通信的技术是VRML 97以及MPEG-4。VRML 97代表“虚拟现实模型化语言”，并且是用于描述互联网上的交互式3D多媒体存储内容的一个国际标准(ISO/IEC 14772)文件格式。MPEG-4是由MPEG(活动图象专家组)所开发的一种ISO/IEC标准。在这两个标准中，图形内容被构造在所谓的景物图(scenegraph)中。景物图是共同描述图形领域的坐标系和形状的族树。在景物族树中最重要的一项是通用坐标系统(world coordinate system)。通用坐标系统的作用是一个或多个子坐标系统和形状的双亲(parent)。而这些子坐标系统又是另外一些子坐标系统和形状的双亲，以此类推。
VRML是用于描述对象的一种文件格式。VRML定义了一组对象，这些对象有利于制作3D图形、多媒体以及交互式对象/领域的建立。这些对象被称作节点，并包括存储在字段和事件中的基本数据。典型地，景物图包括结构节点、叶节点、内插节点以及传感节点。结构节点定义了景物内的对象之间的关系。叶节点定义了对象的物理形态。内插节点定义了动画。传感节点定义了用户交互作用，以用于特殊的用户输入形式。VRML不直接支持数据从服务器流动到客户机。在VRML中不存在象流式技术中所必须的数据流与时间标记之间的同步这样的功能。但是，VRML具有这样一种机构，它允许外部程序影响VRML客户机。这种方法已经用在将动画数据调给客户机的体育运动应用中。例如，可以参见Orad Hi-Tec系统有限公司在<http//www.virtualive.com>上的“VirtuaLive Soccer”。这一网络文件讨论了用于通过互联网传送的用来产生模仿实际足球比赛的精彩场面的逼真的、动画的、三维的图形片段的处理。这种系统几乎能实时产生使用富含多媒体的网页来补充电视体育运动的视野的内容。在这个例子中，处理工作分两步。首先，运动场的图形模型以及足球运动员的图形模型连同外部程序一起被下载，该外部程序在这一例子中是一个Java的Applet。之后，用户可以与外部程序进行对话以便请求一个特殊的动画。之后，用于这个特殊动画的数据由用户下载给客户机并能与用户进行人机对话用户可以从该动画内的不同观察点来观看比赛场景，并且如果需要还可用慢动作来观看。就节点类型而言，该处理首先下载结构节点和叶节点，随即是内插节点。通过改变内插节点的设置，有可能运行不同的动画序列。在这个例子中所用的处理有点与用户可以选择并实现包含所有模型(结构节点)以及所有动画数据(内插节点)的VRML文件的单步处理相等同。这种方法使得在客户机可玩任何内容之前所需的下载时间很长。这是一条令人受挫的经历，如果与能立即得到内容的TV广播相比则更是如此。
上面介绍的另一种技术MPEG-4确定了对于场景的一种二进制描述格式(BIFS)，它与VRML 97有很宽的重叠范围。另一方面，MPEG-4被设计为支持图形流同时还有视频流。MPEG-4定义了用于更新场景以及对场景制作动画的两个服务器/客户机协议BIFS-Update以及BIFS-Anim。MPEG-4比VRML有一些优势的是对场景描述以及对动画数据的编码，同时还有内部流动的能力。用户不用等待动画数据的完全下载。例如，在前面提到的足球比赛广播应用中，动画可以在下载了球员模型和运动场模型之后就立即开始。MPEG-4还具有一个优点，即由于其使用了压缩的二进制格式的BIFS传输协议而使其效率更高。
在流式技术的范围内，上述已知技术就带宽使用、分组损失隐蔽或恢复以及多用户交互性而言具有局限性，尤其是在对大量客户机的广播中。
对于带宽，全部动画都是在服务器上产生的。这使得大量数据需要通过将客户机联接到服务器上的网络进行传输，这种网络例如可以是互联网。例如，在上述的足球广播应用中，需要激励22个足球球员。每个单独球员的每一个动画数据点都包括3D空间内的一个位置以及比方说是一组15个联接旋转以便模仿球员的姿势。这表示了63个浮点值。如果假定动画更新率为每秒15个数据点，则需要665 Kbps的比特率。典型地，使用BIFS可使比特率减少为原来的1/20，所得到的比特率大约为33Kbps。但是，这一数目没有考虑用于互联网协议(RTP、UDP以及IP)以及用于象音频这样的附加数据类型所需的额外操作。但是，时下在消费市场上的典型的可商业使用的调制解调器都具有28.8Kbps或33.6Kbps的容量。很清楚，由于带宽的限制使得流动动画在终端用户处出现一些问题。在对大量用户比方说是100,000个客户机进行广播的情况下，需要在几个路由器处复制所述数据流。在互联网上的一个路由器确定了数据包在其通路上朝其最终目的地一直向前传输所遇到的下一个网点。路由器依据对与其相连的网络状态的当时的协商而决定使用哪一条路径来传送每一个信息包。路由器可以位于网络的任何一个结合点处或位于网络联接器上，这些结合点或网络联接器包括互联网的每一个存在点。很清楚，这种广播使得有可能在整个互联网上产生难以处理的数据爆炸。为防止这种情况的发生，需要将实际带宽限制为远远低于28.8Kbps。
对于分组损失隐蔽，基于VRML的系统使用可靠的协议(TCP)。在这里，分组损失不再是一个问题。在MPEG-4的情况下，BIFS使用RTP/UDP/IP。因此，需要一个分组损失恢复机构。在点对点的应用中，可以考虑重新传输所损失的数据包。但是，在广播的情况下，这太复杂。但是，在这两种情况下，MPEG的可靠性需要较高的带宽应用(冗余)或较长的等待时间(重新传输)。
对于多用户的交互性，VRML和MPEG-4实际上都是以服务器-客户机通信为基础的。不存在使多客户机之间进行通信的设备。
有关VRML的更多的信息，例如可以在<htpp//sgi.felk.cvut.cz/～holecek/VRML/concepts.html>上看1996年3月5日的“Key Concepts”，或是在<http//www.stl.nps.navy.mil/～brutzman/vrml/vrml_95.html>上看1996年1月23日公开的由D.P.Brutzman等人写的“Internetwork Infrastructure Requirementsfor Virtual Environments”。
有关MPEG-4的更多信息，例如可以在<http//drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm>上看1998年7月发表的由Rob Koenen编辑的ISO/IEC JTC1/SC29/WG11/N2323中的“Overview ofthe MPEG-4Standard”。
发明目的因此，本发明的一个目的是提供一种技术，它能使用户处理多媒体数据就好象它是一个稳定且连续的流。本发明的另一个目的是在整个互联网上能执行广播中的对大量客户机的连续处理。应当注意上述标识的问题在广播应用中变得更加尖锐。本发明还有一个目的是使用用于创建一个交互软件应用程序的这种技术，它能在连续展开的电子虚拟环境中为用户导航。
发明概述为达到这一目的，本发明提供了一种方法，用于对通过网络将多媒体文件流动到与该网络相连的接收站的情况进行仿真。描述了文件的各个状态的各个状态信息被提供出来。接收站能通过网络接收相应的状态信息，并能在相应的状态信息的控制下，在本地产生多媒体文件。在对动画的广播中，本发明涉及为能显示图形动画而通过网络提供数据的一种方法。相应的状态信息被提供给整个网络，从而描述了动画的连续的各个状态。各个状态信息都是通过网络被接收的。接收站能在所接收的相应的状态信息的控制下产生动画。尤其是，本发明提供了一种方法，它能在连续展开的电子虚拟环境中为用户导航。本方法包括向用户提供所述环境的通用模型；传递代表进展状态的通用模型的状态变化；允许用户提供输入，用于控制与该虚拟环境相关的对象的位置；由该通用模型和响应所述状态变化以及用户的输入而创建一个环境。
在本发明中，多媒体文件(动画、视频或音频文件)被当作连续状态来描述。是这种状态信息而不是动画数据本身被传送给客户机。术语“仿真”因此强调通知给客户机的信息不需要被流动。客户机产生用于本机播放的数据，并且该数据的产生是依据所接收的状态信息。因此，在播放数据的同时，用户看到连续的稳定的数据流，就好象数据是(在最佳条件下)通过网络流过来的一样。
在最佳实施例中，共享的对象协议被用于实现动画。服务器和客户机都具有所收集对象的副本。一个对象是保持状态信息的一个数据结构。在虚拟足球赛的范围内，对象例如可以是表示若干足球球员中一个球员的图形。服务器接收流动的视频文件并监视这些对象。应当注意MPEG-4使得能建立被处理得象一个实体的视频对象。如果服务器改变了这一对象的状态，则共享的对象协议会因此改变客户机处的副本。这将在以下参见附图作更详细的说明。
这种状态信息比动画数据本身具有更高的抽象水平。例如，在如上所述的足球比赛广播应用中，所述状态信息包括在场地内的22个球员的当前位置以及定义它们当前动作的参数(例如“跑”、“跳”等)。使用较高水平的信息具有几个优点，尤其是在需要将动画在互联网上传播给大量听众的广播应用中。在互联网上传输的状态信息的内容是非常紧凑的，这样就比传输动画数据本身需要更小的带宽。从一些参数中本机地产生动画数据。另外，动画数据点的更新率更低，这是因为动画状态的变化要比动画数据本身的变化具有更低的速率。这带来对于较低带宽的进一步需要。此外，本发明对分组损失恢复或隐蔽以及对网络等待时间抖动屏蔽(latency jitter masking)提供了增强的可能性。很容易在各个状态之间进行内插或外推，也很容易实现推算定位概念。对用户与动画之间的交互更容易编程，这是因为其较高的抽象水平。另一个优点是如果多个客户机之间能共享状态信息，则可实现多用户之间交互。还有一个优点是多个客户机可以依据客户机与客户机之间不同的处理能力而将状态信息转换为动画。每个客户机的可用资源可能与其它客户机或客户机组不同。
在本发明的范围内，引用与本发明有共同受让人的美国专利申请序列号No.09/053,448(PHA 23,383)进行对照，该申请的题目为“Group-wise videoconferencing uses 3D-graphics model of broadcast event”，且引入本文，仅供参考。这篇文献论述了有众多地区上分开的终端用户的TV广播服务。这种广播服务被用会议模式集中在一起。依据广播中的某种事件，在软件的控制下，终端用户中的特定群被切换到会议模式下，这样这个群可以讨论这个事件。这种会议模式被由代表下载到这些群的该事件的视频的3D图形模型来增强。终端用户能与模型进行交互作用，以讨论对该事件的选择。


通过举例以及参照以下附图来对本发明进行说明，其中图1是一个VRML客户机-服务器系统；图2是一个MPEG-4客户机-服务器系统；图3-6是本发明所使用的系统图；图7-8是显示视频游戏的图；对于所有这些图，同一参考号代表相似或相应的特征。
最佳实施例图1是一个基于VRML的客户机-服务器系统100的方框图。系统100包括一个服务器102，该服务器通过通信信道106与一个客户机104相连，在本文中，该通信信道是互联网。系统100还可以包括更多的客户机，但为使附图更清晰在这里没有显示它们。服务器102包括一个信源编码器108以及一个信道编码器110。客户机104包括一个信道译码器112以及一个信源译码器114。信源编码器108被看作是内容发生工具。例如，它可以是从工作于视频的运动捕获设备(未示出)中产生VRML动画数据的一种工具。信道编码器110是一种子系统，该子系统被看作是输入在信源编码器108处所产生的VRML动画，并将其变换为能在互联网上传输的一种形式。该VRML动画数据被存储在一个文件中。传输这种文件使用了标准的文件传输协议。在客户机104处，信道译码器被包含在一个外部程序116中。它能从下载文件中获得动画数据，并将其传送给执行信源译码器功能的VRML播放器118。信源译码器功能实际上是场景图的一个管理程序。这种服务器-客户机通信程序不是一种流式技术的解决方法。VRML的规范不考虑使一个请求流动。在VRML中不存在例如象在对流式技术都很重要的数据流和时间标记之间执行同步的设备。
图2是基于MPEG-4的客户机-服务器系统200的一个方框图。系统200具有通过通信信道206与一个客户机204相连的一个服务器202。服务器202具有一个信源编码器208以及一个信道编码器210。客户机204具有一个信道译码器212以及一个信源译码器214。如上所述，所设计的MPEG-4支持流式技术。同其它事情一起，MPEG-4可以定义一个用于场景的二进制描述格式(BIFS)，该格式与VRML 97有很宽的重叠范围。此外，MPEG-4定义了两种服务器/客户机协议，用于对场景的更新以及进行动画描述，即BIFS-Update以及BIFS-Anim。在流式技术的范围内，MPEG-4胜过VRML的地方是对场景描述的编码以及对动画数据的编码，同时还有内装流式技术的能力。与编码器108相似，信源编码器208是一个内容发生功率。信道译码器210与信道译码器110不同。它按照BIFS格式以及BIFS-Anim格式产生一个比特流。该比特流包括球员和运动场的图形模型(在足球比赛动画中)同时还有动画数据。
但是，当用于向大量客户机比方说是100-100,000个客户机广播动画的环境中时，系统100和200都具有几个严重的缺陷。与网络带宽的利用、分组损失隐蔽以及多用户的交互作用相关的局限正象上面所述的那样。
本发明的最佳实施例通过仿真所述流式技术，从而对这些问题提供了一种解决办法，所述流式技术由对象拥有者和对象观看者(或倾听者)使用支持对象共享的通信协议。共享的对象时保持状态信息的一种数据结构。定义了全部状态的共享对象的集合被称为通用模型。客户机和服务器具有它们自己的通用模型副本。例如，在足球赛画像的环境内的对象是一个足球球员的画像。之后，对象的状态信息例如是在3D空间内的足球球员的位置或是象“跑”、“跳”或“滑动”或“躺在地上、明显受伤，但具有滑稽人的田径记录”等这样的动作信息。每一个共享对象是由特定部件例如是服务器所有的。所有者可以改变包含在对象内的状态信息。当发生这种情况时，所述协议自动地与网络上的状态信息同步。以下所提到的这种协议被当作一种支持共享对象的协议。这种协议确保所有通用模型副本能在通用模型状态演化时保持一致。可用于这种目的的协议的例子时DIS(分布式交互仿真)以及ISTP(交互式共享传输协议)。本发明的基础思想是将动画当作连续状态来描述。例如，在足球软件应用中，动画被描绘成场地中的连续的球员位置以及球员的连续动作状态。给定时刻的状态是由通用模型来表达的。随着时间的推移，状态发生变化，而协议与网络上的通用模型的状态保持同步。这一点也可以利用共享对象来解释。这些对象保留了那些描述规定时刻的游戏的状态信息。对每个对象的状态信息的更新使得产生了通过网络被传送给客户机的消息。
图3是本发明中的系统300的一个方框图。系统300包括通过网络306同一个客户机304相连的一个服务器302。服务器302包括一个信源编码器308以及一个信道编码器310。客户机304包括一个信道译码器312以及一个信源译码器314。服务器302具有通用模型的副本316，客户机304具有通用模型的副本318。数据从输入端320流动到信源编码器308。信源编码器308依据所接收的输入信号而产生所需的状态信息，并随着流式技术处理的继续而改变通用模型副本316内的对象的状态。这种类型的技术例如被用在上述的虚拟实况足球系统中。信道编码器310监视通用模型副本316，并对共享对象的状态改变执行编码。经编码的状态改变被通过网络306送给客户机304。信道译码器接收该状态改变，并更新本地的通用模型副本318。信源译码器314执行两个任务。第一，它依据所接收到的状态信息而产生动画。第二，信源译码器314依据该动画而管理场景图。信源译码器314现在是一个智能部件它执行动画计算，另外，它能执行象状态内插或外推这样的其它任务，以便隐藏分组损失或网络等待时间的不稳定。
在本发明的范围内，可以参照与本发明有共同受让人的美国专利申请序列号No.08/722,414(PHA 23,155)，该申请的题目为“Multi-player video game withlocal updates mitigates latency effects”，引入该文献仅供参考。这篇参考文献讨论了众多用户通过交互软件应用程序共享一个虚拟环境的一种系统。特殊用户的状态变化被传送到一个用户或更多个其它用户，这取决于虚拟环境中的该特殊用户与其它用户中的每一个用户之间的相对距离。这种条件的传输减少了消息的通信量，并允许该虚拟环境无限地变换大小。
同样，本发明还参照了与本发明具有共同受让人的美国专利法申请序列号No.08/722,413(PHA23,156)，该申请的题目为“Latency effect in multi-player videogame reduced by surrogate agent”，引入该文献仅供参考。这篇文献涉及处理在两个或多个用户之间进行比赛的交互式软件应用程序的数据处理系统。该系统包括用于由用户中的相应一个所驱动的用户界面装置。这些装置通过一个网络而相互连接。为了有效地消除等待时间，一个用户在其它用户的装置上被显示为一个代理，其对其它用户的动作的反应受存储在该系统中的规则基准的控制。
本发明还另外参照了与本发明具有共同受让人的美国专利申请序列号No.08/994,827(PHA23,319)，引入该文献仅供参考，该文献的题目是“Diversionagent uses cinematographic techniques to mask latency”。这篇文献涉及作为在一个数据处理系统上运行的用户交互式软件应用程序的操作部分的软件代理程序。该代理程序创建了一个用户可认知的效果，以便屏蔽在对用户传递数据时所出现的等待时间。该代理程序创建了一种采用电影技术的效果。
应当注意，通用模型的副本316和318不需要完全相同，例如，当演出时，只要通用模型的一个副本中的对象和通用模型的另一个副本中的另一个对象被在共享状态变化的场景中所共享即可。不同一性的可行性和范围依赖于应用程序。例如，如果一个客户机的用户喜欢把足球球员显示为比方说是企鹅，而其它客户机的用户更喜欢把足球球员显示为比方说是芭蕾舞演员，在这两个客户机上的表现形式通过共享状态变化而在整个系统中保持一致。举另一个例子，客户机304可以让用户输入附加的状态信息，以控制播放时对通用模型的再现。例如，用户可以选择观看虚拟实况足球赛时的特定观看点。这种状态信息不出现也不需要出现在服务器302中。应当注意，基于状态信息的视点再现以及通用模型比起将图象当作具有景深信息的位图而实际传递给客户机304的情况要简单许多，且需要的资源更少。因此，除了前面提到的本发明的优点外，本发明还简化了用户的交互性。
系统300的结构假定客户机304能运行软件应用程序，并具有功能足够强劲的CPU，且具有足够大的存储器。一些客户机本身可能不具有这些能力。因此希望考虑一些低级终端，这些终端也被称作“瘦客户机(thin clients)”。这种终端例如可以是一些能将BIFS数据流当作输入来接收但其功能并不足够强大的低层MPEG-4终端。可以参见图4来说明这一点，图4是一张依据本发明的系统400的方框图。系统400包括通过中继站406与客户机204进行通信的一个服务器302。服务器302以及客户机204的结构在上面已经讨论过了。中继站406维护通用模型的本地副本。该通用模型是由来自服务器302的消息更新的，从而使得该模型表示当前状态。依据这一状态信息，中继站406计算动画。该动画数据被编码为BIFS-Anim格式并被传送给MPEG-4客户机204。服务器302与系统300中的服务器相似。中继站406是一个模块，该模块在一方的共享对象支持协议下所传送的消息与另一方的BIFS-Anim比特流之间执行转换。站406具有如上所述的一个信道译码器312、一个信源代码转换机410以及一个信道编码器412。译码器312翻译所接收的来自服务器302的消息，并更新通用模型318的本地副本。信源代码转换机410包括依据状态信息来计算动画的程序。这一模块最好能执行分组损失恢复(依据内插或外推)、推算定位、本地动画等与上述信源译码器314相似的功能。信道编码器412根据信源代码转换机410的输出，而产生BIFS格式和BIFS-Anim格式的比特流。
图5是本发明的系统500的一张框图。系统500组合了系统300和400的结构。系统500包括一个服务器302、一个网络502、通过网络502与服务器302相连的客户机504、506、508以及510。系统500还包括一个中继站406以及客户机512、514和516。客户机512-516通过网络502与服务器302相连，并与中继站406相连。使用BIFS比特流通过中继站406对客户机512-516进行服务，而客户机504-510在支持共享对象的协议下接收状态信息，并能自己产生动画。
图6是本发明的系统600的方框图，该系统能在众多客户机之间执行交互。系统600包括通过网络606与客户机602和604相连的一个服务器302。服务器302的结构如上所述。服务器302具有对象608、610、612和614的通用模型的一个副本。客户机602和604具有相似对象608-614的通用模型的相似的副本。通用模型的这些副本借助于由服务器302所发送的状态信息而在整个系统600中保持一致。这就构成了用于对上面所讨论的图形动画、视频动画或音频文件的流动进行仿真的基础。现在客户机602和604也彼此共享对象616和618，但并不与服务器302共享对象616和618。例如，客户机602是表示由客户机602所选择的足球赛的图形表示法的视点的对象“视点”的拥有者。依据所接收的来自服务器302的状态信息，客户机602绘制比赛的图形图象，就好象是从运动场中的特定位置观看那样。图象的绘制是依据所接收到的来自服务器302的当前的状态信息的组合、本地的通用模型副本以及通过能选择视点的用户输入装置620的用户输入而确定的，上述用户输入装置例如是一个游戏杆或鼠标。客户机604共享这样一种视点对象，它在客户机602的控制下与在客户机602处的视点对象保持一致，且这种视点对象使用支持共享对象的协议。对象616-618不与系统上的其它客户机执行共享。应当注意，基于状态信息和通用模型的视点的绘制比起将图象实际传送到客户机602和604作为具有景深信息的位图的情况要更简单，且需要的资源更少。系统600甚至可以是一个完全没有具备主所有权的服务器的一个分布式系统。众多客户机中相应的每一个都拥有可被所有客户机感知的通用模型内的众多对象中的一个对象。一个对象的所有者触发能沿着网络传播的一种状态变化，以便在所共享的通用模型内保持一致性。在众多用户的应用中，其效果是作为对动画流的仿真结果，在每一个客户机处连续播放动画，而没有若干种带宽限制。
图7是本发明的另一个系统700的图。图7-8是附图，它们说明了用于基于广播情况下的视频游戏的在本发明范围内使用上述系统300、400、500和600，这里是指象Dutch TT这样的摩托车比赛的游戏。
图7是显示了实际的比赛路线702的布局，这里是Dutch TT每年都举行的Assen、Netherlands的著名线路。TT线路的长度为6.05km(3.76英里)。现在，假定在实际比赛中，在本文中用路线702上的点704、706、708、……、718来表示的每一个真实赛车手都具有一个车载的发射机，这些发射机向接收站720发送当前的位置以及速度(速率和方向)，最好还有象摩托车的滚动(倾斜角)、颠簸(“平衡”)以及偏航(当转弯加速困难时的动力滑行)这样的参数。站704将所接收到的来自赛车手的数据当作状态改变，从而通过象互联网这样的网络728将其传送给终端用户的客户机装置72、724、……、726。客户机722-726已经事先接收了路线702的3D图形通用模型(参见上文)的副本，例如可以事先通过互联网或从盘上下载这些内容。在这种模型中，代表路线702上的真实赛车手的对象的位置和速度是由在用户的装置722、724或726处所接收的状态改变而确定的。代表真实赛车手的多个对象就形成了随终端用户的感知而对虚拟环境执行的动态改变。也可以这样设计对象，即在用户的装置处，对该对象使用参赛号码、头盔、外衣以及赛车的流线型外壳的颜色等来模拟真实赛车手。图形的外观可以是下载到用户的装置上的通用模型的一部分。另外，终端用户可以具有他或她的可控制的对象，运种对象被设计为能向用户提供这样一种视图，就好象他或她就坐在位于参赛路线上的摩托车上，并能作为一个赛车手参加该比赛，但现在这已在虚拟环境中安全地实现了。这种用户可控的赛车手由用户通过他或她的客户机装置722、724或726，再借助于合适的游戏站或其它用户输入设备730、732以及734，从而可与用户进行交互式作用。
其中用户与其它用户进行比赛或用户与其它受软件程序控制的赛手进行比赛的视频游戏已经被广泛了解，并构成了拱街(arcade)内的一个重要的吸引人的事物。时下可家用的商业的视频游戏的3D图形质量异常的高。这种质量足能起到吸引感官以及感受真实的作用。现在，本发明通过提供了与真实竞赛中的真实的职业赛手之间进行的最接近的而不会给用户带来任何危险或使他或她受伤等价物，从而进一步增加了真实感。
很清楚，相似的方法也适用于沙石跑道的比赛、一级方程式或Indy 500汽车比赛、拉力赛、帆船赛或其它用户能在其中执行导航的用于连续展开虚拟环境的任意的竞赛情形。正象传统的视频游戏那样，可将象由于天气或漏油而引起的路面的打滑、风力、(用于航行的)水流等天气和赛道条件集中在通用模型中。一些用户还有这样的能力，它们能与其它用户进行通信，通报它们自己的可控对象的沿着虚拟路线的位置、速度和方向，以便能在其它用户的客户机上将其显示为另一个对象。
所提供的通用模型可以保持为开放状态，作为对用户在他或她的客户机上如何为对象制作图形模型的一个可选项。如前所述，在足球比赛的例子中，代表足球球员的图形可被选为反映用户能想到的任意形状，尤其是在经过6次压缩之后。与此相似，现在提供有用户导航能力的虚拟环境中的赛手可以被表示为比方说是骆驼骑手或鸵鸟骑手、或沿路线跑动的瑞士卫兵的成员、或是它们的组合。还有另一个例子，真实汽车或摩托车的外观可用近年流行的式样来代替，或由用户他或她自己来设计等等。图8表示当对上面所介绍的例子进行组合之后，对表示真实赛手的对象建立模型时的超现实主义外形，这也提高了视频游戏的娱乐水平。真实赛手被表示为经历了状态变化的对象。出现在客户机722-726上的实际图形可以是任意的，只要图形表示法的运动和位置与通用模型中的动态情况保持一致即可。
虽然本发明被表示为被限制在事件广播期间对该事件执行实施处理的应用中，但是很清楚，交互式应用不需要被用在真实事件已经实际发生的情况下。例如，一个服务器提供者可以在任意时间将表示竞赛事件的状态改变广播出去，并可以让用户与专业人员进行比赛。这样，本发明可被认为是视频卡拉OK。
权利要求
1.能让用户在连续发展的电子虚拟环境(图8)中执行导航的一种方法，该方法包括——向用户提供该环境的通用模型；——发送代表发展情况的通用模型的状态改变(图7)；——能让用户提供用于控制与虚拟环境相关的对象的位置的输入(730、732、734)；以及——能依据状态变化以及用户输入而从通用模型中创建环境。
2.如权利要求1的方法，其特征在于虚拟环境的展开是基于通过监视真实事件(702-718)而创建的多个状态改变。
3.如权利要求2的方法，其特征在于对真实事件的监视包括判定所述事件(702-718)中的真实对象的位置的变化。
4.如权利要求3的方法，其特征在于对真实事件的监视包括判断所述真实对象(702-718)的速度变化。
5.如权利要求3的方法，其特征在于对真实事件的监视包括判断所述真实对象(702-718)的方向变化。
6.如权利要求2的方法，其特征在于对真实事件的监视包括监视所述竞赛事件(图7)。
7.如权利要求6的方法，其特征在于对竞赛事件的监视包括对含有真实参加到竞赛事件中的现实生活中的真实对象的监视。
8.如权利要求1的方法，其特征在于对状态改变的发送包括使用互联网。
9.如权利要求1的方法，其特征在于包括能让用户确定表示所述环境中至少一部分的图形，就象是由通用模型提供的一样(图8)。
全文摘要
在客户机—服务器网络的广播应用中,在整个互联网上,数据流被仿真为动画数据而被传递给大量用户。这种动画可被看作是一连串的状态。状态数据而不是图象数据自身被送给客户机。在状态信息的控制下,客户机产生动画数据自身。服务器和众多的客户机使用一个共享的对象协议进行通信。这样,既实现了广播又实现了数据流,并且还没有遇到服务网络带宽的问题。这种方法用于将象汽车竞赛这样的真实事件映射到一个虚拟环境中,以便使用户能够参与到虚拟竞赛中而不是参与到真实的职业竞赛中,虚拟环境的动态是由传送给用户的状态变化而确定的。
文档编号H04N7/24GK1275091SQ99801337
公开日2000年11月29日 申请日期1999年8月23日 优先权日1998年8月24日
发明者R·马拉特, A·辛哈 申请人:皇家菲利浦电子有限公司