专利名称：用于增强数字视频效果(dve)的方法和装置的制作方法
技术领域：
本发明原理涉及数字视频效果(DVE)系统。更具体地，本发明 原理涉及用于提供用户可增强DVE的方法和装置。
背景技术：
一般而言，视频效果用于产生静止或运动画面或者渲染的视觉对
象的变换。视频效果的典型示例包括但不限于视频图像3-空间变换，
如縮放、定位、旋转等；基于像素的视频图像处理，如离焦、色度转 移等；以及变换的其他操控或组合，如将视频图像表面弯曲、切割或 巻绕成不同形式。
视频效果制作分为两种不同的类别现场(Live)和预构建 (Pre-built)。
现场广播视频效果允许技术人员在遇到视频广播实时要求时对 现场视频进行变换。制作现场广播视频效果的产品具有各种名称和商 标名称，并在这里将由常用的(登记了NEC商标的)首字母縮写DVE (代表数字视频效果)指代。当前在DVE产品中，通过控制DVE系统 内的一组参数来创建现场广播视频效果。这些参数中的大多数对所摄 取的视频图像起作用。效果创建现场广播技术人员能够操控这组工厂 创建的参数，这组参数是预定的并受产品设计的限制。
预制视频效果允许图形美工师制作非实时效果，并将所产生的单 独图像帧记录成适于实时回放的视频片段。预制视频效果利用由图形 美工师和相关技术人员创建的图像。对于许多3D或计算机辅助设计(CAD)建模系统来说典型的是，这些图像通常是通过创建和渲染3D 虚拟对象而产生的。虚拟对象和相关元素是通过制造3D模型或通过其 他构造手段来创建，然后通过改变该模型的构造参数来操控的。通过 将渲染的图像每次一帧地记录成2D视频格式来制造预制视频效果。
发明内容
根据本发明的一个方面，提供了一种用于提供通过将视频映射到 具有至少二维的图形模型上而开始出现的数字视频效果的方法。图形 模型的元素被分配为用户可控制参数。响应于用户对可控制参数的调 整，产生视频输出信号和键值(key)中的至少一个。
根据另一方面，本发明原理提供了一种用于提供数字视频效果的 方法，所述方法包括以下步骤将DVE功能嵌入图形建模系统内；提 供被配置为向用户呈现模型元素作为可控制参数的用户界面；以及响 应于用户输入，输出视频和/或键值。
嵌入方面可以包括引入动态数据结构作为场景，以允许添加用 户定义的模型元素；以及提供用户界面，以使用键入的信息来识别和 访问新引入的模型元素。
引入方面还可以包括在图形建模系统中创建专门的定制对象
(节点)集合，所述定制对象包括DVE对象作为场景的新部分。在引 入方面过程中，在时间线中将参数的值设置为关键帧。
根据另一实施方式，通过描述语言来定义动态数据结构。将描述 语言定义为可以转换成3D创作工具且可以从3D创作工具转换而来。
通过结合附图考虑的以下详细描述，本发明原理的其他方面和特 征将变得显而易见。然而，应当理解，仅出于示意的目的来设计附图， 并不作为对本发明原理范围的限定，对于本发明原理范围的限定，应 当参考所附权利要求。还应当理解，附图不必按比例绘制，并且附图 仅意在在构思上示意这里描述的结构和过程，除非另有指示。
贯穿附图，类似的参考标记表示类似的组件，在附图中图1是应用于示出了位置改变的简单3关键帧效果的若干插值算 法的示例；
图2是应用于调整了大小、旋转了的图像的分割的示例；
图3a是被光栅化为2D缓冲区(通常称作图像)然后组合为3D缓冲 区的3D对象的图示；
图3b是首先被组合然后光栅化为相同3D缓冲区的3D对象的图
示；
图4是根据现有技术DVE系统的旋转之后2.5D翻页结果的图示；
图5是根据本发明原理实施方式的UA-DVE的框图6a是示出了图4的2.5D翻页结果的图示；
图6b是根据本发明原理UA-DVE实施方式的3D翻页结果的图示； 图7是根据本发明原理实施方式的UE-DVE帧单元的示意图； 图8a是根据本发明原理实施方式的方法的流程图； 图8b是根据本发明原理实施方式的一个方法步骤的详图8C是根据本发明原理实施方式的另一方法步骤的详图；以及
图8d是根据本发明原理实施方式的另一方法步骤的详图。
具体实施例方式
早期DVE产品被设计为通过在背景上对调整图像大小并定位图 像来帮助混合视频信道。为了提供平滑过渡，创建了"视频效果"，利 用关键帧成帧和插值的构思来产生受控制的改变。捕获期望的位置或 状态作为基于时间的关键帧，或用于插值的控制点。在逐关键帧地随 时间进行移动的同时，通过对中间值进行插值来产生结果效果，通常 意在在图像中产生平滑或连续的改变，或一些其他可期望的特性。那 些"传统的"DVE直接对视频像素进行处理。
广播领域中的传统数字视频效果(DVE)系统允许现场广播技术 人员为了创建视频效果的目的而控制固定的参数集。用户可增强DVE (UE-DVE)是更高级类型的DVE，其允许现场广播技术人员将新元 素引入效果构建域中并控制那些元素以产生实时广播质量视频效果， 该实时广播质量视频效果具有运动范围、超乎由物理产品最初提供的视频表示和形式之外的视频表示和形式。
图1示出了应用于示出了位置改变的简单3关键帧效果(KF1、 KF2、 KF3)的若干插值算法的示例。所示的算法是"保持"、"线性"、 "S-线性"禾Q "曲线"。
由于DVE已演进了多年，因而也已增加了诸如平面巻绕、照明、 离焦等更复杂的特征，使得典型的DVE可以具有多种多样的特征。然 而，存在可用于现场广播制作的DVE所必需的特定关键特征。除了能 够实时产生至少全10比特分辨率视频输入和输出以外，可用的DVE必 须具有短流水线延迟(小于特定视频帧进入和退出DVE的时刻之间的 3个帧或0.05秒等待时间)，能够既输出视频又输出键值，支持关键帧 的插入和编辑，并支持针对效果的关键帧成帧/插值运行控制。主要视 频效果构建功能必须包括对变换3-D空间中图像的能力(包括在3维中 定位、调整大小和旋转，以及图像倾斜、剪切和纵横比改变)的支持。 为了使DVE适于中间范围至高端制作质量，通常需要一些附加特征， 例如插值路径控制、阴影、分割、镜像、切割、离焦、照明、以及诸 如翻页、波纹或位置调整等各种巻绕。图2示出了当将分割应用于调整 大小和旋转后图像时看上去的样子。
然而，对于现场广播DVE，当前系统继续使用以下以图像处理为 中心的范例使用3-D变换数学来对来自输入图像的像素进行处理， 并将结果投影回2D，作为单一视频或者视频和键值图像(这种类型的 系统有时称作"2.5D")而输出。然后，可以将来自不同DVE (例如， 其他源)的多个图像编写或"键入"到最终结果的背景上。
由于存在平面图像，因而将这些图像建模为3D场景的能力通常限 于对所产生的、所键入的2D图像进行分层或组合。有时使用的一种增 强是在DVE之后使用组合器。 一些DVE可以产生深度键值，该深度键 值可以用于正确地对多于一个DVE输出进行组合，以使得可以将其正 确地示出为被组合成相交的3D平面。然而，即使在这种情况下，该结 果也不限于对平面图像进行组合。例如，参照图3a和3b，如果两个DVE 对3D字母"A"和"H"的未巻绕视频图像依大小排列并进行定位， 以使得图像相交，则组合器将示出这两个视频图像平面的直线相交，
8而非由3D建模系统产生的3D虚拟对象相交。
尽管存在由当前DVE提供的许多感兴趣的特征，但是这些特征限 于应用于视频的、可由固定参数集控制的内置功能。确实，可以利用 该技术来实现相当复杂的效果，但是必须对结果进行仔细管理以保持 全3D幻像。这一点的示例是"翻页"效果(见例如图4)，其中，通过 模拟页面的滚降(roll-off)来将视频图像从屏幕移除。然而，如果随 后将翻页图像旋转到竖直位置，则明显的是，其为使用3D"已翻转页 面"的2D投影的"2.5D"系统。
现代的DVE不提供用于构造新模型的手段。例如，如果用户想要 通过将视频图像巻绕到锥体表面上来创建效果，那么这将是不可能的 (除非产品设计者已实现了该特定特征并已提供用于控制该特征的参 数)。因此，为了实现该结果，用户将需要依赖于图形美工师或非实时 内容创作者解决方案，其中己对适当的模型(锥体)进行渲染。然而， 由于将对图像进行预先记录，因而将现场视频映射到该表面上是不可 能的。(注意预先渲染的反向地址(PRA)-DVE设备允许对现场图像进 行映射，但此外需要专门准备。见以下关于PRA-DVE的讨论)。
已存在将DVE集成到视频广播切换器(也称作视频制作中心、视 频混合器)中的趋势。最近的切换器(如，Grass Valley的Kalypso)具 有内部DVE，也称作"变换引擎"。利用这些内部DVE，可以在本地 对视频源进行处理，而无需向外部独立系统发送信号，这在集成控制、 效果和减小流水线延迟方面提供了益处。内部的或集成的DVE的功能 几乎与独立DVE相同。
传统DVE以如下方式进行操作。工作缓冲区定义了包括其在3D空
间中的位置以及其巻绕控制在内的、系统的当前状态。将变换组合到 最终结果变换矩阵和巻绕控制中。将最终结果矩阵转换为反向地址矩 阵。将这些结果传递至硬件反向地址产生器(RAG)变换寄存器和巻 绕控制寄存器的集合。反向地址产生器具有包括反向地址矩阵和巻绕 控制在内的固定的寄存器集合。输出控制时钟从输出缓冲区中第一行 第一个像素开始步进到下一个像素来步进输出像素。该时钟还触发 RAG，以使用软件放置到固定寄存器(反变换矩阵和巻绕控制)中的值，来计算用于创建下一个输出像素的源像素的地址。重复步骤4和5， 直到完成全部输出图像为止。
该设计依赖于针对现场广播技术人员的固定的控制集合针对
RAG控制的固定寄存器；以及RAG硬件中的固定公式。该设计的优点 在于，DVE的操作者可以改变任何工厂定义的、DVE自身上效果的可 成关键帧的参数，并立即回放可对现场视频进行定位、巻绕和处理的 该效果。缺点在于，DVE仅可以执行由DVE制造者设计为该效果的巻 绕和效果的有限集合，而DVE不能创建真实3D模型的事实限制了可执 行的效果的类型。
实现DVE的另一途径是预先渲染的反向地址DVE (PRA-DVE)。 定制的3D软件封装用于创建所期望的效果。这包括效果的所有方面， 包括持续时间、3D空间中的位置以及巻绕。定制的3D封装然后非实时 地执行反向地址产生(RAG)计算。然后，将这些地址保存至用于稍 后回放的存储介质。该处理可能花费若干分钟。当操作者想要回放效 果时，输出控制时钟从第一行第一个像素开始步进输出图像来步进输 出像素。在传统DVE使用RAG硬件来忙碌地计算反向地址的情况下， PRA-DVE从存储介质读取回反向地址，并使用这些地址来获取适当的 源图像像素，以用于创建输出图像。
尽管该途径允许多种多样的效果，但是传统DVE操作者无法访问 DVE自身上的任何可成关键帧的参数。为了对效果作出任何改变，操 作者必须回到专门软件、改变 效果、重新计算反向地址、将地址传送 至存储介质、将反向地址从存储介质加载到DVE中、然后回放该效果。 为了对包括效果持续时间、对象位置、照明等的效果进行最小的改变， 必须遵照该过程，并且该过程可能花费大量时间。
另一缺点在于，使用3D动画封装所需的技能和成为现场广播技术 人员所需的技能是不同的，并且通常需要两种不同的人。
PRA-DVE完全依赖于定制的离线动画软件，以执行反向地址发 生。PRA-DVE的优点在于，用户可以利用现场视频来创建具有几乎任 何形状的效果。PRA-DVE的缺点在于，创建和改变效果是非常耗时的。
出于所有实际目的，不能以正常DVE效果编辑速度来改变3D效果，并且3D效果除了需要现场广播技术人员以外还将需要图形美工 师。这极大地限制了现场制作情况下PRA-DVE架构的实用性。
本发明原理的用户可增强(UE)-DVE是新类型的DVE，其是利用 2D和/或3D图形建模系统来创建并嵌入该系统内的。已创建了具体图 形对象的集合(即，模型)，该集合使用图形建模系统元素来复制传统 DVE系统功能的主要部分，同时仍实现满足视频广播需求所需的实时 性能。通过将DVE功能嵌入图形建模系统内，而不是将2D视频记录摄 取到视频混合域中，可以在图形环境内交互地创建具有现场视频的效 果。对于传统DVE效果的复制，在模型内将现场视频映射到虚拟表面 上，以产生与传统视频呈现和行为等价的结果。然而，去除了工厂创 建的参数的约束。用户可以引入新图形模型元素以创建新特征。
为了实现该能力，本发明原理利用了动态数据结构，而不是静态 数据结构(根据现有技术所知)。这不但允许对支持传统DVE特征的 对象和参数进行定义，而且通过提供针对UE-DVE平台的新效果的内 容创作者，或者通过平台操作者，来实现新对象和参数的创建。根据 本发明原理，该动态数据结构被称作场景(见图7中的元素712)。在一 个实施方式中，该场景是通过场景图的形式来呈现的。该数据结构提 供应用编程接口 (API)，以使用键入信息(例如，浮动颜色(floating color)或百分比值)连同较高级语义来识别和访问新对象和参数。
因此，通过该API，可以识别出元素并将该元素绑定至效果创建 系统，允许读取和写入访问，从而实现效果创建功能。例如，用户可 以导入特定的新模型、识别其元素(字段)、读取所选字段中的当前值、 然后将那些值保存到关键帧中、将那些值或所插的值写回到其相应字 段中g卩，构建和运行效果。
该动态结构还提供可编程组件，以便通过使用可被动态编译或解 释为渲染器(见图7中的元素718)的脚本语言和/或公共图形着色器代 码来添加新的用户定义的DVE和图像处理(视频像素操控)。
一般而言，本发明原理通过允许引入借以构建效果的新特征来向 用户提供扩展的创造性机会。动态数据结构是通过描述语言来定义的， 该描述语言优选地是来自3D创作工具的一个(1)或多个支持语法；
ii或者动态数据结构是通过使用转换器来定义的，该转换器用于将描述
语言转换为3D创作工具并从3D创作工具转换出描述语言。本领域技术 人员将认识到，在不脱离本发明原理的范围的前提下，可以使用不同 的描述语言和3D创作工具。能够使用的描述语言的一些示例是 VRML、 X3D、 COLLADA等，而3D创作工具的 一 些示例可以是 Autodesk Maya、 Autodesk 3D Studio、 Blender、 Softimage等。
用户然后可以简单地遵照给定的语法来创建新对象和/或参数，或 者通过使用第三方创作工具在外部创建这些新对象和/或参数。为了帮 助导入新的外部定义的对象和参数，如图5中的元素508所示，可以连 同UA-DVE—起提供一组用户界面。这些用户界面将以对用户友好的 方式来控制UA-DVE，以便执行导入和必需的转换；这些用户界面中 的一些还可以使用UA-DVE场景API (或其他用户界面)来直接在 UA-DVE平台内动态创建对象和参数。这些特征包括用3D建模环境 下任何图形对象的所有固有容量来完全在3D建模环境内表现现场视 频元素的能力，包括但不限于再现真实图形对象的外观。这些特征是 通过以下操作来实现的将模型或模型元素引入到图形建模系统中， 或者改变模型元素，然后基于向用户呈现模型元素作为可控制参数的 事实，通过在时间线中将这些参数的值设置为关键帧，以形成可回调 并运行的现场广播视频效果。
本发明原理还保证了降低与传统图形美工师内容创建工作流相 关联的制作成本。例如，当现场广播技术人员想要利用传统图形门类 效果时，仅可以由必须将效果重新渲染到视频片段中的图形美工师进 行修改。然而，利用本发明原理的UE-DVE，可以向现场广播技术人 员提供直接修改一些或全部对象参数的能力，以在工作室中进行修改， 并立即现场实时地渲染效果。这可以容易地针对任何对象的参数(导 入的或非导入的)来执行，这是由于动态数据语法供给了针对场景中 任何对象的所键入的参数信息；这些是可以通过时间线来控制的，正 如通常在传统DVE中通过针对关键帧的用户定义数和插值类型定义
其值而执行的那样。
本发明原理的UE-DVE系统再现DVE的行为，更多地通过在虚拟3D对象场景内实现DVE的全功能图形模型来实现这种再现。
参照图5，示出了根据本发明原理的UE-DVE系统500的示例实施 方式。图形建模系统504向系统提供图形对象的同步的或同步锁相的现 场视频输入，同时从其他媒体源502提供静止画面和其他数据。从 UE-DVE帧单元506输出计算得到的图像作为现场视频。针对该DVE模 型的控制参数是可通过UE-DVE用户界面(UI) 508访问到的。还可以 经由各种协议(例如，通过以太网或串行连接(例如，SonyBVW-75、 PBus2等))来支持附加常用控制方法。
UE-DVE系统500的关键功能包含于UE-DVE帧单元506内， UE-DVE帧单元506容纳了UE-DVE软件应用、渲染系统、输入图像处 理系统和输出图像处理系统(见图7)。软件执行DVE活动并支持视频 输入和输出信道，以及各种针对通信和备选介质或数据传输(例如， 网络或硬驱动器存取)的各种连接。UE-DVE帧单元506被设计为与其 他视频制作单元(例如，现场制作切换器510)协调一致地工作，如图 5所示。视频输入和输出的物理连接附接至单元506，并且，还向该单
元提供网络连接和各种串行设备连接。
本发明原理的UE-DVE提供了支持大多数传统DVE特征的缺省模
型。例如，可以通过选择正确的巻绕模式并设置翻页偏移、半径和定 向，来创建翻页效果。可以通过控制位置和旋转参数，来设置视频图 像的总体位置。如以下图6所示， 一个显著的区别在于，在传统DVE 系统内，在真正3D建模系统(即"2.5D")中不产生翻页，因此当视 频图像旋转时会显得不正确(见图4)，而图6a和6b所示的UE-DVE翻 页从任何角度看起来都是正确的，这是由于其确实被渲染为3D场景内 的3D对象。
类似于传统DVE， UE-DVE提供了用于构建现场视频效果的功能。 可以以传统的方式通过将系统设置成期望状态然后将该状态保存为效 果内的关键帧，来构建捕获期望场景中一个或多个关键帧的效果。
由于可以将图形对象编写到相同的帧缓冲区中，因此这些图形对 象可以彼此相交(注意，本发明原理的UE-DVE还通过添加复合层来 提供有意避免这些相交的可能性，复合层提供分离的帧缓冲区并可以被一起组合为输出时的重叠)。
最重要的是，本发明原理的UE-DVE具有添加新DVE特征的能力。 这些是可以通过将改变或添加引入到缺省模型来创建的。例如，改变 或添加可以是作为可控制参数而呈现给用户的模型元素。在内部提供 容易添加的一些有用元素，如，照明、摄像机、层和变换节点。可以 使用诸如VRML、 X3D或C0LLADA之类的常用描述语言来将其他模
型或模型元素作为文件而导入。
例如，可以将人的头部的全3D模型导入UE-DVE中，然后可以利
用现场视频图像来动态地对人的头部模型的皮肤进行巻绕。
在所有情况下，场景内正确识别的元素都可以自动绑定至提供控
制这些元素的手段的UE-DVE参数系统。
UE-DVE是将图形建模系统的创造性能力引入DVE中的系统，使
得诸如图形美工师之类的用户可以在满足现场广播环境的严格要求的 同时，引入提供新DVE特征的新模型元素。
UE-DVE用户可以控制所引入的元素。因此，现场广播技术人员 可以在需要时对场景作出快速改变，而不必返回到离线动画系统，并 且，实时现场广播视频效果是可以利用该能力进行构建的。这将节省 制作时间。
本发明原理的UE-DVE优于预先渲染的反向地址(PRA) DVE的 能力，并且还提供了编辑传统DVE效果的速度和便捷性。对于使用 UE-DVE的现场广播技术人员而言，新层次的创新将是可能的。
图7示出了本发明原理的UE-DVE帧单元506的示例实施方式。传 输702是向用户界面508和其他设备(例如，用于传输控制信号的HDD) 的物理连接，并可以是类似于网络的连接，例如，以太网、无线、IEEE 1394、串行、并行等。中央处理单元CPU 704执行帧软件通信706，并 控制应用708与传输702之间的数据，在需要时执行适当的转换。
在应用708处，对一般系统功能进行管理，该一般系统功能包括 但不限于配置、对来自用户界面的命令的处理、加载、管理、视频 效果的编辑和运行、建立和保持对场景内元素的访问、场景状态的更 新、以及实时渲染处理的高级控制。视频效果存储器710保持(存储)关键帧形式的视频效果的值以 及其他效果数据。
场景712包含图像产生系统的状态，该图像产生系统在渲染和相 关处理时产生结果输出视频图像。场景块7i2可以使用动态结构的场景 图和其他表示。
更新和渲染流水线控制714对系统的实时需求进行管理。对通过 应用708运行效果(即，插值)进行同步，以使得在正确的时刻更新场 景712，并且在正确的时刻完成渲染，以与视频同步锁相同步。
输入图像处理716接收串行数字接口 (SDI)形式的输入图像/视频 源722和/或其他视频和静止画面输入，并将输入图像处理为内部表示。 该处理可以包括去交织、键值的应用、格式转换、滤波、及其他图 像处理活动。输入图像/视频源722提供物理连接，如高清晰度显示 (HDD)或同轴电缆传输图像(例如，使用SDI格式和/或其他视频格
式进入系统的视频和/或键值信号以及同步锁相信号)。
渲染器718使用由场景712定义的构造来对图像进行渲染，以输出 为可由渲染流水线控制714利用输入视频或其他源或装置722控制。该 渲染器可以是软件或硬件组件或这二者的混合。其主要目的是能够例 如在视频场速率约束内实时执行光栅化。光栅化过程包括通过映射 装置将任何视频或静止图像映射到对象上。在一个实施方式中，渲染 器构成通过OpenGL接口而使用的图形处理单元(GPU)。其他实施例
可以支持实现加速射线跟踪算法的软件或硬件。
输出图像处理720对视频图像的内部表示进行处理，并输出为SDI 和/或其他视频格式。该处理可以包括但不限于交织、滤波、混频、 剪切和格式转换。输出图像/视频724提供物理连接，如HDD或同轴电 缆传输图像(例如，从系统出来的视频和/或键值信号以及同步锁相信 号)。
图像流726将画面数据从输入图像处理716传送至渲染器718。图 像流输出装置728将画面数据从渲染器718传送至输出图像处理720。图 像旁路730使图像能够直接从输入图像处理716直接发送至输出图像处 理720。
15图8a示出了根据本发明原理的方法800的基本流程图。首先，将 DVE功能嵌入图形建模系统内(802)。该嵌入包括利用动态数据结 构将模型元素引入(例如，映射)到建模系统中。本领域技术人员将 认识到，该动态数据结构可以以场景的形式存在。 一旦被嵌入，就提 供被配置为向用户呈现模型元素作为可控制参数的用户界面(804)。 响应于用户输入，输出视频和键值(806)。
图8b示出了根据本发明原理实施方式的嵌入步骤802。嵌入802可 以包括引入动态数据结构(810)作为场景，以允许添加用户定义的 元素。 一旦完成，就向用户提供(812)接口，以使用所键入的信息来 识别和访问新引入的模型元素。如图所示，通过描述语言来完成对动 态数据结构的定义(84)。
图8c示出了根据本发明原理实施方式的引入步骤(810)。引入步 骤(810)是可以通过在图形建模系统中创建(816)专门的定制对象
(节点)集合来执行的。定制对象构成DVE对象作为场景的新部分。 然后可以在时间线中将参数值设置(818)为关键帧。
图8d示出了根据本发明原理实施方式的定义步骤(814)。相应地， 通过定义描述语言来执行动态数据结构的定义(814)，使得可以将描 述语言转换成3D创作工具或从3D创作工具转换出描述语言(820)。
所描述的实施方式的特征和方面可以应用于各个应用。应用包 括例如，如上所述，使用其家中的主机设备的个人与使用电缆上以 太网通信架构的互联网进行通信。然而，这里描述的特征和方面可以 适于其他应用范围，并且相应地，其他应用是可能的并且是可设想的。 例如，用户可以位于其家之外，例如，在公共场所或在工作处。此外， 除以太网和电缆以外，还可以使用协议和通信介质。例如，可以通过 光缆、通用串行总线(USB)电缆、小型计算机接口 (SCSI)电缆、 电话线、数字订户线/环(DSL)线路、卫星连接、视线连接、和蜂窝 连接(并使用与它们相关联的协议)来发送和接收数据。
这里描述的实施方式可以在例如方法或过程、装置、或软件程序 中实现。即使仅在单一形式实施方式的上下文中进行讨论(例如，仅 作为方法进行讨论)，所讨论的特征的实施方式也可以以其他形式(例
16如，装置或程序)实现。装置可以以例如适当的硬件、软件和固件来 实现。方法例如可以在诸如处理器之类的、指代一般处理设备的装置 中实现，该处理设备包括例如计算机、微处理器、集成电路或可编 程逻辑器件。处理设备还包括通信设备，例如，计算机、蜂窝电话、 便携式/个人数字助理("PDA")以及便于终端用户之间信息通信的其 他设备。
这里描述的各种过程和特征的实施方式可以体现在多种不同设 备或应用中，特别是例如与数据发送和接收相关联的设备和应用。设 备的示例包括视频编码器、视频解码器、视频编解码器、万维网服务 器、机顶盒、膝上型电脑、个人计算机和其他通信设备。很清楚，设 备可以是移动的，甚至可以安装在移动车辆中。
此外，可以通过由处理器执行的指令来实现方法，并且可以将这 些指令存储在处理器可读介质中，该处理器可读介质例如是集成电路、 软件载体或者其他存储设备(例如，硬盘、光盘、随机存取存储器
("RAM")或只读存储器("ROM"))。指令可以形成在处理器可读
介质上有形体现的应用程序。很清楚，处理器可以包括具有例如用于 执行处理的指令的处理器可读介质。
对于本领域技术人员来说显而易见，实施方式还可以产生被格式
化为承载例如可存储或发送的信息的信号。该信息可以包括例如， 用于执行方法的指令或者由所描述的实施方式之一产生的数据。例如， 这样的信号可以被格式化为电磁波(例如，使用频谱中的射频部分) 或基带信号。格式化可以包括例如，对数据流进行编码、对已编码 的流进行分组化、以及利用已分组化的流来对载波进行调制。信号承 载的信号例如可以是模拟或数字信息。如已知的那样，可以通过多种 不同的有线或无线链路来发送信号。
已描述了多个实施方式。然而，应理解的是，可以进行各种修改。 例如，可以对不同实施方式的元件进行组合、补充、修改或移除，以 产生其他实施方式。此外，本领域技术人员应理解，其他结构和过程 可以替代所公开的那些结构和过程，并且所产生的实施方式将以至少 实质上相同的方式执行至少实质上相同的功能，以实现至少实质上与所公开的实施方式相同的结果。相应地，这些和其他实施方式落在权 利要求的范围内。
权利要求
1、一种用于提供数字视频效果的方法，包括以下步骤将DVE功能嵌入(802)图形建模系统内；提供(804)被配置为向用户呈现模型元素作为可控制参数的用户界面；以及响应于用户输入，输出(806)视频和/或键值。
2、 根据权利要求l所述的方法，其中，所述嵌入包括引入(810)动态数据结构作为场景，以允许添加用户定义的模 型元素；以及提供(812)用户界面，以使用所键入的信息来识别和访问新引 入的模型元素。
3、 根据权利要求2所述的方法，其中，所述引入还包括在图形 建模系统中创建(816)专门的定制对象(节点)集合，所述定制对象 包括DVE对象作为场景的新部分。
4、 根据权利要求2所述的方法，其中，所述引入还包括在时间 线中将参数的值设置(818)为关键帧。
5、 根据权利要求2所述的方法，还包括通过描述语言来定义 (814)动态数据结构。
6、 根据权利要求5所述的方法，其中，所述定义还包括将描述 语言定义(820)为能够转换成3D创作工具且能够从3D创作工具转换 而来。
7、 一种其上有形体现应用程序的程序存储设备，所述应用程序包括用于执行至少以下操作的指令将DVE功能嵌入图形建模系统内；提供被配置为向用户呈现模型元素作为可控制参数的用户界面；以及响应于用户输入，输出视频和键值中的至少一个。
8、 根据权利要求7所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令引入动态数据结构作为场景，以允许添加用户定义的模型元素；以及提供用户界面，以使用所键入的信息来识别和访问新引入的模型元素。
9、 根据权利要求8所述的程序存储设备，其中，所述应用程序还 包括用于执行至少以下操作的指令-在图形建模系统中创建专门的定制对象(节点)集合，所述定制 对象包括DVE对象作为场景的新部分。
10、 根据权利要求8所述的程序存储设备，其中，所述应用程序 还包括用于执行至少以下操作的指令在时间线中将参数的值设置为关键帧。
11、 根据权利要求8所述的程序存储设备，其中，所述应用程序 还包括用于执行至少以下操作的指令通过描述语言来定义动态数据结构。
12、 根据权利要求ll所述的程序存储设备，其中，所述应用程序还包括用于执行至少以下操作的指令将描述语言定义为能够转换成3D创作工具且能够从3D创作工具 转换而来。
13、 一种用于提供数字视频效果的装置，包括以下步骤 用于将DVE功能嵌入图形建模系统内的装置；用于提供被配置为向用户呈现模型元素作为可控制参数的用户界面的装置；以及响应于用户输入而输出视频和/或键值的装置。
14、 根据权利要求13所述的装置，其中，所述嵌入装置还包括-用于引入动态数据结构作为场景以允许添加用户定义的模型元 素的装置；以及用于提供用户界面以使用所键入的信息来识别和访问新引入的 模型元素的装置。
15、 根据权利要求14所述的装置，其中，所述引入装置还包括用于在图形建模系统中创建专门的定制对象(节点)集合的装置，所述定制对象包括DVE对象作为场景的新部分。
16、 根据权利要求14所述的装置，其中，所述引入装置还包括 用于在时间线中将参数的值设置为关键帧的装置。
17、 根据权利要求14所述的装置，还包括用于通过描述语言来 定义动态数据结构的装置。
18、 根据权利要求17所述的装置，其中，所述定义装置还包括用于将描述语言定义为能够转换成3D创作工具且能够从3D创作工具 转换而来的装置。
19、 一种用于提供数字视频效果的方法，包括以下步骤将视频至少映射到具有至少二维的图形模型上； 分配图形模型的元素作为用户可控制参数；响应于用户对可控制参数的调整，产生视频输出信号和键值中的 至少一个。
20、 根据权利要求19所述的方法，其中，所述图形模型包括场景。
21、 根据权利要求21所述的方法，还包括以下步骤在所述图形 模型中创建专门的对象集合。
22、 根据权利要求21所述的方法，其中，专门的元素集合包括至少一个数字视频编辑元素。
全文摘要
本发明提供了一种用于增强数字视频效果(DVE)的方法和装置，操作用于将DVE功能嵌入图形建模系统内，并向用户提供被配置为向用户呈现模型元素作为可控制参数的界面。为了嵌入DVE功能，引入动态数据结构作为场景，以允许添加用户定义的模型元素。用户界面实现了对新引入的模型元素的识别和访问。
文档编号H04N5/262GK101647270SQ200780052535
公开日2010年2月10日 申请日期2007年11月8日 优先权日2007年4月11日
发明者唐纳德·约翰逊·奇尔德斯, 大卫·萨于克, 拉尔夫·安德鲁·西尔伯斯坦 申请人:汤姆森许可贸易公司