专利名称：胶片颗粒模拟的方法、装置及系统的制作方法
技术领域：
本发明一般涉及胶片颗粒模拟，更具体地涉及用于有效的、低成本的胶片颗粒模拟实施的方法和系统。
背景技术：
在显影处理过程中，胶片颗粒形成于运动画面图像中。在HD图像中胶片颗粒是清晰可见的，并且成为独特的电影特征，更希望通过整个图像处理和递送链来保存该特征。然而，由于不能开发出关于时间预测的压缩增益，所以对于当前的编码器而言胶片颗粒保存是一种挑战。由于颗粒的随机特性，只能以非常高的位速率来达到视觉上无损编码。有损编码器在对典型地与噪声和微观组织(fine texture)相关联的高频进行滤波时趋向于抑制胶片颗粒。
在最近建立的H.264|MPEG-4 AVC视频压缩标准中，具体地在其保真度范围扩展(Fidelity Range Extensions)(FRExt)修改1(JVT-K051，使用修改1的ITU-T推荐H.264 IISO/IEC 14496-10国际标准，雷蒙德，USA，2004年6月)中，已经定义了胶片颗粒补充增强信息(Supplemental EnhancementInformation)(SEI)消息。这种消息描述关于像大小和浓度的属性的胶片颗粒特征，并允许视频解码器在解码后的画面上模拟胶片颗粒外形(film grainlook)。H.264|MPEG-4 AVC标准规定哪些参数出现在胶片颗粒SEI消息中，如何解释它们和用于以二进制格式对SEI消息进行编码的语法。然而，该标准没有规定当接收到胶片颗粒SEI消息时用来模拟胶片颗粒的精确步骤。
胶片颗粒模拟是在用来在计算机产生的素材(material)上模拟胶片颗粒的后期制作(post-production)中以及在旧胶片库存的修复(restoration)过程中使用的相对较新的技术。对于这类应用，在市场上存在像纽约罗彻斯特的Eastman Kodak公司的Cineon以及Visual Infinity公司的Grain SurgeryTM商用软件。这些工具要求用户交互并且实施起来是复杂的，这使得它们不适合用于实时视频编码应用。此外，这些工具中没有一个能够解释如由H.264/AVC视频编码标准规定的胶片颗粒SEI消息。
发明内容
本发明有利地提供用于有效的、低成本的胶片颗粒模拟实施。
在本发明的一个实施例中，一种用于在胶片颗粒模拟处理中提供快速访问胶片颗粒图案的方法包括提供一高速缓冲存储器，该高速缓冲存储器至少具有能够在胶片颗粒模拟处理中实施的胶片颗粒图案的全部数目的一子集；并且响应没有包括在本地高速缓冲存储器中的、在胶片颗粒模拟处理中需要的胶片颗粒图案，使用至少包括所需胶片颗粒图案的至少一个数据库来更新本地高速缓冲存储器以至少包括所需的胶片颗粒图案。
在本发明的替代实施例中，一种用于模拟胶片颗粒的装置包括用于至少接收编码的图像和包括用于胶片颗粒模拟处理的胶片颗粒特性信息的补充信息的部件；包括至少一种胶片颗粒图案的第一存储部件；控制器，包括用于存储指令的存储器和用于执行指令的处理器。该控制器适于执行如下步骤确定在胶片颗粒模拟处理中所需的胶片颗粒图案是否存在于第一存储部件中，并响应没有包括在第一存储部件中的、在胶片颗粒模拟处理中所需的胶片颗粒图案，至少使用第二存储部件来更新第一存储部件以至少包括所需的胶片颗粒图案。
通过结合附图考虑下面的详细描述可以容易地理解本发明的教导，在附图中图1描述依据本发明一个实施例的具有胶片颗粒模拟能力的视频解码器子系统的高级方框图；图2描述适合用于图1的视频解码器子系统中的RAM接口控制器的实施例的高级方框图；以及图3描述图1的胶片颗粒数据库的典型排列的高级方框图。
应该理解，附图是用于解释本发明构思的目的，并且不是用于解释本发明的唯一可能结构。为了便于理解，如果可能的话，使用相同的标号来表示图中公用的相同元件。
具体实施例方式
本发明有利地提供用于有效的、低成本的胶片颗粒模拟实施的方法和系统。尽管将主要在，例如消费HD DVD播放机的IC设计中应用的，视频解码器子系统的背景下来描述本发明，但是本发明的具体实施例不应被当作限制本发明的范围。本领域技术人员应当理解并且通过本发明的教导应当得知本发明的构思可以有利地应用在，例如媒体播放机/接收机设备、解码器、机顶盒、电视机等中的任何胶片颗粒模拟处理中。
图1描述了根据本发明一个实施例的具有胶片颗粒模拟能力的视频解码器子系统的高级方框图。图1的视频解码器子系统100示意性地包括视频解码器(示意性地H.264解码器)106、视频显示器和图形引擎(graphics engine)108、主机接口110、接口控制器(示意性地RAM接口控制器)112、以及存储器(示意性地本地Ram存储器)114，该存储器114实施为用于存储远程胶片颗粒数据库104中的一小子集胶片颗粒图案的胶片颗粒高速缓冲存储器。图1还描述主机CPU102和包括胶片颗粒数据库的永久存储程序存储器(示意性地远程永久存储存储器)104。尽管在图1的视频解码器子系统100中，主机CPU102和远程胶片颗粒存储器104被描述为包括分立组件，但是在本发明的替换实施例中，该远程胶片颗粒数据库104可以位于CPU102的永久存储器中。此外，尽管在图1的视频解码器子系统100中，视频解码器106、视频显示器和图形引擎108、主机接口100、和接口控制器112被描述为包括分立组件，但是在本发明的替换实施例中，视频解码器106、视频显示器和图形引擎108、主机接口100、和接口控制器112可以包括单个组件，并且可以集成在单个集成的片上系统(SoC)中。
此外，尽管在图1的视频解码器子系统100中，用于存储胶片颗粒图案的部件被描述为本地Ram存储器114(高速缓冲存储器)和远程胶片颗粒数据库104，但是在本发明的替换实施例中，实质上可以实施任何可访问的存储部件来保存胶片颗粒图案的子集和胶片颗粒图案的全部数目。这种部件可以包括存储盘、磁存储介质、光存储介质或实质上任何存储部件。另外，可以为每个存储设备实施一个或多个存储部件。更进一步，尽管图1的胶片颗粒数据库104被描述为遥远地离开Ram存储器114，但是在本发明的替换实施例中，胶片颗粒图案存储部件可以彼此紧密接近或彼此远离。
图2描述了适用于图1的视频解码器子系统100的RAM接口控制器的实施例的高级方框图。图2的RAM接口控制器112包括处理器210以及用于存储控制程序、算法等的存储器220。处理器210与诸如电源、时钟电路、高速缓冲存储器等以及帮助执行存储在存储器220中的软件例程的电路的常规辅助电路230协作。这样，预期在此作为软件处理讨论的一些处理步骤可以在例如作为与处理器210协作用来执行各种步骤的电路的硬件中实施。RAM接口控制器112还包括在与RAM接口控制器112进行通信的各种单独的功能元件之间形成接口的输入-输出电路240。
尽管图2的RAM接口控制器112被描述为编程执行根据本发明的各种控制功能的通用计算机，但是本发明也可以在例如作为专用集成电路(ASIC)的硬件中实施。这样，意欲将在此描述的处理步骤更广地解释为由软件、硬件或其组合等效地执行。
返回参考图1的子系统100，远程胶片颗粒数据库104通过相对较大。在本发明一个实施例中，H.264视频解码器106、视频显示器和图形引擎108、主机接口110、接口控制器112、本地存储器114包括HD DVD播放机的组件。需要以例如HD DVD播放机的采样速率来访问来自远程胶片颗粒数据库104的胶片颗粒图案。因此，需要对大胶片颗粒数据库104的快速访问。在根据本发明的图1的子系统100中，在补充增强信息(SEI)胶片颗粒周期期间，只使用远程胶片颗粒数据库104的一小部分，该周期被增强而开发高速缓冲存储技术以降低复杂性。
更具体地，图1的胶片颗粒模拟处理要求对胶片颗粒SEI消息进行解码，该胶片颗粒SEI消息是以由修改1(保真度范围扩展)规定的国际标准ITU-TRec.H.264|ISO/IEC 14496-10位流传送的，在此将这两者完整地包括作为参考。在本发明的一个实施例中，在I(帧内编码的)画面之前发送胶片颗粒SEI消息，并且只有一个胶片颗粒SEI消息在特定I画面之前。
在本发明的一个实施例中并且依据这些标准规范，胶片颗粒图案的远程胶片颗粒数据库104由4,096个胶片颗粒样本的169种图案构成，每种图案表示64×64胶片颗粒图像。例如，图3描述图1的胶片颗粒数据库的典型排列的高级方框图。图3描述在x轴具有i_offset(偏移)和在y轴具有j_offset(偏移)的64×64样本胶片颗粒图案。图3还描述各种类型的169种胶片颗粒图案。
在胶片颗粒数据库104中，使用根据标准规范的频率滤波模型的不同的截止频率对来合成每种胶片颗粒图案。在胶片颗粒仿真处理期间，使用SEI消息中传送的截止频率来访问胶片颗粒图案的远程胶片颗粒数据库104。胶片颗粒数据库104存储在ROM、闪存、或诸如图1的视频解码器子系统100的胶片颗粒数据库104的其它永久性存储设备中，并且典型地不发生改变。胶片颗粒数据库104包含大量的胶片颗粒形状与大小的随机胶片颗粒图案。然而，对于具体的视频内容序列而言，实际上只需要该数据库的一小子集来有效地模拟胶片颗粒。本说明书将用于任何SEI消息周期的胶片颗粒图案的数目限制为一小子集。因此，本发明实施一小的胶片颗粒高速缓冲存储器，诸如本地Ram存储器114，其一接收到SEI消息时就更新。
通常，远程胶片颗粒数据库104存储在主机CPU102的或者在主机CPU102的位置的永久存储器中。然而，视频解码器106与视频显示器和图形引擎108需要快速访问胶片颗粒数据库104。这样，依据本发明，提供本地存储器114来至少快速访问胶片颗粒图案的一子集。即，至少将所需要的或者由现有SEI消息周期最常实施的胶片颗粒图案的一小子集传送本地存储器114到并存储在本地存储器114中。
在本发明的一个实施例中，本地存储器114大到足以存储整个胶片颗粒数据库104。在这个实施例中，视频解码器106与视频显示器和图形引擎108经由接口控制器112，立即且快速地访问原始存储在远程胶片颗粒数据库104中的所有可用胶片颗粒图案。另外，本发明的这个实施例具有如下优点，即本地存储器114中的胶片颗粒高速缓冲存储器不必一接收到SEI消息就更新。然而，这个实施例具有如下缺点，即需要更多的存储器。然而，在一些实现中，已经可获得这种大存储器(RAM)空间。
在本发明的替换实施例中，本地存储器114只大到足以存储胶片颗粒数据库104的一子集。在这个实施例中，控制器112每次一接收到SEI消息，就启动对本地存储器114的高速缓冲存储器的检查，以确定是否需要用在新的SEI消息中选择的远程胶片颗粒数据库104中的不同胶片颗粒图案来代替已在本地存储器114中的胶片颗粒图案的子集的任何一个。本技术的优点是较小的本地存储器114分配。缺点是本地存储器114的高速缓冲存储器必须由控制器112来管理，并且在最坏的情况下，必须经由例如控制器112，将整个高速缓冲存储器的大小从远程胶片颗粒数据库104传送到用于每个I帧的本地存储器114。另外，在本发明的这种实施例中，当设备引导(或复位)时，可以由控制器112利用存储在远程胶片颗粒数据库104中的最普的胶片颗粒图案来预初始化本地存储器114(即，胶片颗粒高速缓冲存储器)。亦即，选择哪些胶片颗粒图案存储在本地存储器114中取决于经验数据，该经验数据是基于在胶片内容的广泛选择中胶片颗粒数据库104中的什么胶片颗粒图案是最常用的。
在任何情况下，在本发明的上述实施例中，结合控制器112，根据本发明的本地存储器114能够使得视频解码器106与视频显示器和图形引擎108更快地访问先前只包括在远程胶片颗粒数据库104中的胶片颗粒图案。
尽管已经描述了用于胶片颗粒模拟的方法、装置和系统的各种实施例(它们旨在示意而非限制)，但是应该注意，按照上述教导本领域技术人员可以作出修改和变型。因此，应该理解，可以在由所附权利要求书概括的本发明的范围和精神之内的所公开的本发明的具体实施例中作出改变。虽然前文所述涉及本发明的各种实施例，但是在不偏离本发明的基本范围的条件下，可以获得本发明的其他和进一步的实施例。因此，根据所附权利要求书来确定本发明的适当范围。
权利要求
1.一种在胶片颗粒模拟处理中快速访问胶片颗粒图案的方法，该方法包括下列步骤提供用于存储至少一种胶片颗粒图案的第一存储器；以及响应没有存储在所述第一存储器中的、所述胶片颗粒模拟处理所需的胶片颗粒图案，更新所述第一存储器以便至少从第二存储器中至少获得所需的胶片颗粒图案。
2.如权利要求1所述的方法，其中所述第一存储器在胶片颗粒模拟处理的本地位置。
3.如权利要求1所述的方法，其中所述第二存储器位于距离胶片颗粒模拟处理的远程位置。
4.如权利要求1所述的方法，其中所述第一存储器至少存储在所述胶片颗粒模拟处理中最常实施的胶片颗粒图案。
5.如权利要求1所述的方法，其中所述第二存储器存储在所述胶片颗粒模拟处理中能够实施的所有胶片颗粒图案。
6.如权利要求1所述的方法，其中在所述胶片颗粒模拟处理期间，所述第一存储器是胶片颗粒图案的主要源。
7.一种在胶片颗粒模拟处理中快速访问胶片颗粒图案的方法，该方法包括下列步骤提供胶片颗粒模拟处理的本地位置的高速缓冲存储器，用于至少存储所述胶片颗粒模拟处理中的能够实施的全部数目的胶片颗粒图案的一子集；以及响应没有存储在所述本地高速缓冲存储器中、所述胶片颗粒模拟处理中所需的胶片颗粒图案，更新所述本地高速缓冲存储器以从至少包括所需的胶片颗粒图案的至少一个数据库中至少获得所需的胶片颗粒。
8.如权利要求7所述的方法，其中所述至少一个数据库包括在所述胶片颗粒模拟处理中能够实施的全部数目的胶片颗粒图案。
9.如权利要求7所述的方法，其中所述本地高速缓冲存储器中的胶片颗粒图案的所述子集包括在所述胶片颗粒模拟处理中最常实施的、来自所述至少一个数据库的胶片颗粒图案。
10.如权利要求7所述的方法，其中补充信息消息标识在所述胶片颗粒模拟处理中所需的胶片颗粒图案。
11.如权利要求10所述的方法，其中所述补充信息消息包括补充增强信息(SEI)消息。
12.一种模拟胶片颗粒的装置，该装置包括用于至少接收编码的图像和包括用于胶片颗粒模拟处理的胶片颗粒特性信息的补充信息的部件；用于存储至少一种胶片颗粒图案的第一存储部件；控制器，所述控制器适于执行如下步骤确定所述胶片颗粒模拟处理中所需的胶片颗粒图案是否存储在所述第一存储部件中；以及响应没有存储在所述第一存储部件中的、所述胶片颗粒模拟处理中所需的胶片颗粒图案，更新所述第一存储部件以从至少第二存储部件至少获得所需胶片颗粒图案。
13.如权利要求12所述的装置，其中用于接收的所述部件包括解码器。
14.如权利要求12所述的装置，其中所述第一存储部件包括本地高速缓冲存储器。
15.如权利要求12所述的装置，其中所述第二存储部件包括远程数据库。
16.如权利要求12所述的装置，其中所述控制器包括随机存取存储器(RAM)接口控制器。
17.如权利要求12所述的装置，其中所述第一存储部件至少包括在所述胶片颗粒模拟处理中最常实施的胶片颗粒图案。
18.如权利要求12所述的装置，其中所述第二存储部件包括在所述胶片颗粒模拟处理中所需的所有胶片颗粒图案。
19.如权利要求12所述的装置，其中响应接收到补充信息消息而发生所述确定，所述补充信息消息标识在所述胶片颗粒模拟处理中所需的至少一种胶片颗粒图案。
20.一种模拟胶片颗粒的系统，该系统包括用于至少接收编码的图像和包括用于胶片颗粒模拟处理中的胶片颗粒特征信息的补充信息的部件；用于存储至少一种胶片颗粒图案的第一存储部件；用于存储要在所述胶片颗粒模拟处理中使用的胶片颗粒图案的第二存储部件；控制器，包括用于至少存储指令的存储器和用于执行所述指令的处理器，所述控制器适于执行如下步骤确定在所述胶片颗粒模拟处理中所需的胶片颗粒图案是否存储在所述第一存储部件中；以及响应没有存储在所述第一存储部件中的、所述胶片颗粒模拟处理中所需的胶片颗粒图案，使得所述第一存储部件至少从所述第二存储部件获得所需的胶片颗粒图案。
21.一种模拟胶片颗粒的系统，该系统包括用于至少接收编码的图像和包括在胶片颗粒模拟处理中使用的胶片颗粒特征信息的补充信息消息的解码器；至少存储要在所述胶片颗粒模拟处理中使用的全部数目的胶片颗粒图案的一子集的本地数据库；存储要在所述胶片颗粒模拟处理中使用的全部数目的胶片颗粒图案的远程数据库；接口控制器，至少包括用于存储指令的存储器和用于执行所述指令的处理器，所述接口控制器适于执行如下步骤响应接收到的补充信息消息，确定由所述胶片颗粒模拟处理所需的胶片颗粒图案是否存储在所述本地数据库中；以及响应没有存储在所述本地数据库中的、由所述补充信息消息标识的胶片颗粒图案，更新所述本地数据库而至少从至少所述远程数据库获得标识的胶片颗粒图案。
全文摘要
本发明提供一种用于在胶片颗粒模拟处理中快速访问胶片颗粒图案的方法、装置及系统，包括提供存储至少一种胶片颗粒图案的第一存储器；并且响应没有存储在第一存储器中的、胶片颗粒模拟处理所需的胶片颗粒图案，更新第一存储器以至少从第二存储器中至少获得所需的胶片颗粒图案。在一个实施例中，第一存储器是本地高速缓冲存储器，第二存储器是胶片颗粒图案数据库，控制器为了在胶片颗粒模拟处理中所需的特定胶片颗粒图案检查本地高速缓冲存储器。响应没有存储在本地高速缓冲存储器中的所需的胶片颗粒图案，控制器使用胶片颗粒图案数据库来更新本地高速缓冲存储器。
文档编号G06T9/00GK101044511SQ200580035608
公开日2007年9月26日 申请日期2005年10月7日 优先权日2004年10月18日
发明者杰弗里·A·库珀, 琼·拉赫, 克里斯蒂娜·戈米拉 申请人:汤姆森特许公司