专利名称：利用一个或多个参数来表示图像颗粒度的方法和设备的制作方法
技术领域：
本发明涉及一种仿真胶片颗粒的技术。
背景技术：
电影胶片包括在感光乳剂中分散的卤化银晶体，该感光乳剂被涂敷在胶片基底上的薄层内。这些晶体的曝光和显影形成包括银的分散微粒的摄影图像。在显影后化学地去除了银的彩色负片中，在形成银颗粒的位置出现微小的染料滴。这些染料的小滴通常被称作彩色胶片中的“颗粒(grain)”。颗粒随机地分布在所得到的图像中，这是因为银晶体在原始感光乳剂上是随机形成的。在均匀曝光的区域内，一些晶体通过曝光显影，而其他则没有。
颗粒在尺寸和形状上都不同。胶片形成越快，形成的银块和染料滴越大，并且它们越可能以随机图案(pattern)聚集在一起。典型的颗粒图案公知为“颗粒度”。裸眼不可能分辨从0.0002mm到0.002mm变化的单个颗粒。然而，眼睛可以分辨被称作滴的颗粒组。观察者将这些滴的组识别为胶片颗粒。随着图像分辨率增大，对于胶片颗粒的察觉越高。胶片颗粒在电影和高清晰图像中清楚地注意到，而胶片颗粒在SDTV中逐渐丧失显著性，并且在更小格式下也变得不可察觉。
典型地，电影胶片包含图像依赖噪声，源自摄影胶片的曝光和显影的物理工艺或源自图像的后期编辑。摄影胶片具有准随机图案或纹理的特性，源自摄影感光乳剂的物理颗粒度。或者，能够根据计算产生的图像来仿真类似的图案，以便将其与摄影胶片混合。在这两种情况下，将图像依赖噪声称作颗粒。经常，适度的颗粒纹理在电影中呈现出希望的纹理。在一些示例中，胶片颗粒提供了利于正确察觉二维画面的线索。在单个胶片中，胶片等级(grade)经常变化，以提供关于时间参考、视点等的各种线索。许多其他技术和艺术使用已有工艺在电影厂控制颗粒纹理。因此，需要在电影厂中的图像处理和传递链条中保留图像的颗粒外观。
多种商业可用产品具有仿真胶片颗粒的能力，经常用于将计算机产生的目标与自然场景相混合。最早的数字胶片应用程序之一、来自Eastman Kodak Co，Rochester New York的Cineon产生了多种颗粒类型的、非常真实的结果。然而，对于许多高速胶片，Cineon应用程序不能实现较好的性能，这是因为对于高颗粒尺寸设置，应用程序产生了可察觉的斜纹带。此外，当对图像进行前期处理时，例如当复制图像或数字地处理图像时，Cineon应用程序不能以足够的逼真度来仿真颗粒。
仿真胶片颗粒的另一商业产品是来自Visual Infinity Inc.的Grain SurgeryTM，将其用作AdobeAfter Effects的插件。GrainSurgeryTM产品通过对随机数的集合进行滤波来产生合成颗粒。该方法的缺点在于较高的计算复杂度。
这些已有方案均不能解决压缩视频恢复中恢复胶片颗粒的问题。胶片颗粒构成了高频准随机现像，通常不能利用采用了视频序列冗余性的传统空间和时间方法对其进行压缩。尝试利用MPEG-2或ITU-T/ISO H.264压缩技术来处理源自胶片的图像通常会导致不能接受的较低压缩度或颗粒纹理的完全丢失。
因此，需要一种通过一个或多个参数集合来呈现胶片颗粒特性的技术。
发明内容
简要地，根据本原理的优选实施例，提供一种用于仿真胶片颗粒的技术。当接收到表示胶片颗粒至少已经被衰减的图像的图像信息时，该技术开始。伴随图像信息的是胶片颗粒信息，包括可能的参数集合中的至少一个参数，所述参数集合预先指定了图像中胶片颗粒的不同属性。选择用于仿真颗粒的模型，并根据所选择的模型和至少一个参数来仿真胶片颗粒。然后，将仿真的胶片颗粒融合到图像中。
图1示出了根据本原理，根据用于仿真胶片颗粒的本原理的、系统的第一实施例的方框图；图2示出了根据本原理，根据用于仿真胶片颗粒的本原理的、系统的第二实施例的方框图；以及图3示出了根据本原理，根据用于仿真胶片颗粒的本原理的、系统的第三实施例的方框图。
具体实施例方式
图1示出了根据本原理，根据用于执行胶片颗粒仿真的本原理的、系统10的第一实施例的方框示意图。系统10包括胶片颗粒去除器22，用于从输入视频流12中去除胶片颗粒，从而产生在视频编码器13处接收的滤波视频流24。胶片颗粒去除构成了噪声滤除的一种特定情况，其中噪声信号与图像信号相关。因此，尽管这种滤波器不必提供最优性能，胶片颗粒去除器22可以采用经典图像滤波器的形式。视频编码器13对滤波视频流24进行编码，以产生编码视频流14，用于在视频解码器15处进行接收，视频解码器15解码编码流以产生解码视频流16。视频编码器13和视频解码器15使用了本领域公知的相同视频编码方案。例如，视频编码方案包括ITU-TH.264视频编码标准或其他类型的、基于块的编码。使用MPEG-2和ITU-TH.264标准的编码器和解码器是公知的。
系统10还包括胶片颗粒特征器23，用于接收输入视频流12和滤波视频流24。从这些视频流中，胶片颗粒特征器23输出下文中被称作颗粒消息的消息，该消息包括用于仿真颗粒的模型的标识以及包含多个参数的集合中的至少一个参数，所述多个参数包括由所识别的模型使用的相关性参数、亮度无关参数和亮度依赖参数。如下详细所述，胶片颗粒消息中的参数使得能够利用所识别的模型来仿真原始的图像依赖噪声。在缺少任何一个参数的情况下，将默认值分配给该丢失的参数。(实际上，如果没有识别模型，假定胶片颗粒的默认模型)。在一个实施例中，胶片颗粒特征器23根据模型来产生参数，所述模型基于摄影胶片的曝光和显影的物理工艺或后期图像编辑期间添加的工艺。
在产生颗粒消息之后，胶片颗粒特征信息编码器26对消息进行编码，以便与从视频编码器13发送到视频解码器15的编码视频流14同带(in-band)或不同带(out of-band)地被发送到胶片颗粒特征信息解码器28。视频编码器13和胶片颗粒特征信息编码器26均使用相同的编码方案。因此，例如，当编码器26使用ITU-TH.264视频编码标准进行编码时，编码胶片颗粒特征信息流27可以采用在ITU-TH.264视频编码标准中定义的胶片颗粒补充增强信息(SEI)消息。
胶片颗粒特征信息解码器28对编码胶片颗粒消息27进行解码，以产生解码胶片颗粒特征信息流29，以便输入到胶片颗粒恢复处理器30。如下详细所述，处理器30能够使用消息中的参数，利用在颗粒消息中识别的模型来仿真胶片颗粒。在没有识别模型时，处理器30假定默认模型。同样，在没有给定参数的特定值时，处理器假定该参数的默认值。
在优选的实施例中，图1的颗粒消息25通常包括一个或多个相关性参数，指定了空间相关性、长宽比、彩色相关性以及时间相关性。下面将解释每一个参数。
空间相关性在典型的实施例中，可以利用至少一个参数(空间相关性)来建模空域中胶片颗粒的图像依赖相关性。测量的空间相关性确定了滴的尺寸。下面将说明用于空间相关性的二阶自动回归模型和卷积模型。
长宽比理想地，胶片颗粒应当呈现各向同性，在X和Y方向均具有相同特性。然而，在实际中，胶片颗粒实际可能在一个方向上呈现拉长，这经常是由于与胶片记录相关的因子而导致的，例如使用失真的光学系统或非方形的检测器几何形状(detector geometry)。因此，当对胶片颗粒建模时，表示长宽比因子的亮度无关参数将补充空间相关性量度。利用至少一个参数来指定颗粒滴的长宽比。
彩色相关性根据本原理，利用彩色相关性来表示彩色图像中胶片颗粒的层依赖性。测量的彩色相关性确定了颗粒的察觉的色彩。弱彩色相关性暗示在不同彩色层中产生的颗粒滴随机地彼此重叠。结果，观察者会察觉颗粒是彩色的。高彩色相关性暗示一个彩色分量的颗粒滴依赖于其他彩色分量。在这种情况下，观察者会察觉该颗粒是单色的。
时间相关性由至少一个参数表示序列中颗粒的时间相关性。颗粒本身不能呈现帧之间的任何时间相关性，但引入表示时间相关性的参数有助于仿真由胶片的编辑引起的其他观察到的效果。
噪声强度结合表示胶片图像的胶片颗粒依赖性的前述参数，需要表示来自引起胶片颗粒的随机过程的噪声强度。噪声强度对于每一个彩色分量都是不同的，并且取决于胶片图像。颗粒的亮度确定了在图像中觉察噪声的等级。较小的颗粒亮度等级在原始图像中引入较小的变化并难以被觉察。较高的亮度等级清楚地被看作是图像中叠加的峰值。
其他参数除了上述参数以外，颗粒消息还包括识别以下内容的参数其中添加了胶片颗粒的彩色空间以及用于将颗粒与视频信号相混合的混合模式。注意，对于每一个彩色分量和胶片图像的不同亮度等级，可以发送不同的参数集合。例如，公知的是，胶片颗粒取决于图像的局部亮度，并且不同彩色分量可以具有取决于电影胶片类型的不同颗粒。
图1的胶片颗粒特征器23能够根据图像的亮度等级来产生不同的参数集合。如果希望，胶片颗粒解码器28能够将参数集合插值到各种亮度等级中，以便得到胶片颗粒特性的平滑过渡。
为了解译参数集合，胶片颗粒解码器28必须具有产生参数的模型的说明。为了理解如何指定这种模型，以下的数学关系的证明是有用的。首先，由I(x，y，c，t)表示位于图像位置(x，y)、彩色通道c和帧号t的解码图像像素值。方便起见，假设缩放该像素值，使其具有最大值1。此外，假设RGB图像表示(c＝1、2或3)，尽管该模型可以直接针对单色图像，显而易见的，可以修改为YUV表示。
利用加法颗粒模型，颗粒仿真将每一个像素值改变为J(x，y，c，t)，其中由以下关系给出J(x，y，c，t)(1)J(x，y，c，t)＝I(x，y，c，t)+G(x，y，c，t，L(x，y，t))，其中L(x，y，t)是图像中局部亮度的量度，G(x，y，c，t，L(x，y，t))定义了颗粒值。一种可能的实现是将L定义为辉度，或所有彩色信道的亮度I(x，y，c，t)的加权和。
当使用对数亮度缩放时，由等式(1)给出的加法模型是适合的。对于线性缩放，可以由以下乘法模式来代替等式(1)的模型(1a)J(x，y，c，t)＝I(x，y，c，t)*(1+G(x，y，c，t，L(x，y，t)))使用加法还是乘法颗粒模型取决于解码图像的格式。通常，颗粒应当包括最大像素值的较小部分(small fraction)。以下说明了根据本发明、用于提取参数集合的不同类型模型的示例。
1.胶片颗粒图案的自动回归仿真在典型实施例中，可以将二阶自动回归方案用于模型空间相关性，而将一阶回归方案用于模型彩色和时间互相关性。所有的相关性因子均取决于解码图像的亮度。水平和垂直空间相关因子通过恒定长宽比因子相关。在这种条件下，以下公式可以产生仿真的颗粒值，(2)G(x，y，c，t，L)＝p(c，L)*N+q(c，L)*(G(x-1，y，c，t，L)+A*G(x，y-1，c，t，L))+r(c，L)*A*(G(x-1，y-1，c，t，L)+G(x+1，y-1，c，t，L))+s(c，L)*(G(x-2，y，c，t，L)+A*A*G(x，y-2，c，t，L))+u(c，L)*G(x，y，c-1，t，L)+v(c，L)*G(x，y，c，t-1，L)其中N是具有归一化高斯分布的随机值。A是恒定像素长宽比，p、q、r、s、u和v是相关性参数。对于第一彩色通道，参数u始终是零，只要任意指标超出范围，假设颗粒值G为零。
如等式(2)的结构可见，利用之前计算的颗粒值来递归地计算给定彩色通道中给定像素的颗粒值。具体地，按照帧号增加(即，增加t)的顺序来计算帧。在每一帧中，按照彩色通道号增加(即，增加c)的顺序来进行彩色通道处理。在每一个彩色通道中，按照增加x和y的顺序，水平然后垂直地对像素进行光栅化。之后，预先自动计算等式(2)所需的所有颗粒值。
在特定环境下，垂直光栅化更为实用，即，首先按列进行像素处理。在这种情况下，等式(2)需要稍微进行修改，以便只使用之前计算的值(2a)G(x，y，c，t，L)＝p(c，L)*N+q(c，L)*(G(x-1，y，c，t，L)+A*G(x，y-1，c，t，L))+r(c，L)*A*(G(x-1，y-1，c，t，L)+G(x-1，y+1，c，t，L))+s(c，L)*(G(x-2，y，c，t，L)+A*A*G(x，y-2，c，t，L))+u(c，L)*G(x，y，c-1，t，L)+v(c，L)*G(x，y，c，t-1，L)。
实现等式(2)或等式(2a)需要一定的最小解码器能力。首先，胶片颗粒信息解码器28必须实时地执行所有计算。第二，胶片颗粒信息解码器28需要在存储器中保持多个之前计算的颗粒值。具体地，为了实现时间相关性(即，等式(2)和(2a)的最后一项)，胶片颗粒信息解码器28需要保持用于全部之前帧的颗粒值。因此，重要的是，等式(2)的模型允许具有某些逼真度下降的逐步缩小需要。
具有稍低逼真度的系统可以忽略等式(2)中的最后(时间)一项。这么做可以消除保持之前帧的颗粒值的附加帧缓冲器的需要。此外，忽略等式(2)中取决于s(c，L)的这些项引起成本节约。这么做可以消除存储存储器中第二在先行的需要，并减小了计算的数目。忽略由具有r(c，L)的项说明的对角相关等实现了复杂度的进一步减小。最低质量的颗粒仿真器只使用白噪声项。
只要忽略了缩小系统中的项，如果胶片颗粒信息解码器28调整剩余参数以便有效的一阶相关，就是有益的，更重要地，自相关(噪声功率)保持了与等式(2)体现的模型的全尺度实现相同的效果。在没有所有之前颗粒值可用时，对于每一帧的第一行和列应当进行相同的调整。
通过对于除第一彩色通道以外的所有通道，将p、q、r和s设为零，并且对于c＞1，将彩色相关性u(c，L)设为1，等式(2)中体现的模型的灵活性将更加明显。在这种条件下，颗粒变为完全单色。这些参数值的集合能够说明彩色空间的在先YUV4:2:0变换所洗掉(wash out)的彩色变化。
对于三色集合，等式(2)的模型说明了对于每一个亮度级、根据一组17个参数的颗粒图案，添加了不依赖于亮度的长宽比。对于多个固定亮度级，可以编码亮度依赖参数。解码器针对中间亮度级对参数值进行插值。
不必精确地以等式(2)的形式来表示颗粒参数。例如，可以使用参数的任意一对一变换。此外，不同的参考亮度级集合可以用于不同的参数，也可以使用不同的插值方案等。
2.用于仿真胶片颗粒图案的空域卷积在另一个典型实施例中，可以通过将随机数x的集合与按照以下形式定义的线性时不变数字滤波器h进行卷积来仿真胶片颗粒图案(3)h＝(h0，h1，h2，h3，...hn)这表明仿真胶片颗粒的滤波器输出y(n)是输入x(n)与滤波器脉冲响应h(n)的卷积(4)---y(n)=Σi=0nx(i)h(n-i)=(x*h)(n)]]>尽管等式(4)实现了一个维度的仿真，通过级联一个维度的垂直和水平卷积，可以得到二维图案。在这种环境下，除了长宽比以外，还应当发送滤波器系数。
具有有限能力的胶片颗粒信息解码器28能够限制卷积内核的空间尺寸，这能够减小存储器和处理功率要求。
3.在变换域进行滤波以仿真胶片颗粒图案如前所述，将滤波器的脉冲响应h与随机数集合x进行卷积能够表现胶片颗粒图案的特征。通过在频域将脉冲响应的傅立叶变换H与随机数集合的傅立叶变换X相乘，也能够说明相同的运算(5)Y(u)＝X(u)·H(u)频域滤波是有利的，这是因为如果图像的傅立叶变换可用，例如作为滤波或压缩处理的一部分，则计算更快。
根据本原理，以下参数集合能够产生令人满意的结果，以表示图像依赖颗粒。这些参数假设仿真颗粒的自动回归方法。通过类似的表可以表示针对其他方法的参数。
彩色空间对数RGB混合模式加法长宽比1亮度级的数目3R分量的参数qru v p级[ 0， 84] 0.1 .01 0.0 0.2 0.02级[ 85，168] 0.1 .01 0.0 0.15 0.03级[169，255] 0.3 -.01 0.0 0.15 0.05G分量的参数qruv p级[ 0， 84] 0.3 0.0 0.1 0.2 0.01级[ 85，168] 0.2 .01 0.1 0.15 0.03级[169，255] 0.1 -.01 0.2 0.1 0.05B分量的参数qruv p级[ 0， 84] 0.4 .01 0.1 0.2 0.02级[ 85，168] 0.1 0.0 0.1 0.15 0.03级[169，255] 0.1 0.0 0.2 0.1 0.04没有在该表中示出的相关性参数被设为0。
在指定了针对其定义了不同参数的彩色空间、混合模式、长宽比和亮度级数目之后，对每一个彩色分量的胶片颗粒进行编码。注意，除了一些级(亮度)信息以外，还必须只发送斜体数据。
图2示出了根据本原理，用于仿真胶片颗粒的系统的第二实施例10’。系统10’与图1的系统10共享许多相同的组件，相同的参考数字表示相同组件。实际上，图2的系统10’的不同之处仅在于没有图1的胶片颗粒特征信息编码器26和胶片颗粒特征信息解码器28。图2的系统10’使用视频编码器13和视频解码器15来分别编码和解码胶片颗粒特征器23输出的胶片颗粒特征信息25。图2的系统10’需要使用支持作为并行增强信息来传输胶片颗粒特征信息的视频编码标准。
图3示出了根据本原理，用于仿真胶片颗粒的系统的第三实施例10”。系统10”与图2的系统10’共享许多相同的组件，相同的参考数字表示相同组件。实际上，图3的系统10”的不同之处仅在于没有图2的胶片颗粒去除器22。图3的系统10”使用在视频编码器13可用的重构图像来仿真去除胶片颗粒的结果。与图1的系统10和图2的系统10’相比，图3的系统10”提供了两个优点。首先，图3的系统10”减小了与胶片颗粒去除相关的计算复杂度，第二，其使胶片颗粒特征适应于由视频编码器13抑制的胶片颗粒量。一旦图3的胶片颗粒特征器处理具有胶片颗粒的输入视频12以及来自视频编码器13的重构视频24，其可以实现体现了观察到的胶片颗粒的特征的任务。
以上说明了一种用于仿真视频信号中胶片颗粒的技术。尽管已经结合视频信号的编码和解码说明了该胶片颗粒仿真技术，该技术对于其他目的具有等同的实用性，例如电影胶片的后期制作。在这方面，原始图像以图像信息形式存在，而不是压缩视频信号，胶片颗粒信息可以按照除消息(例如SEI消息)以外的形式存在。例如，图像信息可以按照现有技术中各种不同格式之一的形式存在。
权利要求
1.一种用于仿真胶片颗粒的方法，包括步骤接收表示胶片颗粒至少已经被衰减的图像的图像信息；接收胶片颗粒信息，所述胶片颗粒信息包括可能的参数集合中的至少一个参数，所述参数集合预先指定了图像中胶片颗粒的不同属性；选择用于仿真颗粒的模型；根据所选择的模型和至少一个参数来仿真胶片颗粒；以及将仿真的胶片颗粒融合到图像中。
2.根据权利要求1所述的方法，其中参数集合包括多个相关性参数和多个亮度无关参数。
3.根据权利要求2所述的方法，其中至少一个相关性参数定义了胶片颗粒的察觉图案中的空间相关性。
4.根据权利要求2所述的方法，其中至少一个相关性参数定义了彩色层之间的相关性。
5.根据权利要求2所述的方法，其中至少一个相关性参数定义了源自之前处理图像序列的时间相关性。
6.根据权利要求2所述的方法，其中至少一个亮度无关参数定义了胶片颗粒的长宽比。
7.根据权利要求1所述的方法，其中至少一个参数定义了胶片颗粒的随机分量的亮度。
8.根据权利要求2所述的方法，其中至少一个亮度无关参数定义了彩色空间和用于将仿真胶片颗粒与图像融合的混合模式操作。
9.根据权利要求1所述的方法，其中与图像表示信息不同带地发送包含胶片颗粒信息的消息。
10.根据权利要求1所述的方法，其中与图像表示信息同带地发送包含胶片颗粒信息的消息。
11.根据权利要求2所述的方法，其中根据空间相关性的二阶自动回归表示以及彩色和时间互相关性的一阶回归表示来计算参数集合。
12.根据权利要求3所述的方法，其中根据空间卷积模型来建立描述颗粒的空间图案的至少一个参数。
13.根据权利要求3所述的方法，其中利用傅立叶域的滤波器的截频来得到描述颗粒的空间图案的至少一个参数。
14.根据权利要求1所述的方法，其中选择模型的步骤还包括选择加法颗粒模型的步骤。
15.根据权利要求1所述的方法，其中选择模型的步骤还包括选择乘法颗粒模型的步骤。
16.根据权利要求1所述的方法，其中选择模型的步骤还包括步骤选择通过将随机数集合与如下定义的线性时不变数字滤波器h卷积来仿真胶片颗粒的模型h＝(h0，h1，h2，h3，...hn)其中参数的集合包括滤波器系数。
17.根据权利要求1所述的方法，其中选择模型的步骤还包括步骤根据以下关系，在频域将脉冲响应的傅立叶变换H与随机数的傅立叶变换集合相乘，以产生仿真的颗粒结果Y(u)Y(u)＝X(u)·H(u)。
18.一种用于仿真胶片颗粒的设备，包括第一装置，用于(1)接收表示胶片颗粒至少已经被衰减的图像的图像信息；(2)接收胶片颗粒信息，所述胶片颗粒信息包括可能的参数集合中的至少一个参数，所述参数集合预先指定了图像中胶片颗粒的不同属性；(3)选择用于仿真颗粒的模型；以及(4)根据所选择的模型和至少一个参数来仿真胶片颗粒；以及第二装置，用于将仿真的胶片颗粒融合到图像中。
19.根据权利要求18所述的设备，其中由第一装置选择的模型包括加法颗粒模型。
20.根据权利要求18所述的设备，其中由第一装置选择的模型包括乘法颗粒模型。
21.根据权利要求18所述的设备，其中由第一装置选择的模型通过将随机数集合x与如下定义的线性时不变数字滤波器h卷积来仿真胶片颗粒h＝(h0，h1，h2，h3，...hn)其中参数的集合包括滤波器系数。
22.根据权利要求18所述的设备，其中由第一装置选择的模型根据以下关系，通过在频域将脉冲响应的傅立叶变换H与随机数的傅立叶变换集合相乘，来产生仿真的颗粒结果Y(u)Y(u)＝X(u)·H(u)。
全文摘要
为了仿真压缩视频信号中的胶片颗粒，解码器(15、28)接收包含信息的消息，所述信息包括一个或多个参数的集合，每一个参数指定了与胶片颗粒相关的特定属性。例如，参数之一指定了用于仿真胶片颗粒的模型，而其他参数中的每一个均指定了与该模型相关的一个特定因子。当接收到消息时，解码器选择模型，并仿真胶片颗粒，以便在解压之后将其添加到视频信号中。
文档编号H04N5/262GK1791891SQ200480013335
公开日2006年6月21日 申请日期2004年3月30日 优先权日2003年5月15日
发明者克里斯蒂娜·戈米拉, 亚历山大·科比兰斯基 申请人:汤姆森许可贸易公司