专利名称：视频编码的制作方法
技术领域：
本发明涉及视频编码，并且更加具体地讲，涉及空间可缩放(scalable)视频压缩方案。
背景技术：
由于数字视频的固有的庞大数据量，在研发高清晰度电视的过程当中，传输完全运动、高清晰度数字视频信号是一个重要问题。更加具体地讲，每个数字图像帧是按照特定系统的显示分辨率由像素阵列构成的静止图像。结果，包含在高分辨率视频序列中的原始数字信息量是庞大的。为了减少必须要发送的数据量，采用了压缩方案来对数据进行压缩。已经制定了各种视频压缩标准或处理，包括MPEG-2、MPEG-4和H.264。
能够实现很多这样的应用其中可在一个流中以各种不同的分辨率和/或质量得到视频。实现这一点的方法笼统地称为可缩放性技术。可以在三个轴上施展可缩放性。第一个是时间轴上的可缩放性，通常称为时间可缩放性。其次，是质量轴上的可缩放性，通常称为信号-噪声可缩放性或细粒度可缩放性。第三个轴是分辨率轴(图像中的像素数量)，通常称为空间可缩放性或分层编码。在分层编码中，将位流分为两个或多个位流(或层)。可对每一层进行组合，以形成单个高质量信号。例如，基本层可以提供较低质量的视频信号，而增强层提供可以增强基本层图像的附加信息。
具体来说，空间可缩放性能够提供在不同视频标准或解码器能力之间的兼容性。利用空间可缩放性，基本层视频可以具有比输入视频序列低的分辨率，在这种情况下，增强层携带能够将基本层的分辨率恢复到输入序列的级别的信息。
附
图1表示一种已知的分层视频编码器100。所示出的编码系统100实现层压缩，从而信道的一部分用于提供低分辨率基本层，而剩余的部分用于传送边缘增强信息，从而可以将这两个信号进行重新组合，以把系统提升到高分辨率。高分辨率视频输入Hi-RES由分离器102进行分离，从而将数据发送给低通滤波器104和减法电路106。低通滤波器104降低视频数据的分辨率，然后将视频数据馈送给基本编码器108。总地来说，低通滤波器和编码器在本领域中是公知的，因此为了简明，本文不做详细描述。编码器108产生较低分辨率的基本流，该基本流被提供给第二分离器110，然后再从这里被输出系统100。可以对基本流进行广播、接收，并且借助解码器将其按原样显示出来，不过基本流并不提供可看做是高清晰度的分辨率。
分离器110的另一个输出馈送给了系统100中的解码器112。从这里，将解码的信号馈送到内插和上采样电路114。总地来说，内插和上采样电路114从解码的视频流中重构出滤除了的分辨率，并且提供具有与高分辨率输入相同分辨率的视频数据流。不过，由于滤波和编、解码造成的损耗，在重构的流中会存在一定的误差。在减法电路106中，通过从原始的未经修改的高分辨率流中减去重构的高分辨率流来确定出这些误差。减法电路106的输出被馈送给增强编码器116，该增强编码器116输出合理质量的增强流。
对输入视频进行滤波并将其缩减(downscaling)到较低分辨率然后对其进行压缩的缺点在于，视频损失了锐度。这可以在解码器之后通过使用锐度增强而在一定程度上得到补偿。画面增强技术通常是通过分析增强输出信号来进行控制的。如果使用原始的全分辨率信号作为参考，则可以使得增强控制得到改进。不过，通常这样的参考例如并不存在于电视机中。不过，在某些应用中(例如空间可缩放压缩)，这样的参考信号是存在的。不过，问题变成了如何利用这一参考，一种可能是关注参考和增强的输出信号的像素差异。可以通过最小化差异能量来实现控制。不过，这种方法实际上并不考虑人眼如何感觉到画面是清晰的。我们知道，可以从画面中提取考虑了人眼如何感觉到画面清晰的画面内容参数。在这里，当控制算法试图最大化这些值时有使其过度的危险，从而造成清晰而不太自然的画面。问题是在还有可用于控制画面增强的参考画面的时候如何使用这些提取出来的画面内容参数。
发明概要本发明通过使用针对增强的输出信号和参考信号二者的画面内容参数克服了其它已知分层压缩方案的不足。控制算法以这样一种方式控制基本流的增强增强的输出信号和参考信号的画面内容参数之间的差变得尽可能低。这防止了增强过度，并且得到了清晰自然的画面。
按照本发明的一个实施例，公开了一种对输入视频位流进行编码以产生编码的输出位流的方法和设备。根据增强控制参数对基本流进行增强。从经过增强的基本流中提取至少一个画面内容参数。从输入视频位流中提取至少一个画面内容参数。将增强的画面内容参数与输入画面内容参数进行比较。接收来自比较步骤的输出，并且计算所述增强控制参数，以使输入画面内容参数与增强的画面内容参数之间的差最小。将计算出来的控制参数合并到编码的输出位流中。
通过参阅下面描述的各实施例，本发明的这些和其它方面将会变得显而易见，并且将参照下面描述的各实施例对本发明的这些和其它方面加以说明。
附图简述现在将参照附图，用举例的方式对本发明加以描述，其中附图1是表示已知的分层视频编码器的框图；附图2是按照本发明的一个实施例的分层视频编码器/解码器的框图；附图3a-3b表示按照本发明的一个实施例的DCT系数能级曲线；附图4是按照本发明的一个实施例的解码器的框图；附图5是按照本发明的另一个实施例的解码器的框图；和附图6是按照本发明的另一个实施例的解码器的框图。
发明的详细描述按照本发明的一个实施例，公开了一种使用空间锐度增强技术的空间可缩放压缩方案。按照本发明的该实施例，从参考信号和增强的输出信号二者中提取出画面内容信息，下面将对此进行描述。
现在将参照附图2对该实施例进行更加详细的描述，附图2是可由本发明使用的编码器的框图。可以理解，该编码器可以是具有分辨率相对较低的基本层和至少一个增强层的分层编码器，但是本发明并不局限于此。所示出的编码系统200实现层压缩，从而使信道的一部分用于提供低分辨率的基本层，而使剩余部分用于传送边缘增强信息，从而可以对这两个信号进行重新组合，以将系统提升到高分辨率。由分离器210对高分辨率视频输入201进行分离，从而将数据发送给低通滤波器212(例如尼奎斯特(nyquist)滤波器)和分离器232。低通滤波器210降低视频数据的分辨率，然后将视频数据馈送给基本编码器214。总地来说，低通滤波器和编码器是本领域公知的，因此为了简明，在本文中不做详细描述。基本编码器214产生较低分辨率的基本流215。可以对该基本流进行广播、接收，并且借助解码器按原样将其显示出来，不过基本流并不提供可看做高清晰度的分辨率。
编码器还将经过解码的基本流输出给分离器213，该分离器213对解码的基本流进行分离，并且将其提供给扩充(upscaling)电路216和增强单元220。此外，可以在编码器214之后的电路中插入一个解码器(未示出)，以在发送给扩充电路216之前对编码器的输出进行解码。总地来说，扩充电路216从经过解码的视频流重构已被滤除掉的分辨率，并且提供具有与高分辨率输入相同分辨率的视频数据流。将经过扩充的位流v1从扩充电路216输入到减法电路234。
增强单元220处理该输出信号215，并且按照该增强单元220中的一个或多个增强算法和由控制单元231产生的增强控制参数(“enh ctrlpar”)对信号进行增强。存在很多视频增强技术，并且它们全都会修改画面内容，从而使得所得到的画面的欣赏性得到提高。这些增强的主观特性使得优化处理变得复杂，并且很可能是视频增强算法的多样性的原因。各种增强算法都以某种方式对画面质量有所贡献。噪声降低和锐度提高算法仅仅是一大套增强算法中的几个例子。将会理解，这些已知的增强算法中的任何一个都可以用于本发明。
增强的输出信号221被提供给画面内容参数单元222。画面内容参数单元222从增强的输出信号221中提取多个画面内容参数。在这个示例性的例子中，从增强的输出信号221中提取了三个画面内容参数，但是本发明并不局限于此。
参考信号201被提供给画面内容参数单元224。画面内容参数单元224从参考信号201中提取与画面内容参数单元222从增强的输出信号221中所提取的相同的多个画面内容参数。画面内容参数可以全局地基于帧，不过也可以基于例如16*16像素的像素组。从画面中或像素组中提取的画面内容参数的例子包括(但不局限于)像素组的最大和最小值之间的差；边缘中心处的边缘陡度值，DCT系数高频能级等。附图3a表示参考信号201的DCT系数能级曲线，而附图3b表示增强的输出信号221的DCT系数能级曲线。
由参考画面内容参数单元224和增强的画面内容参数单元222提取的画面内容参数被提供给比较单元，该比较单元例如包括至少一个减法单元226和乘法单元228。本领域的技术人员将会理解，该比较单元同样也可以由其它元件构成。减法单元226从参考画面内容参数中减去增强的画面内容参数。可以将每个减法单元226的输出可选地提供给乘法单元228，所述乘法单元228将这些输出乘以预定的因数(C1、C2、C3)。在相加单元230中将乘法单元的输出相加在一起，并且将其提供给控制单元231。控制单元231对从相加单元230接收到的信息进行处理，并且产生新的增强控制参数。按照本发明的一个实施例，控制单元231通过所述增强控制参数来控制增强单元220，从而使得参考信号和增强的输出信号的画面内容参数之间的差变得尽可能低。这还防止了增强过度，增强过度通常会造成清晰但不太自然的画面。
在减法电路234中，从原始输入201中减去扩充电路216的经扩充的输出，以产生残留位流，并将该残留位流提供给开关236。该开关由控制单元231的输出(S)控制。通过将输入视频位流201与增强的基本视频流进行比较，控制单元231能够确定哪些像素或像素组(块)需要由增强层208进一步增强。对于由控制单元231确定为需要增强的像素或像素组(块)，控制单元231输出用于闭合开关236的控制信号(S)，以令残留位流的这些部分到达增强层编码器240。控制单元231还将选定的增强控制参数和用于开关236的控制信号发送给编码器240，从而在增强流241中将该信息与所得到的残留位流合并在一起(多路复用)。
附图4表示解码器400，该解码器400可用于对来自按照本发明的一个实施例的编码器200的基本流和增强流进行解码。在该实施例中，由基本解码器402对基本流215进行解码，由增强解码器404对增强流241进行解码。解码的基本流被提供给上变换器406和增强单元408。解码的增强流被提供给加法单元410。加法单元410将解码的增强流与来自上变换器406的经过上变换的基本流相加，并且将组合后的流提供到开关414的一侧。
增强编码器还通过多路复用器(未示出)从增强流中除去信号S和增强控制参数，并且将信号S和增强控制参数提供给增强控制单元412。增强控制单元412将信号S提供给开关414，并且将增强控制参数提供给增强单元408。增强单元408按照增强单元408中的增强算法和由增强控制单元412提供的增强控制参数对经过解码的基本流进行增强。然后将经过增强的基本流提供到开关414的另一侧。取决于由信号S确定的开关的位置，解码器400输出来自加法单元410的组合后的流或者输出经过增强的基本流。
按照本发明的另一个实施例，解码器400的输出可以是来自加法单元410的组合后的流与来自增强单元408的增强的基本流的组合。如附图5所示，将信号S提供给一对乘法单元502和504，此处的S是0和1之间的值。在这一示例性实例中，乘法单元502将来自加法单元410的组合流乘以(1-S)的值。乘法单元504将增强的基本流乘以值S。在加法单元506中对这两个乘法单元的输出进行组合，以形成解码器的输出。
按照本发明的另一个实施例，编码器200的增强编码器部分的输出可以由控制单元231或某种其它装置进行屏蔽(mute)。结果，没有增强流从编码器200中输出。在这个示例性实例中，增强控制参数是按照上述方式产生的，但是却经由附图2中的虚线251提供给了基本编码器214。然后通过基本编码器中的多路复用器将这些增强控制参数合并到编码的基本流215中。
然后可以由附图6中所示的解码器600对合并有增强控制参数的编码的基本流215进行解码。在基本解码器602中对编码的基本流进行解码，并且将解码的基本流提供给增强单元604。基本解码器602还将增强控制参数从编码的基本流215中分离出来，并且将它们提供给增强控制单元606。然后由增强单元604按照增强单元604中的增强算法和来自增强控制单元606的增强控制参数对解码的基本流进行增强。然后从解码器600中输出经过增强的解码的基本流。
本发明的上述各实施例通过使用控制单元以这样一种方式控制增强控制参数而优化了画面锐度或质量使得来自参考信号和增强的信号的画面内容参数之间的差尽可能的低。
应当注意到，上面给出的各实施例是举例说明而非限制本发明，并且本领域的技术人员在不超出所附权利要求书的范围的情况下将能够设计出很多替换实施例。在权利要求书中，置于括号中的任何附图标记皆不应理解为是对权利要求的限制。“包括”一词并不排除存在权利要求中未列出的元件或步骤。置于元件之前的“一个”并不排除存在多个此种元件。本发明可以借助包括几个不同元件的硬件来实现，并且可以借助适当编程的计算机来实现。在列举出几个装置的设备权利要求中，这些装置中的若干个可以通过同一硬件项来实现。在相互不同的从属权利要求中引用某些措施这一事实并不表明不能使用这些措施的组合来获益。
权利要求
1.一种用于对输入视频位流进行编码以产生编码的输出位流的编码器，包括增强单元(220)，用于根据增强控制参数对基本流进行增强；第一画面内容参数单元(222)，用于从经过增强的基本流中提取至少一个画面内容参数；第二画面内容参数单元(224)，用于从输入视频位流中提取至少一个画面内容参数；比较装置(226，228)，用于将增强的画面内容参数与输入画面内容参数进行比较；控制单元(231)，用于接收来自比较装置的输出，并且用于计算所述增强控制参数，所述增强控制参数将使输入画面内容参数与增强的画面内容参数之间的差最小；用于将计算出来的控制参数合并到编码的输出位流中的装置(240)。
2.按照权利要求1所述的编码器，其中该编码器是具有基本层和至少一个增强层的分层编码器。
3.按照权利要求2所述的编码器，其中该分层编码器是空间分层编码器，其中基本层具有相对较低的分辨率。
4.按照权利要求3所述的编码器，还包括用于在输入画面内容参数与增强的画面内容参数之间的差满足一个预定标准的时候屏蔽增强编码器的输入的装置(231)。
5.按照权利要求1所述的编码器，其中在输入给控制单元之前将所选定的画面内容参数之间的差乘以一个预定的值。
6.按照权利要求5所述的编码器，还包括相加装置(230)，用于将已经乘以了所述预定值的比较装置的输出相加在一起。
7.按照权利要求1所述的编码器，其中所述画面内容参数来自包括下列参数的一组像素组的最大和最小值之间的差、边缘中心处的边缘陡度值、DCT系数高频能级曲线。
8.一种用于对输入视频位流进行编码的编码器，包括下采样单元(212)，用于减小输入视频位流的分辨率；基本编码器(214)，用于对较低分辨率的基本流进行编码；扩充单元(216)，用于对基本流进行解码并且增大基本流的分辨率，以产生经过扩充的基本位流；增强单元(220)，用于根据增强控制参数对基本流进行增强；第一画面内容参数单元(222)，用于从经过增强的基本流中提取至少一个画面内容参数；第二画面内容参数单元(224)，用于从输入视频位流中提取至少一个画面内容参数；比较装置(226，228)，用于将增强的画面内容参数与输入画面内容参数进行比较；控制单元(231)，用于接收来自比较装置的输出，并且用于计算所述增强控制参数，所述增强控制参数将使输入画面内容参数与增强的画面内容参数之间的差最小；减法单元(234)，用于从输入视频位流中减去经过扩充的基本位流，以产生残留位流；开关装置(236)，用于根据来自控制单元的控制信号选择性地仅允许将部分残留位流发送给增强编码器；增强编码器(240)，用于将通过开关装置的所述部分残留位流与所述增强控制参数合并起来，以形成编码的残留位流。
9.按照权利要求8所述的编码器，其中所述开关装置是具有一个在0和1之间的值的乘法器，其中值0意味着开关装置断开，而值1意味着开关装置闭合。
10.按照权利要求8所述的编码器，其中在输入给控制单元之前将所选定画面内容参数之间的比较结果乘以一个预定的值。
11.按照权利要求10所述的分层编码器，还包括相加装置(230)，用于将已经乘以了所述预定值的比较装置的输出相加在一起。
12.按照权利要求8所述的编码器，其中所述画面内容参数来自包括下列参数的一组像素组的最大和最小值之间的差、边缘中心处的边缘陡度值、DCT系数高频能级曲线。
13.一种在编码器中对输入视频位流进行编码以产生编码的输出流的方法，包括以下步骤根据增强控制参数对基本流进行增强；从经过增强的基本流中提取至少一个画面内容参数；从输入视频位流中提取至少一个画面内容参数；将增强的画面内容参数与输入画面内容参数进行比较；接收来自比较步骤的输出，并且计算所述增强控制参数，所述增强控制参数将使输入画面内容参数与增强的画面内容参数之间的差最小；将计算出来的控制参数合并到编码的输出位流中。
14.一种用于对合并有增强控制参数的输入流进行解码的解码器，包括解码器(602)，用于对输入信号进行解码，并且从解码的信号中分离出增强控制参数；增强单元(604，606)，用于根据所述增强控制参数对解码的信号进行增强。
15.一种用于对压缩的视频信息进行解码的解码器，包括基本流解码器(402)，用于对所接收到的基本流进行解码；上变换单元(406)，用于增大解码的基本流的分辨率；增强流解码器(404)，用于对接收到的增强流进行解码，并且用于从增强流中分离出所嵌入的增强控制参数；第一加法单元(410)，用于对经过上变换的解码的基本流与解码的增强流进行组合；增强装置(408，412)，用于使用所述增强控制参数对解码的基本流进行增强；和开关装置(414)，用于选择输出来自加法单元的组合后的流或者输出增强的基本流。
16.按照权利要求15所述的解码器，还包括替代所述开关装置的下列装置第一乘法单元(502)，用于将第一加法单元的输出乘以第一预定值；第二乘法单元(504)，用于将增强基本流乘以第二预定值；和第二加法单元(506)，用于将来自第一和第二乘法单元的输出相加，以形成输出流。
全文摘要
公开了一种对输入视频位流进行编码以产生编码的输出位流的方法和设备。根据增强控制参数对基本流进行增强。从经过增强的基本流中提取至少一个画面内容参数。从输入视频位流中提取至少一个画面内容参数。将增强的画面内容参数与输入画面内容参数进行比较。接收来自比较步骤的输出，并且计算所述增强控制参数，以使输入画面内容参数与增强的画面内容参数之间的差最小。将计算出来的控制参数合并到编码的输出位流中。
文档编号H04N7/30GK1745586SQ200380109377
公开日2006年3月8日 申请日期2003年12月16日 优先权日2003年1月30日
发明者W·H·A·布鲁斯 申请人:皇家飞利浦电子股份有限公司