专利名称：用于视频流传输业务的视频编码和解码方法及系统的制作方法
技术领域：
本发明涉及用于视频流传输业务的视频编码方法和系统，以及用于重建原始视频的视频解码方法和系统。
背景技术：
随着包括互联网的信息通信技术的发展，提出了各种新的通信业务。这种通信业务之一是视频点播(VOD)业务。VOD是指根据用户的请求将诸如电影或新闻的视频内容通过电话线、线缆或互联网提供给一端的用户的业务。允许用户不必离开他们的住处就可以观看电影。另外，允许用户不必去学校或私人教育学院就可以通过运动图像讲课来访问各种类型的教育内容。
需要根据网络条件和解码器的性能将诸如VOD的视频流传输业务设置有各种分辨率、帧速率或图像质量。图1至图3分别显示在不同的分辨率、帧速率或图像质量用于视频流传输的传统的同时联播、多层编码和可分级视频编码方案。
在同时联播编码方案中，对每种分辨率、帧速率或图像质量产生单独的比特流。例如，为了在三种分辨率提供比特流业务，需要三种单独的比特流。参照图1，具有704×576分辨率(第一分辨率)和60Hz帧速率的视频、具有352×288分辨率(第二分辨率)和30Hz帧速率的视频和具有176×155分辨率(第三分辨率)和15Hz帧速率的视频被独立地编码为三种比特流。将第一至第三分辨率的比特流分别用于提供带宽为6Mbps、750Kbps和64Kbps的网络线缆上的流传数业务。在不同分辨率的视频之间存在强相关性。如图2所示的多层编码方案是在多层的视频序列之间使用强相关性的一条途径。
与图1所示的同时联播编码方案相反，用于可分级视频编码的由MPEG-2采用的多层编码方案通过参考最低分辨率的基本层视频对高分辨率增强层视频进行编码。也就是，参照图2，参考具有176×155分辨率的编码的基本层视频对具有352×288分辨率的第一增强层视频进行编码，以及参考第一增强层视频对具有704×576分辨率的第二增强层视频进行编码。
当接收到用于704×576分辨率的视频的用户请求时，流传输业务提供者将在第二增强层中编码的视频及在第一增强层中和基本层中编码的视频发送到用户。接收到所述视频的用户首先重建基本层视频，然后分别参考重建的基本层视频和重建的第一增强层视频来按次序重建第一增强层视频和704×576分辨率的第二增强层视频。
同样，当接收到用于352×288分辨率的视频的用户请求时，流传输业务提供者将在第一增强层中和基本层中编码的视频发送到用户。接收到所述视频的用户首先重建基本层视频，然后参考重建的基本层视频来重建具有352×288分辨率的第一增强层视频。当接收到用于176×155分辨率的视频的用户请求时，流传输业务提供者将在基本层中编码的视频发送到用户。然后用户重建基本层视频。
已经在第PCT/US2000/09584号国际申请中公开了同时联播或多层编码方案的示例。该申请提出一种用于通过选择地使用同时联播或用于可分级视频编码的多层编码改进编码效率的方法。然而，由于这种方法使用基于MPEG-4的离散余弦变换(DCT)作为基本编码算法，所以不能提供充分的可分级性。也就是，为提供具有n分辨率的视频流传输业务，这种方法需要对n个视频序列或包括n层的视频进行编码。相反地，基于可分级视频编码方案的小波变换能够在不同的分辨率、帧速率和图像质量使用单个比特流进行视频编码。
MPEG-4意在使可分级视频编码标准化，所述可分级编码包括从单个编码的比特流在各种分辨率、帧速率和图像质量创建视频。如图3所示，可分级视频编码方案从单个比特流产生具有各种分辨率和帧速率的视频。
可以通过小波变换实现空域分级，所述空域分级能够从分级的比特流产生具有各种分辨率的视频。可以通过运动补偿时域滤波(MCTF)、非限制性MCTF(UMCTF)或连续时域近似和参考(STAR)提供时域分级，所述时域分级能够从分级的比特流产生不同帧速率的视频。可以通过嵌入式量化实现信噪比(SNR)分级。
发明内容
技术问题使用可分级视频编码算法允许在各种分辨率和帧速率从单个视频序列获得的单个比特流的视频流传输业务。然而，这种可分级视频编码算法不能在所有分辨率提供高质量比特流。换句话说，传统的编码算法不能不能在所有分辨率提供高质量比特流。例如，能够以高质量重建最高分辨率的视频，但是不能以满意的质量重建低分辨率视频。可在对低分辨率视频进行视频编码时分配更多的比特从而改善它的质量。然而，这将降低编码效率。
迫切需要一种这样的视频流传输业务的视频编码方案，该方案通过在编码效率和重建的图像质量之间达到很好的均衡来提供满意的图像质量和高视频编码效率。
技术方案本发明提供一种能够提供具有各种图像分辨率和高编码效率的视频流传输业务的视频编码方法和系统。
本发明还提供一种对由视频编码方法和系统编码的视频进行解码来重建原始视频序列的视频解码方法和系统。
根据本发明的一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第一分辨率帧进行编码；将第一分辨率帧上采样到第二分辨率；以及参考第一分辨率帧的上采样版本使用可分级视频编码对第二分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用非可分级视频编码对第一分辨率帧进行编码；将第一分辨率帧上采样到第二分辨率；以及参考第一分辨率帧的上采样版本使用可分级视频编码对第二分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第一分辨率帧进行编码；将第一分辨率帧上采样到第二分辨率；将第一分辨率帧上采样到第三分辨率；参考被上采样到第二分辨率的帧使用可分级视频编码对第二分辨率帧进行编码；以及参考被上采样到第三分辨率的帧使用可分级视频编码对第三分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第一分辨率帧进行编码；将第一分辨率帧上采样到第二分辨率；参考被上采样到第二分辨率的帧使用可分级视频编码对第二分辨率帧进行编码；使用可分级视频编码对具有比第二分辨率高的第三分辨率的帧进行编码；将第三分辨率帧上采样到第四分辨率；以及参考被上采样到第四分辨率的帧使用可分级视频编码对第四分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的帧进行编码；独立于第一分辨率帧，使用可分级视频编码对具有比第一分辨率高的第二分辨率的帧进行编码；以及独立于第二分辨率帧，使用可分级视频编码对具有比第二分辨率高的第三分辨率的帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用非可分级视频编码对具有第一分辨率的帧进行编码；独立于第一分辨率帧，使用可分级视频编码对具有比第一分辨率高的第二分辨率的帧进行编码；以及独立于第二分辨率帧，使用可分级视频编码对具有比第二分辨率高的第三分辨率的帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第一分辨率帧进行编码；将第一分辨率帧上采样到第二分辨率；使用可分级视频编码对具有比第二分辨率高的第三分辨率的帧进行编码；将第三分辨率帧下采样到第二分辨率；以及参考第一分辨率帧的上采样版本和第三分辨率的下采样版本使用可分级视频编码对第二分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第二分辨率帧进行编码；将第二分辨率帧下采样到第一分辨率；以及参考第二分辨率帧的下采样版本使用可分级视频编码对第一分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第二分辨率帧进行编码；将第二分辨率帧下采样到第一分辨率；以及参考第二分辨率帧的下采样版本使用非可分级视频编码对第一分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码方法，所述方法包括使用可分级视频编码对第三分辨率帧进行编码；将第三分辨率帧下采样到第二分辨率；参考被下采样到第二分辨率的帧使用可分级视频编码对第二分辨率帧进行编码；将第三分辨率帧下采样到比第二分辨率低的第一分辨率；以及参考被下采样到第一分辨率的帧使用可分级视频编码对第一分辨率帧进行编码。
根据本发明的另一方面，提供一种视频编码器系统，所述系统包括第一可分级视频编码器，使用非可分级视频编码对第一分辨率帧进行编码；第二可分级视频编码器，将第一分辨率帧转换为第二分辨率，并参考转换的帧使用可分级视频编码对第二分辨率帧进行编码；以及比特流产生模块，产生包括第一分辨率编码的帧和第二分辨率编码的帧的比特流。
根据本发明的另一方面，提供一种视频编码器系统，所述系统包括第一可分级视频编码器，使用可分级视频编码对具有第一分辨率的帧进行编码；第二可分级视频编码器，使用可分级视频编码对具有比第一分辨率低的第二分辨率的帧进行编码；以及比特流产生模块，产生包括第一分辨率编码的帧和第二分辨率编码的间帧的比特流。
根据本发明的另一方面，提供一种视频编码器系统，所述系统包括可分级视频编码器，使用可分级视频编码对具有第一分辨率的帧进行编码；非可分级视频编码器，使用非可分级视频编码对具有比第一分辨率低的第二分辨率的帧进行编码；以及比特流产生模块，产生包括第一分辨率编码的帧和第二分辨率编码的间帧的比特流。
根据本发明的另一方面，提供一种视频解码方法，所述方法包括为重建原始帧，对使用可分级视频编码进行编码的第一分辨率帧进行解码；将重建的第一分辨率帧上采样到第二分辨率；以及为重建原始帧，参考重建的第一分辨率帧的上采样的版本对使用可分级视频编码进行编码的第二分辨率帧进行解码。
根据本发明的另一方面，提供一种视频解码方法，所述方法包括为重建原始帧，对使用非可分级视频编码进行编码的第一分辨率帧进行解码；将重建的第一分辨率帧上采样到第二分辨率；以及为重建原始帧，参考重建的第一分辨率帧的上采样的版本对使用可分级视频编码进行编码的第二分辨率帧进行解码。
根据本发明的另一方面，提供一种视频解码方法，所述方法包括为重建原始帧，对使用可分级视频编码进行编码的第一分辨率帧进行解码；将部分重建的第一分辨率帧下采样到第二分辨率，并产生具有第二分辨率的内帧；以及参考产生的内帧对使用可分级视频编码进行编码的第二分辨率间帧进行解码。
根据本发明的另一方面，提供一种视频解码方法，所述方法包括为重建原始帧，对使用可分级视频编码进行编码的第一分辨率帧进行解码；将部分重建的第一分辨率帧下采样到第二分辨率，并产生具有第二分辨率的内帧；以及参考产生的内帧对使用非可分级视频编码进行编码的第二分辨率间帧进行解码。
根据本发明的另一方面，提供一种视频编码器系统，所述系统包括第一可分级视频解码器，为重建原始帧，对使用可分级视频编码进行编码的第一分辨率帧进行解码；以及第二可分级视频解码器，将重建的第一分辨率帧转换为第二分辨率，并且为重建原始帧，参考转换的帧对使用可分级视频编码进行编码的第二分辨率帧进行解码。
根据本发明的另一方面，提供一种视频编码器系统，所述系统包括非可分级视频解码器，为重建原始帧，对使用非可分级视频编码进行编码的第一分辨率帧进行解码；以及可分级视频解码器，将重建的第一分辨率帧转换为第二分辨率，并且为重建原始帧，参考转换的帧对使用可分级视频编码进行编码的第二分辨率帧进行解码。
通过下面结合附图对其示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加清楚，其中图1至图3显示在不同的分辨率提供视频流传输的传统的编码方案；图4示出使用多层编码方案在增强层中编码帧的参考关系；图5和图6示出根据本发明的第一和第二示例性实施例的用于视频流传输的编码方案；图7至图10示出根据本发明的第三至第六示例性实施例的用于视频流传输的编码方案；图11至图14示出根据本发明的第七至第十示例性实施例的用于视频流传输的编码方案；图15示出根据本发明的示例性实施例的帧间编码中的参考关系；图16示出根据本发明的另一示例性实施例的帧间编码中的参考关系；图17示出根据本发明的另一示例性实施例的帧间编码中的参考关系；图18示出根据本发明的另一示例性实施例的帧间编码中的参考关系；图19示出根据本发明的示例性实施例的内帧共享；
图20示出根据本发明的另一示例性实施例的内帧共享；图21是根据本发明的示例性实施例的视频编码器系统的框图；图22是根据本发明的示例性实施例的视频解码器系统的框图；以及图23是用于解释在内帧共享的平滑的增强层中产生平滑的内帧以及对共享的内帧进行解码的过程的示图。
具体实施例方式
现在将参照附图来更加全面地描述本发明，其中显示了本发明的优选实施例。
图4示出使用多层编码方案在增强层中编码帧的参考关系。
参照图4，可以使用前一帧(帧N-1)作为参考(后向预测)或使用后一帧作为参考(前向预测)对增强层中的当前帧(帧N)进行帧间编码。当将前一帧中的一块和后一帧中的一块的平均作为参考时，该预测称为双向预测。在多层编码方案中，参考基本层中相应的帧对增强层中的帧进行编码，这被称为层间预测。
层间预测使用基本层中的当前帧来对增强层中的当前帧进行编码。通过将基本层的当前帧上采样或下采样到增强层的分辨率来创建参考帧。例如，如图4所示当基本层的分辨率低于增强层的分辨率时，基本层中的当前帧被上采样到增强层的分辨率，然后参考基本层中的所述帧的上采样版本对增强层中的当前帧进行帧间编码。当基本层的分辨率高于增强层的分辨率时，基本层中的当前帧被下采样到增强层的分辨率，并且参考基本层中的所述帧的下采样版本对增强层中的当前帧进行帧间编码。
尽管基于向前预测、向后预测、双向预测或层间预测模式之一对增强层帧中的所有块进行帧间编码，但是可以将不同预测用于每块的编码。也可将加权双向预测和块内预测用作预测模式。可以基于包含编码的数据和用于预测的运动向量的数据的代价、计算的复杂性和其它因素来选择预测模式。
可从另一增强层而不是基本层基于层间预测对增强层中的帧进行编码。例如，可使用基本层中的帧作为参考对第一增强层的帧进行编码，并且可使用第一增强层中的帧作为参考对第二增强层的帧进行编码。此外，可使用另一层(基本层或第一增强层)中的帧作为参考基于层间预测对第一或第二增强层的所有或部分帧进行编码。具体地，当被参考的层的帧速率低于当前正被编码的增强层的帧速率时，基于除了层间预测的预测对增强层的部分帧进行编码。
本发明的示例性实施例使用同时联播编码或多层编码方案以在各种分辨率和帧速率提供视频流传输业务。本发明还在所有或部分层使用可分级视频编码来允许以更多分辨率和帧速率进行视频流传输业务。
图5至图14示出根据本发明的第一至第十示例性实施例的用于视频流传输的编码方案。尽管描述了三层或四层的视频，但是所述视频可包括两层或五层或更多层。在第一至第十示例性实施例中的低层和高层分别表示低分辨率或高分辨率层。在图5至图14中，由虚线箭头表示层间参考，由实线箭头表示具有不同分辨率、帧速率或传输速率的视频，所述视频可从特定层中的编码的视频获得。
图5显示根据本发明的第一示例性实施例的用于视频流传输的多层编码方案的示例，其中，视频数据被编码为三层，即，基本层和第一及第二增强层。
参照图5，使用可分级视频编码对所有层中的视频进行编码。即，使用可分级视频编码对基本层中的视频进行编码。使用可分级视频编码参考在编码的基本层视频中的帧对第一增强层中的视频进行编码，并且使用可分级视频编码参考在编码的第一增强层视频中的帧对第二增强层中的视频进行编码。
当接收到用于704×576分辨率的视频的用户请求时，流传输业务提供者将在第二增强层中编码的视频及在第一增强层中和基本层中编码的视频发送到用户。当请求的帧速率为60Hz时，将基本层中和第一及第二增强层中所有编码的帧发送到用户。另一方面，当请求的帧速率为30Hz或15Hz时，流传输业务提供者在传输之前将编码的帧的不必要的部分截去。用户使用编码的帧首先重建基本层中的视频。然后，用户通过分别参考重建的基本层中的视频和重建的第一增强层中的视频来顺次重建第一增强层中的视频和704×576分辨率的第二增强层中的视频。
当接收到用于352×288分辨率的视频的用户请求时，流传输业务提供者将在基本层中和第一增强层中编码的视频发送到用户。当请求的帧速率为30Hz时，将基本层中和第一增强层中所有编码的帧发送到用户。另一方面，当请求的帧速率为15Hz时，流传输业务提供者在传输之前将编码的帧的不必要的部分截去。接收到编码的帧的用户重建基本层中的视频，然后参考重建的基本层中的视频来重建352×288分辨率的第一增强层中的视频。
当接收到用于176×155分辨率的视频的用户请求时，流传输业务提供者将在基本层中的编码的视频发送到用户。当用户选择以128Kbps的比特率传输比特流时，将所有编码的帧发送到用户。然而，当用户选择以64Kbps传输时，流传输业务提供者在传输之前将编码的帧的部分比特截去。接收到编码的帧的用户重建基本层中的视频。
图6显示根据本发明的第二示例性实施例的用于视频流传输的多层编码方案的示例，其中，使用非可分级视频编码对一层进行编码。尽管如第PCT/US2000/09584号国际申请所公开的H.264或MPEG-4视频编码标准可通过使用图1至图3所示的编码方案支持有限的空域分级或有限的时域分级，但是不能提供充分的空域、时域和信噪比(SNR)分级。
因此，本发明使用基于小波的分级编码方案作为基本算法。尽管提供好的空域、时域和SNR分级，当前已知的分级视频编码算法比H.264或MPEG-4提供的编码效率低。为了提高编码效率，可使用如图6所示的非可分级H.264或MPEG-4方案对部分层进行编码。
参照图6，由于最低分辨率的视频不需要分级，所以使用非可分级H.264或MPEG-4编码方案对最低分辨率的基本层进行编码。也就是，使用具有高编码效率的H.264或MPEG-4编码方案对具有64Kbps(最低比特率)传输率的视频进行编码。
图7显示根据本发明的第三示例性实施例的用于视频流传输的多层编码方案的示例，其中，参考低于紧接前面的层的层对增强层进行编码。在第三示例性实施例中，参考基本层而不是第一增强层对第二增强层进行编码。因为参考具有更大分辨率差异的基本层对第二增强层进行编码，所以根据第三示例性实施例的编码方案提供比第一示例性实施例中更低的编码效率。然而，由于在解码处理期间通过直接参考基本层而不是第一增强层重建第二增强层中的视频，所以这比第一示例性实施例中提供了更高的图像质量。
图8显示根据本发明的第四示例性实施例的用于视频流传输的多层编码方案的示例，其中，将视频编码为多个基本层和增强层。使用如第一示例性实施例中的许多层可降低编码效率。因此，在第四示例性实施例中，根据层数将不参考任何其它层而独立编码的基本层放置在适当的位置。
图9显示根据本发明的第五示例性实施例的同时联播视频编码方案的示例，其中，在每种分辨率的编码中仅使用可分级编码。根据应用的类型，同时联播编码方案比多层编码方案效率更高。当同时联播编码方案更有效时，在所有或部分分辨率的编码中使用可分级视频编码。可选地，为提高编码的效率，可使用如图10所示的第六示例性实施例中的非可分级H.264或MPEG-4编码仅对最低分辨率的视频进行编码。
图11显示根据本发明的第七示例性实施例的用于视频流传输的多层编码方案的示例，其中，最低分辨率层不是基本层。在所述多层编码方案中，参考中间分辨率的基本层将视频数据编码为最低分辨率的第一增强层和最高分辨率的第二增强层。在对第二增强层的视频编码中将基本层的帧的上采样版本作为参考，而在对第一增强层的视频编码中将基本层的帧的下采样版本作为参考。
图12显示根据本发明的第八示例性实施例的用于视频流传输的多层编码方案的示例，其中，以最高的分辨率对基本层进行编码。在第八实施例中，参考基本层中视频对第一增强层中的视频进行编码，并且参考第一增强层中的视频对第二增强层中的视频进行编码。在编码第一增强层视频中使用的参考帧是基本层的帧的下采样版本。可选地，为了提高编码效率，可使用如图13所示的第九示例性实施例中的非可分级视频编码对所述多个层的一部分进行编码。
图14显示根据本发明的第十示例性实施例的用于视频流传输的多层编码方案的示例。与图7所示的第三示例性实施例相比，在第十示例性实施例中的多层编码方案参考高分辨率层中的视频对低分辨率层中的视频进行编码。
图15示出根据本发明的示例性实施例的帧间编码中的参考关系。由虚线箭头表示每个分辨率层之间的参考，而由实线箭头表示相同分辨率层之内的参考。
参照图15，首先对低分辨率视频610进行编码。确定低分辨率视频610中的编码顺序以实现时域分级。也就是，当画面组(GOP)的大小为4时，GOP中的帧1被编码为内帧(I帧)，帧3被编码为间帧(H帧)。然后，将帧1和3作为参考来对帧2进行编码，帧3用于对帧4进行编码。以与编码过程相同的顺序执行解码过程，即，按照帧1、3、2和4的顺序。在对帧1、3、2和4顺序解码之后，按帧1、2、3和4的顺序输出。
以与低分辨率视频610相同的顺序，即，以帧1、3、2和4的顺序，参考低分辨率视频610对高分辨率视频620进行编码。为了对高分辨率视频620进行解码，需要编码的高分辨率帧和低分辨率帧。首先，对低分辨率视频610中的帧1进行解码，并且解码的帧1用于对高分辨率620中的帧1进行解码。然后，对低分辨率视频610中的帧3进行解码，并且解码的帧3用于对高分辨率620中的帧3进行解码。同样，对低分辨率视频610中的帧2进行解码并且用于对高分辨率620中的帧2进行解码。对低分辨率视频610中的帧4进行解码并且用于对高分辨率620中的帧4进行解码，随后对下一GOP中的帧进行解码。通过用这种方式对帧进行编码和解码，可以实现时域分级。当GOP的大小为8时，按照帧1、5、3、7、2、4、6和8的顺序执行编码和解码。如果只有帧1和5被编码或解码，则帧速率是全帧速率的四分之一。如果只有帧1、5、3和7被编码或解码，则帧速率是全帧速率的一半。
图16示出根据本发明的示例性实施例的帧间编码中的参考关系。
根据图15所示的示例性实施例，由于参考I帧对帧2至帧4进行编码，所述I帧没有参考任何其它帧而独立地被编码的，所以编码的低分辨率视频的质量高。另一方面，因为参考H帧对帧2至帧4进行编码，所述H帧是参考另一帧进行编码的，所以当采用同时联播编码方案时，编码的高分辨率视频的质量比获得的低。因此，为了解决这个问题，图16显示了用于层之间参考的改进的方法。
参照图16，首先对高分辨率视频720进行编码。确定高分辨率视频720中的编码顺序以实现时域分级。也就是，当GOP的大小为4时，GOP中的帧1被编码为内帧(I帧)，帧3被编码为间帧(H帧)。然后，将帧1和3作为参考来对帧2进行编码，帧3用于对帧4进行编码。以与编码过程相同的顺序执行解码过程，即，按照帧1、3、2和4的顺序。在对帧1、3、2和4顺序解码之后，按帧1、2、3和4的顺序输出。
以与高分辨率视频720相同的顺序，即，以帧1、3、2和4的顺序，参考高分辨率视频720对低分辨率视频710进行编码。为了对低分辨率视频710进行解码，需要编码的高分辨率帧和低分辨率帧。首先，对高分辨率视频720中的帧1进行解码，并且解码的帧1用于对低分辨率710中的帧1进行解码。然后，对高分辨率视频720中的帧3进行解码，并且解码的帧3用于对低分辨率710中的帧3进行解码。以同样的方式，对高分辨率视频720中的帧2进行解码并且用于对低分辨率710中的帧2进行解码。对高分辨率视频720中的帧4进行解码并且用于对低分辨率710中的帧4进行解码。
图17和图18分别示出当分辨率层具有变化的帧速率时，根据本发明的其它示例性实施例的帧间编码中的参考关系。
参照图17，首先对低分辨率视频810进行编码。确定低分辨率视频810中的编码顺序以实现时域分级。也就是，当画面组(GOP)的大小为4时，GOP中的帧1被编码为内帧(I帧)，帧5被编码为间帧(H帧)。然后，将帧1和5作为参考来对帧3进行编码。以这种方式，按顺序对GOP中的帧1、5、3和7进行编码。以与编码过程相同的顺序执行解码过程。另一方面，以与低分辨率视频810相同的顺序，即，以帧1、5、3和7的顺序，参考低分辨率视频810对高分辨率视频820进行编码。然后，对没有包含在低分辨率视频810中的帧2、4、6和8进行编码。
参照图18，首先对高分辨率视频920进行编码。确定高分辨率视频920中的编码顺序以实现时域分级。也就是，当GOP的大小为8时，对GOP中的所有帧1、5、3、7、2、4、6和8顺序进行编码。以与编码过程相同的顺序执行解码过程。以与高分辨率视频920相同的顺序，即，以帧1、5、3和7的顺序，参考高分辨率视频920对低分辨率视频910进行编码。
尽管图15至图18示出根据本发明的示例性实施例的两个分辨率层之间的参考关系，但是示出的实施例也可以应用于将视频数据编码为三层或更多层的多层视频编码方案。在使用参考高分辨率帧对低分辨率帧进行编码的多层视频编码方案进行视频流传输业务的情况下，由于低分辨率比特流包含低分辨率编码的视频数据和高分辨率编码的数据，所以当发送低分辨率比特流时，编码效率降低。对于传输低分辨率比特流，同时联播视频编码方案比多层视频编码方案更加有效。
图19和图20分别示出根据本发明的示例性实施例的为提高编码效率在同时联播编码方案中的内帧的共享。
参照图19，使用同时联播编码方案对具有不同分辨率的视频1010和1020独立地进行编码。为了实现时域分级，按照帧1、3、2和4的顺序对高分辨率视频1020进行编码。也根据实现时域分级的顺序对低分辨率视频1010进行编码。每个GOP中编码的高分辨率视频和低分辨率视频分别包括一个内帧(I帧)和一个或多个间帧(H帧)。通常，I帧比H帧分配更多的比特。由于除了分辨率以外低分辨率视频1010与高分辨率视频1020十分相似，所以在本示例性实施例中，将除低分辨率I帧1012和1014之外的低分辨率视频1010与高分辨率视频1020中的所有帧编码为比特流。也就是，最终产生的比特流包括所有高分辨率编码的帧和低分辨率编码的间帧。
当解码器请求传输高分辨率视频1020时，比特流中的低分辨率编码的间帧被截去，并且剩余的部分被发送到解码器。当解码器请求对传输低分辨率视频1010时，高分辨率编码的间帧被去除并且与低分辨率视频1010共享的高分辨率内帧1022和1024的不必要的比特被截去来分别创建低分辨率内帧1012和1014。然后，包含低分辨率编码的间帧和低分辨率内帧1012和1014的比特流被发送到解码器。
图20示出根据本发明的另一示例性实施例的内帧的共享。
参照图20，与图19所示的示例性实施例相似，高分辨率视频1120与低分辨率视频1110共享内帧1122。也就是，对于低分辨率视频流传输，使用高分辨率内帧1122创建低分辨率内帧1112。然而，与图19所示的示例性实施例的不同在于不与低分辨率视频1110共享高分辨率内帧1124，并且低分辨率帧1114被用作间帧。也就是，当每个分辨率视频具有不同的帧速率时，通过使低分辨率视频1110和高分辨率视频1120中的GOP大小相等而不是设置GOP分界线使彼此一致，可以保持在低帧速率的I帧百分比比在高帧速率的I帧百分比低。
图21是根据本发明的示例性实施例的视频编码器系统1200的框图。尽管视频编码器系统1200将视频数据编码为具有不同分辨率的两层，但是也可将视频数据编码为具有不同分辨率的n层。
参照图21，视频编码器系统1200包括第一可分级视频编码器1210，对基本层视频进行编码；第二可分级视频编码器1220，对增强层视频进行编码；以及比特流产生模块1230，将编码的基本层视频和增强层视频结合成比特流。
第一可分级视频编码器1210接收基本层视频并使用可分级视频编码对基本层视频进行编码。为完成这种操作，第一可分级视频编码器1210包括运动估计模块1212、变换模块1214和量化模块1216。
为了去除在基本层视频中的帧之间的时间冗余，运动估计模块1212估计参考帧和当前帧之间的运动，并产生残余帧。采用诸如UMCTF或STAR的算法使用运动估计来去除时间冗余。为了在编码效率和图像质量之间实现更好的平衡，针对运动估计选择了参照图5至图20描述的部分技术。
变换模块1214对残余帧进行小波变换以产生变换系数。在小波变换中，残余帧被分解成四部分，并且与整个图像相似的四分之一大小的图像(L图像)被放置在帧的左上部分，而需要从L图像重建整个图像的信息(H图像)被放置在其它三部分。以这种方式，L图像可被分解成四分之一大小的LL图像和重建L图像需要的信息。
量化模块1216将量化应用到由小波变换获得的变换系数。目前已知的嵌入式量化算法包括嵌入式零树小波算法(EZW)、分层树中的集分割算法(SPIHT)、嵌入式零块编码(EZBC)、最佳截断嵌入码块编码(EBCOT)等。
第二可分级视频编码器1220接收增强层视频并使用可分级视频编码对增强层视频进行编码。为完成这种操作，第二可分级视频编码器1220包括运动估计模块1222、变换模块1224和量化模块1226。
为了去除在增强层视频中的帧之间的时间冗余，运动估计模块1222在增强层视频和基本层视频中估计当前被编码的帧和参考帧之间的运动，并获得残余帧。采用诸如UMCTF或STAR的算法使用运动估计来去除时间冗余。
变换模块1224对残余帧进行小波变换以产生变换系数。在小波变换中，残余帧被分解成四部分，并且与整个图像相似的四分之一大小的图像(L图像)被放置在帧的左上部分，而需要从L图像重建整个图像的信息(H图像)被放置在其它三部分。以这种方式，L图像可被分解成四分之一大小的LL图像和重建L图像需要的信息。
量化模块1226将量化应用到由小波变换获得的变换系数。目前已知的嵌入式量化算法包括EZW、SPIHT、EZBC、EBCOT等。
比特流产生模块1230产生比特流，所述比特流包括由第一和第二可分级视频编码器1210和1220编码的基本层帧和增强层帧以及相应的头信息。
在另一示例性实施例中，所述视频编码器系统包括多个对不同分辨率的视频进行编码的视频编码器。所述多个视频编码器中的一部分使用诸如H.264或MPEG-4的非可分级视频编码方案。
通过预解码器1240对产生的比特流进行预解码，然后发送到解码器(未显示)。
可根据视频流传输业务的类型将预解码器1240放置在不同的位置。在一个实施例中，当将预解码器1240合并到用于视频流传输的视频编码器系统1200时，视频编码器系统1200仅将预解码的比特流发送到解码器，而不是将由比特流产生模块1230产生的全部比特流发送到解码器。在另一实施例中，当将预解码器1240与视频编码器系统1200分离，而在流传输业务提供者之内时，流传输业务提供者对由内容提供者编码的比特流进行预解码，并且将预解码的比特流发送到解码器。在另一实施例中，当预解码器1240位于解码器内时，预解码器1240截去比特流的不必要的比特，以这种方式用期望的分辨率和帧速率来重建视频。
上面描述的视频编码器系统1200的各种部件和下面将描述的视频解码器系统1300的各种部件是功能性模块并且执行如上所述的相同的功能。这里使用的术语“模块”的意思是，但不限于，软件和硬件组件，诸如现场可编程门阵列(FPGA)或执行特定任务的专用集成电路(ASIC)。模块可以方便地被配置以驻留在可寻址的存储介质上，并且可被配置以在一个或多个处理器上执行。因此，举例来说，模块可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在组件和模块中提供的功能可被组合为更少的组件和模块，或者可进一步被分离成另外的组件和模块。另外，组件和模块可以以这样的方式被实现，它们在通信系统中的一个或多个计算机上执行。
图22是根据本发明的示例性实施例的视频解码器系统1300的框图。尽管视频编码器系统1200将视频数据编码为具有不同分辨率的两层，但是也可将视频数据编码为具有不同分辨率的n层。
参照图22，视频解码器系统1300包括第一可分级视频解码器1310，对基本层视频进行解码；以及第二可分级视频解码器1320，对增强层视频进行编码。为了解码，第一可分级视频解码器1310和第二可分级视频解码器1320从比特流解释模块(bitstream interpreting module)1330接收编码的视频数据。
第一可分级视频解码器1310接收编码的基本层视频并使用可分级视频解码对编码的基本层视频进行解码。为完成这种操作，第一可分级视频解码器1310包括反量化模块1312、反变换模块1314和运动补偿模块1316。
反量化模块1312将反向量化应用到接收的编码的视频数据并输出变换系数。目前已知的反量化算法包括EZW、SPIHT、EZBC、EBCOT等。
在帧内编码的帧的情况下，反变换模块1314对变换系数执行反变换来重建原始帧。在帧间编码的情况下，反变换模块1314执行反变换来产生残余帧。
为了重建原始帧，运动补偿模块1316使用先前重建的帧作为参考来补偿残余帧的运动。可使用诸如UMCTF或STAR的算法来进行运动补偿。
第二可分级视频解码器1320接收编码的增强层视频数据并使用可分级视频解码对编码的增强层视频数据进行解码。为完成这种操作，第二可分级视频解码器1320包括反量化模块1322、反变换模块1324和运动补偿模块1326。
反量化模块1322将反向量化应用到接收的编码的视频数据并产生变换系数。目前已知的反量化算法包括EZW、SPIHT、EZBC、EBCOT等。
反变换模块1324对变换系数执行反变换。在帧内编码的帧的情况下，反变换模块1324对变换系数执行反变换来重建原始帧。在帧间编码的情况下，反变换模块1324执行反变换来产生残余帧。
为了重建原始帧，运动补偿模块1326接收残余帧，并使用先前重建的基本层帧和先前重建的增强层帧作为参考来补偿残余帧的运动。可使用诸如UMCTF或STAR的算法来进行运动补偿。
图23是用于解释在内帧共享的平滑的增强层中产生平滑的内帧以及对共享的内帧进行解码的过程的示图。
在图23中，D和U分别表示下采样和上采样，并且下标W和M分别表示基于小波的方案和基于MPEG的方案。F、FS和FL分别表示高分辨率(基本层)帧、低分辨率(增强层)帧和在高分辨率帧中的低通子带。
为了获得低分辨率比特流，使用基于小波的方法首先将视频序列下采样到较低的分辨率，然后将下采样的版本上采样到更高的分辨率。随后经过基于MPEG的下采样。然后使用可分级编码对通过执行基于MPEG的下采样获得的低分辨率视频序列进行编码。
当低分辨率帧FS1420为内帧时，低分辨率帧FS1420不包含在比特流中，而是从包含在比特流中的高分辨率内帧F1410获得。也就是，为获得平滑的低分辨率帧FS1420，使用基于小波的方案对高分辨率内帧F1410进行下采样，然后进行上采样来获得原始高分辨率内帧F1410的近似，随后基于MPEG进行下采样。对高分辨率内帧F1410进行小波变换和量化，然后合并到比特流中。在被发送到解码器之前，通过预解码器截去比特流中的部分比特。通过截去高分辨率内帧F1410的高通子带，获得高分辨率内帧F1410的低通子带FL1430。换句话说，低通子带FL1430是高分辨率内帧F1410的下采样版本Dw(F)。接收低通子带FL1440的解码器使用基于小波的方案对其进行上采样，并且基于MPEG的方案对所述上采样的版本进行下采样，产生平滑的内帧FS1450。
产业上的可利用性如上所述，在根据本发明的编码方法和系统及解码方法和系统中，可以提供各种图像质量的视频流传输业务。
在详细描述的结论中，本领域的技术人员应该理解，在不脱离本发明的原理的情况下，可以对其示例性实施例进行各种改变和修改。因此，本发明的范围由权利要求来限定。
权利要求
1.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧上采样到第二分辨率；以及参考被上采样到第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码。
2.一种视频编码方法，所述方法包括使用非可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧上采样到第二分辨率；以及参考被上采样到第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码。
3.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧上采样到第二分辨率；将第一帧上采样到第三分辨率；参考被上采样到第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码；以及参考被上采样到第三分辨率的第一帧使用可分级视频编码对具有第三分辨率的第三帧进行编码。
4.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧上采样到第二分辨率；参考被上采样到第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码；使用可分级视频编码对具有比第二分辨率高的第三分辨率的第三帧进行编码；将第三帧上采样到第四分辨率；以及参考被上采样到第四分辨率的第三帧使用可分级视频编码对具有第四分辨率的第四帧进行编码。
5.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；独立于第一帧，使用可分级视频编码对具有比第一分辨率高的第二分辨率的第二帧进行编码；以及独立于第二帧，使用可分级视频编码对具有比第二分辨率高的第三分辨率的第三帧进行编码。
6.一种视频编码方法，所述方法包括使用非可分级视频编码对具有第一分辨率的第一帧进行编码；独立于第一帧，使用可分级视频编码对具有比第一分辨率高的第二分辨率的第二帧进行编码；以及独立于第二帧，使用可分级视频编码对具有比第二分辨率高的第三分辨率的第三帧进行编码。
7.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧上采样到第二分辨率；使用可分级视频编码对具有比第二分辨率高的第三分辨率的第二帧进行编码；将第二帧下采样到第二分辨率；以及参考被上采样到第二分辨率的第一分辨率帧和被下采样到第三分辨率的第二帧使用可分级视频编码对具有第二分辨率的第三帧进行编码。
8.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧下采样到第二分辨率；以及参考被下采样到第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码。
9.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧下采样到第二分辨率；以及参考被下采样到第二分辨率的第一帧使用非可分级视频编码对具有第二分辨率的第二帧进行编码。
10.一种视频编码方法，所述方法包括使用可分级视频编码对具有第一分辨率的第一帧进行编码；将第一帧下采样到第二分辨率；参考被下采样到第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码；将第一帧下采样到比第二分辨率低的第三分辨率；以及参考被下采样到第三分辨率的第一帧使用可分级视频编码对具有第三分辨率的第三帧进行编码。
11.如权利要求1所述的方法，其中，如果第一帧与第二帧具有相同的帧速率，则以与第二帧相同的顺序对第一帧进行编码。
12.如权利要求8所述的方法，其中，第二帧中的每帧具有与相应的第一帧相同的类型。
13.如权利要求8所述的方法，其中，如果第二帧与第一帧具有不同的帧速率，则使第二帧中的内帧的百分比与第一帧中的内帧的百分比相等。
14.一种视频编码器系统，所述系统包括第一可分级视频编码器，使用非可分级视频编码对具有第一分辨率的第一帧进行编码；第二可分级视频编码器，将第一帧转换为第二分辨率，并参考被转换为第二分辨率的第一帧使用可分级视频编码对具有第二分辨率的第二帧进行编码；以及比特流产生模块，产生包括编码的第一帧和编码的第二帧的比特流。
15.如权利要求14所述的系统，其中，根据H.264或MPEG-4编码标准对第一分辨率帧进行编码。
16.一种视频编码器系统，所述系统包括第一可分级视频编码器，使用可分级视频编码对具有第一分辨率的第一帧进行编码；第二可分级视频编码器，使用可分级视频编码对具有比第一分辨率低的第二分辨率的第二帧进行编码；以及比特流产生模块，产生包括编码的第一帧和编码的第二帧的比特流。
17.如权利要求16所述的系统，其中，使用基于小波的方案通过对第一帧进行下采样和上采样来获得第二帧，随后基于MPEG进行下采样。
18.一种视频编码器系统，所述系统包括可分级视频编码器，使用可分级视频编码对具有第一分辨率的第一帧进行编码；非可分级视频编码器，使用非可分级视频编码对具有比第一分辨率低的第二分辨率的帧进行编码；以及比特流产生模块，产生包括编码的第一帧和编码的第二帧的比特流。
19.如权利要求18所述的系统，其中，根据H.264或MPEG-4编码标准对第二分辨率帧进行编码。
20.一种视频解码方法，所述方法包括为重建原始帧，对具有第一分辨率并使用可分级视频编码进行编码的第一帧进行解码；将重建的第一帧上采样到第二分辨率；以及为重建原始帧，参考重建的第一帧的上采样的版本对具有第二分辨率并使用可分级视频编码进行编码的第二帧进行解码。
21.一种视频解码方法，所述方法包括为重建原始帧，对具有第一分辨率并使用非可分级视频编码进行编码的第一帧进行解码；将重建的第一帧上采样到第二分辨率；以及为重建原始帧，参考重建的第一帧的上采样的版本对具有第二分辨率并使用可分级视频编码进行编码的第二帧进行解码。
22.一种视频解码方法，所述方法包括为重建原始帧，对具有第一分辨率并使用可分级视频编码进行编码的第一帧进行解码；将部分重建的第一分辨率帧下采样到第二分辨率，并产生具有第二分辨率的内帧；以及参考产生的内帧对具有第二分辨率并使用可分级视频编码进行编码的第二间帧进行解码。
23.一种视频解码方法，所述方法包括为重建原始帧，对具有第一分辨率并使用可分级视频编码进行编码的第一帧进行解码；将部分重建的第一分辨率帧下采样到第二分辨率，并产生具有第二分辨率的内帧；以及参考产生的内帧对具有第二分辨率并使用非可分级视频编码进行编码的第二间帧进行解码。
24.一种视频编码器系统，所述系统包括第一可分级视频解码器，为重建原始帧，对具有第一分辨率并使用可分级视频编码进行编码的第一帧进行解码；以及第二可分级视频解码器，将重建的第一帧转换为第二分辨率，并且为重建原始帧，参考转换的第一帧对具有第二分辨率并使用可分级视频编码进行编码的第二帧进行解码。
25.一种视频编码器系统，所述系统包括非可分级视频解码器，为重建原始帧，对具有第一分辨率并使用非可分级视频编码进行编码的第一帧进行解码；以及可分级视频解码器，将重建的第一帧转换为第二分辨率，并且为重建原始帧，参考转换的第一帧对具有第二分辨率并使用可分级视频编码进行编码的第二帧进行解码。
全文摘要
提供了用于流传输的视频编码方法和系统及视频解码方法和系统。一种视频编码方法包括使用可分级视频编码对第一分辨率帧进行编码；将第一分辨率帧上采样到第二分辨率；以及参考第一分辨率帧的上采样版本使用可分级视频编码对第二分辨率帧进行编码。
文档编号H04N7/12GK1926873SQ200580006644
公开日2007年3月7日 申请日期2005年2月25日 优先权日2004年3月4日
发明者韩宇镇 申请人:三星电子株式会社