专利名称：结合高级数据分割和精确粒度可分级以用于有效时空信噪比的可分级视频编码和流式传 ...的制作方法
技术领域：
本发明通常涉及数字信号传输系统，并且更具体而言涉及在数字视频信号传输中结合高级数据分割和精细粒度可分级的系统和方法。
数字视频编码中的高级数据分割(ADP)是有利的，因为它提供细微的故障弱化以缓和信道状况中的变化。高级数据分割与非可分级编码相比仅有很有限的编码惩罚。精细粒度可分级(FGS)还可以在信道状况中有较大变化的情况下，提供故障弱化和带宽适应性。然而，当带宽范围很大时，精细粒度可分级性会招致相当大的编码代价。
现有的精细粒度可分级(FGS)框架在很大的比特率范围上提供了具有精细粒度的时空信噪比可分级。当基本层比特率较低并且编码视频序列呈现很大的时间相关性时，FGS的特性与非可分级的视频编码技术相比遭受了相当大的编码惩罚。在以覆盖较低的比特率范围为代价来增加基本层比特率的情况下，FGS的特性可以被大大改进的研究已经被建立。可替换地，高级数据分割(ADP)的特性在限制比特率变化的时候是很有效率的。
因此，在本技术领域中需要一种能够在数字视频信号的传输中提供FGS和ADP的好处的系统和方法。
为了解决上述现有技术的缺陷，本发明的系统和方法在数字视频信号的传输中结合了高级数据分割(ADP)和精细粒度可分级(FGS)。本发明提供独特且新颖的时空信噪比可分级框架，其结合了ADP和FGS的优点。从而，本发明能够实现较高的编码效率，并且能够改进由ADP或FGS实现的空间可分级。
本发明的系统和方法包括位于视频编码器的基本层编码单元中的分割单元。分割单元把基本层比特流分割成基本层第一分割比特流和一个或多个基本层附加分割比特流。基本层第一分割比特流和基本层附加分割比特流可以被直接输出，或者可以在输出之前被编码。基本层第一分割比特流和基本层附加分割比特流可以用可分级编码器单元或非可分级编码器单元来编码。
在下文中将采用基本层被分割成两个基本层分割比特流的情况。本领域的技术人员将能够把本发明描述扩展到普通情况，其中可以产生超过两个的基本层分割比特流。
精细粒度可分级通过提供扩展的基本层比特率来改进。用于高级数据分割的比特率范围也被扩展。本发明提供了改进的视频编码效率、复杂度可分级以及空间可分级。
在本发明的系统和方法的一个有利实施例中，FGS代码转换器把单层比特流代码转换成具有基本层比特率RB的基本层比特流和具有增强层比特率RE的增强层比特流。变长编码器解码基本层比特流中的变长码。变长码缓存用变长码把基本层比特流分割成基本层第一分割比特流和基本层第二分割比特流。分割点发现单元提供用于分割基本层比特流的最佳分割点。
本发明的一个目的是提供在数字视频信号的编码和传输中结合高级数据分割(ADP)和精细粒度可分级(FGS)的系统和方法。
本发明的另一个目的是提供结合ADP和FGS技术以改进视频编码效率的系统和方法。
本发明的又一个目的是提供结合ADP和FGS技术以改进复杂度可分级的系统和方法。
本发明的另一个目的是提供结合ADP和FGS技术以改进空间可分级的系统和方法。
本发明的还一个目的是提供用于为本发明的基本层第一分割选择最佳的比特率的系统和方法。
前文已经相当广泛地列出了本发明的特征和技术优势，因此本领域的技术人员可以更好地理解本发明随后的详细说明。本发明的附加特征和优点将在下文中被描述，它们形成本发明的权利要求的主题。本领域技术人员应该理解他们可以容易地把所公开的概念和具体实施例用作修改或设计其他结构基础，从而来执行与本发明相同的目的。本领域技术人员还应当认识到，这类等效的构造并没有脱离本发明的最宽广形式的精神和范围。
在开始详细说明本发明之前，阐述这篇专利文献中所使用的特定单词和短语的定义是很有利的。术语″包括″、“包含”以及派生词意指没有限制地包含；其中的术语″或″意指和/或；短语″与什么关联″以及″在此与什么关联″及其派生词可以意指包括、被包括在内、与什么互连、包容、被包容、连接到或与什么连接、耦合到或与什么耦合、与什么通信、与什么合作、交织、并列、接近、被绑定到或与什么绑定、具有、具有什么的特性、等等；而术语″控制器″、″处理器″或″设备″意指至少控制一个操作的任何装置、系统或其部件，这类装置可以中的硬件、固件或软件、或至少两个相同的某些组合来实现。应当注意，与任何特殊的控制器关联的功能可以被本地或远程地集中或分布。特别地，控制器可以包括一个或多个数据处理器，以及执行一个或多个应用程序和/或操作系统程序的相关的输入/输出装置和存储器。特定词汇和短语的定义在整个专利文献中被提供。本领域的普通技术人员应当明白，在许多甚至大多数实施例中，这类定义适合于在使用被定义词汇和短语之前定义这些词汇和短语。
为了更加完整地理解本发明以及其优点，现在结合附图来参考以下说明，其中，类似的数字指定类似的对象，并且其中
图1是说明流视频根据本发明的有利实施例从流视频发射机经由数据网络端对端地传输到流视频接收机的框图；图2是说明根据现有技术的实施例的可仿效的视频编码器的框图；图3是说明根据本发明的有利实施例，基本层比特流怎样被分割成两个比特流部分的图表；图4是说明根据本发明的有利实施例的可仿效的视频编码器的框图；图5说明了FGS编码结构的可仿效的现有技术序列，示出在FGS增强层中怎样发射编码视频帧；图6说明了结合ADP和FGS编码结构的序列，示出了怎样根据本发明的有利实施例来发射编码视频帧；图7是说明用于根据本发明的替换的有利实施例来创建基本层分割的可仿效设备的框图；图8说明了本发明的有利实施例的第一方法的步骤流程图；图9说明了本发明的有利实施例的第二方法的步骤流程图10说明了本发明的有利实施例的第三方法的步骤流程图；图11说明了用于确定最优比特率的本发明的有利方法的步骤流程图；图12说明了本发明的有利实施例的第四方法的步骤流程图；图13说明了本发明的有利实施例的第五方法的步骤流程图；和图14按照不同比特率的峰值信噪比来说明现有技术的FGS编码比特流和两个现有技术的ADP编码比特流的特性图表；图15按照不同比特率的峰值信噪比说明了本发明的ADP+FGS编码比特流的特性图表；和图16说明了可用来实现本发明原理的数字传输系统的可仿效实施例。
下述的图1到16和在这篇专利文献中用来描述本发明原理的不同实施例只说明性的，并且将不会以任何方式构成限制本发明的范围。本发明可以在任何数字视频信号编码器或代码转换器中使用。
根据本发明的有利实施例，图1是说明流视频从流视频发射机110经由数据网络120端对端传输到流视频接收机130的框图。取决于应用，流视频发射机110可以是各式各样的视频帧源中的任意一种，包括数据网络服务器、电视台、电缆网、台式个人电脑(PC)等等。
流视频发射机110包括视频帧源112、视频编码器114和编码器缓存116。视频帧源112可以是能产生未压缩视频帧序列的任何装置，包括电视天线与接收机单元、盒式磁带录像机、摄像机、能存储″原始″视频剪辑的磁盘存储装置等等。未压缩的视频帧以给定图像速率(或″流速率″)进入视频编码器114，并且根据任何已知的压缩算法或装置被压缩，比如MPEG-4编码器。然后，视频编码器114把压缩视频帧发射到编码器缓存116以作好在数据网络120上传输的缓存准备。数据网络120可以是任何适当的IP网络并且可以包括诸如互联网之类的公用数据网和诸如企业自己的局域网(LAN)或广域网(WAN)之类的专用数据网的一部分。
流视频接收机130包括解码器缓存132、视频解码器134和视频显示器136。解码器缓存132接收并存储来自于数据网络120的流压缩视频帧。然后，解码器缓存132按照需要把压缩视频帧发射到视频解码器134。视频解码器134以与视频编码器114压缩视频帧的相同压缩率(理想地)解压缩视频帧。视频解码器134把解压缩帧发送到视频显示器136以用于在视频显示器136的屏幕上播放。
图2是说明可仿效的现有技术的视频编码器200的框图。视频编码器200包括基本层编码单元210和增强层编码单元250。视频编码器200接收原始视频信号，原始视频信号被传送到基本层编码单元210和增强层编码单元250以用于产生基本层比特流和产生增强层比特流。
基本层编码单元210包含有产生基本层比特流的主处理支路，包括运动估计器212、变换电路214、量化电路216、熵编码器218和缓存220。基本层编码单元210包括用来调整基本层编码单元210的量化因数的基本层速率分配器222。基本层编码单元210还含有包括逆量化电路224、反变换电路226和帧存储器228的反馈支路运动估计器212接收原始视频信号并且估计参考帧和由像素特征中的改变表示的当前视频帧之间的运动量。例如，MPEG标准规定，运动信息可以每十六乘十六(16×16)的子帧块由一到四个空间运动矢量来表示。变换电路214接收从运动估计器212输出的结果运动差，并且用已知的诸如离散余弦变换(DCT)之类的去相关技术将它从空间域变换到频率域。
量化电路216接收从变换电路214输出的DCT系数并且从基本层速率分配电路222接收比例因数，并且还用众所周知的量化技术进一步来压缩运动补偿预测信息。量化电路216利用来自于基本层速率分配电路222的比例因数来确定将被应用于变换输出的量化的除法因数。然后，熵编码器218从量化电路216接收量化的DCT系数，并且还用变长编码技术来进一步压缩数据，该技术用相对较短的代码来表示高事件概率的区域，而用相对较长的代码来表示低事件概率的区域。
缓存220接收熵编码器218的输出，并且为被压缩的基本层比特流提供必要的缓存。另外，缓存220还为基本层比率分配器222提供作为参考输入的反馈信号。基本层速率分配器222从缓存220接收反馈信号，并将其用于确定提供给量化电路216的除法因数。
逆量化电路224把量化电路216的输出逆量化以产生表示量化电路216的变换输入的信号。逆变换电路226解码逆量化电路224的输出以产生信号，该信号提供表示变换和量化处理更改的原始视频信号的帧。帧存储电路228从逆变换电路226接收被解码的代表帧并且将该帧存储为运动估计电路212和增强层编码单元250的参考输出。运动估计电路212使用作为输入参考信号的结果存储的帧信号以用于确定原始视频信号中的运动变化。
增强层编码单元250具有主处理支路，其包括剩余计算器252、变换电路254、以及精细粒度可分级(FGS)编码器256。增强层编码单元250还包括增强速率分配器258。剩余计算器252接收来自于原始视频信号的帧并将它们与帧存储器228中的被解码(或重构)的基本层帧作比较，从而产生表示由于变换和量化处理的结果在基本层帧中丢失的图像信息的剩余信号。剩余计算器252的输出被称为剩余数据或残差数据。
变换电路254接收来自于剩余计算器252的输出并且用诸如DCT之类的已知的变换技术来压缩这个数据。尽管DCT充当用于这个实施的可仿效变换，然而变换电路254不被要求具有与基本层变换214相同的变换处理。
FGS帧编码器电路256接收来自于变换电路254和增强速率分配器258的输出。FGS帧编码器电路256编码和压缩由增强速率分配器258调整的DCT系数，从而产生用于增强层比特流的压缩输出。增强速率分配器258接收来自于变换电路254的DCT系数并且利用它们产生被施加到FGS帧编码器电路256的速率分配控制。
图2中描述的现有技术实施产生增强层剩余压缩信号，其表示原始视频信号和被解码基本层数据之间的差值。
本发明结合高级数据分割(ADP)与精细粒度可分级(FGS)以便改进编码效率、复杂可分级以及空间可分级。有多种方法来结合ADP和FGS。ADP和FGS结合的第一应用将参考纹理编码来描述。在本发明的第一方法的描述中，基本层被分成两个部分。每个部分都被分配特殊的比特率。
图3说明了增强层300以及基本层第一部分310和基本层第二部分320的比特率之间的关系。增强层300的比特率被命名为RE。基本层第一部分310的比特率被命名为RB1。比特率RB1等于最小比特率RMIN。基本层第二部分320的比特率被命名为RB2。基本层的总比特率被命名为RB。比特率RB是比特率RB1和RB2之和。增强层和基本层的总比特率被命名为RMAX。比特率RMAX是比特率RE和RB之和。尽管本发明方法用两个基本层部分来描述，然而应当理解，在本发明的其它实施例中，基本层也可以被分割成超过两个的部分。
本发明提供了用于编码基本层的两个部分的设备和方法。在ADP中，基本层的两个部分通过不重编码来拆分来自于非可分级比特流(例如MPEG-2或MPEG-4)的变长码(VLC)而被产生。在本发明中(即ADP和FGS的结合)，分割的概念被概括为不仅包括变长码(VLC)的拆分，而且还包括再编码。因此，通过使用(1)诸如MPEG-2和MPEG-4编码器之类的非可分级编码器，和(2)诸如FGS编码器之类的可分级编码器，基本层的两个部分都可以被编码(或再编码)。
图4是说明根据本发明原理的可仿效的视频编码器400的框图。除本发明的特征外，视频编码器400在结构和操作上也与现有技术的视频编码器200类似。视频编码器400包括基本层编码单元410和增强层编码单元450。视频编码器400接收原始视频信号，原始视频信号被传送到基本层编码单元410以产生基本层比特流并且被传送到增强层编码单元450以产生增强层比特流。
图4的增强层编码单元450以与图2的现有技术的增强层编码单元250相同的方式运行。增强层编码单元450的剩余计算器452、变换电路454、FGS帧编码器456以及增强速率分配器458分别以与现有技术的增强层编码单元250的剩余计算器252、变换电路254、FGS帧编码器256以及增强速率分配器258相同的方式运行。
类似地，基本层编码单元410的许多元件都以与它们在现有技术的基本层编码单元210中对应部分相同的方式运行。运动估计器412、变换电路414、量化电路416、熵编码器418、逆量化电路424、逆变换电路426以及帧存储器428分别以与现有技术的基本层编码单元210中的运动估计器212、变换电路214、量化电路216、熵编码器218、逆量化电路224、逆变换电路226以及帧存储器228相同的方式运行。
为了更加清楚地在基本层编码单元410内示出本发明的元件，缓存220对应的缓存没有在图4中被示出。类似地，基本层速率分配单元222对应的基本层分配单元也没有在图4中被示出。缓存(未示出)和基本层速率分配单元(未示出)存在于基本层编码单元410中，并且执行与它们在现有技术的基本层编码单元210中对应部分相同的功能。
本发明的基本层编码单元410包括分割点计算单元430和分割单元440。分割点计算单元430接收来自于逆变换单元426的输出的信号，并且使用该信号来计算基本层的分割点。即，分割点计算单元430确定怎样分配基本层第一部分310和基本层第二部分320之间的基本层比特率(RB1并且RB2)。在本发明的有利实施例中，这两个基本层比特率是相等的。当比特率BR1和比特率BR2相等时，基本层第一部分310和基本层第二部分320以相同的比特率运行。
分割点计算单元430能够确定把基本层分割成两个部分的最佳分割点。最佳分割点可以使用在Jong Chul Ye和Yingwei Chen的文件中详细描述的技术来确定，其标题为″Rate DistortionOptimized Data Partitioning for Single Layer Video″(当前被提交公开)，其内容在此通过参引用以用于全部目的。
分割点计算单元430把分割点信息提供给分割单元440。分割单元440用分割点信息把基本层比特流分割成基本层第一部分310比特流和基本层第二部分320比特流。
分割单元440还包括可分级编码器442和非可分级编码器444。分割单元440可以使用可分级编码器442或非可分级编码器444来按比例决定基本层第一分割比特流310或基本层第二分割比特流320。
图5说明了FGS编码结构的可仿效的现有技术序列，其示出在FGS增强层中怎样发射编码视频帧。如图5中所示，增强层510的编码视频帧512、514、516、518和520与基本层530的基本层编码帧532、534、536、538和540来同时发射。这个安排提供了高质量的视频图像，因为FGS增强层510帧补充了对应的基本层530帧中的编码数据。
图6说明了结合ADP和FGS编码结构的序列，示出了怎样根据本发明的有利实施例来发射编码视频帧。如图6中所示，增强层610的编码视频帧612、614、616、618和620与基本层630的基本层编码帧632、634、636、638和640来同时发射。包括基本层630中的编码视频帧634和增强层610中的编码视频帧614的暗线表示包括基本层第一部分310和基本层第二部分320的扩展基本层。类似地，包括基本层630中的编码视频帧638和增强层610中的编码视频帧618的暗线表示包括基本层第一部分310和基本层第二部分320的扩展基本层。
如图6中所示，ADP编码帧或FGS编码帧可以被包括在所有的帧类型中(即I帧、P帧、B帧)，或者只被包括在某些帧中(例如I帧和P帧)。ADP和FGS的不同结合有可能用于不同类型的帧。
图7是说明可仿效的设备700的框图，该设备用于根据本发明的替换的有利实施例来创建基本层部分。在这个实施例中，FGS代码转换器710接收单层的比特流。FGS代码转换器710把单层比特流代码转换成具有基本层比特率RB的FGS比特流和具有增强层比特率RE的增强层比特流。FGS代码转换器710输出具有比特率RE的增强层比特流。FGS代码转换器710还把具有比特率RB的基本层比特流发送给变长解码器720。
变长解码器720把基本层比特流发送给逆扫描/量化单元730。逆扫描/量化单元730把离散余弦变换(DCT)系数输出给分割点发现器单元740。分割点发现器单元740计算把基本层比特流分成两个基本层部分的最佳分割点。然后，分割点发现器单元740把分割点信息发送给变长码缓存750。
变长解码器720还与变长码缓存750耦合。变长解码器720解码变长码(VLC)并且把VLC代码提供给变长码缓存750。变长码缓存750使用来自于变长解码器720的VLC码和来自于分割点发现器单元740的分割点信息的输入来确定并输出基本层第一分割比特流和基本层第二分割比特流。
现在将描述本发明的有利实施例的第一方法。单层编码比特流被输入到FGS代码转换器。FGS代码转换器把单层比特流代码转换成具有增强层比特率RE的FGS增强层比特流和具有基本层比特率RB的基本层比特流。可以确定基本层第一分割比特流具有非可分级纹理编码。还可以确定基本层第二分割比特流具有非可分级纹理编码。
然后，基本层比特流被分割成具有比特率RB1的基本层第一分割比特流和具有比特率RB2的基本层第二分割比特流。基本层第一分割比特流和基本层第二分割比特流不被再编码。然后，基本层第一分割比特流和基本层第二分割比特流连同FGS增强层比特流被提供为输出。这提供了根据本发明原理的ADP+FGS比特流。
当输入的视频信号是未压缩视频时，输入的视频信号首先被编码成具有增强层比特率RE并具有基本层比特率RB的FGS比特流。然后，上述的第一方法的剩余步骤被执行。
图8说明了上述的本发明的有利实施例的第一方法的步骤流程图。在第一步骤中，单层编码比特流在FGS代码转换器中被接收(步骤810)。FGS代码转换器把单层比特流代码转换成具有增强层比特率RE的FGS增强层比特流和具有基本层比特率RB的基本层比特流(步骤820)。基本层第一分割比特流被确定具有非可分级纹理编码(步骤830)。基本层第二分割比特流也被确定具有非可分级纹理编码(步骤840)。然后，基本层比特流被分割成具有比特率RB1的基本层第一分割比特流和具有比特率RB2的基本层第二分割比特流(步骤850)。然后，基本层第一分割比特流和基本层第二分割比特流连同FGS增强层比特流被提供为输出(步骤860)。
现在将描述本发明的有利实施例的第二方法。在第二方法中，基本层第一分割比特流具有非可分级纹理编码，而基本层第二分割比特流具有可分级纹理编码。单层编码比特流被输入到FGS代码转换器。FGS代码转换器把单层比特流代码转换成具有增强层比特率RE的FGS增强层比特流和具有基本层比特率RB的基本层比特流。可以确定基本层第一分割比特流具有非可分级纹理编码。还可以确定基本层第二分割比特流具有可分级纹理编码。
然后，基本层比特流被分割成具有比特率RB1的基本层第一分割比特流和具有比特率RB2的基本层第二分割比特流。基本层第一分割比特流不被再编码。基本层第二分割比特流用诸如FGS之类的可分级再编码器来再编码。然后，基本层第一分割比特流和被再编码的基本层第二分割比特流连同FGS增强层比特流被提供为输出。这提供了根据本发明原理的ADP+FGS比特流。
当输入的视频信号是未压缩视频时，输入的视频信号首先被编码成具有增强层比特率RE和具有基本层比特率RB的FGS比特流。然后，第二方法的剩余步骤被执行。
图9说明了上述的本发明的有利实施例的第二方法的步骤流程图。在第一步骤中，单层编码比特流在FGS代码转换器中被接收(步骤910)。FGS代码转换器把单层比特流代码转换成具有增强层比特率RE的FGS增强层比特流和具有基本层比特率RB的基本层比特流(步骤920)。基本层第一分割比特流被确定具有非可分级纹理编码(步骤930)。基本层第二分割比特流被确定具有可分级纹理编码(步骤940)。然后，基本层比特流被分割成具有比特率RB1的基本层第一分割比特流和具有比特率RB2的基本层第二分割比特流(步骤950)。然后，基本层第二分割比特流用诸如FGS之类的可分级再编码器来再编码(步骤960)。然后，基本层第一分割比特流和被再编码的基本层第二分割比特流连同FGS增强层比特流被提供为输出(步骤970)。
现在将描述本发明的有利实施例的第三方法。在第三方法中，基本层第一分割比特流具有可分级纹理编码，而基本层第二分割比特流具有可分级纹理编码。单层编码比特流被输入到FGS代码转换器。FGS代码转换器把单层比特流代码转换成具有增强层比特率RE的FGS增强层比特流和具有基本层比特率RB的基本层比特流。可以确定基本层第一分割比特流具有可分级纹理编码。还可以确定基本层第二分割比特流具有可分级纹理编码。
然后，基本层比特流被分割成具有比特率RB1的基本层第一分割比特流和具有比特率RB2的基本层第二分割比特流。基本层第一分割比特流用诸如FGS之类的可分级再编码器来再编码。基本层第二分割比特流也用诸如FGS之类的可分级再编码器来再编码。然后，被再编码的基本层第一分割比特流和被再编码的基本层第二分割比特流连同FGS增强层比特流被提供为输出。这提供了根据本发明原理的ADP+FGS比特流。
当输入的视频信号是未压缩视频时，输入的视频信号首先被编码成具有增强层比特率RE和具有基本层比特率RB的FGS比特流。然后，上述的第三方法的剩余步骤被执行。
图10说明了上述的本发明的有利实施例的第三方法的步骤流程图。在第一步骤中，单层编码比特流在FGS代码转换器中被接收(步骤1010)。FGS代码转换器把单层比特流代码转换成具有增强层比特率RE的FGS增强层比特流和具有基本层比特率RB的基本层比特流(步骤1020)。基本层第一分割比特流被确定具有可分级纹理编码(步骤1030)。基本层第二分割比特流也被确定具有可分级纹理编码(步骤1040)。然后，基本层比特流被分割成具有比特率RB1的基本层第一分割比特流和具有比特率RB2的基本层第二分割比特流(步骤1050)。然后，基本层第一分割比特流和基本层第二分割比特流用诸如FGS之类的可分级再编码器来再编码(步骤1060)。然后，被再编码的基本层第一分割比特流和被再编码的基本层第二分割比特流连同FGS增强层比特流被提供为输出(步骤1070)。
通过首先确定应用需求的比特率范围，确定用于特殊应用的最佳比特率的选择。比特率的范围从最小比特率RMIN到最大比特率RMAX。如图3中所示，最小比特率RMIN等于基本层第一部分310的比特率RB1。在本发明的一个有利的实施例中，基本层第二部分320的比特率RB2可以被选择等于基本层第一部分310的比特率RB1。
比特率RB2的选择(基本层第二部分320的比特率)影响最后产生的ADP+FGS信号的速率、复杂度和失真特性。不同的最佳比特率可以取决于应用标准来选择。
图11说明了用于确定最佳比特率的本发明的有利方法的步骤流程图。应用的比特率范围(从RMIN到RMAX)首先被确定(步骤1110)。然后，时间相关性系数(TCC)被确定(步骤1120)。时间相关性系数(TCC)可以被计算如下TCC=Σw=1WΣh=1H(f(w,h)-Avef)(r(w,h)-Aver)Σw=1WΣh=1H(f(w,h)-Avef)2Σw=1WΣh=1H(r(w,h)-Aver)2]]>其中，W是帧/图像的宽度，而H是帧/图像的高度。
字母″f″指当前帧，而术语″Avef″是当前帧的平均像素值。字母″r″指″f″的运动补偿参考帧，而术语″Aver″是运动补偿参考帧的平均像素值。
在时间相关性系数(TCC)的值已经被计算之后，确定TCC的值是否小于阈值(确定步骤1130)。如果TCC的值小于阈值，则比特流用FGS来编码(步骤1140)。
如果TCC的值大于阈值，则用于RADP的值被确定，其中，增强层中的TCC的值小于阈值(步骤1150)。然后，比特流以RADP速率在基本层第二部分320顶部用FGS来编码(步骤1160)。然后，ADP被执行以用于以RADP速率编码的基本层(步骤1170)。当基本层第一部分310和基本层第二部分320之间的部分被创建时，为RMIN比特率最佳化质量。
现在将描述本发明的有利实施例的第四方法。第四方法最佳化复杂度。应用的比特率范围(从RMIN到RMAX)首先被确定。然后，″高端″可以容忍的复杂度的近似量被确定。然后，用于FGS的对应基本层第二部分的比特率(即RFGS)被确定。然后，比特流用基本层第二部分的比特率RFGS来编码。然后，使用ADP的基本层被编码，并且为比特率RMIN最佳化基本层第一部分的质量。
图12说明了上述的本发明的有利实施例的第四方法的步骤流程图。在第一步骤中，应用的比特率范围(从RMIN到RMAX)被确定(步骤1210)。″高端″可容忍的近似复杂度被确定(步骤1220)。用于FGS的对应基本层第二部分的比特率被确定(步骤1230)。FGS比特流使用基本层第二部分的比特率RFGS来编码(步骤1240)。基本层用ADP来编码，并且为比特率RMIN最佳化基本层第一部分的质量(步骤1250)。
现在将描述本发明的有利实施例的第五方法。第五方法最佳化空间可分级。应用的比特率范围(从RMIN到RMAX)首先被确定。然后，将被每个分辨率覆盖的比特率范围被确定。分辨率X的第一比特率范围(从RMIN到RMAX1)被确定。然后，分辨率4X的第二比特率范围(从RMAX1到RMAX)被确定。然后，FGS层在分辨率4X下以比特率RMAX1被编码。然后，ADP被执行以用于具有分辨率X下比特率为RMIN的基本层第一部分的基本层。
图13说明了上述的本发明有利实施例的第五方法的步骤流程图。在第一步骤中，应用的比特率范围(从RMIN到RMAX)被确定(步骤1310)。将每个分辨率覆盖的比特率范围被确定(步骤1320)。分辨率X的第一比特率范围(从RMIN到RMAX1)被确定(步骤1330)。分辨率4X的第二比特率范围(从RMAX1到RMAX)被确定(步骤1340)。然后，FGS层在分辨率4X下以比特率RMAX1被编码(步骤1350)。然后，ADP被执行以用于具有分辨率X下比特率为RMIN的基本层第一部分的基本层(步骤1360)。
图14按照不同比特率时的峰值信噪比说明了现有技术的FGS编码比特流和两个现有技术的ADP编码比特流的特性图。图14示出了现有技术的具有较低基本层比特率的FGS编码比特流1410的特性。图14还示出了两个ADP编码比特流的特性。第一ADP编码比特流1420具有中等的基本层比特率。第二ADP编码比特流1430具有高的基本层比特率。这些现有技术的比特流的特性被示出，因此它们可以在图15中与本发明的结合ADP+FGS的编码比特流的特性相比较。
图15按照不同比特率时的峰值信噪比说明了本发明的ADP+FGS编码比特流1510的特性图。来自于图14的现有技术的比特流也被示出以用于比较。ADP+FGS编码比特流1510的特性线被示为一条虚线。
如图15中所说明的，ADP+FGS比特流具有以三百万比特/秒(3.0Mbps)编码的基本层。基本层被分割成具有一百五十万比特/秒(1.5Mbps)的比特率的基本层第一部分和也具有一百五十万比特/秒(1.5Mbps)的比特率的基本层第二部分。三百万比特/秒(3.0Mbps)的FGS增强层比特率被示出以用于ADP+FGS比特流。这意指比特率范围可以从一百五十万比特/秒(1.5Mbps)扩展到六百万比特/秒(6.0Mbps)。
FGS的基本层比特率从1.5Mbps增加到3.0Mbps以用于改进编码效率。同时，ADP的上限比特率从3.0Mbps扩展到6.0Mbps。虚线1510表征了ADP+FGS编码比特流的速率失真特性。
图16说明了可用于实现本发明原理的系统1600的可仿效实施例。系统1600可以表示电视机、机顶盒、台式机、膝上计算机或掌上计算机、个人数字助理(PDA)、诸如盒式磁带录像机(VCR)之类的视频/图像存储装置、数字视频记录器(DVR)、TiVO装置等等，以及这些及其它装置的部分或结合。系统1600包括一个或多个视频/图像源1610、一个或多个输入/输出装置1660、处理器1620和存储器1630。(一个或多个)视频/图像源1610例如可以表示电视接收机、VCR或其它的视频/图像存储装置。(一个或多个)视频/图像源1610可以替换地表示一个或多个用于从(一个或多个)服务器接收视频的网络连接，例如通过诸如互联网之类的全球计算机通信网、广域网、地面广播系统、电缆网、卫星网络、无线网络、或电话网、以及这些及其它类型的网络的部分或结合。
输入/输出装置1660、处理器1620和存储器1630可以通过通信介质1650通信。通信介质1650可以例如表示总线、通信网络、电路的一个或多个内部连接、电路卡或其它的装置、以及这些及其它通信介质的部分和结合。来自于(一个或多个)源1610的输入视频数据根据存储在存储器1630中的一个或多个软件程序被处理，并且被处理器1620执行以产生提供给显示装置1640的输出视频/图像。
在优选实施例中，采用本发明原理的编码并且解码可以由系统执行的计算机可读码来实现。这些可读码被存储在存储器1630中，或者从诸如光盘或软盘之类的存储介质中被读取/下载。在其它的实施例中，硬件电路可以代替软件指令或者与软件指令结合来用于实现本发明。例如，这里所说明的元件还被实现为分立的硬件元件。
虽然本发明已经关于它的某些实施例被详细地描述，但是本领域的技术人员应该明白，在不脱离本发明宽广形式的概念和范围的前提下，他们可以做出不同的改变、置换修改、变更以及适配。
权利要求
1.在数字视频发射机110中用于在数字视频信号的传输中结合高级数据分割和精细粒度可分级的设备440，所述设备440包括视频编码器400的基本层编码单元410内的分割单元440，其把基本层比特流310、320分割成多个基本层分割比特流310、320。
2.如权利要求1所述的设备440，还包括其输出端与所述分割单元440的输入端耦合的分割点计算单元430，其中，所述分割点计算单元430向所述分割单元440提供所述基本层比特流310、320的分割点信息，以把所述基本层比特流310、320分成多个基本层分割比特流310、320。
3.如权利要求1所述的设备440，其中，所述的多个基本层分割比特流310、320包括基本层第一分割比特流310和基本层第二分割比特流320。
4.如权利要求3所述的设备440，其中，所述设备440还包括非可分级编码器单元444，其编码所述基本层第一分割比特流310和所述基本层第二分割比特流320中的一个。
5.如权利要求3所述的设备440，其中，所述设备440还包括可分级编码器单元442，其编码所述基本层第一分割比特流310和所述基本层第二分割比特流320中的一个。
6.在数字视频发射机110中用于在数字视频信号的传输中结合高级数据分割和精细粒度可分级的设备710、720、750，所述设备710、720、750包括FGS代码转换器710，其中，所述FGS代码转换器710能够把单层比特流代码转换成具有基本层比特率RB的基本层比特流310、320和具有增强层比特率RE的增强层比特流300；与所述FGS代码转换器710耦合的变长解码器单元720，其中，所述变长解码器720能够从所述FGS代码转换器710接收所述基本层比特流310、320，并且能够解码所述基本层比特流310、320中的变长码；和与所述变长解码器单元720耦合的变长码缓存器750，其中，所述变长码缓存750能够从所述变长解码器单元720接收所述变长码，并且能够使用所述变长码把所述基本层比特流310、320分割成多个基本层分割比特流310、320。
7.如权利要求6所述的设备710、720、750，还包括其输出端与所述变长码缓存750的输入端耦合的分割点发现器单元740，其中，所述分割点发现器单元740能够计算最佳分割点信息并且能够将该信息提供给所述变长码缓存750，以用于把基本层比特流310、320分成所述多个基本层分割比特流310、320。
8.如权利要求7所述的设备710、720、740、750，其中，通过比较时间相关性系数(TCC)与阈值，所述分割点发现器单元740能够确定基本层第一分割比特流310的最佳比特率，其中所述时间相关性系数由下列的公式来计算TCC=Σw=1WΣh=1H(f(w,h)-Avef)(r(w,h)-Aver)Σw=1WΣh=1H(f(w,h)-Avef)2Σw=1WΣh=1H(r(w,h)-Aver)2]]>其中，W是帧/图像的宽度，H是帧/图像的高度，而字母″f″指当前帧，术语″Avef″是当前帧的平均像素值，字母″r″指″f″的运动补偿参考帧，而术语″Aver″是运动补偿参考帧的平均像素值。
9.在数字视频发射机110中用于在数字视频信号的传输中结合高级数据分割和精细粒度可分级的方法，所述方法包括下列步骤把基本层比特流310、320分割成多个基本层分割比特流310、320；和用编码器单元来编码所述多个基本层分割比特流310、320中的至少一个基本层分割比特流。
10.如权利要求9所述的方法，其中，所述编码器单元是可分级编码器单元442和非可分级编码器单元444中的一个。
11.如权利要求9所述的方法，还包括下列步骤计算表示所述基本层比特流310、320中的分割点信息的值；和用所述值把所述基本层比特流310、320分成多个基本层分割比特流310、320。
12.如权利要求9所述的方法，还包括下列步骤通过比较时间相关性系数(TCC)与阈值，来确定基本层第一分割比特流310的最佳比特率，其中，所述时间相关性系数通过下列的公式来计算TCC=Σw=1WΣh=1H(f(w,h)-Avef)(r(w,h)-Aver)Σw=1WΣh=1H(f(w,h)-Avef)2Σw=1WΣh=1H(r(w,h)-Aver)2]]>其中，W是帧/图像的宽度，H是帧/图像的高度，而字母″f″指当前帧，术语″Avef″是当前帧的平均像素值，字母″r″指″f″的运动补偿参考帧，而术语”Aver”是运动补偿参考帧的平均像素值。
13.权利要求9中要求的方法，还包括下列步骤把基本层比特流310、320分割成基本层第一分割比特流310和基本层第二分割比特流320；确定从最小比特率到最大比特率的比特率范围；确定视频装置可容忍的近似复杂度；确定对应于所述近似复杂度的用于精细粒度可分级的基本层第二部分比特率320；用所述基本层第二分割比特流320来编码精细粒度可分级比特流；和用高级数据分割来编码基本层比特流。
14.如权利要求9所述的方法，还包括下列步骤把基本层比特流310、320分割成基本层第一分割比特流310和基本层第二分割比特流320；确定从最小比特率RMIN到最大比特率RMAX的比特率范围；确定将被视频装置中的每个分辨率覆盖的比特率范围；确定分辨率X下从RMIN到RMAX1的比特率范围；确定分辨率4X下从RMAX1到RMAX的比特率范围；在分辨率4X下，以比特率RMAX1来编码精细粒度可分级比特流；和用具有其比特率在分辨率X下为RMIN的基本层第一部分310的高级数据分割来编码基本层比特流。
15.如权利要求9所述的方法，还包括下列步骤用FGS代码转换器710把单层比特流代码转换成具有基本层比特率RB的基本层比特流310、320，和具有增强层比特率RE的增强层比特流300；把所述基本层比特流310、320从所述FGS代码转换器710发送到变长编码器720；用所述变长解码器720来解码所述基本层比特流310、320中的变长码；和把所述变长码从所述变长解码器单元720发送到变长码缓存750；和用所述变长码把所述基本层比特流310、320分割成多个基本层分割比特流310、320。
16.如权利要求15所述的方法，还包括下列步骤在分割点发现单元740中计算最佳分割点，以用于把所述基本层比特流310、320分成基本层第一分割比特流310和基本层第二分割比特流320；和把所述最佳分割点提供给所述变长码缓存750。
17.一种通过用于在数字视频信号的传输中结合高级数据分割和精细粒度可分级的方法产生的数字编码视频信号，所述方法包括下列步骤把基本层比特流310、320分割成多个基本层分割比特流310、320；和用编码器单元来编码所述多个基本层分割比特流310、320中的至少一个基本层分割比特流。
18.如权利要求17所述的数字编码视频信号，其中，所述编码器单元是下列单元中的一个可分级编码器单元442和非可分级编码器单元444。
19.如权利要求17所述的数字编码视频信号，其中，所述方法还包括下列步骤计算表示所述基本层比特流310、320中的分割点信息的值；和用所述值把所述基本层比特流310、320分成多个基本层分割比特流310、320。
20.如权利要求17所述的数字编码视频信号，其中，所述方法还包括下列步骤通过比较时间相关性系数(TCC)与阈值来确定基本层第一分割比特流310的最佳比特率，其中，所述时间相关性系数通过下列的公式来计算TCC=Σw=1WΣh=1H(f(w,h)-Avef)(r(w,h)-Aver)Σw=1WΣh=1H(f(w,h)-Avef)2Σw=1WΣh=1H(r(w,h)-Aver)2]]>其中，W是帧/图像的宽度，H是帧/图像的高度，而字母″f″指当前帧，术语″Avef″是当前帧的平均像素值，字母″r″指″f ″的运动补偿参考帧，而术语”Aver”是运动补偿参考帧的平均像素值。
21.如权利要求17所述的数字编码视频信号，其中，所述方法还包括下列步骤把基本层比特流310、320分割成基本层第一分割比特流310和基本层第二分割比特流320；确定从最小比特率到最大比特率的比特率范围；确定视频装置可容忍的近似复杂度；确定对应于所述近似复杂度的用于精细粒度可分级的基本层第二分割比特率320；用所述基本层第二分割比特率320来编码精细粒度可分级比特流；和用高级数据分割来编码基本层比特流。
22.如权利要求17所述的数字编码视频信号，其中，所述方法还包括下列步骤把基本层比特流310、320分割成基本层第一分割比特流310和基本层第二分割比特流320；确定从最小比特率RMIN到最大比特率RMAX的比特率范围；确定将被视频装置中的每个分辨率覆盖的比特率范围；确定分辨率X下从RMIN到RMAX1的比特率范围；确定分辨率4X下从RMAX1到RMAX的比特率范围；在分辨率4X下，以比特率RMAX1来编码精细粒度可分级比特流；和用具有其比特率在分辨率X下为RMIN的基本层第一分割310的高级数据分割来编码基本层比特流。
23.如权利要求17所述的数字编码视频信号，其中，所述方法还包括下列步骤用FGS代码转换器710把单层比特流代码转换成具有基本层比特率RB的基本层比特流310、320和具有增强层比特率RE的增强层比特流300；把所述基本层比特流310、320从所述FGS代码转换器710发送到变长编码器720；用所述变长解码器720来解码所述基本层比特流310、320中的变长码；和把所述变长码从所述变长解码器单元720发送到变长码缓存750；和用所述变长码把所述基本层比特流310、320分割成多个基本层分割比特流310、320。
24.如权利要求23所述的数字编码视频信号，其中，所述方法还包括下列步骤在分割点发现单元740中计算最佳分割点，以用于把所述基本层比特流310、320分成基本层第一分割比特流310和基本层第二分割比特流320；和把所述最佳分割点提供给所述变长码缓存750。
全文摘要
一种系统和方法被提供以用于在数字视频信号的传输中结合高级数据分割和精细粒度可分级。位于视频编码器400的基本层编码单元410中的分割单元440把基本层比特流310、320分割成基本层第一分割比特流310和基本层第二分割比特流320。两个基本层比特流310、320中的每一个都可以被直接输出，或者可以在输出之前被编码。两个基本层比特流310、320可以用可分级编码器单元442或非可分级编码器单元444来编码。精细粒度可分级通过提供扩展的基本层比特率而被改进。也可以扩展用于高级数据分割的比特率范围。本发明提供了改进的视频编码效率、复杂度可分级以及空间可分级。
文档编号H04N7/24GK1860791SQ200480028101
公开日2006年11月8日 申请日期2004年9月27日 优先权日2003年9月29日
发明者M·范德沙尔, Y·陈 申请人:皇家飞利浦电子股份有限公司