专利名称：通过字母框法对mpeg图象作16∶9宽高比变换的制作方法
技术领域：
本发明是关于译码器中依靠行消除将数字视频图象变换到较高宽高比格式的方法和设备。本发明特别适用于符合MPEG-2标准的数字视频数据。
通过宽带通信系统如有线电视或卫星电视网络传输数字视频数据日益普及。用户家中设置数字译码器，例如机顶盒，用于接收数字视频信号和处理具有适宜于在电视、视频显示终端等上显示的格式处理信号。但是，这样的机顶盒的处理和存储器求很关键而必须尽可能保证很低以便能维持网络的商业实用性。
实际上，在许多情况下希望在译码器中提供能将具有用于惯常电视屏幕尺寸例如4∶3的宽高比的数字视频图象变换到较大的宽高比如16∶9的能力。16∶9宽高比普通用于摄制准备在电影院中的屏幕上放映的影片。这一宽高比使得图象中能有更大的水平运动范围。
但4∶3宽高比通行于现有的电视传输标准、包括PAL(相位逐行交变)制式和NTSC(国家电视制式委员会)制中的电视屏幕设计和帧格式。相应地，在电视屏幕上以16∶9格式显示惯常的NTSC或PAL信号，图象将显现为在有效视频行的上下带有黑色区域。
而且，数字视频信号例如符号MPEG-2标准的信号的压缩需要利用外存储器例如动态随机存取存储器(DRAM)来对不同类图形(如I-、P-和B-图形)提供帧缓存器和提供视频缓冲器校对机(VBV)缓存器。此缓存器配置通常被优化用于处理主层次要求的MPEG-2主协议。MPEG-2标准还要求VBV缓存器至少为1.75M位。在这些局限和当前的视频解压缩处理器中现有的存储器配置的情况下，没有另外的存储器空间或存储器带宽可用来支持在译码器上由字母框作16∶9宽高的变换。
相应地即希望提供在译码器作数字视频图象的宽高比变换而无需额外的存储器空间或存储器带宽的系统。此系统应与包括MPEG-2的现有数字视频标准和包括PAL和NTSC的现有电视传输格式相兼容。
在一具体实施方案中，此系统将提供用于将4∶3宽高比图象变换到16∶9宽高比图象而仅仅采用一运行于27MHz(以32-位数据总线)的16M位EDO DRAM，或一运行于54MHz(以16-位数据总线)的SDRAM的体系结构和方法。但在需要时此系统也提供到更大宽高比的变换。
此系统与场模式(例如隔行扫描)和帧模式(例如逐行扫描)视频双方兼容。
本发明提供具有上述以及其他优点的系统。
本发明涉及在译码器上通过作行消除来将数字视频图象变换到较高宽高比格式的方法和设备。
按照本发明，对非锚定图形的行消除在存储进存储器之前于译码器的译码侧发生，而对锚定图形的行消除则在被由存储器检索之后和显示前在译码器的显示侧发生。因此本发明能提供宽高比变换能力而无需因由字母框宽高比变换所引起的译码时间与显示时间之间的延迟的增加而要求的额外的存储器空间或带宽。这种被增大的延迟是由显示处理时间降低所促成的，因为必须处理的有效视行数随字母框格式减少。因此必须释放额外的存储器空间来存放额外的译码数据以避免在运行中的数据显示。本发明实现这一目的。
改变其中每个图象具有数个视频行的数字视频图象的宽高比的详细方法包括(a)确定在译码器所接收的数字视频图象的图形类型的步骤，这里图形典型为锚定图象(anchor image)如I-或P-图形，或者为非锚定图象如B-图形。在步骤(b)，在将相关数据存放在存储器之前由非锚定图象消除的行数。在步骤(c)将与锚定图象相关的数据存放在存储器，例如不作行消除。
在步骤(d)，由存储器检索与非锚定图象相关的数据以输出到显示功能部件，不再作行消除。在步骤(e)，由存储器检索与锚定图象相关的数据，和在输出到显示功能部件之前消除行。
这样，完全的锚定图形数据被存储在存储器中供解压缩随后的和先前的予测编码图象中应用。但本发明利用这样的事实，即不必存储完全的非锚定图形数据，从而为适应字母框宽高比变换而可释放额外的存储器空间。
数字视频图象在译码器中可通过一宽带通信网接收。
在上述的行消除处理期间，步骤(b)中由非锚定图象消除每个第n行，而在步骤(e)中每个第n行由锚定图象中消除。例如，为作由4∶3到16∶9的宽高比变换，每个第四行被消除。
提出了相应的设备。
对所列附图的简要说明
图1描述按照本发明的译码器；图2描述按照本发明的I-图形或P-图形的处理；和图3描述按照本发明的B-图形的处理。
本发明关于在译码器中通过行消除来将数字视频图象变换到较高宽高比格式的方法和设备。
如所提到的，MPEG-2视频解压缩要求利用外部存储器例如DRAM用于帧缓存器和压缩视频流缓存器(VBV缓存器)。例如，可能采用一运行于27MHz的16M位EDO DRAM。而且可采用如授与C.Hoogonboom和B.Vuong的US专利5675387“视频解压缩处理器中有效地寻址DRAM的方法和设备”所介绍的帧缓存器配置。这里描述的缓存器配置被优化用于处理主层次需求中的MPEG-2主协议。在所揭示的方案中，借助减少必须寻址的DRAM不同行的次数以便检索重构一当前视频帧所需的先前视频帧象素数据来改善译码效率。
众所周知，I-图形是指能不涉及其他图形被加以译码的内编码图形，P-图形是指能利用先前译码的I-或P-图形加以译码的前向予测图形，和B-图形是指能利用先前的和下一个I-或P-译码图形加以译码的双向予测图形。因此I-和P-图形是锚定图形，因为它们可被用作为予测另一图形的基准。此外，I-、P-或B-图形均可包括一完整的帧，或者仅仅包括帧的一部分。例如，由MPEG-4标准所知的视频目标平面为任意成形的图象。
这里所用的术语“锚定图象”是指可被用于予测另一图象的任何图象(例如I-和P-图形)，而术语“非锚定图象”则被用于指不能用来予测另外的图象的任何图象(如B-图形)。一锚定图象实际上不一定被用于予测其他图象。另外，术语“图象”用来包括连续扫描数据序列的帧、隔行扫描数据序列的场、和任意的以及矩形的或者对称的图象。
对于译码16∶9宽高比的、或字母框的图象，由于在有效视频上下显示的黑色区域所引起的较小显示图象，其显示处理较之对标准4∶3宽高比图象的处理约快25％。这是一个问题，因为对B-图形的显示时间典型地约为由其被译码的时间起半帧的时间。而且译码与显示之间更长的延迟需要更大的B-图形缓存器用于显示前存储译码象素数据。但如已提到的，采用惯常的译码器存储器结构，不可能有适应这种需求的额外存储器空间。另外，增加额外存储器的成本也是问题，特别是对于必须以最低可能成本生产的批量生产的译码器/机顶盒。
这样，如果期望无需额外的B-图象缓存器空间地作16∶9宽高比变换，能发生在运行中的显示，此时可能对观察者显示不希望的出错图象。
对于PAL制式视频数据，视频解压缩处理器(VDP)将大约一半的B-图形装进缓存。这是由于MPEG-2需求1.75M位VBV缓存器。
按照本发明，借助在译码器的译码侧对非锚定图形(B-图形)作行消除，可实现16∶9字母框模式而无需额外存储器空间和带宽的开销。对于锚定图形(I-和P-图形)，在译码器的显示侧发生行消除，行消除也被称之为由十中取一进行调整。
图1描述一按照本发明的译码器。译码器100包括一由信道例如由电缆或卫星宽带通信网络接收压缩数字视频位流的解压缩引擎110。解压缩引擎110执行通常的解压缩功能，根据需要包括有变长译码、逆量化、逆空间变换、和运动补偿与估算处理。
对于予测编码(如帧内编码)图形，例如P-和B-图形，解压缩引擎110通过线路115由存储器150检索先前的和/或未来的图象数据。存储器150可以是一带有用于提供I-图形缓存器152、P-图形缓存器154、B-图形缓存器156、和VBV缓存器158而被分配的存储器空间的16M位SDRAM或EDO。解压缩引擎110将经解压缩的当前图形数据提供给图形类型读取器122，和提供到开关146。
图形类型读取器122通过读取当前图形数据的适当前标信息来确定当前图形(如帧)的图形类型，并将此图形类型信息提供给控制器140。控制器140可包括有用于接收和处理图形类型信息的微处理器或其他硬件、固件、和/或元件部件。
如果当前图形为一锚定图形，例如I-或P-图形，控制器140发送信号促使开关146将当前图形数据的路由定为通过线路122直接到达存储器150，傍路掉译码侧行消除器120。但如果当前图形为非锚定图形，如B-图形，控制器140发送信号促使开关146将当前图形数据的路由定为到达行消除器120。行消除器120可包括有能检测和计数每一行的当前图象数据的行计数器功能部件。行消除器120在将数据输出到存储器150之前消除当前的图象数据的每个第n行。为由4∶3宽高比变换到16∶9宽高比，每个第四行被消除(因为1-4/3/16/9＝1/4)。
控制器140可响应例如用户通过手持遥控器之类提供的选择信号，或者它响应数据流中载有的指示应采用不同宽高比进行显示的数据。
按照本发明，B-图形数据不被解压缩引擎110用于予测，因此不必在存储器150中存储完全的B-图形图象。但解压缩引擎110作予测时可能需要P-和I-图形数据，因此这一数据被完全地存储在存储器150中。
例如，对于原始分辨率为720象素×480行的NTSC图象，消除每个第四行的行消除将导致所显示的图象具有360行。类似地，对于720象素×576行的PAL图象，消除每个第四行的行消除将导致所显示图象具有432行。黑象素填充有效视频行的上、下区域。
还有，尽管已讨论了由4∶3宽高比到16∶9宽高比的图象变换，而本发明也可通过消除更少或更多的视频行来提供其他的变换格式。
在译码器100的译码侧，存储在存储器150中的数据输出到显示功能部件180来提供适用于在电视或其他装置上显示的数据。显示功能部件180按照已知方式例如按照CCIR标准格式化该数据以便显示。具体地说，输出数据的图形类型由与控制器140通信的图形类型读取器172确定。图形类型读取器122与172可共用公共组件而不一定是独立的，但如果希望的话可以是独立的。
可任选地，各图形的图形类型仅仅需要在存储进存储器之前依靠利用一适用的定时方案作存储器150的输出与输入图形定时的相关处理来确定一次。例如，可在译码器100的译码侧对各图形读取各图形的呈现时间标记(PTS)和图形类型，并将其存在控制器140。与控制器140的相联系的时钟和存储器可在显示侧将由存储器150输出的图形数据的图形类型与先前记录的信息进行相关处理。
但为作说明，图1的示例译码器100独立地确定由存储器150输出的各图形的图形类型。
如果由存储器150输出的图形输出为非锚定图形，控制器140就促使开关148和149将数据路由定为直接到达显示功能部件180，傍路掉显示侧的行消除器170。对非锚定帧数据无须作进一步的行消除，因为在译码器侧行消除器120已发生所需的行消除处理。
但如果输出图形为锚定图形，为了行消除每个第四行，控制器140则促使开关148将数据路由定为通过线路141到显示侧行消除器170。然后通过开关149将锚定图形数据提供给显示功能部件180。
应指出，图1中所示的译码器结构仅只是举例，而本发明的宽高比变换可采用各种硬件、彩色固件和/或软件配置来实现。
如果不要求作宽高比变换，则控制器140促使开关146、148、和149所有时刻均傍路行消除器120和170。
图2描述按照本发明的I-图形或P-图形的处理。为作说明，假定为一具有480行的NTSC图象，当然其他电视信号如PAL也可以应用。再有，在此例中是进行由4∶3到16∶9的宽高比变换，虽然也可采用其他的宽高比。I-图形或P-图形200的原始、完全的解压缩图象对应于图1的解压缩引擎110的输出。图象200包括有有效视频行1～480。因为尚未发生行消除，对应于图1存储器150中数据的存储图象240与完全的解压缩图象200相同。
所显示的图象280表明由图1行消除器170输出的数据，其中每个第四有效视频行已被消除。相应地，所显示图象280中只有360行，例如行1、2、3、5、6、……475、477、478和479。图象280的最后一有效视频行对应于解压缩图象200的行479。此所显示图象的有效视频行的上面和下面通常设有黑象素。
图3描述按照本发明的B-图形的处理。原始的完全的解压缩B-图形图象300含有行1～480。被存储的B-图形图象340对应于由图1行消除器120输出的数据。相应地，此图象已被消除每个第四行。被显示B-图形图象380对应于图1线路143上的数据，包括有对所讨论的NTSC视频示例的整个380行。所显示图象380中有效视频行的上、下也设置有黑象素。
因而可看出本发明提供在译码器中通过进行行消除来将数字视频图象变换到较高宽高比格式的方法和设备。对非锚定图形的行消除在存储进存储器前于译码器的译码侧发生，而对锚定图形的行消除则在由存储器检索之后和显示前在译码器的显示侧发生。
因此本发明能提供宽高比变换能力而无需由于因字母框宽高比变换所引起的译码时间与显示时间之间的延迟增大而要求的额外存储器空间或带宽。
虽然本发明是联系各种具体实施例加以说明的，但本技术领域内的熟悉人士均会理解可对之作大量的适应和修改而不背离权利要求中所述的发明精神实质和范畴。
例如，尽管本发明是连系电缆或卫星电视宽带通信网络进行讨论的，但将会理解其他网络诸如局域网(LAN)、都市区域网(MAN)、广域网(WAN)、中间网络、企业内部网络和互联网均可采用。
另外，本发明还可适配用于除MPEG-2外的数字视频标准和除NTSC及PAL外的电视标准。
权利要求
1.一种用于改变包含多个视频行的数字视频图象的宽高比的方法，包括步骤(a)确定在译码器中接收的连续数字视频图象的对应图形类型，所述图形类型包括有锚定图象和非锚定图象；(b)在将与非锚定图象相关的数据存贮进存储器之前从非锚定图象消除行；(c)存储与锚定图象相关的数据进存储器；(d)由存储器检索与非锚定图象相关数据以输出到显示功能部件；和(e)由存储器检索与锚定图象相关的数据和在输出到显示功能部件前对之作消除行处理。
2.权利要求1所述方法，其特征是与锚定图象相关的数据在所述步骤(c)被存进存储器，而不对之作消除行处理。
3.权利要求1或2所述方法，其特征是在所述步骤(d)由存储器检索与非锚定图象相关的数据，不对之作进一步的行消除处理。
4.前述权利要求之一所述方法，其特征是所述连续数字视频图象在译码器中通过宽带通信网络接收。
5.前述权利要求之一所述方法，其特征是在译码器中所接收的所述连续数字视频图象具有4∶3的宽高比；和输出到显示功能部件的数据具有16∶9的宽高比。
6.前述权利要求之一所述方法，其特征是在所述步骤(b)由非锚定图象消除每个第n行；和在所述步骤(e)由锚定图象消除每个第n行。
7.前述权利要求之一所述方法，其特征是所述非锚定图象包括双向予测图象。
8.前述权利要求之一所述方法，其特征是所述锚定图象包括(i)内部编码图象和(ii)前向予测图象中至少一个。
9.一种用于改变包含多个视频行的数字视频图象的宽高比的设备，包括用于确定在译码器接收的连续数字视频图象的对应图形类型的图形类型读取器；所述图形类型包括有锚定图象和非锚定图象；用于在将与非锚定图象相关的数据存储进存储器之前由非锚定图象消除行的译码侧行消除器；用于将与锚定图象相关的数据存储进存储器的装置；用于由存储器检索与非锚定图象相关的数据以输出到显示功能部件的装置；和用于由存储器检索与锚定图象相关数据的装置，和用于在输出到显示功能部件前对之消除行的显示侧行消除器。
10.权利要求9所述设备，其特征是与锚定图象相关的数据被存储在存储器中而不对之作消除行处理。
11.权利要求9或1O所述设备，其特征是与非锚定图象相关的数据被由存储器中检索而不对之再消除任何行。
12.权利要求9至11之一所述设备，其特征是所述连续数字视频图象在译码器中通过宽带通信网被接收。
13.权利要求9至12之一所述设备，其特征是在译码器中接收的所述连续数字视频图象具有4∶3的宽高比；和输出到显示功能部件的数据具有16∶9的宽高比。
14.权利要求9至13所述设备，其特征是所述译码侧行消除器从非锚定图象消除每个第n行；和所述显示侧行消除器从锚定图象消除每个第n行。
15.权利要求9至14之一所述设备，其特征是所述非锚定图象包括双向予侧图象。
16.权利要求9至15之一所述设备，其特征是所述锚定图象包括(i)内部编码图象和(ii)前向予测图象中至少一个。
全文摘要
在译码器中依靠行消除来将数字视频图象变换到较高宽高比格式的方法和设备。例如,可实现由4∶3到16∶9字母框格式的变换。对非锚定图形(如B－图形)的行消除在存储进存储器之前于译码器的译码侧发生。对锚定图形(如I－和P－图形)的行消除在由存储器检索之后和显示之前于译码器的显示侧发生。额外的存储器空间可被释放用于存储额外的译码数据,从而补偿用此字母框格式处理的有效视频行数减少所造成的显示处理时间的降低。
文档编号H04N5/44GK1262578SQ00100470
公开日2000年8月9日 申请日期2000年1月27日 优先权日1999年1月27日
发明者王金保, 坎达丝·安德森 申请人:通用仪器公司