专利名称：用于动态自适应解码可定标图像以便平衡cpu负载的系统与方法
技术领域：
本发明涉及图像解码器，更具体地说是涉及动态地适应解码可定标图像数据流的一个中央处理单元(CPU)的负载的图像解码器。
背景技术：
近年来，经过包括互联网络的数据网络而实时地串流多媒体内容已经逐渐地变成一个通常应用。在其它应用当中，大范围的交互性和非交互性的多媒体应用，例如新闻点播、实况网络电视浏览、电视会议，依靠的是端对端串流图像技术。不同于可首先以″非实″时检索而稍后以″实″时观看或播放的″下载″图像文件，数据串流图像应用要求一个图像发射机编码一个图像信号并且经一个数据网络发送到一个图像信号接收机，而该图像信号接收机必须以实时方式解码和显示该图像信号。
可定标图像编码是许多使用在采用具有大范围处理能力的系统中的多媒体应用和业务的一个所希望的特征。可定标性允许具有低计算能力的处理器只解码该可定标图像数据流的一个子集。可定标图像的另一应用是在具有可变传输带宽的环境中。在那些环境中，具有低接入带宽的接收机仅接收并且从而解码该可定标图像数据流的一个子集，其中该子集的图像数据流量正比于该可用带宽。
主要的图像压缩标准，比如MPEG-2和MPEG-4已经采用了若干图像可定标性方案。在这些标准中已经定义了时间的、空间的和质量的(例如信号噪声比(SNR))的可定标类型。所有的这些方案都包括一个基层(BL)和一个增强层(EL)。通常，该可定标图像数据流的基层部分表示为了解码该数据流所需要的数据的最小量。该数据流的增强层部分表示附加信息，因此当由接收机解码时，增强该图像信号的显示效果。
例如，在例如互联网络的一个可变带宽系统中，基层传输速率能以该可变带宽系统的最小保证传输速率建立。因此，如果用户具有256kbps的一个最小保证带宽，则基层速率也能以256kbps建立。如果该实际可用带宽是384kbps，则带宽的额外128kbps可以由增强层使用，以便改进以该基层速率发送的基本信号。
针对图像可定标性的每一类型，标识一个确定的可定标性的构造。该可定标性结构定义了在基层图像和增强层图像之中的关系。可定标性的一个等级是精确颗粒可定标性。借此可定标性类型编码的图像能够被逐级解码。换言之，解码器能仅以用于编码该图像的数据的一个子集解码并且显示该图像。随着更多的数据的接收，该解码图像的质量逐渐增强，直到全部信息被接收、解码和显示。
新建议的MPEG-4标准是针对以低比特率编码为基础的应用中的新图像数据流，例如电视电话、移动多媒体/视听通信、多媒体电子邮件、遥感、交互性游戏等。在该MPEG-4标准之内，精确颗粒可定标性(FGS)已经被认为是用于网络图像传播的基本技术。FGS主要瞄准的是其中的图像经不同类网络实时数据串流的应用场合。通过对于一个比特率的范围对内容一次编码而提供带宽自适应性，并且允许该图像传输服务器动态地改变传输速率，而无须该图像比特数据流的深入了解或分析。
在解码可定标图像，比如MPEG 2或MPEG 4图像的过程中，解码该图像比特数据流的中央处理单元(CPU)的活动能在时间上大范围地改变。该CPU负载的变化是因为该解压缩处理取决于信源类型(图像或影片)、图像内容(运动等级、细节水平)、和帧类型(I、B、P)。由于影片的较大尺寸和较大宽高比，一个影片信源要求的处理能力的量通常大于一个原始图像信源要求的处理能力的量。包含单一图像帧的整个比特图像的一个I帧(或图像帧)通常要求最大的处理能力的量。包含当前帧和下一个帧之间的差异的一个P帧(或预测帧)通常要求最小的处理能力的量。跟踪自从前一个I帧以来的所有变化的一个B帧(或双向帧)通常要求大于P帧但是小于I帧的处理能力。
如果单一CPU执行一个软件可定标图像解码器，这种软件MPEG解码器与其它程序，例如数字信号处理应用程序同时地实时执行，则引由该图像解码操作引起的CPU加载中的大范围的变化能够有害地影响该CPU的性能。由该CPU执行的并行程序组必须被时分多路复用，同时满足该可定标图像解码操作的实时要求。该分别的编程(或任务)的规划通常在一个实时操作系统的控制下。然而，当CPU的工作负载(即CPU循环周期、存储带宽等)随着时间显著变化时，工作安排则变成一个很复杂的操作。工作计划通常针对每一个工作的峰值需求所要占用的CPU资源而预订。当工作之一是图像解码操作时则导致低效率，因为该图像解码操作的峰值要求和平均要求之间的差别很大。在CPU活力很低的周期过程中，这种差别只是资源浪费。
因此，本专业中需要应用在数据串流图像系统中的改进的编码器和编码技术。具体地说，需要用于在一个可定标图像信号的解码过程中均衡在一个CPU上的负载的系统和方法。更具体地说，需要能够动态地调节或改变一个可定标图像信号，例如一种可定标的MPEG信号的解码水平的一种系统和方法，以便减小该CPU负载中的变化。
本发明概要为克服上述讨论的已有技术的不足，本发明的一个主要目的是提供一个用于控制该可定标图像解码器的处理负载的装置，用于能够解码一个输入的可定标图像比特数据流并且产生一个基带图像信号的可定标图像解码器。根据本发明的一个优化实施例，本装置包括1)一个分析器电路，能够测量该输入可定标图像比特数据流的至少一个特性并且产生与该至少一个特性相关的至少一个图像参数；以及2)一个处理器负载控制器，能够接收至少图像参数，并且响应该参数控制由该可定标图像解码器执行该输入可定标图像比特数据流的解码等级。
根据本发明的一个实施例，该至少一个图像参数指示在该输入可定标图像比特数据流中的帧运动的等级。
根据本发明的另一实施例，该至少一个图像参数指示在该输入可定标图像比特数据流中的帧细节的等级。
根据本发明的再一实施例，该处理器负载控制器还能够接收一个与在该输入可定标图像比特数据流中的一个第一帧相关的一个帧类型参数。
根据本发明还有另一个实施例，该帧类型参数包括I帧参数、B帧参数和P帧参数的至少之一。
根据本发明的进一步实施例，该处理器负载控制器进一步能够接收与该输入可定标图像比特数据流中的第一帧相关的一个信源类型参数。
根据本发明一个更进一步的实施例，该信源类型参数指示该输入可定标图像比特数据流是否为图像比特数据流和影片比特数据流之一。
根据本发明的一个再进一步的实施例，该处理器负载控制器产生至少一个定标因数，能够控制由该可定标图像解码器执行解码的等级。
上文已经相当概括地概述了本发明的特征和技术上的优点，使得本领域技术人员可以更好地理解本发明随后的详细描述。下文将被描述的本发明的附加特征和优点形成本发明权利要求的主题。本领域技术人员应该理解，使用公开的构思和具体的实施例作为基础，可以容易地修改或设计用于执行本发明相同目标的其它结构。在不背离本发明的精神和概括形式的本发明的范围的条件下，本领域技术人员也将实现这种等价结构。
在进行详细的描述之前，定义使用在整个专利文件中的某些措词和词组可能是有益的术语″包括″和″包含″以及引出的含义是指无局限性的包含；术语″或″包含″和/或″的意思；词组″与...相关″和″与其相关″以及导出词组可以意味着包含在、连接到或与...连接、耦合到或与...耦合、可与...交流、与...配合、交错进行、并置、最近于是、最终要、已经、具有一个...的性质，等等；术语″控制器″是指任何装置、系统或部分，其控制至少一个操作这样的装置能硬件、固件或软件实现，或某些它们的至少两个的组合实现。应该注意，不论是本地或远距，与任何特定控制器相关的功能都可以是集中或分布的方式。用于某些单词和词组的定义被贯穿此专利文件提供，本领域普通技术人员将理解，即使不是大多数情况，许多这样的定义应用于这种定义的单词和词组的以前以及未来的使用。
附图的简要描述为了更完全地理解本发明以及其优点，下面结合附图进行描述，其中相同的编号表示相同的目标，其中
图1示出根据本发明一个实施例的数据串流图像的端对端传输，从一个数据流图像发送器通过一个数据网络到一个数据流图像信号接收机；图2是关于解码在根据已有技术的传统数据流图像信号接收机中的图像信号的一个中央处理单元的负载的时域表示；图3是关于解码在根据本发明实施例的数据流图像信号接收机中的图像信号的一个中央处理单元的负载的时域表示；
图4示出根据本发明一个实施例的一个可变CPU负载图像解码器；和图5是一个流程图，示出根据本发明一个实施例的可变CPU负载图像解码器的操作。
本发明的详细说明下面讨论的图1至5以及用于描述此专利文件中的本发明的原理的各种实施例仅是作为说明方式，而不以任何方式解释为对于本发明范围的限制。本领域技术人员将理解，本发明的原理能以任何适当设计的可定标MPEG图像解码器而实现。
图1示出根据本发明一个实施例的数据串流图像的端对端传输，从一个数据流图像发送器110通过一个数据网络120到一个数据流图像信号接收机130。根据本申请，数据流图像发送器110可以是多种图像帧信号源的任何之一，包括数据网络服务器、电视台发射机、电缆网络、台式个人计算机(PC)等等。
数据串流图像发射机110包括图像帧信源112、图像编码器、存储器115、和编码器缓存器116。图像帧信源112可以是能够产生一个未压缩图像帧序列的任何装置，包括一个电视天线以及接收机单元、一个录象重放装置、一个摄像机、一个能够存储″原生″图像文件集的磁盘存储器等等。该未压缩的图像帧以一个给定图像速率(或″数据串流速率″)输入图像编码器114，并且根据任何已知的压缩算法或装置，例如MPEG-2或MPEG-4编码器，而被压缩。图像编码器114则将该压缩的图像帧发送到用于缓存的编码器缓存器116，以准备用于通过数据网络120传输。
数据网络120能以是任何适当的网络，并且可以包含两种公用数据网的一些部分，例如互联网络，以及专用数据网，例如企业拥有的局域网(LAN)或广域网(WAN)。对于电视广播应用和无线局域网，数据网络120表示发送该编码数据的无线传输信道。在这种应用中，编码器缓存器116可以进一步包括射频(RF)收发信机电路，能够把基带压缩的图像信号上变换为一个RF信号。
数据串流图像信号接收机130包括解码器缓存器132、可变CPU负载图像解码器134、存储器135和图像显示器136。根据应用，数据流图像信号接收机可以是多种图像帧信号接收器的任何之一，包括电视接收机、台式个人计算机(PC)、盒式录象机(VCR)等等。解码器缓存器132接收并存储来自数据网络120的数据流的压缩图像帧。在无线应用中，例如电视和无线LANS，解码器缓存器132可以进一步包括射频(RF)收发信机电路，能够把从无线传输信道(即数据网络120)接收的RF信号降频变换为一个基带压缩的图像信号，随即存储在解码器缓存器132中。
解码器缓存器132则按照要求把压缩的图像帧发送到可变CPU负载图像解码器134。可变CPU负载图像解码器134以和图像编码器114压缩该图像帧的相同的速率(理想速率)解压缩该图像帧。可变CPU负载图像解码器134把该解压缩帧发送到图像显示器136，用于在图像显示器134的屏幕上重放。
在本发明的一个有益实施例中，图像编码器114可以由一个传统的数据处理器，例如一个标准MPEG编码器执行的一个软件程序实现。在这样一个实施方案中，图像编码器114可以包括多个存储在存储器115中的多个计算机可执行指令。存储器115可以包括任意类型的计算机存储器介质，包括固定磁盘、可移动磁盘、CD-ROM、磁带、电视唱片等等。此外，在本发明的一个有益的实施例中，可变CPU负载图像解码器134也可以由一个传统的数据处理器，例如一个标准MPEG解码器执行的一个软件程序实现。在这样一个实施方案中，可变CPU负载图像解码器134可以包括存储在存储器135中的多个计算机可执行指令。存储器135还可以包括任意类型的计算机存储器介质，包括固定磁盘、可移动磁盘、CD-ROM、磁带、电视唱片等。
图2是关于解码在根据已有技术的传统数据流图像信号接收机中的图像信号的一个中央处理单元的负载的时域表示。如图2所示，图像信号每一场的图像解码消耗在该CPU时间的大约20％的一个最小(min)等级和该CPU时间的大约65％的一个最大(max)等级之间。如上所指出，单一CPU系统与其它程序一起同时执行图像解码器程序，在CPU加载中的这些宽的变化可能有害地影响该CPU的性能。任务计划必须为该图像解码器程序保留65％的CPU资源，以便满足该图像解码操作的峰值需求。然而，该图像解码程序仅在相当短的时间段使用该分配的资源的65％。
本发明通过动态地调节分配到该图像解码应用的处理能力的量而增加该CPU的性能。为了实现这一点，根据本发明原理的动态地可调整的图像解码器实现在峰值CPU负载周期过程中图像图像的适度降级。这将产生在CPU资源要求和输出图像质量之间的一个取舍。
图3是根据图1本发明实施例的中央处理单元解码该数据流图像信号接收机中的一个图像信号时的负载时域表示。如图3所示，对图像信号的每一场的图像解码的控制方式是使得该CPU负载在时间上大致为常数。因此，图3中的数量(maxnew-minnew)比图2中的对应量(max-mum)小得多。另外，新的平均CPU负载(maxnew-mumnew)/2低于原始的最大负载(即图2中的最大值)。
图4示出根据本发明一个实施例的一个可变CPU负载图像解码器134。可变CPU负载图像解码器134包括可定标图像解码器410、比特数据流分析器420、处理器工作负载控制器430和存储器440，除了其它内容之外，该存储器440存储工作负载的算法445。该可变CPU负载图像解码器134的不同部件可以用硬件或软件实现，或硬件和软件的组合实现。例如在本发明的一个实施例中，可定标图像解码器410可以是由数据处理器执行的一个软件MPEG解码器，并且比特分析器420和处理器工作负载控制器430可被是由该数据处理器分别执行的程序。
比特数据流分析器420测量直接来自该编码比特数据流的图像内容并且把数据值数据值发送到处理器工作负载控制器430，指示来自解码器缓存器132的输入比特数据流中的运动等级和细节。根据该，连同当前帧类型(I、B或P)以及由可定标图像解码器410指示的信源类型，处理器工作负载控制器430产生发送到可定标图像解码器410的定标因数。该定标因数控制该可定标图像解码器410实现的该图像数据的解码量，以便调整CPU工作负载的峰值。用于把图像特性(即运动等级、细节等级、信源类型)变换成实现可接受的图像质量的定标因数的策略由工作负载算法445确定。本发明的一个有益的实施例中的工作负载算法445可由用户修正。
图5示出流程图500，表示根据本发明实施例的可变CPU负载图像解码器134的操作。比特数据流分析器420从解码器缓存器132接收输入图像比特数据流，并且在逐帧基础(即瞬时)上确定运动的等级和细节等级。相时，可定标图像解码器410接收图像比特数据流，并且在处理步骤505确定帧和信源类型。随后，处理器工作负载控制器430从可定标图像解码器410和比特数据流分析器420接收图像参数，并且在处理步骤510根据工作负载算法445确定用于控制可定标图像解码器410的工作负载的定标因数。响应从处理器工作负载控制器430接收的定标因数，可定标图像控制器410降低在具有高运动和/或细节等级的帧过程中的解码的等级。可定标图像控制器410还在处理步骤515中提高在具有低的运动和/或细节等级的帧期间的解码等级。
虽然已经详细描述了本发明，但是本领域技术人员应该理解，在不背离广义形式的本发明的精神范围的条件下，能够进行各种改变、代替和变更。
权利要求
1.利用一种能够解码一个输入可定标图像比特数据流并且产生一个基带图像信号的可定标图像解码器(410)的装置，用于控制所说的可定标图像解码器(410)的处理负载，包括一个分析器电路(420)，能够测量所说的输入可定标图像比特数据流的至少一个特性并且产生与所说的至少一个特性相关的至少一个图像参数；以及一个处理器负载控制器(430)，能够接收所说的至少一个图像参数，并且响应所说的参数，控制由所说的可定标图像解码器(410)执行的解码所说的输入可定标图像比特数据流的解码等级。
2.按照权利要求1的装置，其中所说的至少一个图像参数指示在所说的输入可定标图像比特数据流中的帧的运动等级。
3.按照权利要求1的装置，其中所说的至少一个图像参数指示在所说的输入可定标图像比特数据流中的帧的细节等级。
4.按照权利要求1的装置，其中所说的处理器负载控制器(430)还能够接收一个与在所说的输入可定标图像比特数据流中的一个第一帧相关的一个帧类型参数。
5.按照权利要求4的装置，其中所说的帧类型参数包括I帧参数、B帧参数和P帧参数的至少之一。
6.按照权利要求5的装置，其中所说的处理器负载控制器(430)还能够接收一个与在所说的输入可定标图像比特数据流中的一个第一信源相关的一个信源类型参数。
7.按照权利要求6的装置，其中所说的信源类型参数指示所说的输入可定标图像比特数据流是否为图像比特数据流和影片比特数据流之一。
8.按照权利要求1的装置，其中所说的处理器负载控制器(430)产生至少一个定标因数，能够控制由所说的可定标图像解码器(410)执行的解码的等级。
9.一种图像处理系统(130)，包括缓存器(132)，能够接收和存储一个输入可定标图像比特数据流；一种可定标图像解码器(410)，能够解码一个输入可定标图像比特数据流并且产生一种基带图像信号，所说的可定标图像解码器(410)包括用于进行控制的装置，控制所说的可定标图像解码器(410)处理负载，包括一个分析器电路(420)，能够测量所说的输入可定标图像比特数据流的至少一个特性并且产生与所说的至少一个特性相关的至少一个图像参数；和一个处理器负载控制器(430)，能够接收所说的至少一个图像参数，并且响应所说的参数，控制由所说的可定标图像解码器(410)执行的解码所说的输入可定标图像比特数据流的解码等级；和一个耦合到所说的可定标图像解码器(410)的显示器(136)，能够显示器所说的基带图像信号。
10.按照权利要求9的图像处理系统(130)，其中所说的至少一个图像参数指示在所说的输入可定标图像比特数据流中的帧的运动等级。
11.按照权利要求9的图像处理系统(130)，其中所说的至少一个图像参数指示在所说的输入可定标图像比特数据流中的帧的细节等级。
12.按照权利要求9的图像处理系统(130)，其中所说的处理器负载控制器(430)还能够接收一个与在所说的输入可定标图像比特数据流中的一个第一帧相关的一个帧类型参数。
13.按照权利要求12的图像处理系统(130)，其中所说的帧类型参数包括I帧参数、B帧参数和P帧参数的至少之一。
14.按照权利要求13的图像处理系统(130)，其中所说的处理器负载控制器(430)还能够接收一个与在所说的输入可定标图像比特数据流中的一个第一帧相关的一个信源类型参数。
15.按照权利要求14的图像处理系统(130)，其中所说的信源类型参数指示所说的输入可定标图像比特数据流是否为图像比特数据流和影片比特数据流之一。
16.按照权利要求9的图像处理系统(130)，其中所说的处理器负载控制器(430)产生至少一个定标因数，能够控制由所说的可定标图像解码器(410)执行的解码的等级。
17.利用一种能够解码一个输入可定标图像比特数据流并且产生一个基带图像信号的可定标图像解码器(410)的方法，用于控制该可定标图像解码器(410)的处理负载，包括步骤测量该收入可定标图像比特数据流的至少一个特性；产生与该至少一个特性相关的至少一个图像参数；响应该至少一个图像参数的值，控制由该可定标图像解码器(410)执行的该输入可定标图像比特数据流的解码的等级。
18.按照权利要求17提出的方法，其中该至少一个图像参数指示在该输入可定标图像比特数据流中的帧的运动等级。
19.按照权利要求17提出的方法，其中该至少一个图像参数指示在该输入可定标图像比特数据流中的帧的细节等级。
20.按照权利要求17提出的方法，进一步包括确定步骤，确定与在该输入可定标图像比特数据流中的一个第一帧相关的帧类型参数；响应该至少一个帧类型参数的值，控制由该可定标图像解码器(410)执行的该输入可定标图像比特数据流的解码的等级。
21.按照权利要求20提出的方法，其中该帧类型参数包括I帧参数、B帧参数和P帧参数的至少之一。
全文摘要
公开一种用于控制一个可定标图像解码器的处理负载的装置，其可定标图像解码器解码一个输入可定标图像比特数据流并且产生一个基带图像信号。该装置包括1)一个分析器电路，用于测量该输入可定标图像比特数据流的至少一个特性并且产生与该至少一个特性相关的至少一个图像参数；和2)一个处理器负载控制器，用于接收至少图像参数，并且响应该参数控制由该可定标图像解码器执行该输入可定标图像比特数据流的解码等级。
文档编号H04N7/26GK1404697SQ01803282
公开日2003年3月19日 申请日期2001年8月17日 优先权日2000年8月29日
发明者C·C·A·M·范宗 申请人:皇家菲利浦电子有限公司