用于自适应地确定用于采集的Ⅰ帧及平衡基本层与增强层的系统及方法

专利名称：用于自适应地确定用于采集的Ⅰ帧及平衡基本层与增强层的系统及方法
技术领域：
本发明涉及自适应地确定用于采集的I帧及平衡基本层与增强层。
背景技术：
多媒体数据可为音频数据、视频数据或音频与视频数据的组合。多媒体数据包括 表示一个或一个以上帧或图片的许多位。多媒体数据以I帧(帧内编码帧)开始，且接着 为一个或一个以上B帧(双向帧)或P帧(预测帧)。通常，I帧存储用于显示所述帧的所 有数据，B帧依赖于在一个或一个以上先前及/或随后帧中的数据(例如，可仅含有从先前 帧改变的数据或不同于在随后帧中的数据)，且P帧含有已从先前帧改变的数据。在常见使 用中，在经编码的多媒体数据中，I帧与B帧及P帧散布在一起。就大小(例如，用以对帧 进行编码的位的数目)来说，I帧通常大于P帧，P帧又通常大于B帧。 可将多媒体数据划分为不同的镜头(或场景)。镜头为具有一个动作的连续视频 帧的视频序列。当两个连贯帧产生不同图像或场景时，发生场景改变。可使用许多场景改 变算法来检测场景改变，且场景改变可为多媒体数据的有效编码的重要部分。当一系列帧 中的一帧具有指示不同场景(当与先前帧进行比较时)的数据时，发生场景改变。通常，所 述一系列帧可能在任何两个或三个(或更多)邻近帧中不具有显著的改变，或者可能存在 缓慢改变或快速改变。 当场景并未显著改变时，跟随有许多B帧及P帧的I帧可充分地对视频进行编码， 使得随后对多媒体数据的解码及显示在视觉上为可接受的。然而，当场景突然或缓慢地显 著改变时，将额外的I帧及较少的预测编码(B帧及P帧)用以产生随后解码的在视觉上可 接受的结果。由于归类为突然场景改变的帧的内容不同于先前帧的内容，所以突然场景改 变帧通常应被编码为I帧。然而，由于场景改变检测并不总是为准确的，所以决定是将多媒 体数据编码为I帧、B帧还是P帧方面的改进可改进译码效率(即，减少正被编码的位的数 目)。

发明内容
本发明包括用于处理多媒体数据的设备、系统及方法。 一种处理多媒体数据的方法可包括将所述多媒体数据的帧编码为I帧、通道切换帧及P帧；以及如果所述经编码的 I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件，则选择 所述经编码的I帧。 —种用于处理多媒体数据的设备可包括编码器，其用于将所述多媒体数据的帧编 码为I帧、通道切换帧及P帧，且如果所述经编码的I帧的大小及所述经编码的通道切换帧 与所述经编码的P帧的大小满足第一条件，则选择所述经编码的I帧。 —种用于处理多媒体数据的设备可包括用于将所述多媒体数据的帧编码为I帧、 通道切换帧及P帧的装置。所述用于编码的装置还可将所述多媒体数据的帧编码为B帧， 使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及第一 增强层数据包，且使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建 第二基本层数据包及第二增强层数据包。所述设备还可包括用于在所述经编码的I帧的大 小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件的情况下选择所 述经编码的I帧的装置。 —种机器可读媒体可包括用于处理多媒体数据的指令，所述指令在执行时致使机 器将所述多媒体数据的帧编码为I帧、通道切换帧及P帧，且如果所述经编码的I帧的大小 及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件，则选择所述经编码 的I帧。


当结合图式考虑时将从以下所陈述的具体实施方式
中更容易明白本发明的特征、 目标及优点，其中 图1为用于对多媒体数据进行编码及解码的系统的框图；
图2为经配置以在未分层模式下操作的编码设备的框图； 图3A及图3B为在未分层模式下选择用于采集的多媒体数据的方法的流程图；
图4为经配置以在分层模式下操作的编码设备的框图； 图5A、图5B及图5C为在分层模式下选择用于采集的多媒体数据的方法的流程 图； 图6为基于编码方法的示范性基本层及增强层配置； 图7为展示用于许多经编码帧的编码次序、显示次序、P帧大小及B帧大小的表； 以及 图8为说明当强制执行正常I帧编码方法时及在不强制执行正常I帧编码方法的 情况下在基本层及增强层中产生的字节的数目的表。
具体实施例方式
现将参看图式来描述实施本发明的各种特征的实施例的设备、系统及方法。提供 所述图式及相关联的描述以说明本发明的一些实施例，且并不限制本发明的范围。贯穿所 述图式，参考数字被重复使用以指示所提及的元件之间的一致性。此外，每一参考数字的第 一位数指示所述元件最初在其中出现的图。 图1为用于对多媒体(例如，视频、音频或两者)数据进行编码及解码的系统100的框图。多媒体数据可呈一系列图片或视频帧的形式。系统100可经配置以对多媒体数据 进行编码(例如，压縮)及解码(例如，解压縮)。系统100可包括服务器105、装置110及 将服务器105连接到装置110的通信信道115。系统100可用以说明下文所描述的用于对 多媒体数据进行编码及解码的方法。可使用硬件、软件、固件、中间件、微码或其任何组合来 实施系统100。 一个或一个以上元件可被重新布置且/或组合，且可使用其它系统来代替系 统100，同时仍维持本发明的精神及范围。可将额外元件添加到系统100或者可从系统100 移除元件，同时仍维持本发明的精神及范围。 服务器105可包括处理器120、存储媒体125、编码器130及1/0装置135(例如，收 发器)。处理器120及/或编码器130可经配置以接收呈一系列图片或视频帧形式的多媒 体数据。处理器120及/或编码器130可为高级RISC机器(ARM)、控制器、数字信号处理器 (DSP)、微处理器或能够处理多媒体数据的任何其它装置。处理器120及/或编码器130可 将多媒体数据传输到存储媒体125以用于存储且/或可对多媒体数据进行编码。存储媒体 125还可存储由处理器120及/或编码器130用以控制服务器105的操作及功能的计算机 指令。存储媒体125可表示用于存储多媒体数据的一个或一个以上装置及/或用于存储信 息的其它机器可读媒体。术语"机器可读媒体"包括(但不限于)随机存取存储器(RAM)、 快闪存储器、只读存储器(ROM) 、 EPROM、 EEPROM、寄存器、硬盘、可装卸磁盘、CD-ROM、 DVD、无 线信道及能够存储、含有或携载指令及/或数据的各种其它媒体。 使用从存储媒体125接收的计算机指令的编码器130可经配置以执行多媒体数据 的并行及串行处理(例如，编码)两者。可如在以下方法中所描述来实施计算机指令。一 旦多媒体数据被编码，便可将经编码的多媒体数据发送到I/O装置135以用于经由通信信 道115传输到装置110。 装置110可包括处理器140、存储媒体145、解码器150、 I/O装置155(例如，收发 器)及显示装置或屏幕160。装置110可为计算机、数字视频记录器、手持机装置(例如，手 机、移动单元、Blackberry (黑莓)、iPhone等)、机顶盒、电视及能够接收、处理(例如，解压 縮)及/或显示多媒体数据的其它装置。I/O装置155接收经编码的多媒体数据且将经编 码的多媒体数据发送到存储媒体145且/或发送到解码器150以用于解压縮。解码器150 经配置以使用经编码的多媒体数据来再生多媒体数据。 一旦被解码，便可将多媒体数据存 储于存储媒体145中。使用从存储媒体145检索的计算机指令的解码器150可经配置以执 行经编码的多媒体数据的并行及串行处理(例如，解压縮)两者，以再生所述一系列图片或 视频帧。可如在以下方法中所描述来实施计算机指令。处理器140可经配置以从存储媒体 145及/或解码器150接收多媒体数据以及在显示装置160上显示多媒体数据。存储媒体 145还可存储由处理器140及/或解码器150用以控制装置110的操作及功能的计算机指 令。 通信信道115可用以在服务器105与装置110之间传输经编码的多媒体数据。通 信信道115可为有线连接或网络及/或无线连接或网络。举例来说，通信信道115可包括 因特网、同轴电缆、光纤线、卫星链路、陆地链路、无线链路、能够传播信号的其它媒体及其 任何组合。 图2为经配置以在未分层模式下操作的编码设备200的框图。编码设备200可取 代图1的编码器130或者可为编码器130的部分。在未分层模式下，将单一层用于多媒体数据，且可以包格式(例如，超帧)对所述帧进行分组。编码设备200可包括编码器205及 比较模块210。耦合在编码器205与比较模块210之间的反馈回路215允许多遍式(例如， 两遍式)编码及代码转换。在多遍式编码或代码转换中，编码器205在第二遍编码或重新 编码之前具有关于每一帧的复杂性的信息。耦合到编码器205的前馈回路220允许经编码 的多媒体数据在第二遍及随后遍期间跳过比较模块210。 图3A及图3B为在未分层模式下选择用于采集的多媒体数据的方法的流程图。参 看图2、图3A及图3B，编码器205接收呈位流形式的多媒体数据(框305)。所述位流可经 分组或组织为一个或一个以上超帧。在一个实施例中，超帧等效于约l秒的多媒体数据。举 例来说，依据多媒体数据的帧速率而定，每一超帧可具有1、12、15、24、30或60个帧或其它 数目个帧。在本发明中，术语"帧"可用术语"超帧"替代，且贯穿本发明，可互换地使用所 述术语。在本发明中，术语"大小"可用术语"超帧大小"替代，且贯穿本发明，可互换地使 用所述术语。此外，可对多媒体数据的任一部分(例如，块、宏块、帧及超帧)执行本文中所 描述的设备及方法。 编码器205选择超帧中的一个或一个以上帧来编码。在一个实施例中，编码器205 可使用场景改变检测算法来检测并选择用于多媒体数据的每一超帧的待作为用于I帧编 码及通道切换帧编码的采集点的一个或一个以上帧(例如， 一个或一个以上场景改变帧) (框310)。用于I帧编码的选定帧可能与或可能不与用于通道切换帧编码的选定帧相同。 举例来说，可选择帧1用于I帧编码，且可选择帧7用于通道切换帧编码。在此实例中，并 置的P帧为帧1 。因此，编码器205将帧1编码为I帧及P帧，且将帧7编码为通道切换帧。 在另一实施例中，编码器205可选择超帧中的同一帧(例如，帧l)以用于I帧编码、通道切 换帧编码及P帧编码。 如下文进一步论述，可使用许多不同编码算法来对选定帧进行编码。举例来说， 可使用三种不同编码算法来对选定帧进行编码以产生经编码的多媒体数据，例如正常质量 I帧、通道切换帧(例如，低质量I帧)及P帧。通道切换帧及正常质量P帧为并置的采集 点。编码器205基于(例如)译码效率、采集点及包化而自适应地确定是否及何时将所述 一个或一个以上选定帧编码为I帧、通道切换帧及P帧。 编码器205将多媒体数据(例如，所述一个或一个以上选定帧)编码为I帧(框 315)。在一个实施例中，编码器205使用I帧编码算法来将所述一个或一个以上选定帧编 码为正常质量I帧。举例来说，正常质量I帧可具有与先前相邻帧相同或相似的质量以避 免差拍效应，或者质量是基于速率控制算法。I帧编码算法用以产生具有正常质量的经编码 的I帧。 编码器205将多媒体数据(例如，所述一个或一个以上选定帧)编码为通道切换 帧(框320)。在一个实施例中，编码器205使用低质量I帧编码算法来将所述一个或一个 以上选定帧编码为通道切换帧或低质量I帧。通过使用低质量I帧编码算法，通道切换帧 的量化参数(QP)可从并置的P帧的QP增加某一值。通道切换帧编码算法用以产生具有低 质量的经编码的I帧。 编码器205将多媒体数据(例如，所述一个或一个以上选定帧)编码为P帧(框 325)。在一个实施例中，编码器205使用P帧编码算法来将所述一个或一个以上选定帧编 码为正常质量P帧。举例来说，正常质量P帧可具有与先前相邻帧相同或相似的质量以避免差拍效应，或者质量是基于速率控制算法。P帧编码算法用以产生具有正常质量的经编码 的P帧。在框328处，编码器205将所述多媒体数据的一个或一个以上未选定帧(例如，超 帧中的剩余帧)编码为P帧或B帧。 为了确定用于多媒体数据(例如，所述一个或一个以上选定帧)的有效编码算法， 编码器205确定经编码的I帧的大小、经编码的通道切换帧的大小及经编码的P帧的大小 (框330)。如果在框315、320及325的编码过程期间确定了经编码的I帧的大小、经编码 的通道切换帧的大小及经编码的P帧的大小，则可跳过框330。 如图3A中所示，可跳过框315、320、325及328。如果跳过了框315、320、325及 328，则编码器205将跳过旗标设定为1 (框333)，从而指示编码器205已跳过了多媒体数 据的编码。如果跳过了框315、320、325及328，则编码器205估计所述一个或一个以上选 定帧在被编码为I帧的情况下的大小、所述一个或一个以上选定帧在被编码为通道切换帧 的情况下的大小及所述一个或一个以上选定帧在被编码为P帧的情况下的大小(框330)。 在一个实施例中，由编码器205对多媒体数据(例如，所述一个或一个以上选定帧)执行预 处理以基于空间复杂性及时间复杂性来估计多媒体数据的大小。所述多媒体数据的复杂性 度量允许编码器205估计所述多媒体数据在倘若待对多媒体数据执行I帧编码、通道切换 帧编码及P帧编码的情况下的大小。 —旦大小被确定或估计，比较模块210便将经编码的通道切换帧加上经编码的P 帧的大小与经编码的I帧的大小进行比较(框335)。通过将正常质量I帧的大小与低质 量I帧及正常质量P帧的大小进行比较，比较模块210选择用于选定帧的最有效编码算法。 在一个实施例中，比较模块210可将经编码的通道切换帧加上经编码的P帧的超帧大小与 经编码的I帧的超帧大小进行比较。比较模块210可将用于选定帧的编码代码传输到编码 器205。所述编码代码表示用于选定帧的编码的类型。 在框340处，编码器205确定跳过旗标是否等于1。如果跳过旗标等于1，则编码 器205需要对所述一个或一个以上选定帧进行编码，因为已跳过了编码。如果I帧的大小 小于通道切换帧加上并置的P帧的大小，则编码器205使用I帧编码(即，作为正常质量I 帧)来对所述一个或一个以上选定帧进行编码(框345)。如果通道切换帧加上P帧的大 小小于I帧的大小，则编码器205使用通道切换帧编码(即，作为低质量I帧)及P帧编码 (即，作为正常质量P帧)来对所述一个或一个以上选定帧进行编码(框350)。通道切换 帧及正常质量P帧被并置作为采集点。因此，编码器205选择产生最少量的位或字节的编 码方法。在框355处，编码器205将多媒体数据的一个或一个以上未选定帧(例如，超帧中 的剩余帧)编码为P帧或B帧。 如果跳过旗标不等于1，则编码器205不需要对所述一个或一个以上选定帧进行 编码，因为在框315、320、325及328中已执行了编码。如果经编码的I帧的大小小于经编 码的通道切换帧加上经编码的P帧的大小，则编码器205选择经编码的I帧(框360)。如 果选择了经编码的I帧，则编码器205可抛弃经编码的通道切换帧及经编码的P帧。如果 经编码的通道切换帧加上经编码的P帧的大小小于经编码的I帧的大小，则编码器205选 择经编码的通道切换帧及经编码的P帧(框365)。如果选择了经编码的通道切换帧及经编 码的P帧，则编码器205可抛弃经编码的I帧。 图4为经配置以在分层模式下操作的编码设备400的框图。在分层模式下，将基本
12层及增强层用于处理多媒体数据。编码设备400可包括编码器405、平衡/填充模块410、 比较模块415及包化模块420。耦合在编码器405与比较模块415之间的反馈回路425允 许多遍式(例如，两遍式)编码及代码转换。在多遍式编码或代码转换中，编码器405在第 二遍编码或重新编码之前具有关于每一帧的复杂性的信息。编码设备400可取代图1的编 码器130或者可为编码器130的部分。 图5A、图5B及图5C为在分层模式下选择用于采集的多媒体数据的方法的流程图。 参看图4、图5A、图5B及图5C，由编码器405接收呈位流形式的多媒体数据(框505)。所 述位流可被分组或组织为一个或一个以上超帧。编码器405选择超帧中的场景改变帧来编 码。在一个实施例中，编码器405可使用场景改变检测算法来检测并选择用于多媒体数据 的每一超帧的作为用于I帧编码及通道切换帧编码的采集点的一个或一个以上帧(例如， 一个或一个以上场景改变帧)(框510)。用于I帧编码的选定帧可能与或可能不与用于通 道切换帧编码的选定帧相同。 如下文进一步论述，可使用许多不同编码算法来对选定帧进行编码。举例来说， 可使用三种不同编码算法来对选定帧进行编码以产生经编码的多媒体数据，例如正常质量 I帧、通道切换帧(例如，低质量I帧)及P帧。通道切换帧及正常质量P帧为并置的采集 点。编码器405基于(例如)译码效率、采集点及包化来自适应地确定是否及何时将所述 一个或一个以上选定帧编码为I帧、通道切换帧及P帧。 编码器405将多媒体数据(例如，所述一个或一个以上选定帧)编码为I帧(框 515)。在一个实施例中，编码器405使用I帧编码算法来将所述一个或一个以上选定帧编 码为正常质量I帧。举例来说，正常质量I帧可具有与先前相邻帧相同或相似的质量以避 免差拍效应，或者质量是基于速率控制算法。I帧编码算法用以产生具有正常质量的经编码 的I帧。 编码器405将多媒体数据(例如，所述一个或一个以上选定帧)编码为通道切换 帧(框520)。在一个实施例中，编码器405使用低质量I帧编码算法来将所述一个或一个 以上选定帧编码为通道切换帧或低质量I帧。通过使用低质量I帧编码算法，通道切换帧 的量化参数(QP)可从并置的P帧的QP增加某一值。通道切换帧编码算法用以产生具有低 质量的经编码的I帧。 编码器405将多媒体数据(例如，所述一个或一个以上选定帧)编码为P帧(框 525)。在一个实施例中，编码器405使用P帧编码算法来将所述一个或一个以上选定帧编 码为正常质量P帧。举例来说，正常质量P帧可具有与先前相邻帧相同或相似的质量以避 免差拍效应，或者质量是基于速率控制算法。P帧编码算法用以产生具有正常质量的经编码 的P帧。在框528处，编码器405将多媒体数据的一个或一个以上未选定帧(例如，超帧中 的剩余帧)编码为P帧或B帧。 如图5A中所示，可跳过框515、520、525及528。如果跳过了框515、520、525及 528，则编码器405将跳过旗标设定为1 (框533)，从而指示编码器405已跳过了多媒体数据 的编码。 在框530处，编码器405确定跳过旗标是否等于1。如果跳过旗标等于1，则编码 器405估计所述一个或一个以上选定帧在被编码为I帧的情况下的大小、所述一个或一个 以上选定帧在被编码为通道切换帧的情况下的大小及所述一个或一个以上选定帧在被编
13码为P帧的情况下的大小(框535)。在一个实施例中，由编码器405对多媒体数据(例如， 所述一个或一个以上选定帧)执行预处理以基于空间复杂性及时间复杂性来估计多媒体 数据的大小。所述多媒体数据的复杂性度量允许编码器405估计所述多媒体数据在倘若待 对多媒体数据执行I帧编码、通道切换帧编码及P帧编码的情况下的大小。
由于多媒体数据尚未被编码，所以编码器405使用多媒体数据在倘若待对多媒体 数据执行I帧编码、通道切换帧编码及P帧编码的情况下的大小中的至少一者来模拟基本 层数据包及增强层数据包(框540)。多媒体数据的大小允许编码器405预测基本层数据包 及增强层数据包的内容。 如果跳过旗标不等于1，则编码器405确定经编码的I帧的大小、经编码的通道切 换帧的大小及经编码的P帧的大小(框545)。如果在框515、520及525的编码过程期间已 确定了经编码的I帧的大小、经编码的通道切换帧的大小及经编码的P帧的大小，则可跳过 框545。 由于多媒体数据已被编码，所以编码器405针对(1)经编码的I帧及(2)经编码 的通道切换帧与经编码的P帧而创建基本层数据包及增强层数据包(框550)。因此，编码 器405创建两个基本层数据包及两个增强层数据包。S卩，用于I帧编码的一个基本层数据 包及一个增强层数据包，以及用于通道切换帧与P帧编码的一个基本层数据包及一个增强 层数据包。 平衡/填充模块410平衡基本层数据包与增强层数据包，因此其为相同大小(框 555)。如果基本层的大小不同于增强层的大小，则平衡/填充模块410可将帧或帧的部分 从较大层移动或传送到较小层以试图使两个层大小相似。在一个实施例中，平衡/填充模 块410选择B帧或P帧从一个层移动或传送到另一层。平衡减少了填充位或字节的数目。 一旦平衡完成，平衡/填充模块410便确定基本层的大小及增强层的大小，且装填或填充较 小层，使得其等于较大层(框560)。 比较模块415计算或确定用于正常质量I帧的基本层加上增强层的第一总大小 (框565)。比较模块415计算或确定用于低质量I帧及正常质量P帧的基本层加上增强层 的第二总大小(570)。 在框575处，编码器405确定跳过旗标是否等于1。如果跳过旗标等于1，则编码 器405需要对所述一个或一个以上选定帧进行编码，因为已跳过了编码。如果I帧的大小 小于通道切换帧加上并置的P帧的大小，则编码器405使用I帧编码(即，作为正常质量I 帧)来对所述一个或一个以上选定帧进行编码(框580)。如果通道切换帧加上P帧的大 小小于I帧的大小，则编码器405使用通道切换帧编码(即，作为低质量I帧)及P帧编码 (即，作为正常质量P帧)来对所述一个或一个以上选定帧进行编码(框585)。通道切换 帧及正常质量P帧被并置作为采集点。在框590处，编码器405将多媒体数据的一个或一 个以上未选定帧(例如，超帧中的剩余帧)编码为P帧或B帧。 如果跳过旗标不等于1，则编码器405不需要对所述一个或一个以上选定帧进行 编码，因为在框515、520及525中已执行了编码。如果第一总大小小于第二总大小，则编码 器405选择经编码的I帧的基本层数据包及增强层数据包(框592)。如果选择了经编码的 I帧，则编码器405可抛弃用于经编码的通道切换帧与经编码的P帧的基本层数据包及增强 层数据包。如果第二总大小小于第一总大小，则编码器405选择经编码的通道切换帧与经编码的P帧的基本层数据包及增强层数据包(框594)。如果选择了经编码的通道切换帧 及经编码的P帧，则编码器405可抛弃用于经编码的I帧的基本层数据包及增强层数据包。 因此，编码器405选择产生基本层加上增强层的最小大小的编码方法。包化模块420可将 经编码的帧传送到基本层数据包及增强层数据包(框596)。 图6为基于编码方法的示范性基本层及增强层配置。在一个实施例中，第一基本 层可具有初始P帧，且第一增强层可具有并置的通道切换帧，并且第二基本层可具有初始I 帧，且第二增强层可具填充的位。 图7为说明用于许多经编码帧的编码次序、显示次序、P帧大小及B帧大小的表。 如果基本层不具有I帧，则将所有P帧发送到基本层。如果基本层具有I帧，则可将I帧或 在其前面(基于显示次序)的P帧发送到基本层或增强层。 图8为说明当强制执行正常I帧编码方法时及在不强制执行正常I帧编码方法的 情况下在基本层及增强层中产生的字节的数目的表。在下文中提到的帧编号是基于编码次 序。对应于帧60的通道切换帧具有6，487个字节。由于基本层与增强层应为相同大小，所 以当不强制执行I帧时，编码器405将所有P帧发送到基本层，且将所有B帧及通道切换帧 发送到增强层。增强层(8，881个字节)被填充若干填塞字节，使得其在大小上等于基本层 (27， 414个字节)。当在帧73处强制执行具有13， 692个字节的I帧(抛弃了帧73处的P 帧)时，编码器405将帧60 、73、 79及85发送到基本层，且剩余P帧及所有B帧被发送到增 强层。基本层(16，097个字节)被填充若干填塞字节，使得其在大小上等于增强层(19,091 个字节)。如图8中所示，在不强制执行I帧的情况下，编码方法产生54， 828个字节的第一 总大小。然而，通过强制执行I帧，编码方法产生38，182个字节的第二总大小。因此，编码 器405选择强制执行使用正常质量I帧的编码的编码方法，因为节省了字节的数目。
在本发明的一些实施例中，揭示一种用于处理多媒体数据的设备。所述设备可包 括用于将多媒体数据编码为I帧、通道切换帧及P帧的装置。所述用于对多媒体数据进行 编码的装置可为处理器120、编码器130、编码器205及/或编码器405。所述设备可包括用 于选择经编码的多媒体数据的装置。所述用于选择的装置可为处理器120、编码器130、编 码器205、比较模块210、编码器405及/或比较模块415。所述设备可包括用于将第一基本 层数据包平衡为与第一增强层数据包具有相似大小且将第二基本层数据包平衡为与第二 增强层数据包具有相似大小的装置。所述用于平衡的装置可为处理器120、编码器130、编 码器205、比较模块210、编码器405、平衡/填充模块410及/或比较模块415。所述设备 可包括用于将第一基本层数据包填充为与第一增强层数据包具有相同大小且将第二基本 层数据包填充为与第二增强层数据包具有相同大小的装置。所述用于填充的装置可为处理 器120、编码器130、编码器205、比较模块210、编码器405、平衡/填充模块410及/或比较 模块415。 —般技术人员将了解，结合本文中所揭示的实例所描述的各种说明性逻辑块、模 块及算法步骤可实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件 的此可互换性，已在上文中大体上按照其功能性描述了各种说明性组件、块、模块、电路及 步骤。将此功能性实施为硬件还是软件依据特定应用及强加于整个系统上的设计约束而 定。熟练的技术人员可以变化的方式来针对每一特定应用实施所描述的功能性，但此类实 施方案决策不应被解释为导致偏离所揭示的方法的范围。
结合本文中所揭示的实例所描述的各种说明性逻辑块、模块及电路可用通用处理 器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程 逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文中所描述的功能的其 任何组合来实施或执行。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规 的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微 处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或者任何其它此 类配置。 结合本文中所揭示的实例所描述的方法或算法的步骤可直接体现于硬件中、由处 理器执行的软件模块中或两者的组合中。软件模块可驻留于RAM存储器、快闪存储器、ROM 存储器、EPR0M存储器、EEPR0M存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或此项技术中已 知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒 体读取信息及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处 理器及存储媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于无线调制解调器中。在
替代方案中，处理器及存储媒体可作为离散组件驻留于无线调制解调器中。 提供对所揭示实例的先前描述以使所属领域的技术人员能够做出或使用所揭示
的方法及设备。所属领域的技术人员将容易明白对这些实例的各种修改，且在不偏离所揭
示的方法及设备的精神或范围的情况下，可将本文中所界定的原理应用于其它实例。在所
有方面中，应将所描述的实施例仅视为说明性而并非限制性，且因此，本发明的范围由所附
权利要求书而非由前述描述来指示。属于权利要求书的等效性的意义及范围内的所有改变
均应包含于其范围内。
权利要求
一种处理多媒体数据的方法，其包含将所述多媒体数据的帧编码为I帧、通道切换帧及P帧；以及如果所述经编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件，则选择所述经编码的I帧。
2. 根据权利要求1所述的方法，其中如果所述经编码的I帧的所述大小小于所述经编 码的通道切换帧加上所述经编码的P帧的所述大小，则满足所述第一条件。
3. 根据权利要求1所述的方法，其进一步包含如果所述经编码的I帧的所述大小及所 述经编码的通道切换帧与所述经编码的P帧的所述大小满足第二条件，则选择所述经编码 的通道帧与所述经编码的P帧。
4. 根据权利要求3所述的方法，其中如果所述经编码的通道切换帧与所述经编码的P 帧的所述大小小于所述经编码的I帧的所述大小，则满足所述第二条件。
5. 根据权利要求1所述的方法，其中对帧进行编码包含将第一帧编码为I帧及将第二 帧编码为通道切换帧。
6. 根据权利要求1所述的方法，其进一步包含基于空间复杂性及时间复杂性来估计所 述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P帧的所述大小。
7. 根据权利要求1所述的方法，其进一步包含 将所述多媒体数据的帧编码为B帧；使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及 第一增强层数据包；以及使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建第二基本层 数据包及第二增强层数据包。
8. 根据权利要求7所述的方法，其进一步包含将所述第一基本层数据包平衡为与所述 第一增强层数据包具有相似大小及将所述第二基本层数据包平衡为与所述第二增强层数 据包具有相似大小。
9. 根据权利要求8所述的方法，其进一步包含将所述第一基本层数据包填充为与所述 第一增强层数据包具有相同大小及将所述第二基本层数据包填充为与所述第二增强层数 据包具有相同大小。
10. 根据权利要求9所述的方法，其进一步包含确定所述第一基本层数据包与所述第一增强层数据包的第一总大小； 将所述第一总大小指派给所述经编码的I帧的所述大小； 确定所述第二基本层数据包与所述第二增强层数据包的第二总大小；以及 将所述第二总大小指派给所述经编码的通道切换帧与所述经编码的P帧的所述大小。
11. 一种用于处理多媒体数据的设备，其包含编码器，其用于将所述多媒体数据的帧编码为I帧、通道切换帧及P帧，且如果所述经 编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件， 则选择所述经编码的I帧。
12. 根据权利要求11所述的设备，其中如果所述经编码的I帧的所述大小小于所述经 编码的通道切换帧加上所述经编码的P帧的所述大小，则满足所述第一条件。
13. 根据权利要求11所述的设备，其中如果所述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P帧的所述大小满足第二条件，则所述编码器选择所述经 编码的通道帧与所述经编码的P帧。
14. 根据权利要求13所述的设备，其中如果所述经编码的通道切换帧与所述经编码的 P帧的所述大小小于所述经编码的I帧的所述大小，则满足所述第二条件。
15. 根据权利要求11所述的设备，其中对帧进行编码包含将第一帧编码为I帧及将第 二帧编码为通道切换帧。
16. 根据权利要求11所述的设备，其中所述编码器基于空间复杂性及时间复杂性来估 计所述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P帧的所述大 小。
17. 根据权利要求11所述的设备，其中所述编码器 将所述多媒体数据的帧编码为B帧；使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及 第一增强层数据包；且使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建第二基本层 数据包及第二增强层数据包。
18. 根据权利要求17所述的设备，其进一步包含平衡模块，所述平衡模块用于将所述 第一基本层数据包平衡为与所述第一增强层数据包具有相似大小且将所述第二基本层数 据包平衡为与所述第二增强层数据包具有相似大小。
19. 根据权利要求18所述的设备，其进一步包含填充模块，所述填充模块用于将所述 第一基本层数据包填充为与所述第一增强层数据包具有相同大小且将所述第二基本层数 据包填充为与所述第二增强层数据包具有相同大小。
20. 根据权利要求19所述的设备，其中所述编码器 确定所述第一基本层数据包与所述第一增强层数据包的第一总大小； 将所述第一总大小指派给所述经编码的I帧的所述大小； 确定所述第二基本层数据包与所述第二增强层数据包的第二总大小；且 将所述第二总大小指派给所述经编码的通道切换帧与所述经编码的P帧的所述大小。
21. —种用于处理多媒体数据的设备，其包含用于将所述多媒体数据的帧编码为I帧、通道切换帧及P帧的装置；以及 用于在所述经编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大 小满足第一条件的情况下选择所述经编码的I帧的装置。
22. 根据权利要求21所述的设备，其中如果所述经编码的I帧的所述大小小于所述经 编码的通道切换帧加上所述经编码的P帧的所述大小，则满足所述第一条件。
23. 根据权利要求21所述的设备，其中如果所述经编码的I帧的所述大小及所述经编 码的通道切换帧与所述经编码的P帧的所述大小满足第二条件，则所述用于选择的装置选 择所述经编码的通道帧与所述经编码的P帧。
24. 根据权利要求23所述的设备，其中如果所述经编码的通道切换帧与所述经编码的 P帧的所述大小小于所述经编码的I帧的所述大小，则满足所述第二条件。
25. 根据权利要求21所述的设备，其中对帧进行编码包含将第一帧编码为I帧及将第 二帧编码为通道切换帧。
26. 根据权利要求21所述的设备，其中所述用于编码的装置基于空间复杂性及时间复 杂性来估计所述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P帧 的所述大小。
27. 根据权利要求21所述的设备，其中所述用于编码的装置 将所述多媒体数据的帧编码为B帧；使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及 第一增强层数据包；且使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建第二基本层 数据包及第二增强层数据包。
28. 根据权利要求27所述的设备，其进一步包含用于将所述第一基本层数据包平衡为 与所述第一增强层数据包具有相似大小且将所述第二基本层数据包平衡为与所述第二增 强层数据包具有相似大小的装置。
29. 根据权利要求28所述的设备，其进一步包含用于将所述第一基本层数据包填充为 与所述第一增强层数据包具有相同大小且将所述第二基本层数据包填充为与所述第二增 强层数据包具有相同大小的装置。
30. 根据权利要求29所述的设备，其中所述用于编码的装置 确定所述第一基本层数据包与所述第一增强层数据包的第一总大小； 将所述第一总大小指派给所述经编码的I帧的所述大小； 确定所述第二基本层数据包与所述第二增强层数据包的第二总大小；且 将所述第二总大小指派给所述经编码的通道切换帧及所述经编码的P帧的所述大小。
31. —种机器可读媒体，其包含用于处理多媒体数据的指令，所述指令在执行时致使机器将所述多媒体数据的帧编码为I帧、通道切换帧及P帧；且如果所述经编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小 满足第一条件，则选择所述经编码的I帧。
32. 根据权利要求31所述的机器可读媒体，其中如果所述经编码的I帧的所述大小小 于所述经编码的通道切换帧加上所述经编码的P帧的所述大小，则满足所述第一条件。
33. 根据权利要求31所述的机器可读媒体，其进一步包含用以在所述经编码的I帧的 所述大小及所述经编码的通道切换帧与所述经编码的P帧的所述大小满足第二条件的情 况下选择所述经编码的通道帧与所述经编码的P帧的指令。
34. 根据权利要求33所述的机器可读媒体，其中如果所述经编码的通道切换帧与所述 经编码的P帧的所述大小小于所述经编码的I帧的所述大小，则满足所述第二条件。
35. 根据权利要求31所述的机器可读媒体，其中对帧进行编码包含将第一帧编码为I 帧及将第二帧编码为通道切换帧。
36. 根据权利要求31所述的机器可读媒体，其进一步包含用以基于空间复杂性及时间 复杂性来估计所述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P 帧的所述大小的指令。
37. 根据权利要求31所述的机器可读媒体，其进一步包含用以执行以下操作的指令 将所述多媒体数据的帧编码为B帧；使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及 第一增强层数据包；以及使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建第二基本层 数据包及第二增强层数据包。
38. 根据权利要求37所述的机器可读媒体，其进一步包含用以将所述第一基本层数据 包平衡为与所述第一增强层数据包具有相似大小且将所述第二基本层数据包平衡为与所 述第二增强层数据包具有相似大小的指令。
39. 根据权利要求38所述的机器可读媒体，其进一步包含用以将所述第一基本层数据 包填充为与所述第一增强层数据包具有相同大小且将所述第二基本层数据包填充为与所 述第二增强层数据包具有相同大小的指令。
40. 根据权利要求39所述的机器可读媒体，其进一步包含用以执行以下操作的指令 确定所述第一基本层数据包与所述第一增强层数据包的第一总大小； 将所述第一总大小指派给所述经编码的I帧的所述大小； 确定所述第二基本层数据包与所述第二增强层数据包的第二总大小；以及 将所述第二总大小指派给所述经编码的通道切换帧及所述经编码的P帧的所述大小。
41. 一种用于处理多媒体数据的手持机，其包含编码器，其用于将所述多媒体数据的帧编码为I帧、通道切换帧及P帧，且如果所述经 编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件， 则选择所述经编码的I帧。
42. 根据权利要求41所述的手持机，其中如果所述经编码的I帧的所述大小小于所述 经编码的通道切换帧加上所述经编码的P帧的所述大小，则满足所述第一条件。
43. 根据权利要求41所述的手持机，其中如果所述经编码的I帧的所述大小及所述经 编码的通道切换帧与所述经编码的P帧的所述大小满足第二条件，则所述编码器选择所述 经编码的通道帧与所述经编码的P帧。
44. 根据权利要求43所述的手持机，其中如果所述经编码的通道切换帧与所述经编码 的P帧的所述大小小于所述经编码的I帧的所述大小，则满足所述第二条件。
45. 根据权利要求41所述的手持机，其中对帧进行编码包含将第一帧编码为I帧及将 第二帧编码为通道切换帧。
46. 根据权利要求41所述的手持机，其中所述编码器基于空间复杂性及时间复杂性来 估计所述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P帧的所述 大小。
47. 根据权利要求41所述的手持机，其中所述编码器 将所述多媒体数据的帧编码为B帧；使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及 第一增强层数据包；且使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建第二基本层 数据包及第二增强层数据包。
48. 根据权利要求47所述的手持机，其进一步包含平衡模块，所述平衡模块用于将所 述第一基本层数据包平衡为与所述第一增强层数据包具有相似大小且将所述第二基本层数据包平衡为与所述第二增强层数据包具有相似大小。
49. 根据权利要求48所述的手持机，其进一步包含填充模块，所述填充模块用于将所 述第一基本层数据包填充为与所述第一增强层数据包具有相同大小且将所述第二基本层 数据包填充为与所述第二增强层数据包具有相同大小。
50. 根据权利要求49所述的手持机，其中所述编码器 确定所述第一基本层数据包与所述第一增强层数据包的第一总大小； 将所述第一总大小指派给所述经编码的I帧的所述大小； 确定所述第二基本层数据包与所述第二增强层数据包的第二总大小；且 将所述第二总大小指派给所述经编码的通道切换帧及所述经编码的P帧的所述大小。
51. —种用于处理多媒体数据的集成电路，其包含编码电路，其用于将所述多媒体数据的帧编码为I帧、通道切换帧及P帧，且如果所述 经编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条 件，则选择所述经编码的I帧。
52. 根据权利要求51所述的集成电路，其中如果所述经编码的I帧的所述大小小于所 述经编码的通道切换帧加上所述经编码的P帧的所述大小，则满足所述第一条件。
53. 根据权利要求51所述的集成电路，其中如果所述经编码的I帧的所述大小及所述 经编码的通道切换帧与所述经编码的P帧的所述大小满足第二条件，则所述编码电路选择 所述经编码的通道帧与所述经编码的P帧。
54. 根据权利要求53所述的集成电路，其中如果所述经编码的通道切换帧与所述经编 码的P帧的所述大小小于所述经编码的I帧的所述大小，则满足所述第二条件。
55. 根据权利要求51所述的集成电路，其中对帧进行编码包含将第一帧编码为I帧及 将第二帧编码为通道切换帧。
56. 根据权利要求51所述的集成电路，其中所述编码电路基于空间复杂性及时间复杂 性来估计所述经编码的I帧的所述大小及所述经编码的通道切换帧与所述经编码的P帧的 所述大小。
57. 根据权利要求51所述的集成电路，其中所述编码电路 将所述多媒体数据的帧编码为B帧；使用所述经编码的I帧或所述经编码的B帧中的至少一者来创建第一基本层数据包及 第一增强层数据包；且使用所述经编码的P帧或所述经编码的通道切换帧中的至少一者来创建第二基本层 数据包及第二增强层数据包。
58. 根据权利要求57所述的集成电路，其进一步包含平衡电路，所述平衡电路用于将 所述第一基本层数据包平衡为与所述第一增强层数据包具有相似大小且将所述第二基本 层数据包平衡为与所述第二增强层数据包具有相似大小。
59. 根据权利要求58所述的集成电路，其进一步包含填充电路，所述填充电路用于将 所述第一基本层数据包填充为与所述第一增强层数据包具有相同大小且将所述第二基本 层数据包填充为与所述第二增强层数据包具有相同大小。
60. 根据权利要求59所述的集成电路，其中所述编码电路 确定所述第一基本层数据包与所述第一增强层数据包的第一总大小；将所述第一总大小指派给所述经编码的I帧的所述大小； 确定所述第二基本层数据包与所述第二增强层数据包的第二总大小；且 将所述第二总大小指派给所述经编码的通道切换帧及所述经编码的P帧的所述大小。
全文摘要
本发明包括用于处理多媒体数据的设备、系统及方法。一种处理多媒体数据的方法可包括将所述多媒体数据的帧编码为I帧、通道切换帧及P帧；以及如果所述经编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件，则选择所述经编码的I帧。一种用于处理多媒体数据的设备可包括编码器，所述编码器用于将所述多媒体数据的帧编码为I帧、通道切换帧及P帧，且如果所述经编码的I帧的大小及所述经编码的通道切换帧与所述经编码的P帧的大小满足第一条件，则选择所述经编码的I帧。
文档编号H04N7/26GK101755459SQ200880006514
公开日2010年6月23日 申请日期2008年2月29日 优先权日2007年3月1日
发明者陈培松 申请人:高通股份有限公司