专利名称：切换频道方法及装置的制作方法
技术领域：
本发明涉及数字电视广播技术中用户端快速切换频道的方法 及装置。
背景技术：
数字电视广播正在推广普及。其延伸业务手机电视也蓄积待 发，且具有更广阔的前景。在手才几电4见应用中提出在用户端快速切 换节目播放频道的问题，要求同现有的模拟电视所具备的功能一 样，在插J文过程中立即响应用户的切换频道i青求显示新频道图l象。
对于模拟电视广播，切换到另外一个频道后可立即显示图像。 因为每个取样时刻的场图像信号的处理、模拟视频编码、模拟视频
解码都彼此独立，无任何时间依赖性，即当前时刻的图像产生需要 利用过去时刻已经产生的图像。但是数字电视广播与其不同。为了 提高传输效率，将数字视频数据进行包含变换域量化的有损压缩， 形成压缩码流。压缩算法包括帧内预测编码、运动补偿帧间预测编 码和双向运动补偿帧间预测方法，在帧层次上分别形成I帧、P帧
和B帧码流。视频序列的时域结构如图1所示。其中帧间预测引入 时间依赖，即当前时刻的图像重建需要利用过去时刻已经重建的图 像。帧内预测没有引入时间依赖。故I帧不存在任何时间依赖，P 帧存在》于过去帧的依赖，B帧同时存在》十过去帧和后续帧的依赖。 在切换到另外一个频道后，如果遇到P帧和B帧码流，解码后都无 法显示新频道图像。即使清除了帧緩存区中旧频道过去帧重建图像 凄史据，也只能看到无主》见意义的帧间预测残差痕迹。只有遇到无时 间依赖的I帧才能显示新频道图像。但是I帧在序列中出现过多会 显著降4氐压缩性能，引起码率升高、码字分布突变、图4象质量下降 等不良后果。I帧间隔太长，又会引起切换响应时间过长，产生切 换过慢的感觉，降低服务质量。
现有的数字视频传输应用大多具备反馈信道。用户切换请求可 以经过反馈信道从接收端到达发送端，从而允许在发送端完成码流 切换，有利于获得切换响应速度和编码效率(压缩比)俱佳的效果。 对于发送端实时编码的应用，如会议电视和可视电话，仅在收到反 馈信道送来的一个I帧刷新请求的时刻，编码器才编一个I帧码流，
供远端切换4见频源。如图2所示，在通过E1专线传输的H.320会 议电视系统中，会场的终端在收到多点控制单元MCU通过H.230 信令送来的快速更新请求VCU( Voice Channel Unit,语音信道单元) 命令后，立即编一个I帧发送出去，使得远端立即切换会场。在会 议进程中全编P帧。对于存储于服务器上的流媒体的传输应用，如 视频点播VOD,通过单独的反馈逻辑信道传送RTCP (Radio Transmission Control Protocol,无线传输4空制十办i义)十办i义，供发送端 服务器调整传输内容和緩存方法，允许在发送端完成节目切换。为 了获得比I帧切换更高的传输效率，最新一见频编码标准H.264专门 提供新的码流结构和切换方法-切换帧，包括SP帧和SI帧，为伴随 待传输内容存储的专门用于切换的附加码流，不切换时不发送，只 有在响应切换请求时发送切换时刻的切换帧码流，桥接两个码流并 且在接收端生成没有任何失谐的重建图像。这里关注不同频道、不 同视频源的切换，即SI帧切换，如图3所示。在待传输的码流中周 期性分布着SP帧及其附加石马流SI帧。其中SP帧在石马流内部，随 码流的传4叙而传llr; SI帧在石马流外部，不切:换时不传i^。 SP帧的 重建图像与SI帧的重建图像完全一致，从而保证切换过程不引入解 码失谐。SP帧的编码方法包含运动补偿帧间预测，在率失真性能(压
缩性能)上明显优于普通I帧而略^氐于普通P帧，同时引入对过去
帧的依赖；SI帧的编码方法是完全帧内预测方法，没有引入时间依 赖，可在切换后立即显示码流二的图像。在图3中，服务器先发送 码流一。在收到RTCP的切换请求后发送码流二的Sl2帧。此时已 经可以显示码流二的图像。接着发送随后的P帧。于是完成从码流 一至;马流二的切:换。
数字电视广播没有反馈信道。众多用户接收电视台提供的多个 频道。对于具体用户的频道切换请求在信号发送后执行。此时图2 的方法完全不适用，图3的方法在传输效率上比干脆用普通I帧切 换的方法还差，这是由于多出SP帧码流，编解码过程还复杂。唯 有使用I帧切换，如图4所示。为提高切换响应速度，不得不提高 I帧出现频率，如每隔1秒插一个I帧。I帧在序列中出现过多会显 著降低压缩性能。对于分辨率在标清和高清的高码率数字电视广 播，码率的限制程度不高，切换响应速度与编码效率的矛盾尚不明 显。对于面向手机的低分辨率低码率数字电视广播，切换响应速度 与编码效率的矛盾显得非常突出在300Kbps左右的码率上，每隔 2秒插1个I帧，图4象质量还过得去；每隔1秒插一个I帧，图像 质量已经无法接受；2秒4中的切:换响应时间又让人感觉频道净争4灸4寻 太慢。最新应用迫切需要一种
因此，需要一种既能够在用户端快速切换频道又在相同码率下 图像质量下降不大的切换解决方案，能够解决上述相关技术中的问题。
发明内容
本发明旨在提供一种既能够在用户端快速切换频道又在相同 码率下图像质量下降不大的切换解决方案，能够解决上述相关技术 中的问题。
冲艮才居本发明的一个方面，提供了一种+刀才灸频道方法，包4舌以下
步骤
对包含切4灸帧的4见频码流编码，其中，切:换帧包4舌用于生成正 常质量图像的正常质量码流和用于生成切换频道的低质量重建图
像的冗余码流；以及
对切换帧中的冗余码流解码，生成低质量重建图像，并将其作 为参考帧来处理后续帧以显示正常质量图^f象。
在上述切换频道方法中，冗余码流为完全帧内预测编码的I帧。
根据权利要求1的切换频道方法，其特征在于，视频码流还包 括普通I帧，其中，以大间隔编普通I帧，以小间隔编切换帧。
在上述切:换频道方法中，通过降^f氐分辨率来降^f氐冗余石马流的码率。
在上述切换频道方法中，通过提高量化间距来降低冗余码流的 码率。
在上述切换频道方法中，根据帧间预测、层间预测、均等的加 权预测、以及自适应的加权预测中的一种来预测正常质量码流。
在上述切换频道方法中，重建图像作为参考帧来处理后续帧包
括以下步骤丢弃切换帧内的正常质量码流。
根据本发明的另一个方面，提供了一种切换频道装置包括
编码模块，用于对包含切换帧的视频码流编码，其中，切换帧 包括用于生成正常质量图像的正常质量码流和用于生成切换频道 的低质量重建图像的冗余码流；以及解码模块，用于对切换帧中的冗余码流解码，生成低质量重建 图像，并将其作为参考帧来处理后续帧以显示正常质量图像。
在上述切换频道装置中，冗余码流为完全帧内预测编码的I帧。
在上述切换频道装置中，解码模块根据帧间预测、层间预测、 均等的加权预测、以及自适应的加权预测中的一种来预测正常质量 码流。
通过上述技术方案，本发明实现了如下技术效果在用户端快 速响应用户的节目播方文频道切换请求，立即显示新频道图像，同时 同码率的图 <象质量没有明显下降。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部 分地从说明书中变得显而易见，或者通过实施本发明而了解。本发 明的目的和其他优点可通过在所写的说明书、权利要求书、以及附 图中所特别指出的结构来实现和获得。
此处所说明的附图用来提供对本发明的进一步理解，构成本申 请的一部分，本发明的示意性实施例及其说明用于解释本发明，并 不构成对本发明的不当限定。在附图中
图1示出现有4支术中^L频码流的时域结构示意图2示出现有技术中会议电视系统切换会场的信号流程图3示出现有技术中流媒体的发送端节目切换示意图4示出现有技术中数字电视广播的用户端频道切换方法示
意图5示出冲艮才居本发明的频道切4奐方法流禾呈图6示出4艮据本发明的频道切换装置的方框图7示出才艮据本发明的切换帧的示意图；以及
图8示出4艮据本发明的用户端快速频道切换方法的示意图。
具体实施例方式
下面将参考附图并结合实施例，来详细说明本发明。
图5示出了根据本发明的频道切换方法流程图。
如图5所示，根据本发明的频道切换方法包括以下步骤
步骤S502，对包含切换帧的视频码流编码，其中，切换帧包括 用于生成正常质量图像的正常质量码流和用于生成切换频道的低 质量重建图像的冗余码流；以及
步骤S504 ，对切换帧中的冗余码流解码，生成低质量重建图像， 并将其作为参考帧来处理后续帧以显示正常质量图像。
在上述切换频道方法中，冗余码流为完全帧内预测编码的I帧。
在上述切换频道方法中，-現频码流还包括普通I帧，其中，以 大间隔编普通I帧，以小间隔编切:换帧。
在上述切换频道方法中，通过降<氐分辨率来降{氐冗余码流的码
在上述切换频道方法中，通过提高量化间距来降低冗余码流的 码率。
在上述切才奐频道方法中，才艮据帧间预测、层间预测、均等的加 4又予贞测、以及自适应的力口斗又预测中的一种来予贞测正常质量石马流。
在上述切换频道方法中，重建图像作为参考帧来处理后续帧包
括以下步骤丢弃切换帧内的正常质量码流。
图6示出了4艮据本发明的切换频道装置600的方框图。如图6 所示，该装置包括
编码才莫块602,用于对包含切换帧的^L频码流编码，其中，切 换帧包括用于生成正常质量图像的正常质量码流和用于生成切换 频道的低质量重建图像的冗余码流；以及
解码才莫块604,用于对切换帧中的冗余码流解码，生成低质量 重建图像，并将其作为参考帧来处理后续帧以显示正常质量图像。
在上述切换频道装置中，冗余码流为完全帧内预测编码的I帧。
在上述切换频道装置中，解码模块根据帧间预测、层间预测、 均等的加权预测、以及自适应的加权预测中的一种来预测正常质量 码流。
下面结合图7和图8来说明本发明的一个实施例。在该实施例 中，通过以下几个步骤实现频道切换。
一、编码
首先，在正常传输的码流外，增加专门用于切换的冗余码流， 如图7所示。这些码流为完全帧内预测编码的I帧，以便在切换后
立即显示图^f象。冗余I帧与同时刻正常解码;码流融合在一起，成为
切换帧，在^L频序列中提供可切换点，序列中的普通I帧也提供可
切换点。
然后，利用现有的编码算法生成符合现有纟见频编码标准(包括
国际标准MPEG-l/MPEG-2/MPEG-4和H.261/H.263/H.264以及 H.264的国内版本AVS )格式的完全帧内预测编码的I帧码流。
接下来，利用降低分辨率和提高量化间距两种方法进一步降低 冗余I帧石马流的石马率。
另外，切换帧的正常质量码流包含下面两种预测方法以正常 解码的正常质量过去帧为参考的运动补偿帧间预测，以及以同时刻 4氐质量冗余I帧为参考的帧内不同质量层间预测。通过该两种方法 可以获得比普通P帧更高的编码效率。
通过引入帧内不同质量层间预测方法获得的码率下降基本上 可以抵消加入冗余I帧引起的码率升高。切换帧码率小于正常质量 的普通P帧码率与^f氐质量冗余I帧码率之和，而与普通P帧的码率 相差无几。
接下来，后续P帧以切换帧的正常质量的本地重建图像为参考 帧。其中存入帧緩存区作为将来帧参考帧的切换帧图像是正常质量 重建图像，而不是低质量冗余I帧的重建图像。
最后，将〗氐质量冗余I帧码流和正常质量码流封装为一个 切换帧码流，〗氏质量冗余I帧码流在前，正常质量码流在后。 切才灸帧必须区别于普通I、 P、 B帧或SI/SP帧。
二、传输
200610145793. 1
说明书第9/14页
切换帧通过传输信道到达用户端。4妻收端先收到切换帧内的4氐 质量冗余I帧码流，4妻着收到切换帧内的正常质量码流。
三、解码
(一) 正常解码
解码器在遇到切换帧时首先处理开头的低质量冗余I帧码流，
用现有纟见频编码标准^L定的I帧解码方法解码并且生成〗氐质量重建图像。
接着处理正常质量码流。在生成重建图像的过程中需要利用下 面两种预测方法以正常解码的正常质量过去帧为参考的运动补偿 帧间预测，以及以同时刻低质量冗余I帧为参考的帧内不同质量层 间预测。
才妄下来将正常质量重建图^f象显示给用户，且后续P帧以切换帧 的正常质量重建图像为参考帧。其中，低质量冗余I帧的重建图像 不显示给用户，也不作为将来帧的参考帧。
(二) 切换时刻的解码
切换后，解码器在视频序列码流中搜索普通I帧与切换帧，如 果遇到普通I帧，按正常方法处理；如果遇到切换帧，解码器处理 开头的4氐质量冗余I帧码流，用现有—见频编码标准少见定的I帧解码 方法解码并且生成^f氐质量重建图^^。
然后，将低质量重建图像显示给用户。
接下来，后续P帧以切换帧的低质量重建图像为参考帧，并丢 弃切换帧内的正常质量码流，处理后续帧。 (四)用户端+刀冲奂
如图8所示，用户收到的视频序列码流包括普通I、 P、 B帧， 还有本发明的切换帧。其中I帧和切换帧提供可切换点。
首先，解码器正常解码流一的码流，并且显示图4象。
接下来，在收到用户的频道切换请求后，解码器在码流二中搜 索普通I帧与切换帧。如果遇到普通I帧，立即进入码流二的正常 解码并且显示正常质量的图像；如果遇到切换帧，解其中的低质量 冗余I帧码流，生成低质量图像，显示给用户，存入帧緩存区作为 将来帧的参考帧。丢弃切换帧内的正常质量码流，处理后续帧。
再接下来，将后续P帧用低质量重建图像作为参考帧。这样就 产生失谐和解码误差，出现图4象质量退化。这样的失谐、解码误差 和图像质量退化一直随时间传递，直到遇到码流二的普通I帧码流。 此时存在失谐的图傳_得到刷新，不断传递的解码误差得到清除，解 码器进入码流二的正常解码并且显示正常质量的图<象。
此外，因为编码算法的量化器设在变换域，所以含有量化误差 的重建图像波形在真实图像波形的包络内震荡。同时实践证明图像 经过水平方向与垂直方向倍数2的先缩小再放大的过程后波形的损 失不大。对于切换后直到正确解码的I帧刷新前那些P帧，用低分 辨率及粗量化的^f氐质量I帧为参考帧加上正常质量的残差而获得的 重建图像在波形上不会偏离原始图像很远，也就不会产生非自然成 像障害。同时解码误差仅在切换时刻发生，过后随时间仅传递，不 会再发生、积累。解码误差所引起的图像质量退化在可接受范围内， 不会引起太大的主观反感。实际情况和验证测试已经证明了这一 点。随着图像中物体的运动，正常质量的残差起到对图像逐步精确 4匕的作用，呈现/渐浮式显示、逐渐清晰的效果。在^见频序列中定期
插入I帧(如每隔4秒)的情况下，这种质量退化/f又在切换后持续 小于4秒时间。允许这样的短暂的、发生位置确定的同时在可接受 范围内的解码ri吴差及图^f象质量退^匕，《更可以达到切4灸响应速度和传 输效率〗具佳的效果。
最后，以较大间隔编普通I帧(如每隔4秒编一个I帧)，以较 小间隔编切换帧(如每秒编2个切换帧)，可以获得切换响应速度 和编码效率^具佳的效果。
下面说明根据本发明的另一个实施例。在该实施例中，包括以 下步骤
一、 切换帧内《氐质量冗余I帧的编码
首先进4于下取样。在切4灸帧插入时刻，用现有的下取样滤波方 法(如H.264 SVC所采用的源自MPEG-4 VM18.0的13抽头滤波器) 把原始图像缩小及平滑滤波，获得行宽与高度都能被16整除的低 分辨率图4象。
接下来进行I帧编码。用同一视频序列普通I帧的编码方法处 理该^f氐分辨率图<象。量4匕间3巨大于切:换帧正常质量图^f象的量4匕间 3巨。生成I帧石马;危。
最后重建图4象的内插方文大。用现有的内插滤波器(如H.264 SVC 所采用的H.264的4抽头内插滤波器和双线性内插滤波器)把低分 辨率的冗余I帧重建图像;改大至正常尺寸。
二、 切换帧内正常质量码流的生成
为了提高编码效率(压缩比)，在切换帧内正常质量图像编码 过程中同时采用以下两种预测方法以正常解码的正常质量过去帧
为参考的运动4卜^f尝帧间预测，以及以同时刻^f氐质量冗余I帧为参考 的帧内不同质量层间预测。
在本实施例中，提供了 4种16xl6宏块编码才莫式，包括帧间 预测，以经过运动补偿的正常质量过去帧图〗象块为预测图i象块；层 间预测，以同时刻对应低质量冗余I帧图像块为预测图像块；均等 的加权预测，预测图像块为(经过运动补偿的正常质量过去帧图像 块+同时刻对应低质量冗余I帧图像块+1 )/2，即两个参考图像块的 加权系数相同，为1/2;自适应的加权预测，根据经过运动补偿的 正常质量过去帧图像块和同时刻对应低质量冗余I帧图像块的量化 参数确定各自的加权系数，使得细量化的图像块对预测的影响大一 些，粗量化的图像块对预测的影响小一些。
在上面4种16x16宏块编码模式中，只有模式2层间预测的码 流不包含运动矢量，其它3种模式都包含运动矢量。接下来利用宏 块类型定义、区分上面4种宏块编码模式。
然后，编码器按光栅扫描顺序处理正常尺寸原始图像内的所有 16x16宏块。在每个宏块位置上遍历尝试上述四种宏块编码模式。 根据编码结果选择率失真性能最佳的一种模式。在宏块码流中通过 宏块类型标识出该最佳编码才莫式。按该最佳宏块编码方式生成宏块 码流。
最后，解码器从宏块类型中识别出每个宏块的编码模式并正确解码。
此外，还可以4吏用其它编码方法。与同 一一见频序列普通P帧的 编码方法相同。当然，性能最好的方法是H.264编码方法7种运 动补偿方块形状，树状的运动补偿方块划分方法，1/4像素精度运 动矢量与运动补偿，精细到8x8亚宏块的多参考帧选择，基于文本
的自适应变长编石马CAVLC (Content-based Adaptive Variable Length Coding)和基于文本的自适应二值算术编码CABAC (Context-based Adaptive Binary Arithmetic Coding), 环路内去方块滤波。
三、切换帧码流的封装与打包
在该步骤中，具体内容取决于视频编码标准。下面结合两个实 例来i兌明。
第一个实例是在H.264码流中定义、封装切换帧码流。
首先，为切换帧内的低质量冗余I帧码流和正常质量码流定义 两个新的slice类型，即区分切换帧和I、 P、 B、 SP、 SI帧，也区分 同一个切换帧内的低质量冗余I帧码流和正常质量码流。
然后，在一个切换帧内，低质量冗余I帧码流分置于多个低质 量冗余I slice内，每个低质量冗余I slice包含整数个宏块的低质量 冗余I帧码流；正常质量码流分置于正常质量slice内，每个正常质 量slice内包含整数个宏块的正常质量码流；同一个切换帧的低质量 冗余I slice和正常质量slice拥有相同的POC (slice头信息指示的 图像显示次序)。
4妄下来，对于一个切换帧，编码器先发送〗氏质量冗余I slice, 再发送正常质量slice。
第二个实例是在AVS码流中定义、封装切换帧码流。
AVS的码流结构类似于MPEG-4,为4见频序列》图^f象》slice》 宏块->块。slice以上的码流结构还拥有各自不同的起始码。AVS的 帧层信息放在可单独形成数据包发送的图像头中。AVS已经定义了 I图像头和PB图像头。切换帧的封装方法如下首先，为切:换帧定义新的S图l象头，区分切:换帧和I、 P、 B帧。
然后，在slice头信息中增加质量层的定义，区分同一个切换帧内的^f氐质量冗余I帧码流和正常质量码流。
接下来，在一个切换帧内，低质量冗余I帧码流分置于多个低质量冗余I slice内，每个低质量冗余I slice包含整数个宏块的低质 量冗余I帧码流；正常质量码流分置于正常质量slice内，每个正常 质量slice内包含整数个宏块的正常质量码流。
最后，对于一个切换帧，编码器先发送^f氐质量冗余I slice,再 发送正常质量slice。
通过上述^支术方案，本发明实现了如下才支术效果在用户端快 速响应用户的节目播;改频道切换请求，立即显示新频道图像，同时 同码率的图^f象质量没有明显下降。
以上^f又为本发明的优选实施例而已，并不用于限制本发明，对 于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本 发明的精神和原则之内，所作的任何修改、等同替换、改进等，均 应包含在本发明的保护范围之内。
权利要求
1.一种切换频道方法，其特征在于，包括以下步骤对包含切换帧的视频码流编码，其中，所述切换帧包括用于生成正常质量图像的正常质量码流和用于生成切换频道的低质量重建图像的冗余码流；以及对所述切换帧中的冗余码流解码，生成所述低质量重建图像，并将其作为参考帧来处理后续帧以显示正常质量图像。
2. 4艮据权利要求1所述的切换频道方法，其特征在于，所述冗余 码流为完全帧内预测编码的I帧。
3. 4艮据4又利要求1所述的切换频道方法，其特征在于，所述^L频 码流还包括普通I帧，其中，以大间隔编所述普通I帧，以小 间隔编所述切4奂帧。
4. 根据权利要求1所述的切换频道方法，其特征在于，通过降低 分辨率来降〗氐所述冗余石马流的石马率。
5. 根据权利要求1所述的切换频道方法，其特征在于，通过提高 量化间距来降低所述冗余码流的码率。
6. 根据权利要求1所述的切换频道方法，其特征在于，根据帧间 预测、层间预观'J、均等的加权预测、以及自适应的加权预测中 的 一种来预测所述正常质量码流。
7. 根据权利要求1所述的切换频道方法，其特征在于，所述重建 图像作为所述参考帧来处理后续帧包括以下步骤丟弃所述切 换帧内的正常质量码流。
8. —种切换频道装置，其特征在于，包括编码才莫块，用于对包含切换帧的^L频码流编码，其中， 所速切换帧包括用子生成正常质量困像的正常质量码流和用 于生成切换频道的低质量重建图像的冗余码流；以及解码模块，用于对所述切换帧中的冗余码流解码，生成 所述低质量重建图像，并将其作为参考帧来处理后续帧以显示 正常质量图像。
9. 根据权利要求8所述的切换频道装置，其特征在于，所述冗余 石马流为完全帧内预测编;马的I帧。
10. 根据权利要求8所述的切换频道装置，其特征在于，所述解码 才莫块才艮据帧间预测、层间预测、均等的加外又预测、以及自适应 的加权预测中的一种来预测所述正常质量码流。
全文摘要
本发明提供了一种切换频道方法，包括以下步骤对包含切换帧的视频码流编码，其中，切换帧包括用于生成正常质量图像的正常质量码流和用于生成切换频道的低质量重建图像的冗余码流；以及对切换帧中的冗余码流解码，生成低质量重建图像，并将其作为参考帧来处理后续帧以显示正常质量图像。本发明还提供了一种用于切换频道的装置。
文档编号H04N7/26GK101193291SQ20061014579
公开日2008年6月4日 申请日期2006年11月21日 优先权日2006年11月21日
发明者于培松, 宋立锋, 宁 王, 睿 陈 申请人:中兴通讯股份有限公司