专利名称：一种基于场景转换的视频差错控制方法
技术领域：
本发明涉及视频监控技术领域，尤其涉及一种基于场景转换的视频差错控制方法。
背景技术：
随着近年来数字家庭产业的发展，人们已不仅仅满足于传统的电视节目和服务，开始提出更高的要求一在数字家庭上实现更智能、更丰富、更全面的音视频服务。这就对当前数字家庭的智能化和人性化提出了更高的要求，智能家居孕育而生。智能家居主要的应用是在家庭中的安全防范、娱乐、智能控制方面。而具有智能的网络家电则更侧重依靠互联网络来对家电进行控制，数字电视则是通过普及面广泛的数字电视网络来实现强大的网络控制功能。在这种前提和要求下，视频监控领域逐渐从本地监控向远程监控发展，出现了以网络流媒体服务器为代表的远程网络视频监控系统。网络视频服务器解决了视频流在网 络上的传输问题，利用网络摄像头从采集开始进行数字化处理、传输，这样使得传输线路的选择更加多样性，只要有网络的地方，就提供了图像传输的可能，使整个安防系统趋向平台化、智能化。流媒体是采用流式传输的方式在Internet播放的媒体格式。流媒体技术采用一个视频传送服务器把节目当成数据包发出，传送到网络上。接收端通过解压设备对这些数据进行解压后，节目就会像发送前那样显示出来。H. 264是一种针对流媒体的高度压缩数字视频编解码标准。它是由目前国际上制定视频编解码技术的组织“国际电联(ITU-T)IP“国际标准化组织(ISO)”共同组建的联合视频组(JVT)共同制定的。H. 264的最大优势是具有很高的数据压缩比率，同时拥有高质量流畅的图像，在实时或者网络环境相对恶劣的情况下，所需的带宽更少，更加的经济，具有低码率、高质量、容错强等特点。相对于传统的数据业务，流媒体视频信号中存在大量的空间和时间冗余。同时由于流媒体的传输对带宽有相对严格的要求，在进行端到端的传输时，对抖动非常敏感。流媒体传输通常基于不可靠的传输协议，如UDP，无线信道高的误码率会导致包的丢失和传输错误。为使得流媒体视频数据在特定显示设备上正常显示，可以利用视频后处理模块对图像画面进行相应的差错掩
至JHL ο差错掩盖(ErrorConcealment)作为一种视频后处理(Digital VideoPost-Processing)的方法,在解码端实现对流媒体信道传输中丢失的信息的预测和替代。通常视频通信中避免和弥补传输错误有两种方式，一种是采用传统数据通信中的差错控制和数据恢复技术，如纠错编码(FEC)，自动重传机制(ARQ)等；另一种采用错误恢复技术，如信号重建(ER)和差错掩盖(EC)。第一种方法目的在于提高视频传输的质量，减少误码率，而第二种方法的目的在于尽可能地对错误进行掩盖以还原源图像。由于前一种方法作用在视频的编码端和传输端，会增加编码的结构复杂度和传输的冗余信息，因此对于源设备的编码能力和网络负载能力有较高的要求，不适合实时流媒体环境。由于人眼的视觉特性对图像或视频出现一定程度的失真也是可以忍受的，所以可以利用人眼的特性使用错误隐藏技术，在码流出现传输错误的解码端，通过视频后处理模块对数据流进行错误隐藏，根据压缩流的冗余信息在正确接收的信息中寻找相关数据替代差错信息。采用这种独立于编码的处理技术，避免了传输延时，在现有的设备上比较容易实现，具有通用性。因此，错误隐藏技术正逐渐成为流媒体视频环境中处理错误的主要技术。
发明内容
本发明的目的是为了克服现有技术的缺陷，提供一种基于场景转换的视频差错控制方法，通过对丢包的视频帧进行错误隐藏来实现系统来更好的主客观流媒体视频质量，明显改善用户体验。—种基于场景转换的视频差错控制方法，该方法的具体步骤如下；Stepl :在进行错误掩盖前，当前帧的类型已经得知，对不同帧类型自适应的选择不同的差错掩盖算法；对于I帧类型，采用自适应空域差错掩盖算法ASEC ;若为P帧，转 Step2 ；Step2 :由于在发生场景转换的情况下，可利用的前一帧中时域相关信息大大降低，对P帧进行掩盖前，先对当前视频进行检测；若发生场景转换，则对P帧用ASEC算法来进行掩盖；否则，转St印3 ；Step3 :根据丢失宏块的上下左右宏块来对丢失宏块的分割模式进行预测，对分割后的丢失子宏块相应的选择最佳运动矢量来组成候选运动矢量组；Step4 :然后对候选运动矢量组中的运动矢量采用BMA来进行边界匹配，选出使SAD最小的一个为最佳运动矢量；St印6 :根据St印5求的运动矢量，从参考帧中获得运动补偿宏块，取代丢失宏块。优选地，丢失宏块的最佳运动矢量Kx，W为候选向量中使得块匹配误差最小的那个，如下面公式所示
_ 4] V(x, y) 二 argV(x y)eC min(SAD)上式中，V(x,y)为候选运动向量，C为候选运动向量集合，SAD分别为补偿宏块的上下左右内边界与相邻宏块相应方向边界的匹配误差。优选地对于I帧和发生场景转换的P帧都采用空域差错掩盖算，因此，对I帧不需要检测是否发生场景转换；在本发明的算法中主要对P帧进行检测；目前主要的场景转换检测方法有基于块匹配检测、基于边缘轮廓检测和基于灰度直方图检测等；本文中采用基于灰度直方图的检测方法；在单一场景下当前帧与参考帧的灰度差异值较小，若灰度差异值发生突变，就说明可能发生了场景转换；视频场景转换一般可采用YUV模型，由于色度分量U和V的直方图分布较窄，本文中采用亮度分量Y的直方图作为场景转换检测的依据，如公式(I)所示为视频序列中第η帧和第n-ι帧中像素点(i，j)的灰度差值fd(i, j) = fn(i, jHQ，j) I (I)上式中，fn(i，j)和Ulj)为第n帧和第n-1帧中像素点(i，j)的灰度值，fd(i，j)表示了像素点(i，j)在两帧中的灰度差；则相邻两帧之间的总帧差为所有像素点的帧差的加权，如公式(2)所示
权利要求
1.一种基于场景转换的视频差错控制方法，其特征在于，该方法的具体步骤如下 Stepl :在进行错误掩盖前，当前帧的类型已经得知，对不同帧类型自适应的选择不同的差错掩盖算法；对于I帧类型，采用自适应空域差错掩盖算法ASEC ;若为P帧，转Step2 ； Step2 :由于在发生场景转换的情况下，可利用的前一帧中时域相关信息大大降低，对P帧进行掩盖前，先对当前视频进行检测；若发生场景转换，则对P帧用ASEC算法来进行掩盖；否则，转St印3 ； Step3 :根据丢失宏块的上下左右宏块来对丢失宏块的分割模式进行预测，对分割后的丢失子宏块相应的选择最佳运动矢量来组成候选运动矢量组； Step4 :然后对候选运动矢量组中的运动矢量采用BMA来进行边界匹配，选出使SAD最小的一个为最佳运动矢量； Step6 :根据St印5求的运动矢量，从参考帧中获得运动补偿宏块，取代丢失宏块。
2.如权利要求I所述的方法，其特征在于，丢失宏块的最佳运动矢量K'U，7)为候选向量中使得块匹配误差最小的那个，如下面公式所示V(x,y) = argF(xj;)eC min(&4D) 上式中，V(X，y)为候选运动向量，C为候选运动向量集合，SAD分别为补偿宏块的上下左右内边界与相邻宏块相应方向边界的匹配误差。
3.如权利要求I所述的方法，其特征在于，对于I帧和发生场景转换的P帧都采用空域差错掩盖算，因此，对I帧不需要检测是否发生场景转换；在本发明的算法中主要对P帧进行检测；目前主要的场景转换检测方法有基于块匹配检测、基于边缘轮廓检测和基于灰度直方图检测等；本文中采用基于灰度直方图的检测方法；在单一场景下当前帧与参考帧的灰度差异值较小，若灰度差异值发生突变，就说明可能发生了场景转换；视频场景转换一般可采用YUV模型，由于色度分量U和V的直方图分布较窄，本文中采用亮度分量Y的直方图作为场景转换检测的依据，如公式(I)所示为视频序列中第η帧和第η-i帧中像素点(i，j)的灰度差值fd(i，j) = |fn(i，j)-fn-i(i，j) I (I) 上式中，fn(i，j)和Ki，j)为第n帧和第n-1帧中像素点(i，j)的灰度值，fd(i, j)表示了像素点(i，j)在两帧中的灰度差；则相邻两帧之间的总帧差为所有像素点的帧差的加权,如公式(2)所示 IM N fd = TjYfdU, j)(2) d M ^ Nd 上式中，Μ, N为图像的长度和宽度；因为同一场景的前后两帧中灰度差异值较小，当fd达到某一阀值时，判定该视频序列发生了场景转换；本文中经过实验统计，阀值设定为30，当fd >= 30,可以判定视频序列在当前时刻发生了场景转换。
4.如权利要求I或2所述的方法，其特征在于，在本发明中处于算法运算量的考虑，只考虑宏块为16*16、16*8、8*16、8*8的情况，具体的丢失宏块的分割模式预测步骤如下 (1)判断MBl和MB3的分割模式，若这两个模块中存在8*16或者8*8模块，则丢失的宏块MB的分割模式为8*16或者8*8转第二步，否则为16*16或者16*8宏块，转第三步；(2)若MB为8*16或者8*8宏块，进一步根据水平方向的相邻宏块MB2和MB4进行判断，若MB2或者MB4中存在16*8或者8*8的子宏块，则MB为8*8宏块，否则为8*16宏块； (3)若第一步预测中MB为16*16或者16*8宏块，进一步根据水平方向的相邻宏块MB2和MB4进行判断，若MB2或者MB4中存在16*8或者8*8的子宏块，则MB为16*8宏块，否则为16*16宏块。
全文摘要
本发明公开了一种基于场景转换的视频差错控制方法。利用时域差错掩盖算法能对视频序列进行很好的修复，但是在发生场景转换的时候，由于前后帧图像的时域相关性大大降低，这时候利用时域差错掩盖信息来进行掩盖可能会恢复出错误的信息。本发明用到了一种基于场景变换的时空域混合差错掩盖算法。在检测到视频序列发生场景变换的时候，采用空域差错掩盖，其余采用时域差错掩盖。本发明中还基于H.264多宏块分割模式的特性，自适应的选择最优的候选向量。本发明通过对丢包的视频帧进行错误隐藏来实现系统来更好的主客观流媒体视频质量，明显改善用户体验。
文档编号H04N7/68GK102685509SQ201210126690
公开日2012年9月19日 申请日期2012年4月26日 优先权日2012年4月26日
发明者吴仁涛, 林格, 罗笑南 申请人:中山大学