专利名称：一种感兴趣区域的率失真优化帧内刷新与码率分配方法
技术领域：
本发明涉及一种感兴趣区域的率失真优化帧内刷新与码率分配方法，属于视 频通信领域。
背景技术：
视频处理技术广泛采用预测编码，当视频在易受干扰无线信道上传输时，传 输差错在时空域扩散，导致视频质量迅速降低。受损宏块的帧内编码更新能有效 的阻止差错在时域上的扩散，提高视频差错的恢复能力，然而却以降低信源编码 效率为代价。因此，如何合理的进行帧内宏块刷取得视频鲁棒性和编码效率的折 衷就具有重要研究意义。
在目前已有的帧内刷新算法中，文献Yuan Zhang, Wen Gao， Yan Lu, Qingming Huang, and Debin Zhao. Joint Source-Channel Rate-Distortion Optimization for H.264 Video Coding Over Error-Prone Networks, IEEE Trans. Multimedia, Vol.9， No.3, pp: 445-454. Apr.2007.分析了丢失信道下的端到端失真 估计方法，文献Quqing Chen, Zhibo Chen, Xiaodong Gu, and Charles Wang. Attention-based adaptive intra refresh for error-prone video transmission, IEEE Communications Magazine, Vol.45， No.l， pp: 52-60. Jan.2007.根据人眼对视频图像 有的区域感兴趣有的区域不太关注的特点，提出基于人眼视觉特性的感兴趣区域 的帧内宏块刷新，但是感兴趣区域帧内宏块的增加也必然增加了码率开销，在码 率受限时会对主观图像质量有很大影响。
发明内容
为了克服上述现有技术的不足，本发明提供了一种感兴趣区域的率失真优化 帧内刷新与码率分配方法，根据宏块所在区域来计算失真并重新分配码率，提高 了码率受限情况下的主观图像质量。
实现本发明目的采用的技术方案是一种感兴趣区域的率失真优化帧内刷新 与码率分配方法，其特征在于先根据端到端的全局失真理论分析易错下视频传
输的端到端全局失真，包括信源失真和信道失真；再推导信道失真计算公式，并 根据率失真理论得到基于感兴趣区域的视频编码拉格朗尔代价函数公式，然后根
据宏块的时空相关性得到当前宏块的复杂度的加权预测模型，再根据预测得到的 当前宏块的复杂度和宏块所在区域来计算该宏块的目标码率，重复上述步骤，直 至当前帧编码完毕，具体步骤如下
(1) 根据全局率失真理论计算当前宏块的信源失真DS(n，m)，
<formula>complex formula see original document page 5</formula>
其中F(w, w) 、 F(w, w)分别为第"帧第m个宏块的原始值和在编码端的重建值；
(2) 根据假定的包丢失率p分别计算帧内宏块的信道失真和帧间宏 块的信道失真Dc-I(n，m):
<formula>complex formula see original document page 5</formula>
其中Z^(",m)为错误传播失真，Z^(",m)为错误掩盖失真，F("，m)为第"帧第m 个宏块在编码端的重建值，D。("-l，y')为第n-l帧第y'个宏块的信道失真，p为
假定的信道丢包率；
(3) 根据宏块的信源失真和信道失真来计算其总失真DS(n，m)，
<formula>complex formula see original document page 5</formula>
(4) 根据宏块所在区域的区域权重因子F,计算宏块的拉格朗尔代价函数 <formula>complex formula see original document page 5</formula>
其中J("，m，o)表示第"帧第m个宏块的编码模式o，化(",m，o)、 D印(",m,o)和 / (w, m，o)分别表示第w帧第w个宏块在编码模式o下的信源失真、错误传播失真
和码率，F，是区域权重因子，；i为拉格朗尔乘子；
(5) 根据前一帧和当前帧中已编码宏块的数据计算当前宏块的复杂度A^D值 和当前帧所有宏块的复杂度之和f]7W^i)(n，m)，其中M表示一帧中宏块个数，
M4D(",附)表示第m个宏块的复杂度
当前宏块的M^(D根据以下模型计算 如果当前宏块是当前帧的第一个宏块，那么 M4D(ra, w) = M4Z)(" — 1, m)
如果当前宏块是当前帧的最后一个宏块，那么 ilf^DO， m) = (2 x M^DO - 1, m) + A/^D(>, m — 1》/3
其余的
M^D(", m) = (MJDO -1， m) + 4 x w -1) + Mv4D( w — 1, m —1)) / 6
其中M^D(", m)表示第w帧第m个宏块的M^D值；
AT
(6) 根据当前帧的复杂度MJZ)和当前宏块的复杂度<formula>complex formula see original document page 6</formula>以及宏块所 在区域的区域权重因子F，计算当前宏块的目标码率r(",m)
<formula>complex formula see original document page 6</formula>其中r(")是分配给第"帧所有宏块的目标比特数，f]7l^4D("，m)是第"帧中所有
宏块的M^D值之和，F,是宏块所在区域的区域权重因子；
(7) 根据全局率失真模型计算当前帧当前宏块的量化步长g(O ;
(8) 若是最后一个宏块，则更新码率控制模型的参数，结束操作。
其中步骤(4)中的区域权重因子F,阈值在0.5-2.0之间，步骤(6)中的
区域权重因子F，阈值在0.5-2.0之间。
本发明提供的方法根据宏块所在区域来计算失真并重新分配码率，提高码率 首先情况下，提高解码图像的主观质量特别是感兴趣区域的主观质量。
下面结合附图和具体实施方式
对本发明作进一步说明。
图1为本发明的仿真实验解码端信噪比PSNR图。
图2为用传统的非感兴趣区域ROI方法解码图像的主观质量图。
图3为用本发明方法解码图像的主观质量图。
图中1为传统的非感兴趣区域ROI方法编、解码后的信噪比，2为用本发 明方法编、解码后的信噪比。
具体实施方式
、
下面结合实施例对本发明作进一歩说明，但不限定本发明。
本实施例采用H.264/AVC的参考软件JM12.2作为编解码器，视频传输采用 3GPP/3GPP2无线IP信道，以下为本发明实施例的具体步骤
(1)设定F(",m)、 F("，w)分别为第"帧第m个宏块的原始值和在编码端的 重建值，假定包丢失率户=1%，并且感兴趣区域ROI固定，分别计算帧内宏块 的信道失真Z)^(",m)和帧间宏块的信道失真D^(",w):
Z)c—, (w, m) = Z)ep (w, m) + Z)ec ("， m) = m)-F("一l, m)]2} + />Z)C(" — 1, w)
Z)c__p (", m) = D印(w, m) + Z>ec O, m)
=(1 — (" — 1，力+ pE([F("， m) _ F(w — 1， /n)]2} + ; Z^ (" _ 1, m)
其中Z^(n，m)为错误传播失真，i^(n，m)为错误掩盖失真，F("，m)为第"帧第附
个宏块在编码端的重建值，z^("-i，力为第"-i帧第y个宏块的信道失真。
(2) 根据全局率失真理论计算当前宏块的信源失真， A("，w) = ￡:{[F(w,m)-F(",/n)〗2}。
(3) 根据宏块的信源失真和信道失真来计算其总失真D(",m)，
Z)(w,m) 二 Z)s( ,m) + Z)c(w,m)。
(4) 根据前一帧和当前帧中已编码宏块的数据计算当前宏块的复杂度M^D
值和当前帧所有宏块的复杂度之和l]MJD^,m)，其中M表示一帧中宏块个数M^D(",m)表示第m个宏块的复杂度。当前宏块的M^4Z)根据以下模型计算
如果当前宏块是当前帧的第一个宏块，那么
M,w， m) = M4"(" -1, m)
如果当前宏块是当前帧的最后一个宏块，那么 M/1D (", w) = (2 x AfAD O - 1, m) + il^4Z) ("， m - l)) / 3
其余的M/1D(", w) = (MvlD(" -1， m) + 4 x M/1D(", m — 1) + MylD(" -1, n —1)) / 6
其中7^4"(", n)表示第"帧第m个宏块的A￡4D值。
(5) 根据(4)中的计算结果计算当前宏块的目标码率r(",m) r(",附)
<formula>complex formula see original document page 8</formula>
<formula>complex formula see original document page 8</formula>
其中r(n)是分配给第"帧所有宏块的目标比特数，2il^4Z)(",m)是第"帧中所有
宏块的M^D值之和，F，是宏块所在区域的区域权重因子，在本实施例中，如 果宏块在ROI内部，那么尸，=2.0，否则尸彦=0.5。
(6) 根据步骤(3)中得到宏块的失真和步骤(5)中得到估计码率以及所在 区域的区域权重因子F，计算宏块的拉格朗尔代价函数
<formula>complex formula see original document page 8</formula>
其中J("，m，o)表示第"帧第m个宏块的编码模式o， j^(",m,0)、 Z)印(",m,o)和 i ("， m， o)分别表示第n帧第m个宏块在编码模式o下的信源失真、错误传播失真 和码率，F，同步骤(5)， /l为拉格朗尔乘子。
(7) 根据JM12.2的码率控制模型计算当前帧当前宏块的量化步长20')。
(8) 重复步骤(1) (7)，若是最后一个宏块，则更新码率控制模型的参 数，结束操作。
本实施例对QCIF格式的Foreman序列进行了测试。编码码率固定为 128Kbps，编码帧数为100帧，顺序为IPPPPPP。编码端分别用传统的非感兴趣 区域ROI方法和本发明中提出的方法进行编码，再将编码码流经过3GPP/3GPP2
无线IP仿真信道传输，将得到的码流在解码端进行解码，其解码后的信噪比PSNR 对照图如图1所示，图1中线1为传统的非感兴趣区域ROI方法编、解码后的信 噪比，线2为用本发明方法编、解码后的信噪比。对应的解码图像第76帧的主 观质量图如图2和图3所示，图2为用传统的非感兴趣区域ROI方法解码图像的 主观质量图，图3为用本发明方法解码图像的主观质量图。由图l、图2和图3 可以看出本发明提高解码图像的主观质量特别是感兴趣区域的主观质量。
权利要求
1.一种感兴趣区域的率失真优化帧内刷新与码率分配方法，其特征在于先根据端到端的全局失真理论分析易错环境下视频传输的端到端全局失真，包括信源失真和信道失真；再推导信道失真计算公式，并根据率失真理论得到基于感兴趣区域的视频编码拉格朗尔代价函数公式，然后根据宏块的时空相关性得到当前宏块的复杂度的加权预测模型，再根据预测得到的当前宏块的复杂度和宏块所在区域来计算该宏块的目标码率，重复上述步骤，直至当前帧编码完毕，具体步骤如下(1)根据全局率失真理论计算当前宏块的信源失真Ds(n，m)，
2. 根据权利要求1所述感兴趣区域的率失真优化帧内刷新与码率分配方法， 其特征在于步骤(4)中的区域权重因子F，阈值在0.5 2.0之间。
3. 根据权利要求1所述感兴趣区域的率失真优化帧内刷新与码率分配方法， 其特征在于步骤(6)中的区域权重因子F，阈值在0.5 2.0之间。
全文摘要
本发明公开了一种感兴趣区域的率失真优化帧内刷新与码率分配方法，首先，根据端到端的全局失真理论分析易错环境下视频传输的端到端全局失真，包括信源失真和信道失真；其次推导信道失真计算公式，并根据率失真理论得到基于感兴趣区域的视频编码拉格朗尔代价函数公式；然后根据宏块的时空相关性得到当前宏块复杂度的加权预测模型；接着根据预测得到的当前宏块的复杂度和宏块所在区域来计算该宏块的目标码率；最后重复上述步骤，直至当前帧编码完毕。本发明根据人眼关注的感兴趣区域进行帧内宏块刷新和码率分配，在解码端获得更好的主观视频图像质量。
文档编号H04N7/26GK101198058SQ20071016890
公开日2008年6月11日 申请日期2007年12月14日 优先权日2007年12月14日
发明者明 李, 肖旭青, 胡瑞敏, 阮若林, 浩 陈, 镇 韩 申请人:武汉大学