专利名称：像素域视频转码中确定运动特征和高效编码模式关系的方法
技术领域：
本发明涉及视频信息转码技术，具体地涉及一种像素域视频转码中确定运 动特征和高效编码模式关系的方法，属于计算机多媒体技术领域。在像素域格 式转码中，根据运动特征优化选择编码模式可以取得较高的转码性能，但这需 要预先建立视频运动特征和最优编码模式之间的关系。本发明给出了一种建立 像素域视频转码中运动特征和高效编码模式关系的方法。
背景技术：
在视频转码中，在给定的输出码率下，转码质量和转码时间在很大程度上 是一对矛盾。所谓提高转码性能是在保证转码视频质量基本相同的条件下尽量
减少计算时间。较新出现的视频编码标准，如R264等，可以选择如多帧参考、 亚像素预测、尺寸可变的宏块划分、帧内预测等多种编码模式，这些编码模式 的使用能提高视频转码质量，但会增加编码时间。在将较早的编码标准格式如 MPEG-2的视频经过像素域转码到较新的如H.264标准格式的过程中，选择合理 的编码模式就可用较少的计算时间获得较高的转码视频质量。另一方面，对不 同运动特征的视频选择不同编码模式时转码性能有很大的差异，如剧烈运动的 视频采用子像素采样能够显著提高视频质量，但运动平缓的视频采用子像素预 测虽耗费了大量的计算时间，但视频质量却只有微小的提升。
在实际的转码应用中，如果能建立运动特征和编码模式的关系，选择使用 那些能够明显提升视频质量的编码模式，关闭对视频质量提高没有多大帮助却 增加许多计算量的模式，可以取得和打开全部编码模式相当的编码视频质量， 同时可以显著地节约时间，提高转码性能。到目前为止，没有人给出确定这种 对应关系的方法。
发明内容
本发明的目的是克服现有技术的不足，提出一种像素域视频转码中确定运 动特征和高效编码模式关系的方法。
像素域视频转码中确定运动特征和高效编码模式关系的方法是从第一格 式的源视频通过像素域转换到第二格式的目标视频的视频转码过程中，通过分 析典型特征视频在第二格式编码器的各种模式组合下的转码性能数据，得到第 一编码格式的源视频中的运动向量特征和第二编码格式的编码器的最优编码模 式之间的关系；具体包括以下步骤1) 计算运动向量幅值直方图
选取固定分辨率下具有典型运动特征的视频序列，用第一编码格式的解码 器解码到像素域，并且以视频帧为单位，计算运动向量幅值直方图，作为其运 动特征的表征；
2) 遍历第二格式编码器的各种编码模式组合并记录视频质量 选取第二格式编码器对视频质量有重要影响的"个编码模式
M = {Wl,m2，...,m }，对每个编码模式，定义能提高视频质量的状态为"打开"状态， 反之为"关闭"状态，对己采用第一编码格式的解码器解码到像素域的特征视频， 在第二编码格式的编码器中遍历编码模式的所有"打开"、"关闭"状态组合，这样 的状态组合总共有2"种，以视频帧为单位进行编码，记录在每种编码模式状态 下的编码时间和输出视频质量；
3) 选择最有效的编码模式
以视频帧为单位，以编码模式全部关闭时的转码视频质量为基准，考察依 次打开各个编码模式时转码视频质量的增量，用逐步回归法按照编码模式状态 对转码后输出视频质量影响的程度选择最有效的编码模式；
4) 对有效编码模式的组合进行聚类和精简
根据步骤3)获得的结果，逐帧选择最有效的it个编码模式，其中o^;^"，
按照选择出来的有效编码模式对所有特征视频序列的帧进行聚类，即把具有相 同最有效编码模式的帧分为一类，并做精简，最后形成/个结果分类q， C2，...，
C,，至此，每个视频帧都有一个运动向量幅值直方图和一个唯一确定的类别q，
5) 构建运动特征和最优编码模式的分类器
考察步骤4)获得的每个视频帧的运动向量幅值直方图和类别的对应关系， 构建运动特征和高效编码模式的对应关系的分类器。 上述步骤3)的具体操作过程为
(1) 令M、-， / = 1;其中，-表示空集；
(2) 在保持M'中的编码模式为"打开"状态的情况下，考察在M-M'中仅取 一个编码模式为"打开"状态时的视频质量增量，选择M-M'中打开后取得最大增 量的的编码模式，记为m;，令M'-M'u(m;);
(3) 若M^M'，则令/ = / + 1,转步骤2)执行；否则结束。 上述步骤4)的具体操作过程为
(1)设在每个视频帧中，上述的步骤3)采用逐步回归法依次打开的编码t貞《力A^1^1， 附f ， 附:/w;, m(/w;OT;，...， '"w二 ， )^t/Sfit^见^Mi力A)，
/v /72， ...， a，即从全关闭直到打开所有模式对应的视频质量。计算在打开/ 个模式后所有参与实验的帧的平均视频质量为A， l"、"， 一般有A^A一成立， 取"minW^-&《A}， A为一给定的小正数，这样确定最有效的编码模式为* 个，每个视频帧对应最有效的编码模式为m;，m;，…，m;，即逐步回归过程中出现 的前A个编码模式。
(2)不考虑*个最有效编码模式出现的顺序，将具有相同最优编码模式的 帧聚为一类，理论上共有C，类，设实际上总共有z类，记为C,， _，…，ci; G)删除Cp C2， ...， Q中包含帧数较少的类以及这些类对应的帧运动向
量幅值直方图，记剩余的类为c。 c2， ...， c,，其中isw丄，每一类都对应着;t
个编码模式。
所述的从第一格式的源视频通过像素域转换到第二格式的目标视频的视频
转码过程具有以下特征
1) 输入的第一格式的源视频是经过宏块划分、运动预测补偿和变换编码的
压縮视频；输出的第二格式的目标视频是经过宏块划分、运动预测补偿和变换 编码的压縮视频。
2) 第二格式的目标视频可采用多种编码模式进行优化编码，这些编码模式 包含但不限于多帧参考、亚像素预测、尺寸可变的宏块划分、帧内预测。 本发明与现有技术相比具有的有益效果-
1) 给出了一种寻找视频运动特征和最优编码模式的方法，使原先难以确定 的关系转换为分类器构建问题得以解决。
2) 以视频帧为单位，用运动向量幅值直方图表征运动特征，采用逐步回归 法选择使得转码视频质量最优的编码模式组合，简化了对应关系的求解过程。
3) 对于不同空间分辨率的视频，运动向量和高效编码模式的关系并不是固 定的。利用本发明的方法建立相应的模型，可用于像素域转码过程的编码模式 优化决策，能有效提高转码性能。
图1是确定源视频运动特征和高效编码模式关系的方法示意图； 图2是确定源视频运动特征和高效编码模式关系的详细过程示意图； 图3是利用运动特征与高效编码模式关系的一种转码器结构示意图。
具体实施例方式
像素域视频转码中确定运动特征和高效编码模式关系的方法是从第一格式的源视频通过像素域转换到第二格式的目标视频的视频转码过程中，通过分 析典型特征视频在第二格式编码器的各种模式组合下的转码性能数据，得到第 一编码格式的源视频中的运动向量特征和第二编码格式的编码器的最优编码模 式之间的关系。
参见图1，本方法包含以下步骤首先选择特定分辨率下具有典型运动特征 的视频序列，逐视频帧分析运动向量幅值直方图；选择对视频质量提升有重要 影响的编码模式，逐视频帧考察在编码模式的各种组合下转码的视频质量；进 而采用逐步回归法选择最有效的编码模式；然后对编码模式进行聚类和精简； 最后构造以运动向量幅值直方图来表征的运动特征和高效编码模式之间的对应 关系模型。
参见图2，下面具体说明各个步骤
1)计算运动向量幅值直方图
选取固定分辨率下具有典型运动特征的视频序列，用第一编码格式的解码 器解码到像素域，并且以视频帧为单位，计算运动向量幅值直方图，作为其运 动特征的表征；以采用MPEG-2编码格式的源视频为例进行说明。
1.1)选择具有典型运动特征的视频序列集合5 = & |^
j， _/ = 1,2，3，其中每个分量都是属于该类的 所有帧的运动向量幅值直方图向量对应分量的平均。这三个向量分别是C,， C2， C;的中心向量。
可构建的分类器甲(/)如下对于任意一个运动向量幅值直方图，对应的类 是与类中心向量的距离最小的那个类。具体应用时，对于一个待判定类别的帧/，分别计算其运动向量幅值直方图向量与c,， c2， q的中心向量的距离，记为D,，
/)2和2)3;分类器中(/)根据最小距离确定转码时可设置为"打开"状态的最有效的 3个编码模式。
构建的分类器70越准确，建立的运动特征和高效编码模式关系在后续的像 素域转码实际应用中就越有效。
上述步骤3)的具体操作过程为
(1) 令M'-0， / = 1;其中，0表示空集；
(2) 在保持M'中的编码模式为"打开"状态的情况下，考察在M-M'中仅取 一个编码模式为"打开"状态时的视频质量增量，选择M-M'中打开后取得最大增 量的的编码模式，记为m;,令M'-M'u一;〉；
(3) 若M^A/'，则令/ = !' + 1，转步骤2)执行；否则结束。 上述步骤4)的具体操作过程，结合上述实例为
(1) 设在每个视频帧中，上述的步骤3)采用逐步回归法依次打开的编码 f貞《力^《f^， ， ， w;w;/w; ， m(w〗/w;w; ， w^'附;m;w二w; ， )^ti^fi^,Jfi^M;S 为Ai， a， ；v a， ；v a， 即从关闭所有模式到打开所有5个模式对应的视 频质量。计算在打开z'个模式后所有参与实验的帧的平均视频质量为A， BW5， 一般有》,2A一成立。取;t-minWA-&《A}， A为一给定的小正数，在本例中取 A-0.1必。最后确定最有效的编码模式个数为* = 3个，最有效的编码模式为 w;,m;,m;，即逐步回归中出现的前3个编码模式。
(2) 不考虑这3个最有效编码模式出现的顺序，将具有相同最优编码模式 的帧聚为一类，共有C卜10类。记为Cp C2， ...， C,。；
(3) 删除C,， C2， ...， C,。中包含帧数较少的类以及这些类对应的帧运动 向量幅值直方图，在这个实例中，由于考察的各个视频序列共有约4000帧，所 以这里删除包含帧数少于20帧的类。删除后还剩余3类。记精简之后剩余的类 68为C,， C2， C3,对应的为打开状态的编码模式为C, ~> t/^，附2，附3)^ ， C2 ~> {附2 ， m3 ，附4}, C3 ~> {附！，附2 ， w4}。
通过上述步骤，对于样本视频序列中的绝大部分视频帧，每一帧都有一个 运动向量幅值直方图以及对应的最有效编码模式类q， q或q。
所述的从第一格式的源视频通过像素域转换到第二格式的目标视频的视频转码过程具有以下特征
1) 输入的第一格式的源视频是经过宏块划分、运动预测补偿和变换编码的 压縮视频；输出的第二格式的目标视频是经过宏块划分、运动预测补偿和变换
编码的压縮视频。
2) 第二格式的目标视频可采用多种编码模式进行优化编码，这些编码模式 包含但不限于多帧参考、亚像素预测、尺寸可变的宏块划分、帧内预测。
本发明建立的运动向量幅值直方图和最优编码模式的关系可以用于像素域 视频转码过程的优化，获得更好的转码性能。图3给出了这样的一个转码器结 构。该结构采用级联转码，解码器92解码源视频90到像素域94，统计单元82 逐视频帧统计运动向量并计算运动向量幅值直方图84，模式选择单元86依据本 专利方法建立的运动向量直方图与最优编码模式之间的关系模型70选择最优编 码模式，然后编码器96以选取的最优编码模式将像素域数据94编码成目标视 频98。
权利要求
1.一种像素域视频转码中确定运动特征和高效编码模式关系的方法，其特征在于从第一格式的源视频通过像素域转换到第二格式的目标视频的视频转码过程中，通过分析典型特征视频在第二格式编码器的各种模式组合下的转码性能数据，得到第一编码格式的源视频中的运动向量特征和第二编码格式的编码器的最优编码模式之间的关系；具体包括以下步骤1)计算运动向量幅值直方图选取固定分辨率下具有典型运动特征的视频序列，用第一编码格式的解码器解码到像素域，并且以视频帧为单位，计算运动向量幅值直方图，作为其运动特征的表征；2)遍历第二格式编码器的各种编码模式组合并记录视频质量选取第二格式编码器对视频质量有重要影响的n个编码模式M＝{m1，m2，…，mn}，对每个编码模式，定义能提高视频质量的状态为“打开”状态，反之为“关闭”状态，对已采用第一编码格式的解码器解码到像素域的特征视频，在第二编码格式的编码器中遍历编码模式的所有“打开”、“关闭”状态组合，这样的状态组合总共有2n种，以视频帧为单位进行编码，记录在每种编码模式状态下的编码时间和输出视频质量；3)选择最有效的编码模式以视频帧为单位，以编码模式全部关闭时的转码视频质量为基准，考察依次打开各个编码模式时转码视频质量的增量，用逐步回归法按照编码模式状态对转码后输出视频质量影响的程度选择最有效的编码模式；4)对有效编码模式的组合进行聚类和精简根据步骤3)获得的结果，逐帧选择最有效的k个编码模式，其中0≤k≤n，按照选择出来的有效编码模式对所有特征视频序列的帧进行聚类，即把具有相同最有效编码模式的帧分为一类，并做精简，最后形成l个结果分类C1，C2，...，Cl，至此，每个视频帧都有一个运动向量幅值直方图和一个唯一确定的类别Cj，其中1≤j≤l；5)构建运动特征和最优编码模式的分类器考察步骤4)获得的每个视频帧的运动向量幅值直方图和类别的对应关系，构建运动特征和高效编码模式的对应关系的分类器。
2.如权利要求1所述的一种像素域视频转码中确定运动特征和高效编码模 式关系的方法，其特征在于所述的以视频帧为单位，以编码模式全部关闭时的转码视频质量为基准，考察依次打开各个编码模式时转码视频质量的增量，用逐步回归法按照编码模式状态对转码后输出视频质量影响的程度选择最有效的编码模式的具体步骤为1) 令M、-， / = 1;其中，^表示空集；2) 在保持M'中的编码模式为"打开"状态的情况下，考察在M-M'中仅取一 个编码模式为"打开"状态时的视频质量增量,选择M-M'中打开后取得最大增量 的的编码模式，记为w;，令M、M'u(附;〉；3) 若M^M'，则令/ = / + 1，转步骤2)执行；否则结束。
3. 如权利要求1所述的一种像素域视频转码中确定运动特征和高效编码模 式关系的方法，其特征在于所述的根据步骤3)获得的结果，逐帧选择最有效 的/t个编码模式，其中o《;^"，按照选择出来的有效编码模式对所有特征视频 序列的帧进行分类，即把具有相同最有效编码模式的帧分为一类，并做精简， 最后形成/个结果分类C,， C2， ...， C,的具体步骤为1) 设在每个视频帧中，上述的步骤3)采用逐步回归法依次打开的编码模A， ...， p ，即从全关闭直到打开所有模式对应的视频质量。计算在打开;个模 式后所有参与实验的帧的平均视频质量为A， B/《《， 一般有A》A一,成立，取"minWA-A《A}， A为一给定的小正数，这样确定最有效的编码模式为*个，每个视频帧对应最有效的编码模式为附;,M;，…，/n;，即逐步回归过程中出现的前it个编码模式。2) 不考虑;t个最有效编码模式出现的顺序，将具有相同最优编码模式的帧 聚为一类，理论上共有c，类，设实际上总共有丄类，记为c,， t ，…，ci;3) 删除C,， C2， ...， C,中包含帧数较少的类以及这些类对应的帧运动向量 幅值直方图，记剩余的类为C,， C2， ...， C,，其中"/2丄，每一类都对应着^个编码模式。
4. 如权利要求1所述的一种像素域视频转码中确定运动特征和高效编码模式关系的方法，其特征在于所述的从第一格式的源视频通过像素域转换到第 二格式的目标视频的视频转码过程具有以下特征1) 输入的第一格式的源视频是经过宏块划分、运动预测补偿和变换编码的 压縮视频；输出的第二格式的目标视频是经过宏块划分、运动预测补偿和变换 编码的压縮视频。2) 第二格式的目标视频可采用多种编码模式进行优化编码，这些编码模式 包含但不限于多帧参考、亚像素预测、尺寸可变的宏块划分、帧内预测。
全文摘要
本发明公开了一种像素域视频转码中确定运动特征和高效编码模式关系的方法。首先选择特定分辨率下具有典型运动特征的视频序列和对转码质量提升有重要影响的编码模式，逐视频帧分析典型视频序列的运动向量幅值直方图，逐视频帧遍历各种编码模式组合并记录转码的视频质量，进而通过逐步回归法选择最有效的编码模式，然后对编码模式进行聚类和精简，最后构造以运动向量幅值直方图来表征的运动特征和高效编码模式之间的对应关系模型。本发明给出的方法使运动特征和高效编码模式之间原先难以确定的关系转换为分类器构建问题得以解决。在像素域转码过程中利用本发明确定的运动特征和高效编码模式的关系可提高转码性能。
文档编号H04N7/26GK101583036SQ20091010007
公开日2009年11月18日 申请日期2009年6月22日 优先权日2009年6月22日
发明者卫 邢, 平 魏 申请人:浙江大学