专利名称：一种基于宏块分类的视频差错掩盖的方法和装置的制作方法
技术领域：
本发明涉及多媒体技术领域，特别是指一种基于宏块分类的视频 差错掩盖的方法和装置。
背景技术：
在视频处理过程中，对现有的宏块识别出是平滑块、边缘块或者
紋理块，并对该宏块进行差错掩盖，其中，各种宏块的定义如下
平滑块:宏块内的灰度值基本恒定或者变化比较平緩，即宏块内没 有明显的边缘信息。边缘块:宏块包含两个或更多具有不同灰度值区域的边缘，即，在 宏块内，部分局部区域内存在明显的边缘信息，且方向性唯一或者非 常接近，而边缘信息以外的区域基本是平滑区域。由于单个宏块面积 较小，因而，边缘大多穿越宏块，而不是嵌入到宏块中，并且在单个 宏块内边缘的方向基本上没有变化或只有 一 点点的变化。
复杂紋理块宏块内的灰度值和边缘方向都存在明显的变化，即 在宏块内，存在多种灰度值，局部区域的边缘信息分布较多且方向不 唯一。
现有的技术在处理上述宏块过程中，采用迭代算法对宏块进行差 错掩盖，运输量较大，且运算过程时间较长，运算复杂。
发明内容
有鉴于此，本发明在于提供一种基于宏块分类的视频差错掩盖的 方法和装置，以解决上述技术处理宏块过程中，运输量较大，且运算 过程时间较长，运算复杂的问题。
为解决上述问题，本发明提供一种基于宏块分类的视频差错掩盖 的方法，包括
获取待修复宏块边缘跳变点的像素个数及像素的直方图，通过像 素个数、复杂紋理跳变点的个数和直方图的判断，判断出该宏块为平
滑块、边缘块或复杂紋理块；如果为平滑块，采用加权平均进行修复， 如果为边缘块，采用最小像素跨度准则进行修复，如果为复杂紋理块， 则判断复杂紋理块内的边缘跳变点像素个数，判断出边缘跳变点划分 出的区域为平滑区域和复杂紋理区域；对平滑区域采用加权平均进行 修复，对复杂紋理区域，获取该区域各个待修复像素至等照度线、宏 块边界的距离权值，按照权值由小至大的顺序逐个选择待修复像素， 选择与待修复像素最接近的像素匹配块，使用像素匹配块内相应位置 的像素覆盖待修复像素。
优选的，所述通过像素个数、和直方图的判断，判断出该宏块为 平滑块、边缘块或复杂紋理块，判断的过程包括
判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于， 则认定为平滑宏块；
如果大于，则判断边缘跳变点的像素个数是否小于第二阈值、且、 两两相邻的边缘跳变点之间复杂紋理跳变点个数是否小于第三阈值、 且相邻边界上最近一层的像素的直方图分布是否满足双峰分布特性， 如果均小于、并且满足，则认定为边缘块，
如果大于或不满足，则认定为复杂紋理块。
优选的，所述判断复杂紋理块内的边缘跳变点像素个数，判断出 边缘跳变点划分出的区域为平滑区域和复杂紋理区域，判断的过程包 括
判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于， 则认定为平滑区域；如果大于，则认定为复杂紋理区域。
优选的，所述选择与待修复像素最接近的像素匹配块，使用像素 匹配块内相应位置的像素覆盖待修复像素的过程包括
以待修复像素的位置为中心点，按照预定的窗口大小提取当前位 置的窗口区域内已有的像素样本，在样本区域内，寻找当前窗口区域 像素样本最接近的最佳匹配的样本块，对应于当前窗口区域的待修复
像素的位置，将最佳匹配块中相应像素覆盖到待修复的位置。
本发明还提供一种基于宏块分类的视频差错掩盖的装置，包括
预处理单元，用于获取待修复宏块边缘跳变点的像素个数及像素
的直方宏块识别单元，用于通过所述像素个数、复杂紋理跳变点的个数 和直方图的判断，判断出该宏块为平滑块、边缘块或复杂紋理块；
加权修复单元，用于当宏块识别单元识别出平滑块，采用加权平 均进行修复；
最小跨度修复单元，用于当宏块识别单元识别出边缘块，采用最 小像素跨度准则进行修复； 自适应修复单元，包括
判别模块，用于当宏块识别单元识别出复杂紋理块，则判断复杂 紋理块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区域为 平滑区域和复杂紋理区域；
加权修复模块，用于对判别模块判别出的平滑区域采用加权平均 进行修复；
复杂紋理修复模块，包括
排序子模块，用于对判别模块判别出复杂紋理区域后，获取该区 域各个待修复像素至等照度线、宏块边界的距离权值，按照权值由小 至大的顺序；
修复子模块，用于从排序子模块中顺序获得待修复像素，选择与 待修复像素最接近的像素匹配块，使用像素匹配块内相应位置的像素 覆盖待修复像素。
优选的，包括
所述宏块识别单元通过像素个数、和直方图的判断，判断出该宏 块为平滑块、边缘块或复杂紋理块，判断的过程包括
判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于，
则认定为平滑宏块；
如果大于，则判断边缘跳变点的像素个数是否小于第二阈值、且、 两两相邻的边缘跳变点之间复杂紋理跳变点个数是否小于第三阈值、 且相邻边界上最近一层的像素的直方图分布是否满足双峰分布特性， 如果均小于、并且满足，则认定为边缘块，
如果大于或不满足，则认定为复杂紋理块。
优选的，所述判别模块判断复杂紋理块内的边缘跳变点像素个数， 判断出边缘跳变点划分出的区域为平滑区域和复杂紋理区域，判断的 过程包括
判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于， 则认定为平滑区域；如果大于，则认定为复杂紋理区域。
优选的，所述修复子模块选择与待修复像素最接近的像素匹配块， 使用像素匹配块内相应位置的像素覆盖待修复像素的过程包括
以待修复像素的位置为中心点，按照预定的窗口大小提取当前位 置的窗口区域内已有的像素样本，在样本区域内，寻找当前窗口区域 像素样本最接近的最佳匹配的样本块，对应于当前窗口区域的待修复 像素的位置，将最佳匹配块中相应像素覆盖到待修复的位置。
本发明的方法和装置通过对宏块的分类，对不同宏块采用不同的 修复方法，且对于复杂紋理宏块，采用替换已有像素替换待修复像素， 算法简单，且易于实现，通过对像素至等照度线距离和至宏块边界距 离的权值，依次修复，优先修复权值小的像素，在满足修复质量的前 提下，提高修复效率。
图l是方法实施例的流程图； 图2是装置实施例的结构图。
具体实施例方式
为清楚说明本发明的方法和装置，下面给出优选的实施例并结合 附图详细说明。
参见图1，本发明的方法包括 步骤ll:获取待修复的宏块；
步骤12:通过边缘像素点和复杂紋理点(像素点)的个数判断待 修复的宏块为平滑块、边缘块或复杂紋理块； 判断过程如下
首先判断边缘跳变点的像素个数Nedge是否小于第一阈值Tflat (阈值一般设定为4),如果小于，则认定为平滑宏块；
如果大于，则判断边缘跳变点的像素个数Nedge是否小于第二阈 值Tedge (阈值一般设定为9)、且、两两相邻的边缘跳变点之间复杂 紋理跳变点个数Ntexture是否小于第三阈值whatTtexture (阈值为一 般设定为3)、且相邻边界上最近一层的像素的直方图分布是否满足双 峰分布特性，即直方图中存在两个显著的局部区域峰值，且直方图中 的统计值都大多分布在两个峰值的附近，判断的过程包括A、先搜 索局部最大值，B、然后将最大值的局部统计中的邻域从直方图中去 除，C判断搜索到的最大值是否小于阈值，如果大于阈值，则回到步 骤A继续，否则跳出，阈值的选择可以是一个固定常数，也可以是一 个变量。
如果均小于、并且满足，则认定为边缘块； 如果大于或不满足，则认定为复杂紋理块。
步骤13:如果判断为平滑块，则采用加权平均进行宏块处理；如 果判断为边缘块，则采用最小像素跨度准则处理；如果判断为复杂紋 理块，则进行相似紋理修复；
对于加权平均处理和最小像素跨度准则的处理过程，由于为现有 技术，因此不在赘述。下面详细说明相似紋理修复。
对于复杂紋理块的处理，首先将该宏块的区域划分为平滑区域和 复杂紋理区域，划分时将边缘点连接在一起，可以在宏块的四个邻近 边缘上找出平滑边缘点与复杂紋理边缘点，按照逆时针或者顺时针，
将同 一灰度值的边缘点进行配对，即不同边缘上的上跳边缘点与下跳 边缘点的配对，连接后的区域为三角形或长方形，对于长方形有紧贴 宏块边的长方形或在宏块内的长方形。
将划分后的各个区域通过边缘点的个数分为平滑区域和复杂紋 理区域并处理，判断过程和步骤12中的相同，即依据两两相邻的边缘
跳变点之间复杂紋理跳变点个数是否小于第三阈值；对于平滑区域， 仍然采用加权平均处理；对于复杂紋理区域，恢复过程采用该区域等 照度线最近、离宏块边界最近的像素进行恢复。
其中，等照度线可通过像素的梯度确定，通过对已知的紋理区域 的所有像素的梯度分析，统计各个角度的梯度总和，相同角度的梯度 相加，找出其梯度总和最大的对应的角度最大值，该角度即等照度线 的切线方向。
可分别获取像素至等照度线距离和至宏块边界距离的权值，并获 取各个待修复像素的权值，按照权值从小到大排序，并依次修复。修 复过程如下
A:提取当位置的窗口区域的样本信息。
以待修复像素的位置为中心点，按照预定的窗口大小提取当前位 置的窗口区域的样本信息。
B:利用当前窗口内已有的像素样本，在样本区域内，寻找当前 窗口区域的最佳匹配的样本块。样本区域可以是整帧，或者是搜索区 域的固定大小的邻域范围，其区域的大小与算法的实际应用场景相关 一_非实时或者实时，内存余量与计算余量等；或是采用整帧，中等 的是采用中等范围的邻域(如32 x 32 )，最简单的是采用16 x 8与8 x 16 的矩形邻域；最佳匹配样本是使成本函数取最小值的像素匹配小块， 用于像素匹配的成本代价函数，有很多种，常见的是MSE， SSE， SAD 等，任选其一。在当前窗口内，包括已经已有的像素样本、未知的像 素样本和待修复的像素。
C:对应于当前窗口区域的待修复像素的位置，将最佳匹配块中 相应像素覆盖到待修复的位置。
D:判断区域内是否完成所有像素的修复，如果未完成，从步骤A 重新开始〗奮复。
窗口尺寸应该略大于待修复区域中的最大的可鉴别紋理单元(即 复杂紋理的基本结构大小， 一般设定为常量4x4, 8x8的窗口等)。过 小的窗口尺寸，容易导致空域匹配陷入局部最小值；过大的窗口尺寸， 容易导致空域匹配难以找到可接受的结果。 一般默认大小为9x9。窗 口的尺寸，可以是自适应变化的，与空域匹配结合，可以提高空域匹 配的效果。
步骤14:输出差错修复后的宏块。 当所有像素点修复完成后，输出差错修复后的宏块。 本发明的方法通过对宏块的分类，对不同宏块采用不同的修复方 法，且对于复杂紋理宏块，采用替换已有像素替换待修复像素，算法 简单，且易于实现，通过对像素至等照度线距离和至宏块边界距离的 权值，依次修复，优先修复权值小的像素，在满足修复质量的前提下， 提高修复效率。
上面详细描述了本发明的方法实施例，下面给出本发明装置的实 施例并结合附图详细说明，参见图2，
本发明提供一种基于宏块分类的视频差错掩盖的装置，包括 预处理单元，用于获取待修复宏块边缘跳变点的像素个数及像素
的直方宏块识别单元，用于通过所述像素个数、复杂紋理跳变点的个数 和直方图的判断，判断出该宏块为平滑块、边缘块或复杂紋理块；
加权修复单元，用于当宏块识别单元识别出平滑块，采用加权平 均进行修复；
最小跨度修复单元，用于当宏块识别单元识别出边缘块，采用最小像素跨度准则进行修复； 自适应修复单元，包括
判别模块，用于当宏块识别单元识别出复杂紋理块，则判断复杂 紋理块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区域为 平滑区域和复杂紋理区域；
加权修复模块，用于对判别模块判别出的平滑区域采用加权平均 进行修复；
复杂紋理修复模块，包括
排序子模块，用于对判別模块判别出复杂紋理区域后，获取该区 域各个待修复像素至等照度线、宏块边界的距离权值，按照权值由小 至大的顺序；
修复子模块，用于从排序子模块中顺序获得待修复像素，选择与 待修复像素最接近的像素匹配块，使用像素匹配块内相应位置的像素 覆盖待修复像素。
优选的，包括
所述宏块识别单元通过像素个数、和直方图的判断，判断出该宏 块为平滑块、边缘块或复杂紋理块，判断的过程包括
判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于， 则认定为平滑宏块；
如果大于，则判断边缘跳变点的像素个数是否小于第二阈值、且、 两两相邻的边缘跳变点之间复杂紋理跳变点个数是否小于第三阈值、 且相邻边界上最近一层的像素的直方图分布是否满足双峰分布特性， 如果均小于、并且满足，则认定为边缘块，
如果大于或不满足，则认定为复杂紋理块。
优选的，所述判别模块判断复杂紋理块内的边缘跳变点像素个数, 判断出边缘跳变点划分出的区域为平滑区域和复杂紋理区域，判断的 过程包括
判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于，
则认定为平滑区域；如果大于，则认定为复杂紋理区域。
优选的，所述修复子模块选择与待修复像素最接近的像素匹配块， 使用像素匹配块内相应位置的像素覆盖待修复像素的过程包括
以待修复像素的位置为中心点，按照预定的窗口大小提取当前位 置的窗口区域内已有的像素样本，在样本区域内，寻找当前窗口区域 像素样本最接近的最佳匹配的样本块，对应于当前窗口区域的待修复 像素的位置，将最佳匹配块中相应像素覆盖到待修复的位置。
本发明的装置通过对宏块的分类，对不同宏块采用不同的修复方 法，且对于复杂紋理宏块，采用替换已有像素替换待修复像素，算法 简单，且易于实现，通过对像素至等照度线距离和至宏块边界距离的 权值，依次修复，优先修复权值小的像素，在满足修复质量的前提下， 提高修复效率。
对于本发明各个实施例中所阐述的方法和装置，凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。
权利要求
1、一种基于宏块分类的视频差错掩盖的方法，其特征在于，包括获取待修复宏块边缘跳变点的像素个数及像素的直方图，通过像素个数、复杂纹理跳变点的个数和直方图的判断，判断出该宏块为平滑块、边缘块或复杂纹理块；如果为平滑块，采用加权平均进行修复，如果为边缘块，采用最小像素跨度准则进行修复，如果为复杂纹理块，则判断复杂纹理块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区域为平滑区域和复杂纹理区域；对平滑区域采用加权平均进行修复，对复杂纹理区域，获取该区域各个待修复像素至等照度线、宏块边界的距离权值，按照权值由小至大的顺序逐个选择待修复像素，选择与待修复像素最接近的像素匹配块，使用像素匹配块内相应位置的像素覆盖待修复像素。
2、 根据权利要求1所述的方法，其特征在于，所述通过像素个 数、和直方图的判断，判断出该宏块为平滑块、边缘块或复杂紋理块， 判断的过程包括判断边缘跳变点的像素个数是否小于第一预定阈值，如果小于， 则认定为平滑宏块；如果大于，则判断边缘跳变点的像素个数是否小于第二阈值、且、 两两相邻的边缘跳变点之间复杂紋理跳变点个数是否小于第三阈值、 且相邻边界上最近一层的像素的直方图分布是否满足双峰分布特性， 如果均小于、并且满足，则认定为边缘块，如果大于或不满足，则认定为复杂紋理块。
3、 根据权利要求1所述的方法，其特征在于，所述判断复杂紋理 块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区域为平滑 区域和复杂紋理区域，判断的过程包括判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于， 则认定为平滑区域；如果大于，则认定为复杂紋理区域。
4、 根据权利要求1所述的方法，其特征在于，所述选择与待修复 像素最接近的像素匹配块，使用像素匹配块内相应位置的像素覆盖待 修复像素的过程包括以待修复像素的位置为中心点，按照预定的窗口大小提取当前位置的窗口区域内已有的像素样本，在样本区域内，寻找当前窗口区域 像素样本最接近的最佳匹配的样本块，对应于当前窗口区域的待修复 像素的位置，将最佳匹配块中相应像素覆盖到待修复的位置。
5、 一种基于宏块分类的视频差错掩盖的装置，其特征在于，包括预处理单元，用于获取待修复宏块边缘跳变点的像素个数及像素 的直方图；宏块识别单元，用于通过所述像素个数、复杂紋理跳变点的个数 和直方图的判断，判断出该宏块为平滑块、边缘块或复杂紋理块；加权修复单元，用于当宏块识别单元识别出平滑块，采用加权平 均进行修复；最小跨度修复单元，用于当宏块识别单元识别出边缘块，采用最 小像素跨度准则进行修复； 自适应修复单元，包括判别模块，用于当宏块识别单元识别出复杂紋理块，则判断复杂 紋理块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区域为 平滑区域和复杂紋理区域；加权修复模块，用于对判别模块判别出的平滑区域采用加权平均 进行修复；复杂紋理修复模块，包括排序子模块，用于对判别模块判别出复杂紋理区域后，获取该区 域各个待修复像素至等照度线、宏块边界的距离权值，按照权值由小 至大的顺序； 修复子模块，用于从排序子模块中顺序获得待修复像素，选择与 待修复像素最接近的像素匹配块，使用像素匹配块内相应位置的像素 覆盖待修复像素。
6、 根据权利要求5所述的装置，其特征在于，包括 所述宏块识别单元通过像素个数、和直方图的判断，判断出该宏块为平滑块、边缘块或复杂紋理块，判断的过程包括判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于，则认定为平滑宏块；如果大于，则判断边缘跳变点的像素个数是否小于第二阈值、且、两两相邻的边缘跳变点之间复杂紋理跳变点个数是否小于第三阈值、且相邻边界上最近一层的像素的直方图分布是否满足双峰分布特性，如果均小于、并且满足，则认定为边缘块，如果大于或不满足，则认定为复杂紋理块。
7、 根据权利要求5所述的装置，其特征在于，所述判别模块判断 复杂紋理块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区 域为平滑区域和复杂紋理区域，判断的过程包括判断边缘跳变点的像素个数是否小于第 一预定阈值，如果小于， 则认定为平滑区域；如果大于，则认定为复杂紋理区域。
8、 根据权利要求5所述的装置，其特征在于，所述修复子模块选 择与待修复像素最接近的像素匹配块，使用像素匹配块内相应位置的 像素覆盖待修复像素的过程包括以待修复像素的位置为中心点，按照预定的窗口大小提取当前位置的窗口区域内已有的像素样本，在样本区域内，寻找当前窗口区域 像素样本最接近的最佳匹配的样本块，对应于当前窗口区域的待修复 像素的位置，将最佳匹配块中相应像素覆盖到待修复的位置。
全文摘要
本发明公开了一种基于宏块分类的视频差错掩盖的方法，包括获取待修复宏块边缘跳变点的像素个数及像素的直方图，判断出该宏块为平滑块、边缘块或复杂纹理块；如果为平滑块，采用加权平均进行修复，如果为边缘块，采用最小像素跨度准则进行修复，如果为复杂纹理块，则判断复杂纹理块内的边缘跳变点像素个数，判断出边缘跳变点划分出的区域为平滑区域和复杂纹理区域；对平滑区域采用加权平均进行修复，对复杂纹理区域，选择与待修复像素最接近的像素匹配块，使用像素匹配块内相应位置的像素覆盖待修复像素。本发明还公开了一种基于宏块分类的视频差错掩盖的装置，本发明采用替换已有像素替换待修复像素，算法简单，且易于实现。
文档编号H04N7/68GK101389038SQ200810168860
公开日2009年3月18日 申请日期2008年9月28日 优先权日2008年9月28日
发明者万守杰, 宋绘宏, 广 方, 伟 李, 杨黎东, 沈未名, 种衍文, 郭晓云, 盛 鲁, 黄晓平 申请人:湖北科创高新网络视频股份有限公司