专利名称：一种视频降噪处理中的三维块匹配方法
技术领域：
本发明涉及视频图像降噪处理，具体涉及一种视频降噪处理中的三维块匹配方法。
背景技术：
BM3D算法是目前已知性能最高的通用图像/视频降噪算法，它能够利用图像的自 相关特性，以及视频的时间相关性进行有效的降噪。BM3D由三个基本运算单元组成块匹 配，3D降噪以及集合，并可多次迭代运算，标准BM3D算法为两次迭代。 在块匹配步骤中，BM3D在当前帧以及前后各NFK帧中搜索与当前二维块xK类似 的块Xm，并将相似块组成三维数组^^。3D降噪运算中对匹配过程中产生的三维数组S^进
行3D变换，并在变换域中进行降噪后再将其变回空域，并计算三维数组的权重。根据文献 "Video denoising by sparse 3Dtransform-domain collaborative filtering" (Dabov， K. et al， the 15thEuropean Signal Processing Conference, 2007) —文中的介绍，BM3D 的块匹配算法可以分为两个步骤在当前帧t。的穷举搜索和在前后帧t。+k的预测搜索(0
< |k|《NFK)。 当前帧穷举搜索是在当前帧t。中以当前二维块&。(块大小为^XN》的左上角坐 标为中心定义一个搜索范围NsXNs(—般为7X7)，此范围内的每一个像素点均可以作为候 选块的左上角坐标构造出一个^X^大小的候选块。在此范围内逐个计算候选块与当前二 维块A。的相似度，并选取与当前二维块最相似的Ne个候选块。当Ne取2时，如图l所示， 搜索到的两个块为、以及当前二维块&。。 在前后帧t。+k的预测搜索是一个递归的过程，搜索范围为NPKXNPK (—般为5X5)， 其搜索范围的中心点坐标为第t。+k-sign(k)帧搜索到的与当前t。帧二维块&。最相似的NB 个块的左上角坐标在第t。+k帧的投影(其中sign(k)为取符号操作，当k > 0时为1，当k
< 0时为负1)。如图1所示，当t。帧搜索到的两个相似块为&。以及fit。时，这两块在第t。+l 帧的投影分别为^t。+l和^。+i。分别以这两个块的左上角坐标为中心点构建两个N^XN^
大小的搜索范围，此范围内的每一个像素点均可以做为候选块的左上角坐标构造出一个 大小的候选块。在此范围内逐个计算候选块与当前二维块Rt。的相似度并选取与当前
二维块Rt。最相似的NB个块。类似地，这两块在第t。-l帧的投影分别为&。-;L、和、-;L 。分别
以这两个块的左上角坐标为中心点构建两个N^XNpK大小的搜索范围。在此范围内逐个计 算候选块与当前二维块气的相似度并选取与当前二维块A。最相似的NB个块。
对于第t。-2帧到第t。_NFK帧和第t。+2帧到第t。+NFK帧重复以上递归搜索，在每 一帧搜索时都选取与当前二维块^。最相似的NB个块，在完成对2N^+1帧的搜索后，可以 得到与当前二维块&。湘似的d+l)XNe个i央，BM3D算法最终按照相似度从小到大的 原则选取与当前二维块最相似的N个块组成三维数组S&进行3D降噪以及集合运算(N
< (2NFK+1) XNB)。
3鳥。之间的相似度按照如下公式计 算 d(i^x)=U k)"2 运算符I I. I |2代表欧几里得范数，^为块尺寸，相似度越小代表某一块1^与当前 块&。相似程度越高。由于BM3D的块匹配搜索是一个递归的过程，即第t。+k帧的搜索结果 取决于第t。+k-sign(k)帧的搜索结果，最终取决于当前帧t。的搜索结果。假如当前帧t。的 搜索就存在误差，明显地，这种误差会随着递归次数传递下去，在经过2N^次递归后，最终 得到的相似块组S&与当前块相差很大。相应地，经过3D降噪以及集合运算后得到的去噪输 出块效果会很差。虽然这种块匹配方法在外界噪声环境较小的情况下仍可以应用。然而在 中等强度和高强度噪声环境下，如处理装置在夜景、天气恶劣和外界干扰比较大的情况，这 种二维块匹配方法经常会受到噪声干扰使得块匹配精度降低，进而直接影响降噪效果。
同时，由于BM3D在前后帧搜索相似块时采用了递归的预测搜索，其搜索范围可能 在NsXNs到(NS+NFK(NPK-1)) X (NS+NFK(NPK-1))之间变化，导致搜索范围无法预知，这种算法 的处理方式不利于实际硬件工程实现。
发明内容
本发明要解决的技术问题是提供一种视频降噪处理中三维块匹配的方法，使得在 中等强度和高强度噪声环境下能够有效提高目前基于递归的二维块匹配的BM3D降噪算法 的块匹配精度与降噪效果，并且解决了目前基于递归的二维块匹配搜索范围无法预知的问 题。 为解决上述技术问题，本发明的目的是提供一种视频降噪处理中三维块匹配的方 法，包括以下步骤 A.按预定大小划分第t。时刻的视频帧，从中选取大小为^XN2的当前块&。；
B.以块A。区域中的任一坐标为中心划分出N。XN,的搜索域^。，搜索域^。内的每 一个像素点均可以按照预定规则构建出大小为候选块&。； C.将位于第t。帧的当前块&向其相邻的前NFK帧和后NFK帧投影，将^XN2的 二维块&。扩展为KXN2X (2NFK+1)大小的三维块R 将第t。帧的N。 XNT的搜索域&。向其 相邻的前NFK帧和后NFK帧投影，将N。 XNT的二维搜索域^扩展为N。 XNT X (2NFK+1)大 小的三维搜索域U3，相应地，在三维搜索域U3中包含N。 XNT个以所述候选块&。扩展出的 NiXN2X (2NFK+1)大小的三维候选块S3 ; D.在三维搜索域U3中逐个计算三维候选块S3与所述三维块R3的相似度，选取最 相似的Ne个三维块； E.将这NB个NiXN2X (2NFK+1)大小的三维块在时间轴上拆分为(2NFK+1) XNB个 K X N2的二维块，选取与当前二维块&。最相似的N个二维块组成维数为& X N2 X N的三维数 组"^B ，并记录这N个二维块所在原始视频序列中的三维坐标。 进一步地，步骤A中所述的视频帧为PAL或NTSC制式的视频帧。步骤C中所述的 当前块％向其相邻的前NFK帧和后NFK帧投影，是指在与当前帧相邻的前NFK帧和后NFK帧中选取与二维块及t。具有相同二维坐标的二维块i^。—x, x = {_NFK， . . . ， NFJ 。步骤E中所述的 相似度采用以下的方法计算 d(R1, S1) = -^
Psum 其中运算符I I. I L代表欧几里得范数，Ri代表当前块，Si代表候选块，i取2时为 二维块，取3时为三维块。P，代表二维或三维块中包含像素点数目。 步骤D中所述的最相似的Ne个三维块的选取按照以下方法进行计算出所述三维 候选块S3与所述三维块R3的相似度以后，将相似度从小到大顺序排列，前NB个即为最相似 的NB个三维块。步骤E中所述的选取与当前二维块ftt。最相似的N个二维块，按照以下方法 进行计算出所述(2NFK+1) XNe个^X^的二维块与所述二维块St。的相似度以后，将相似 度从小到大顺序排列，前N个即为与所述二维块/ t。最相似的N个二维块。所述的N满足N < (2NFK+1) XNB。 本发明中，由于预先定义了 N。 XNT X (2NFK+1)大小的三维搜索域U3，相应地，其中 的三维候选块数目也固定为N。 XNT个。因此不存在搜索范围不可预知的情况，便于实际硬 件工程实现。同时，本发明在搜索候选块的过程中只存在针对N。 XNT个三维候选块的穷举 搜索，而没有使用BM3D的基于递归的预测搜索，因此不存在递归误差。
图1现有技术中二维块匹配方法。 图2至图5为解释三维块匹配方法的过程。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步 的详细描述。 为本实施例所提供的一种视频降噪处理中三维块匹配的方法，包括以下步骤
步骤一，按预定大小划分第t。时刻的视频帧，这里的视频制式可以取不同制式，如 PAL和NTSC都可以，以像素为基本单位划分为若干个^XN2二维像素块，其中每一块之间 的步进为SP ; 步骤二，取二维像素块Rt。，如图2所示，以二维像素块&。区域中的任一坐标为中 心，在这里取左上角坐标为中心划分出N。 XNT的搜索域&。，搜索域^。内的每一个像素点均 可以按照预定规则构建出大小为^XN2候选二维像素块St。，如图3所示；
步骤三，如图4所示，将位于第t。帧的当前块&。向其相邻的前NFK帧和后NFK帧投 影，将^XN2的二维像素块&。扩展为^X^X (2NFK+1)大小的三维像素块R 将第t。帧的 N。XNT的搜索域K。向其相邻的前N^帧和后N^帧投影，将N。XNT的二维搜索域W。扩展为 N。 XNT X (2NFK+1)大小的三维搜索域U 相应地，在三维搜索域U3中包含N。 XNT个以所述 候选像素块&。扩展出的^X^X (2NFK+1)大小的三维候选像素块S3 ;
步骤四，在三维搜索域U3中采用以下的方法计算相似度
5[,]d(Ri,S" J 1
Fsum 其中运算符I I. I L代表欧几里得范数，Ri代表当前块，Si代表候选块，这里i二3， 表示三维块。P^代表三维块中包含像素点数目。逐个计算三维候选像素块S3与所述三维 像素块R3的相似度，由于相似度d (Ri， SO的值越小，模块之间就越相似，故将计算所得的相 似度d(Ri， SO结果按照从小到大排列，选取前NB个三维像素块即为最相似的NB个三维像 素块； 步骤五，如图5所示，将这NB个& XN2X (2NFK+1)大小的三维像素块在时间轴上拆 分为(2NFK+1) XNb个^X^的二维像素块，继续利用以下的方法计算相似度
||Ri — Si||22 d(R1, S1)=
P 其中运算符I I. I L代表欧几里得范数，Ri代表当前块，Si代表候选块，这里i二2，
表示二维块。P，代表二维块中包含像素点数目。选取与当前二维像素块^o最相似的N个
二维像素块组成维数为^XN2XN的三维数组S^，并记录这N个二维像素块所在原始视频
序列中的三维坐标，所得的N满足N < (2NFK+1) XNb，所得到的N个二维像素块所在原始视
频序列中的三维坐标即为块匹配的结果，可以用于下一步视频处理的步骤中。 在不偏离本发明的精神和范围的情况下还可以构成许多有很大差别的实施例。应
当理解，除了如所附的权利要求所限定的，本发明不限于在说明书中所述的具体实施例。
权利要求
一种视频降噪处理中的三维块匹配方法，其特征在于，包括以下步骤A.按预定大小划分第t0时刻的视频帧，从中选取大小为N1×N2的当前块B.以块区域中的任一坐标为中心划分出Nσ×Nτ的搜索域搜索域内的每一个像素点均可以按照预定规则构建出大小为N1×N2候选块C.将位于第t0帧的当前块向其相邻的前NFR帧和后NFR帧投影，将N1×N2的二维块扩展为N1×N2×(2NFR+1)大小的三维块R3，将第t0帧的Nσ×Nτ的搜索域向其相邻的前NFR帧和后NFR帧投影，将Nσ×Nτ的二维搜索域扩展为Nσ×Nτ×(2NFR+1)大小的三维搜索域U3，相应地，在三维搜索域U3中包含Nσ×Nτ个以所述候选块扩展出的N1×N2×(2NFR+1)大小的三维候选块S3；D.在三维搜索域U3中逐个计算三维候选块S3与所述三维块R3的相似度，选取最相似的NB个三维块；E.将这NB个N1×N2×(2NFR+1)大小的三维块在时间轴上拆分为(2NFR+1)×NB个N1×N2的二维块，选取与当前二维块最相似的N个二维块组成维数为N1×N2×N的三维数组并记录这N个二维块所在原始视频序列中的三维坐标。F2009101981314C0000011.tif,F2009101981314C0000012.tif,F2009101981314C0000013.tif,F2009101981314C0000014.tif,F2009101981314C0000015.tif,F2009101981314C0000016.tif,F2009101981314C0000017.tif,F2009101981314C0000018.tif,F2009101981314C0000019.tif,F2009101981314C00000110.tif,F2009101981314C00000111.tif,F2009101981314C00000112.tif
2. 如权利要求1所述的三维块匹配方法，其特征在于，步骤A中所述的视频帧为PAL或 NTSC制式的视频帧。
3. 如权利要求1所述的三维块匹配方法，其特征在于，步骤C中所述的当前块&向其 相邻的前NFK帧和后NFK帧投影，是指在与所述当前帧相邻的前NFK帧和后NFK帧中选取与二 维块^。具有相同二维坐标的二维块^t。-x = {_NFK， . . . ， NFJ 。
4. 如权利要求l所述的三维块匹配方法，其特征在于，步骤D与步骤E中所述的相似度 采用以下的方法计算||Ri —Si||，d(R',S1)=p其中运算符I I I |2代表欧几里得范数，W代表当前块，Si代表候选块，在这里i = 2 时为二维块相似度的计算方法，i = 3时，为三维块相似度的计算方法。P，代表二维或三 维块中包含像素点数目。
5. 如权利要求1所述的三维块匹配方法，其特征在于，步骤D中所述的最相似的Ne个 三维块的选取按照以下方法进行计算出所述三维候选块S3与所述三维块R3的相似度以 后，将相似度从小到大顺序排列，前NB个即为与所述三维块R3最相似的NB个三维块。
6. 如权利要求1所述的三维块匹配方法，其特征在于，步骤E中所述的选取与当前二维 块&。最相似的N个二维块，按照以下方法进行计算出所述(2NFK+1) XNe个^X^的二维块 与所述二维块^。的相似度以后，将相似度从小到大顺序排列，前N个即为与所述二维块&。 最相似的N个二维块。
7. 如权利要求1所述的三维块匹配方法，其特征在于，所述的N满足N〈 (2NFK+1)XNB。
全文摘要
本发明要解决的技术问题是提供一种视频降噪处理中三维块匹配的方法，该方法通过将位于视频序列中某一帧的当前二维块和搜索域分别向其相邻帧投影，将二维块扩展为三维块R3，将二维搜索域扩展为三维搜索域U3。在三维搜索域U3中可以按照预定规则构建出若干三维候选块S3。逐个计算三维候选块S3与所述三维块R3的相似度，选取最相似的NB个三维块。将三维块在时间轴上拆分为二维块后最终选取与当前二维块最相似的N个二维块。这种方法可以有效提高目前基于递归的二维块匹配的BM3D降噪算法的块匹配精度与视频降噪效果，并且解决了目前基于递归的二维块匹配搜索范围无法预知的问题。
文档编号H04N5/21GK101702751SQ20091019813
公开日2010年5月5日 申请日期2009年11月3日 优先权日2009年11月3日
发明者程浩东, 董鹏宇, 诸悦 申请人:上海富瀚微电子有限公司