专利名称:图像检测、修复方法和图像检测、修复装置的制作方法
技术领域:
本发明涉及图像处理技术领域,特别涉及图像检测、修复方法和图像检测、修复装置。
背景技术:
随着数码图像技术的不断发展,各种数码图像处理或摄像产品已经得到了广泛的普及。同时人们对图像的质量要求也越来越高,因此就需要对对图像进行分析、加工和处理,使其能够满足视觉、心理以及其它要求,称之为图像处理。图像修复是图像处理中的一项重要内容,其应用面十分广泛,可以修复破损的画作、照片、恢复流媒体中丢失的细节,如修复图像中的坏点或坏块等。
以下就对现有技术中对图像中坏点和坏块检测和修复的技术进行简单介绍 在现有技术中,判断一个像素点是否为坏点,及对该像素点进行修复主要采用以下方式,即在一个图像帧内,根据该像素点周围其它像素点的像素值判断该像素点是否是坏点,如果该像素点与四周其它像素点的像素值差别很大,则可认为该像素点为坏点,例如四周的像素点都是暗点,而该像素点是亮点,那么就可以认为该像素点为坏点。同时,参考该坏点(像素点)周围其它像素点的像素值,通过加权平均或其它方式计算该坏点的像素值对其进行修复。
然而上述这种方式却无法对图像中出现的坏块进行有效的检测和修复,这主要是因为上述对坏点的修复方式主要参考坏点四周的其它像素点的灰度进行修复,但是对于图像中的坏块,往往是由多个坏点组成的,这些坏点周围的其它像素点往往也是坏点,没有有效的参考价值,因此也就无法对图像中的坏块进行有效修复。
然而坏块在现实生活中是经常遇到的问题,如因为镜头上的灰尘或CCD(Charge Coupled Device,电荷耦合器件)成像传感器上介质材料脱落等原因造成视频图像中或亮或暗的随机疵点块等,因此需要有一种方法来解决对图像中坏块的修复。
现有技术还提出了一种图像的检测和修复方法,该方法即可适用于坏点的检测和修复,也可适用于坏块的检测和修复。该方法简单的讲就是参考前后帧图像中该像素点所对应的像素点的像素值进行判断和修复。在进行坏点检测时,例如检测像素点(x,y)是否为坏点,则参考前帧图像帧中像素点(x,y)和后帧图像帧中像素点(x,y)的像素值来判断,如果其与前后帧图像对应点的像素值相差太大,则认为其就是坏点。该方法不同与上述同一图像帧检测的方法,该方法也适用于对坏块的检测,例如坏块中包括三个坏点(x1,y1)、(x2,y2)和(x3,y3),对坏点(x1,y1)进行修复时,首先需要找到前帧图像中像素点(x1,y1)所对应的像素值,以及后帧图像中像素点(x1,y1)所对应的像素值,然后根据加权平均或其它方式得到坏点(x1,y1)的像素值,对其进行修复;以同样的方式对坏点(x2,y2)和(x3,y3)进行修复,从而完成对坏块的修复。
现有技术存在的缺点是上述现有技术中提到参考前后帧图像的方法没有考虑运动对图像的影响,也就是说本帧图像中的像素点A1(x1,y1),在下一帧图像中已经运动到了像素点B2(x2,y2),而此时现有技术还参照下一帧图像中的像素点A2(x1,y1)判断像素点A1(x1,y1)是否为坏点,从而引起检测错误,影响对图像的修复的准确度。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一,特别解决现有技术中图像坏点或坏块时易出现检测错误的技术缺陷,达到提高图像修复的准确度的目的。
为达到上述目的,本发明一方面提出一种图像坏点检测方法,包括以下步骤对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;根据所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;根据所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测。
本发明另一方面还提出一种图像坏点修复方法,包括以下步骤对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;根据所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;根据所述前帧运动补偿点和所述后帧运动补偿点判断所述像素点是否为坏点;如果是坏点,则对所述像素点进行修复。
本发明另一方面还提出一种图像坏块检测方法,包括以下步骤对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;对所述本帧图像、所述前帧图像和所述后帧图像进行分块;确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;根据所述前向块运动矢量和所述后向块运动矢量确定所述分块中坏像素点的点数;根据所述分块中坏像素点的点数判断所述分块是否为坏块,如果所述坏像素点的点数大于预设阈值,则所述分块为坏块。
本发明另一方面还提出一种图像坏块修复方法,包括以下步骤对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;对所述本帧图像、所述前帧图像和所述后帧图像进行分块;确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;根据所述前向块运动矢量和所述后向块运动矢量对所述分块中的像素点进行坏点检测;分别对所述分块中检测到的坏点进行修复。
本发明另一方面还提出一种图像坏点检测装置,包括图像帧缓存模块、运动矢量计算模块、运动补偿点确定模块和坏点检测模块,所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;所述运动矢量计算模块,用于根据所述图像帧缓存模块缓存的图像,确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;所述运动补偿点确定模块,用于根据所述运动矢量计算模块获得的所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;所述坏点检测模块,用于根据所述运动补偿点确定模块确定的所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测。
本发明另一方面还提出一种图像坏点修复装置,包括图像帧缓存模块、运动矢量计算模块、运动补偿点确定模块、坏点检测模块和修复模块,所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;所述运动矢量计算模块,用于根据所述图像帧缓存模块缓存的图像,确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;所述运动补偿点确定模块,用于根据所述运动矢量计算模块获得的所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;所述坏点检测模块,用于根据所述运动补偿点确定模块确定的所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测;所述修复模块,用于在所述坏点检测模块检测所述像素点为坏点时,对所述像素点进行修复。
本发明另一方面还提出一种图像坏块检测装置,包括图像帧缓存模块、分块模块、块运动矢量计算模块、坏点数确定模块和坏块检测模块,所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;所述分块模块,用于对所述图像帧缓存模块中缓存的本帧图像、所述前帧图像和所述后帧图像进行分块;所述块运动矢量计算模块,用于确定所述分块模块对所述本帧图像中的分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;所述坏点数确定模块,用于根据所述块运动矢量计算模块得到的所述前向块运动矢量和所述后向块运动矢量确定所述分块中坏像素点的点数;所述坏块检测模块,用于根据所述坏点数确定模块确定的坏像素的点数判断所述分块是否为坏块,如果所述坏像素点的点数大于预设阈值,则所述分块为坏块。
本发明另一方面还提出一种图像坏块修复装置,包括图像帧缓存模块、分块模块、块运动矢量计算模块、坏点检测模块和修复模块,所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;所述分块模块,用于对所述图像帧缓存模块缓存的所述本帧图像、所述前帧图像和所述后帧图像进行分块;所述块运动矢量计算模块,用于确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;所述坏点检测模块,用于根据所述块运动矢量计算模块得到的所述前向块运动矢量和所述后向块运动矢量对所述分块中每个像素点进行坏点检测;所述修复模块,用于对所述坏点检测模块检测到的分块中的坏点进行修复。
作为本发明的实施例,充分考虑了图像在时间上和空间上图像灰度与运动矢量相关的特点,根据运动矢量得到本帧图像中像素点对应前后帧图像中的运动补偿点,并根据运动补偿后的像素点对本帧图像的像素点进行坏点检测,从而提高坏点或坏块的检测精度,改进图像中坏点或坏块修复的准确度。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中 图1为本发明一个实施例图像坏点检测方法的流程图; 图2为本发明一个实施例通过分级块匹配方式计算块运动矢量的流程图; 图3为本发明一个实施例提出的一种判断像素点是否为坏点的方法流程图; 图4为本发明一个实施例提出的修复矢量中值滤波方式具体的实现方式流程图; 图5为本发明一个实施例提出的滤波器模板Wz示意图; 图6为本发明一个实施例的图像坏块检测方法的流程图; 图7为本发明一个实施例的确定前向块运动矢量和后向块运动矢量的流程图; 图8为本发明一个实施例的图像坏点检测装置结构图; 图9为本发明一个实施例的图像坏点修复装置结构图; 图10为本发明一个实施例的图像坏块检测装置结构图; 图11为本发明一个实施例的图像坏块修复装置结构图。
具体实施例方式 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明主要在于根据图像在空间和时间上的运动特性对坏块或坏点进行检测,通过运动矢量得到本帧图像中像素点对应的前帧运动补偿点和后帧运动补偿点,从而根据所述前帧运动补偿点和后帧运动补偿点就能够更准确的对坏块或坏点进行检测。例如对于本帧图像中的像素点A(x,y)来说,通过计算能够得到该像素点A(x,y)的前向运动矢量和后向运动矢量,就能够根据所述前向运动矢量和后向运动矢量得到该像素点A(x1,y1)对应前帧图像中的前帧运动补偿点B(x2,y2),和对应后帧图像中的后帧运动补偿点C(x3,y3)。也就是说在这三帧图像中,图像从前帧运动补偿点B(x2,y2)运动至像素点A(x1,y1),再由像素点A(x1,y1)运动至后帧运动补偿点C(x3,y3)。这样通过对前帧运动补偿点B和后帧运动补偿点C的确定,就可以准确判断像素点A是否为坏点,同样该方法也适用于对坏块的检测。作为本发明的一个实施例,本发明同时对本帧图像、前帧图像和后帧图像进行分块,并计算本帧图像中各个分块相对于前帧图像和后帧图像的块运动矢量,这样就可用块运动矢量作为属于该分块中所有像素点的运动矢量,从而能够有效地降低运算量。其中,优选地,采用分级块匹配的方式得到分块的块运动矢量,以下级图像中修正后的块运动矢量作为本级块运动矢量的初始值,这样通过每级图像中对该级块运动矢量的修正能够保证最终得到的块运动矢量的准确性。
下面就通过具体实施例的描述对本发明进行介绍 如图1所述,为本发明一个实施例图像坏点检测方法的流程图,通过确定本帧图像中像素点相对前帧图像和后帧图像的前帧运动补偿点和后帧运动补偿点,能够对该像素点进行有效检测,提高图像坏点检测的准确性。该实施例包括以下步骤 步骤S101,对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像。其中,前帧图像和后帧图像的个数至少为一,如选用多个前帧图像和/或后帧图像则将会有助于提高坏点检测的精度。需要说明的是选用前帧图像和后帧图像的个数可以不相等。
步骤S102,确定本帧图像中像素点分别相对于前帧图像的前向运动矢量和相对于后帧图像的后向运动矢量。
作为该步骤的一个优选方式,可对本帧图像、前帧图像和后帧图像进行分块,并确定本帧图像中各个分块分别相对于前帧图像的前向块运动矢量和相对于后帧图像的后向块运动矢量。这样就可以将分块的前向块运动矢量和后向块运动矢量作为属于该分块中所有像素点的前向运动矢量和后向运动矢量,因此能够有效地减少运算量。作为上述实施例更优选地方式,通过分级块匹配的得到块运动矢量,从最低级图像开始计算该级的块运动矢量,并将下级图像得到的块运动矢量最为上级图像运动矢量的初始值,直至得到最高级图像的块运动矢量,从而通过逐级逼近的方式进一步提高块运动矢量的准确性。更为优选地,在上述实施例中下级图像作为本级图像块运动矢量初始值之前,对其进行判断,如果该下级图像的不可靠则对其进行修正,从而保证最终得到的块运动矢量的准确性,进一步提高坏点检测的准确性。
如图2所示,为本发明一个实施例通过分级块匹配方式计算块运动矢量的流程图,包括以下步骤 步骤S201,用低通滤波器对本帧图像、前帧图像和后帧图像分别进行m次滤波,得到m级不同分辨率的本帧图像、前帧图像和后帧图像,分辨率越高则所述图像级别越高。其中,m优选为2-5次,更优为3次。
步骤S202,在不同分辨率下对本帧图像、前帧图像和后帧图像进行分块,其中,分级的分辨率与所述分块的大小相反,分辨率越低,分块越大;反之分辨率越大,则分块越小。
步骤S203,从最低级(最低分辨率)的本帧图像开始,对该本帧图像中的每一个分块在前帧图像和后帧图像中搜索最佳匹配块。其中,搜索最佳匹配快可采用的匹配准则为最小平均绝对值差(MAD)、开平方根、交互方差或块均值差等方式确定最佳匹配块。
步骤S204,根据上述搜索到的最佳匹配块确定最低级本帧图像中每一个分块的前向块运动矢量和后向块运动矢量。
步骤S205,判断上述确定的最低级本帧图像中分块的前向块运动矢量和后向块运动矢量是否可靠。其中,作为一个具体实施例,本发明提出了一种判断是否可靠的方法,即将计算前向运动矢量和后向运动矢量MAD值以及计算前后帧中对应矩形块的MAD值,按照如下公式判断运动矢量是否可靠 在上述公式(1)中,1表示(x,y)块处运动矢量MV(x,y)不可靠,0表示运动矢量MV(x,y)可靠,其中,T1和T2分别是预设的阈值,T2<T1,b表示后向运动,f表示前向运动,bf表示前后帧之间的运动。优选地,T1为20,T2为10。其中,上述判断准则利用了时间轴上运动的连续性,因此一定程度上降低了对噪声的敏感程度。
步骤S206,如果判断最低级本帧图像计算的块运动矢量不可靠,则对其进行修正;如果判断可靠,则执行步骤S207。对于检测出的不可靠运动矢量,则用邻域块运动矢量计算该块的MAD,并用最小MAD对应的邻域块运动矢量对该块运动矢量进行修正。修正的运动矢量作为下一级块匹配的初始值。公式表达为 在上述公式(2)中,MVnb(x,y)表示运动矢量MV(x,y)的邻域块运动矢量,A为邻域集合,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差。
步骤S207,将最低级本帧图像中各个分块对应的可靠的或经过修正的块运动矢量作为其上级的本帧图像中对应分块的块运动矢量初始值,计算上级本帧图像的块运动矢量。具体为根据下级图像提供的可靠的或经过修正的块运动矢量在一个较小范围内搜索该级的最佳匹配块,然后再根据搜索到的最佳匹配块确定该级本帧图像中各个分块的块运动矢量。
步骤S208,判断步骤S207中得到的该级本帧图像中各个分块的块运动矢量是否可靠。同样该步骤中的判断是否可靠的方法与步骤S205所采用的方法相同。如果判断可靠,则执行步骤S210;如果判断不可靠,则执行步骤S209。
步骤S209,如果判断该级本帧图像(非最低级图像)计算的块运动矢量不可靠,则对其进行修正。
同样本发明也提出了一种修正方式,但这里与步骤S206修正的公式不同,其区别是加入了上一级运动矢量初值,该运动矢量修正公式为 其中,MVi-1(x,y)是本级(x,y)块处修正后的运动矢量,MVi是上一级(x,y)块处修正后的运动矢量,λ是一个权值,衡量上一级运动矢量在该级运动矢量修正中所占的比重,MVnbi-1是该级(x,y)块处邻域的运动矢量,A为邻域集合,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差。
步骤S210,将步骤S208中判断可靠的或经过步骤S209修正的块运动矢量作为其上级的本帧图像中对应分块的块运动矢量初始值,计算上级本帧图像的块运动矢量。重复步骤S208-S210直至得出最高级本帧图像中分块的前向块运动矢量和后向块运动矢量。
步骤S211,将最高级本帧图像中分块的前向块运动矢量和后向块运动矢量作为本帧图像中所述分块中所有像素点的前向运动矢量和后向运动矢量。
步骤S103,根据步骤S102得到的本帧图像中各个像素点的前向运动矢量和后向运动矢量,确定本帧图像中像素点分别相对于前帧图像的前帧运动补偿点,以及相对于后帧图像的后帧运动补偿点。如根据所述前向运动矢量和后向运动矢量得到该像素点A(x1,y1)对应前帧图像中的前帧运动补偿点B(x2,y2),和对应后帧图像中的后帧运动补偿点C(x3,y3)。
步骤S104,根据所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测。本发明提出了一种差异排序方法进行坏点检测的方法,具体为根据前帧运动补偿点B(x2,y2)和后帧运动补偿点C(x3,y3),及前帧运动补偿点B(x2,y2)邻域和后帧运动补偿点C(x3,y3)邻域的u个像素点与本帧图像中像素点A(x1,y1)的相关性,判断该像素点A(x1,y1)是否为坏点。其中,可选前帧运动补偿点B(x2,y2)和后帧运动补偿点C(x3,y3)邻域的横向u个像素点(不包括后帧运动补偿点C),或纵向u个像素点等作为参考点。其中,u为1-9,优选u为2,当然为了提高判断准确度还可选用更多的参考点。
作为本发明的一个实施例,本发明提出了一种判断像素点是否为坏点的方法,该实施例中选择除前帧运动补偿点B(x2,y2)和后帧运动补偿点C(x3,y3)之外横向的2个邻域像素点作为参考像素点。如图3所示,具体包括以下步骤 步骤S301,假设
是第n帧图像坐标处灰度值,并且定义矢量
其中矢量
为包括前帧运动补偿点B(x2,y2)和后帧运动补偿点C(x3,y3),以及其邻域像素点的矢量。
上式(4)中,
包含了第n-1帧和第n+1帧图像邻域六个像素点,如果在第n帧图像处是斑点,那么
将与
中的像素之间的无相关性,相互之间的灰度差值比较大,反之,灰度差值会比较小。
步骤S302,对前帧运动补偿点邻域和后帧运动补偿点邻域像素点的灰度值进行平均,得到等级均值。其中作为本发明的一个实施例,提出了一种得到等级均值的方法,具体为对矢量
中的元素根据灰度值进行重新排序,得到新的矢量
其中,并定义一个等级均值
步骤S303,确定等级差分,所述等级差分衡量像素点与时间邻域上点相关性的大小,所述等级差分通过下述公式得到 其中,所述
是第n帧图像坐标处灰度值。
步骤S304,判断所述本帧图像中像素点与等级均值的相关性,如果相关,则该像素点不是坏点;如果不相关,则该像素点是坏点。具体为根据等级差分
是否大于阈值Ti判断所述本帧图像中该像素点与等级均值是否相关i=1,2,3,其中,i=1,2,3,T1、T2和T3为预定阈值,且T1<T2<T3;如上述公式中任一不等式成立,则判断本帧图像中像素点与等级均值不相关,该像素点是坏点。其中,优选地,T1为5、T2为10、T3为40。其中,因为阈值T1是衡量待检测点邻域各个像素与待检测点像素值最接近的程度,所以阈值T1是最重要的一个阈值。
作为本发明的一个实施例,本发明还提出一种图像坏点的修复方法,首先利用上述实施例的图像坏点检测方法确定图像中的坏点,在此不再赘述;然后通过矢量中值滤波方式、梯度扩散修复方式或加权平均修复方式对所述坏点进行修复。作为本发明的一个实施例,本发明提出了修复矢量中值滤波方式具体的实现方式,如图4所示,包括以下步骤 步骤S401,调取滤波器模板Wz,其中该滤波器的模板Wz(z=1,2,3,4,5)在第n帧图像处定义,模板图如图5所示,其中模板的尺寸为3×3,模板中黑色区域表示滤波中所要用到的像素点。当然也可选择其他尺寸的模板,或选择其它对应黑色区域的模板。
步骤S402,根据所述坏点找到所述模板Wz上对应的像素,并得到
所述
通过下述公式确定,其中,d(i,j)=|Xi-Xj|,Xi,Xj为坏点所模板Wz中黑色区域所对应的像素点灰度值,d(i,j)为Xi,Xj之间的距离。
步骤S403,定义集合并根据所述计算s(z),所述z=1,2,3,4,5。
步骤S404,选择s(z)最小值所对应的
作为所述坏点处的像素值,如通过公式得到。
上述实施例说明了本发明在对图像中坏点的检测和修复方法,本发明同样也可应用于对图像中坏块的检测和修复,以下将以实施例的方式对坏块的检测和修复进行描述。
如图6所示,为本发明一个实施例的图像坏块检测方法的流程图,包括以下步骤 步骤S601,对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像。其中,前帧图像和后帧图像的个数至少为一,如选用多个前帧图像和/或后帧图像将有助于提高坏点检测的精度。需要说明的是选用前帧图像和后帧图像的个数可以不相等。
步骤S602,用低通滤波器对本帧图像、前帧图像和后帧图像分别进行m次滤波,得到m级不同分辨率的本帧图像、前帧图像和后帧图像,分辨率越高则所述图像级别越高。其中,m优选为2-5次,更优为3次。
步骤S603,在不同分辨率下对本帧图像、前帧图像和后帧图像进行分块,其中,分级的分辨率与所述分块的大小相反,分辨率越低,分块越大;反之分辨率越大,则分块越小。
步骤S604,确定本帧图像中分块分别相对于前帧图像的前向块运动矢量和相对于后帧图像的后向块运动矢量。如图7所示,为本发明一个实施例计算块运动矢量的流程图,具体包括以下步骤 步骤S701,从最低级(最低分辨率)的本帧图像开始,对该本帧图像中的每一个分块在前帧图像和后帧图像中搜索最佳匹配块。其中,搜索最佳匹配快可采用的匹配准则为最小平均绝对值差(MAD)、开平方根、交互方差或块均值差等。
步骤S702,根据上述搜索到的最佳匹配块确定最低级本帧图像中每一个分块的前向块运动矢量和后向块运动矢量。
步骤S703,判断上述确定的最低级本帧图像中分块的前向块运动矢量和后向块运动矢量是否可靠。其中,作为一个具体实施例,本发明提出了一种判断是否可靠的方法,即将计算前向运动矢量和后向运动矢量MAD值以及计算前后帧中对应矩形块的MAD值,按照如下公式判断运动矢量是否可靠 在上述公式(1)中,1表示(x,y)块处运动矢量MV(x,y)不可靠,0表示运动矢量MV(x,y)可靠,其中,T1和T2分别是预设的阈值,T2<T1,b表示后向运动,f表示前向运动,bf表示前后帧之间的运动。优选地,T1为20,T2为10。其中上述判断准则利用了时间轴上运动的连续性,因此一定程度上降低了对噪声的敏感程度。
步骤S704,如果判断最低级本帧图像计算的块运动矢量不可靠,则对其进行修正;如果可靠,则执行步骤S207。对于检测出的不可靠运动矢量,则用邻域块运动矢量计算该块的MAD,并用最小MAD对应的邻域块运动矢量对该块运动矢量进行修正。修正的运动矢量作为下一级块匹配的初始值。公式表达为 在上述公式(2)中,MVnb(x,y)表示运动矢量MV(x,y)的邻域块运动矢量,A为邻域集合,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差。
步骤S705,将最低级本帧图像中各个分块对应的可靠的或经过修正的块运动矢量作为其上级的本帧图像中对应分块的块运动矢量初始值,计算其上级本帧图像的块运动矢量。具体为根据下级图像提供的可靠的或经过修正的块运动矢量在一个较小范围内搜索该级的最佳匹配块,然后再根据搜索到的最佳匹配块确定该级本帧图像中各个分块的块运动矢量。
步骤S706,判断步骤S705中得到的该级本帧图像中各个分块的块运动矢量是否可靠。同样该步骤中的判断是否可靠的方法与步骤S703所采用的方法相同。如果判断可靠,则执行步骤S708;如果判断不可靠,则执行步骤S707。
步骤S707,如果判断该级本帧图像(非最低级图像)计算的块运动矢量不可靠,则对其进行修正。
同样该步骤的修正公式与步骤S704修正的公式不同,其区别是加入了上一级运动矢量初值,该运动矢量修正公式为 其中,MVi-1(x,y)是本级(x,y)块处修正后的运动矢量,MVi是上一级(x,y)块处修正后的运动矢量,λ是一个权值,衡量上一级运动矢量在该级运动矢量修正中所占的比重,MVnbi-1是该级(x,y)块处邻域的运动矢量,A为邻域集合,MADMVb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差。
步骤S708,将步骤S706中判断可靠的或经过步骤S707修正的块运动矢量作为其上级的本帧图像中对应分块的块运动矢量初始值,计算其上级本帧图像的块运动矢量。重复步骤S706-S708直至得出最高级本帧图像中分块的前向块运动矢量和后向块运动矢量。
步骤S605,根据分块的前向块运动矢量和后向块运动矢量对分块中的各个像素点进行坏点检测,确定分块中坏像素点的点数。具体为根据本帧图像中的分块对应的前向块运动矢量和后向块运动矢量确定该分块中每个像素点分别相对于前帧图像的前向运动矢量和相对于后帧图像的后向运动矢量,再根据前向运动矢量和后向运动矢量确定前帧运动补偿点和后帧运动补偿点;最后再根据分块中的每个像素点,以及对应的所述前帧运动补偿点和所述后帧运动补偿点对所述分块中的每个像素点进行坏点检测,确定所述分块中坏像素点的点数。其中,检测像素点是否为坏点的方法可参照图3所示的流程,在此不再赘述。
步骤S606,根据分块中坏像素点的点数判断分块是否为坏块,如果坏像素点的点数大于预设阈值,则该分块为坏块。其中,预设阈值需根据分块的大小决定,如一个3×3的分块,则可设阈值为2,即该分块内如有2个坏点就认为该分块是坏块。当然如果分块很大,而其中仅有1或2个坏点,为可忽略的,那么就可认为该分块不是坏块。
同样本发明也提出了对坏块的修复方法,即在上述实施例中步骤S606确定该分块为坏块时,分别对该坏块中的各个坏点进行修复。其中,可通过矢量中值滤波方式、梯度扩散修复方式或加权平均修复方式对坏点进行修复。其中,矢量中值滤波方式如图4流程图所示,在此不再赘述。
如图8所示,为本发明一个实施例的图像坏点检测装置结构图,该装置包括图像帧缓存模块810、运动矢量计算模块820、运动补偿点确定模块830和坏点检测模块840,图像帧缓存模块810用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;运动矢量计算模块820用于根据图像帧缓存模块810缓存的图像,确定本帧图像中像素点分别相对于前帧图像的前向运动矢量,以及相对于后帧图像的后向运动矢量;运动补偿点确定模块830用于根据运动矢量计算模块820获得的前向运动矢量和后向运动矢量确定本帧图像中像素点分别相对于前帧图像的前帧运动补偿点和相对于后帧图像的后帧运动补偿点;坏点检测模块840用于根据运动补偿点确定模块830确定的前帧运动补偿点和后帧运动补偿点对本帧图像中像素点进行坏点检测。
其中,作为一个实施例,运动矢量计算模块820包括分块子模块821和块运动矢量计算子模块822,分块子模块821用于对图像帧缓存模块810中缓存的所述本帧图像、所述前帧图像和所述后帧图像进行分块;块运动矢量计算子模块822用于确定本帧图像中分块分别相对于前帧图像的前向块运动矢量和相对于后帧图像的后向块运动矢量,其中分块的前向块运动矢量和后向块运动矢量可作为属于分块中像素点的所述前向运动矢量和所述后向运动矢量。
其中,在上述实施例中运动矢量计算模块820还包括分级子模块823,用于根据分辨率对本帧图像、前帧图像和后帧图像分别进行分级,其中,分辨率越高则所述图像级别越高,分级的分辨率与分块的大小相反;块运动矢量计算子模块822还用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出最高级图像中分块的前向块运动矢量和后向块运动矢量。
其中,上述实施例中的运动矢量计算模块820还包括判断子模块824和修正子模块825,判断子模块824用于判断下级图像中分块的块运动矢量是否可靠;修正子模块825用于在判断子模块824判断块运动矢量不可靠时,对该块运动矢量进行修正。
如图9所示,为本发明一个实施例的图像坏点修复装置结构图,该修复装置包括图像帧缓存模块910、运动矢量计算模块920、运动补偿点确定模块930、坏点检测模块940和修复模块950,图像帧缓存模块910用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;运动矢量计算模块920用于根据图像帧缓存模块910缓存的图像,确定本帧图像中像素点分别相对于前帧图像的前向运动矢量和相对于后帧图像的后向运动矢量;运动补偿点确定模块930用于根据运动矢量计算模块920获得的前向运动矢量和后向运动矢量确定本帧图像中像素点分别相对于前帧图像的前帧运动补偿点和相对于后帧图像的后帧运动补偿点;坏点检测模块940用于根据运动补偿点确定模块930确定的前帧运动补偿点和后帧运动补偿点对本帧图像中像素点进行坏点检测;修复模块950用于在坏点检测模块940检测像素点为坏点时,对该像素点进行修复。
其中,作为本发明的一个实施例,运动矢量计算模块920包括分块子模块921和块运动矢量计算子模块922,分块子模块921用于对图像帧缓存模块910中缓存的所述本帧图像、所述前帧图像和所述后帧图像进行分块;块运动矢量计算子模块922用于确定本帧图像中分块分别相对于前帧图像的前向块运动矢量和相对于后帧图像的后向块运动矢量,其中分块的前向块运动矢量和后向块运动矢量可作为属于该分块的所述像素点的前向运动矢量和后向运动矢量。
其中,在上述实施例中运动矢量计算模块920还包括分级子模块923,用于根据分辨率对本帧图像、前帧图像和后帧图像进行分级,其中,分辨率越高则图像级别越高,分级的分辨率与分块的大小相反;块运动矢量计算子模块922还用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
其中,在上述实施例中运动矢量计算模块920还包括判断子模块924和修正子模块925,判断子模块924用于判断下级图像中分块的块运动矢量是否可靠;修正子模块925用于在判断子模块924判断所述块运动矢量不可靠时,对该块运动矢量进行修正。
如图10所示,为本发明一个实施例的图像坏块检测装置结构图,该坏块检测装置包括图像帧缓存模块1010、分块模块1020、块运动矢量计算模块1030、坏点数确定模块1040和坏块检测模块1050,图像帧缓存模块1010用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;分块模块1020用于对图像帧缓存模块1010中缓存的本帧图像、前帧图像和后帧图像进行分块;块运动矢量计算模块1030用于确定分块模块1020对本帧图像中的分块分别相对于前帧图像的前向块运动矢量和相对于后帧图像的后向块运动矢量;坏点数确定模块1040用于根据块运动矢量计算模块1030得到的前向块运动矢量和后向块运动矢量确定所述分块中坏像素点的点数;坏块检测模块1050用于根据坏点数确定模块1040确定的坏像素的点数判断所述分块是否为坏块,如果所述坏像素点的点数大于预设阈值,则所述分块为坏块。
其中,作为本发明的一个实施例,坏点数确定模块1040包括运动补偿点确定子模块1041和坏点检测子模块1042,运动补偿点确定子模块1041用于根据前向块运动矢量和后向块运动矢量确定分块中每个像素点分别相对于前帧图像的前帧运动补偿点和相对于后帧图像的后帧运动补偿点;坏点检测子模块1042用于根据所述分块中的每个像素点,以及运动补偿点确定子模块1041得到的对应的前帧运动补偿点和后帧运动补偿点对分块中的每个像素点进行坏点检测。
其中,在上述实施例中块运动矢量计算模块1030还包括分级子模块1031和本级块运动矢量计算子模块1032,分级子模块1031用于根据分辨率对本帧图像、前帧图像和后帧图像进行分级,其中,分辨率越高则所述图像级别越高,分级的分辨率与分块的大小相反;本级块运动矢量计算子模块1032用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出最高级图像中分块的前向块运动矢量和后向块运动矢量。
其中,在上述实施例中块运动矢量计算模块1030还包括判断子模块1033和修正子模块1034,判断子模块1033用于判断下级图像中分块的块运动矢量是否可靠;修正子模块1034用于在判断子模块1033判断块运动矢量不可靠时,对块运动矢量进行修正。
如图11所示,为本发明一个实施例的图像坏块修复装置结构图,该图像坏块修复装置包括图像帧缓存模块1110、分块模块1120、块运动矢量计算模块1130、坏点检测模块1140和修复模块1150,图像帧缓存模块1110用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;分块模块1120用于对图像帧缓存模块1110缓存的本帧图像、前帧图像和后帧图像进行分块;块运动矢量计算模块1130用于确定本帧图像中分块分别相对于前帧图像的前向块运动矢量和相对于后帧图像的后向块运动矢量;坏点检测模块1140用于根据块运动矢量计算模块1130得到的前向块运动矢量和后向块运动矢量对分块中每个像素点进行坏点检测;修复模块1150用于对坏点检测模块1140检测到分块中的坏点进行修复。
其中,作为本发明的一个实施例,坏点检测模块1140包括运动补偿点确定子模块1141和坏点检测子模块1142,运动补偿点确定子模块1141用于根据前向块运动矢量和后向块运动矢量确定分块中每个像素点分别相对于前帧图像的前帧运动补偿点和相对于后帧图像的后帧运动补偿点;坏点检测子模块1142用于根据分块中的每个像素点,以及运动补偿点确定子模块1141得到的对应的前帧运动补偿点和后帧运动补偿点对分块中的每个像素点进行坏点检测。
其中,在上述实施例中块运动矢量计算模块1130还包括分级子模块1131和本级块运动矢量计算子模块1132,分级子模块1131用于根据分辨率对本帧图像、前帧图像和后帧图像进行分级,其中,分辨率越高则图像级别越高,分级的分辨率与分块的大小相反;本级块运动矢量计算子模块1132用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出最高级图像中分块的前向块运动矢量和后向块运动矢量。
其中,在上述实施例中块运动矢量计算模块1130还包括判断子模块1133和修正子模块1134,判断子模块1131用于判断下级图像中分块的块运动矢量是否可靠;修正子模块1134用于在判断子模块1133判断块运动矢量不可靠时,对块运动矢量进行修正。
本发明的优点是充分考虑了图像在时间上和空间上图像灰度与运动矢量相关的特点,根据运动矢量得到本帧图像中像素点对应前后帧图像中的运动补偿点,并根据运动补偿后的像素点对本帧图像的像素点进行坏点检测,从而提高坏点或坏块的检测精度,改进图像中坏点或坏块的修复的准确度。
并且,本发明通过块运动矢量代表分块中各个像素点的运动矢量,从而可以有效降低运算量。
本发明还通过采用分级块匹配的方式得到分块的块运动矢量,进行逐级匹配,从而提高了块运动矢量计算的准确性。
本发明还在分级块匹配时,对下级图像的块运动矢量的可靠性进行判断,如果不可靠则对其进行修正,从而保证作为上级图像初始值的块运动矢量都是可靠的或经过修正的,从而进一步提高了块运动矢量计算的准确性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。
权利要求
1、一种图像坏点检测方法,其特征在于,包括以下步骤
对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;
根据所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
根据所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测。
2、根据权利要求1所述图像坏点检测方法,其特征在于,所述确定本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量包括以下步骤
对所述本帧图像、所述前帧图像和所述后帧图像进行分块;
确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;
将所述分块的前向块运动矢量和后向块运动矢量作为属于所述分块的像素点的所述前向运动矢量和所述后向运动矢量。
3、根据权利要求2所述图像坏点检测方法,其特征在于,在所述对本帧图像、前帧图像和后帧图像进行分块之前,还包括
根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,且所述分级的分辨率与所述分块的大小相反;
所述确定所述分块的前向块运动矢量和后向块运动矢量具体包括
确定最高级图像中分块的前向块运动矢量和后向块运动矢量。
4、根据权利要求3所述图像坏点检测方法,其特征在于,所述最高级图像中分块的前向块运动矢量和后向块运动矢量通过以下步骤确定
计算最低级图像中分块的前向块运动矢量和后向块运动矢量;
从所述最低级图像的上级图像起,将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
5、根据权利要求4所述图像坏点检测方法,其特征在于,在获得下级图像中分块的前向块运动矢量和后向块运动矢量之后,还包括
判断所述下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠;
如果判断可靠,则提供给所述本级图像作为本级图像中前向块运动矢量和后向块运动矢量的初始值;
如果判断不可靠,则对所述下级图像中分块的前向块运动矢量和后向块运动矢量进行修正,将修正后的前向块运动矢量和后向块运动矢量提供给本级图像,作为本级图像中前向块运动矢量和后向块运动矢量的初始值。
6、根据权利要求3至5任一项所述图像坏点检测方法,其特征在于,所述确定本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量具体包括
分别确定所述本帧图像中分块对应所述前帧图像的前帧最佳匹配块和对应所述后帧图像的后帧最佳匹配块;
根据所述分块和所述前帧最佳匹配块确定所述前向块运动矢量,根据所述分块和所述后帧最佳匹配块确定所述后向块运动矢量。
7、根据权利要求6所述图像坏点检测方法,其特征在于,通过对所述本帧图像中分块进行最小平均绝对值差MAD、开平方根、交互方差或块均值差确定最佳匹配块。
8、根据权利要求5所述图像坏点检测方法,其特征在于,所述判断下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠具体包括判断是否满足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向运动的最小平均绝对值差,MADf表示前向运动的最小平均绝对值差,MADbf表示前后帧之间的最小平均绝对值差,T1、T2为预设阈值,且T2<T1;
如果满足,则认为所述块运动矢量不可靠;
如果不满足,则认为所述块运动矢量可靠。
9、根据权利要求8所述图像坏点检测方法,其特征在于,所述T1为20,所述T2为10。
10、根据权利要求7所述图像坏点检测方法,其特征在于,对块运动矢量进行修正进一步包括以下步骤
判断所述块运动矢量是否为最低级图像中的块运动矢量;
如果是,则通过公式对所述块运动矢量进行修正,其中,MV(x,y)为块运动矢量,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,A为邻域集合;
如果不是,则通过公式对所述块运动矢量进行修正,其中MV(x,y)为块运动矢量,其中,M4DMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,MVi(x,y)是上一级图像块处修正后的运动矢量,λ为权值,MVnbi-1是该级图像块处邻域的运动矢量,A为邻域集合。
11、根据权利要求1所述图像坏点检测方法,其特征在于,所述根据前帧运动补偿点和后帧运动补偿点对本帧图像中像素点进行坏点检测具体4包括
根据所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的u个像素点与所述本帧图像中所述像素点的相关性,判断所述本帧图像中所述像素点是否为坏点。
12、根据权利要求11所述图像坏点检测方法,其特征在于,所述u个像素点为2个像素点,
所述判断本帧图像中所述像素点是否为坏点进一步包括以下步骤
对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值;
判断所述本帧图像中所述像素点灰度值与所述等级均值的相关性;
如果相关,则所述像素点不是坏点;
如果不相关,则所述像素点是坏点。
13、根据权利要求12所述图像坏点检测方法,其特征在于,所述对前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值具体为
对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点按照灰度值进行排序,得到矢量其中,
表示运动补偿后的像素点坐标,
所述等级均值
为
14、根据权利要求13所述图像坏点检测方法,其特征在于,所述判断本帧图像中像素点与等级均值的相关性进一步包括以下步骤
确定等级差分,所述等级差分衡量像素点与时间邻域上点相关性的大小,所述等级差分
通过下述公式得到
,其中,所述
是第n帧图像坐标处灰度值,
根据所述等级差分
是否大于阈值Ti判断所述本帧图像中所述像素点与所述等级均值是否相关i=1,2,3,其中,i=1,2,3,T1、T2和T3为预定阈值,且T1<T2<T3;
如上述公式中任一不等式成立,则判断所述本帧图像中所述像素点与所述等级均值不相关。
15、一种图像坏点修复方法,其特征在于,包括以下步骤
对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;
根据所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
根据所述前帧运动补偿点和所述后帧运动补偿点判断所述像素点是否为坏点;
如果是坏点,则对所述像素点进行修复。
16、根据权利要求15所述图像坏点修复方法,其特征在于,所述确定本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量包括以下步骤
对所述本帧图像、所述前帧图像和所述后帧图像进行分块;
确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;
将所述分块的前向块运动矢量和后向块运动矢量作为属于所述分块的所述像素点的所述前向运动矢量和所述后向运动矢量。
17、根据权利要求16所述图像坏点修复方法,其特征在于,在所述对本帧图像、所述前帧图像和所述后帧图像进行分块之前,还包括
根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,且所述分级的分辨率与所述分块的大小相反;
所述确定所述分块的前向块运动矢量和后向块运动矢量具体包括
确定最高级图像中分块的前向块运动矢量和后向块运动矢量。
18、根据权利要求17所述图像坏点修复方法,其特征在于,所述最高级图像中分块的前向块运动矢量和后向块运动矢量通过以下步骤确定
计算最低级图像中分块的前向块运动矢量和后向块运动矢量;
从所述最低级图像的上级图像起,将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
19、根据权利要求18所述图像坏点修复方法,其特征在于,在获得下级图像中分块的前向块运动矢量和后向块运动矢量之后,还包括
判断所述下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠;
如果判断可靠,则提供给本级图像作为本级图像中所述前向块运动矢量和后向块运动矢量的初始值;
如果判断不可靠,则对所述下级图像中分块的前向块运动矢量和后向块运动矢量进行修正,将修正后的前向块运动矢量和后向块运动矢量提供给本级图像,作为本级图像中前向块运动矢量和后向块运动矢量的初始值。
20、根据权利要求17至19任一项所述图像坏点修复方法,所述确定本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量具体包括
分别确定所述本帧图像中分块对应所述前帧图像的前帧最佳匹配块和对应所述后帧图像的后帧最佳匹配块;
根据所述分块和所述前帧最佳匹配块确定所述前向块运动矢量,根据所述分块和所述后帧最佳匹配块确定所述后向块运动矢量。
21、根据权利要求20所述图像坏点修复方法,其特征在于,通过对所述本帧图像中分块进行最小平均绝对值差MAD、开平方根、交互方差或块均值差确定最佳匹配块。
22、根据权利要求19所述图像坏点修复方法,其特征在于,所述判断下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠具体包括判断是否满足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向运动的最小平均绝对值差,MADf表示前向运动的最小平均绝对值差,MADbf表示前后帧之间的最小平均绝对值差,T1、T2为预设阈值,且T2<T1;
如果满足,则认为所述块运动矢量不可靠;
如果不满足,则认为所述块运动矢量可靠。
23、根据权利要求19所述图像坏点修复方法,其特征在于,对块运动矢量进行修正进一步包括以下步骤
判断所述块运动矢量是否为最低级图像中的块运动矢量;
如果是,则通过公式对所述块运动矢量进行修正,其中,MV(x,y)为块运动矢量,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,A为邻域集合;
如果不是,则通过公式对所述块运动矢量进行修正,其中MV(x,y)为块运动矢量,其中,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,MVi(x,y)是上一级图像块处修正后的运动矢量,λ为权值,MVnbi-1是该级图像块处邻域的运动矢量,A为邻域集合。
24、根据权利要求15所述图像坏点修复方法,其特征在于,所述根据前帧运动补偿点和后帧运动补偿点判断所述像素点是否为坏点具体包括
根据所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的u个像素点与本帧图像中所述像素点的相关性,判断所述本帧图像中所述像素点是否为坏点。
25、根据权利要求24所述图像坏点修复方法,其特征在于,所述u个像素点为2个像素点,
所述判断本帧图像中所述像素点是否为坏点进一步包括以下步骤
对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值;
判断所述本帧图像中所述像素点与所述等级均值的相关性;
如果相关,则所述像素点不是坏点;
如果不相关,则所述像素点是坏点。
26、根据权利要求25所述图像坏点修复方法,其特征在于,对前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值具体为对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点按照灰度值进行排序,得到矢量其中,
表示运动补偿后的像素点坐标,
所述等级均值
为
27、根据权利要求26所述图像坏点修复方法,其特征在于,所述判断本帧图像中像素点与等级均值的相关性进一步包括以下步骤
确定等级差分,所述等级差分衡量像素点与时间邻域上点相关性的大小,所述等级差分
通过下述公式得到
,其中,所述
是第n帧图像坐标处灰度值,
根据所述等级差分
是否大于阈值Ti判断所述本帧图像中所述像素点与所述等级均值是否相关i=1,2,3,其中,i=1,2,3,T1、T2和T3为预定阈值,且T1<T2<T3;
如上述公式中任一不等式成立,则判断本帧图像中所述像素点与所述等级均值不相关。
28、根据权利要求14所述图像坏点修复方法,其特征在于,所述对坏点进行修复具体为
通过矢量中值滤波方式、梯度扩散修复方式或加权平均修复方式对所述坏点进行修复。
29、根据权利要求28所述图像坏点修复方法,其特征在于,所述修复矢量中值滤波方式包括以下步骤
调取滤波器模板Wz;
根据所述坏点找到所述模板Wz上对应的像素,并得到
,所述
通过下述公式确定,,其中,d(i,j)=|Xi-Xj|,Xi,Xj为坏点所模板Wz中黑色区域所对应的像素点灰度值,d(i,j)为Xi,Xj之间的距离;
定义集合并根据所述计算s(z),所述z=1,2,3,4,5;
选择s(z)最小值所对应的
作为所述坏点处的像素值。
30、一种图像坏块检测方法,其特征在于,包括以下步骤
对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
对所述本帧图像、所述前帧图像和所述后帧图像进行分块;
确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;
根据所述前向块运动矢量和所述后向块运动矢量确定所述分块中坏像素点的点数;
根据所述分块中坏像素点的点数判断所述分块是否为坏块,如果所述坏像素点的点数大于预设阈值,则判断所述分块为坏块。
31、根据权利要求30所述图像坏块检测方法,其特征在于,所述根据前向块运动矢量和后向块运动矢量确定分块中坏像素点的点数进一步包括
根据所述前向块运动矢量和所述后向块运动矢量确定所述分块中每个像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
根据所述分块中的每个像素点,以及每个像素点对应的所述前帧运动补偿点和所述后帧运动补偿点对所述分块中的每个像素点进行坏点检测,确定所述分块中坏像素点的点数。
32、根据权利要求30所述图像坏块检测方法,其特征在于,在所述对本帧图像、所述前帧图像和所述后帧图像进行分块之前,还包括
根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,且所述分级的分辨率与所述分块的大小相反;
所述确定所述分块的前向块运动矢量和后向块运动矢量具体包括
确定最高级图像中分块的前向块运动矢量和后向块运动矢量。
33、根据权利要求32所述图像坏块检测方法,其特征在于,所述最高级图像中分块的前向块运动矢量和后向块运动矢量通过以下步骤确定
计算最低级图像中分块的前向块运动矢量和后向块运动矢量;
从所述最低级图像的上级图像起,将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
34、根据权利要求33所述图像坏块检测方法,其特征在于,在获得下级图像中分块的前向块运动矢量和后向块运动矢量之后,还包括
判断所述下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠;
如果判断可靠,则提供给本级图像作为本级图像中前向块运动矢量和后向块运动矢量的初始值;
如果判断不可靠,则对所述下级图像中分块的前向块运动矢量和后向块运动矢量进行修正,将修正后的前向块运动矢量和后向块运动矢量提供给本级图像,作为本级图像中前向块运动矢量和后向块运动矢量的初始值。
35、根据权利要求32至34任一项所述图像坏块检测方法,其特征在于,计算前向块运动矢量和后向块运动矢量具体包括
分别确定所述本帧图像中分块对应所述前帧图像的前帧最佳匹配块和对应所述后帧图像的后帧最佳匹配块;
根据所述分块和所述前帧最佳匹配块确定所述前向块运动矢量,根据所述分块和所述后帧最佳匹配块确定所述后向块运动矢量。
36、根据权利要求34所述图像坏块检测方法,其特征在于,所述判断下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠具体包括判断是否满足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向运动的最小平均绝对值差,MADf表示前向运动的最小平均绝对值差,MADbf表示前后帧之间的最小平均绝对值差,T1、T2为预设阈值,且T2<T1;
如果满足,则认为所述块运动矢量不可靠;
如果不满足,则认为所述块运动矢量可靠。
37、根据权利要求34所述图像坏块检测方法,其特征在于,所述对块运动矢量进行修正进一步包括以下步骤
判断所述块运动矢量是否为最低级图像中的块运动矢量;
如果是,则通过公式对所述块运动矢量进行修正,其中,MV(x,y)为块运动矢量,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,A为邻域集合;
如果不是,则通过公式对所述块运动矢量进行修正,其中MV(x,y)为块运动矢量,其中,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,MVi(x,y)是上一级图像块处修正后的运动矢量,λ为权值,MVnbi-1是该级图像块处邻域的运动矢量,A为邻域集合。
38、根据权利要求31所述图像坏块检测方法,其特征在于,所述对分块中的每个像素点进行坏点检测具体包括以下步骤
根据分块中的每个像素点对应的前帧运动补偿点和后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的u个像素点与本帧图像中所述像素点的相关性,判断所述分块中的像素点是否为坏点。
39、根据权利要求38所述图像坏块检测方法,其特征在于,所述u个像素点为2个像素点,
所述判断分块中的像素点是否为坏点进一步包括以下步骤
对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值;
判断所述分块中的像素点与所述等级均值的相关性;
如果相关,则所述分块中的像素点不是坏点;
如果不相关,则所述分块中的像素点是坏点。
40、根据权利要求39所述图像坏块检测方法,其特征在于,对前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值具体为对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点按照灰度值进行排序,得到矢量其中,
表示运动补偿后的像素点坐标,
所述等级均值
为
41、根据权利要求40所述图像坏块检测方法,其特征在于,所述判断分块中的像素点与等级均值的相关性进一步包括以下步骤
确定等级差分,所述等级差分衡量像素点与时间邻域上点相关性的大小,所述等级差分
通过下述公式得到
,其中,所述
是第n帧图像坐标处灰度值,
根据所述等级差分
是否大于阈值Ti判断所述分块中的像素点与所述等级均值是否相关i=1,2,3,其中,i=1,2,3,T1、T2和T3为预定阈值,且T1<T2<T3;
如上述公式中任一不等式成立,则判断分块中的像素点与所述等级均值不相关。
42、一种图像坏块修复方法,其特征在于,包括以下步骤
对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
对所述本帧图像、所述前帧图像和所述后帧图像进行分块;
确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;
根据所述前向块运动矢量和所述后向块运动矢量对所述分块中的像素点进行坏点检测;
分别对所述分块中检测到的坏点进行修复。
43、根据权利要求42所述图像坏块修复方法,其特征在于,所述根据前向块运动矢量和后向块运动矢量对所述分块中的像素点进行坏点检测进一步包括
根据所述前向块运动矢量和所述后向块运动矢量确定所述分块中每个像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
根据所述分块中的每个像素点,以及每个像素点对应的所述前帧运动补偿点和所述后帧运动补偿点对所述分块中的每个像素点进行坏点检测。
44、根据权利要求43所述图像坏块修复方法,其特征在于,在所述对本帧图像、所述前帧图像和所述后帧图像进行分块之前,还包括
根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,且所述分级的分辨率与所述分块的大小相反;
所述确定所述分块的前向块运动矢量和后向块运动矢量具体包括
确定最高级图像中分块的前向块运动矢量和后向块运动矢量。
45、根据权利要求44所述图像坏块修复方法,其特征在于,所述最高级图像中分块的前向块运动矢量和后向块运动矢量通过以下步骤确定
计算最低级图像中分块的前向块运动矢量和后向块运动矢量;
从所述最低级图像的上级图像起,将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
46、根据权利要求45所述图像坏块修复方法,其特征在于,在获得下级图像中分块的前向块运动矢量和后向块运动矢量之后,还包括
判断所述下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠;
如果判断可靠,则提供给本级图像作为本级图像中前向块运动矢量和后向块运动矢量的初始值;
如果判断不可靠,则对所述下级图像中分块的前向块运动矢量和后向块运动矢量进行修正,将修正后的前向块运动矢量和后向块运动矢量提供给本级图像,作为本级图像中前向块运动矢量和后向块运动矢量的初始值。
47、根据权利要求44至46任一项所述图像坏块修复方法,其特征在于,计算前向块运动矢量和后向块运动矢量具体包括
分别确定所述本帧图像中分块对应所述前帧图像的前帧最佳匹配块和对应所述后帧图像的后帧最佳匹配块;
根据所述分块和所述前帧最佳匹配块确定所述前向块运动矢量,根据所述分块和所述后帧最佳匹配块确定所述后向块运动矢量。
48、根据权利要求47所述图像坏块修复方法,其特征在于,所述判断下级图像中分块的前向块运动矢量和后向块运动矢量是否可靠具体包括判断是否满足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向运动的最小平均绝对值差,MADf表示前向运动的最小平均绝对值差,MADbf表示前后帧之间的最小平均绝对值差,T1、T2为预设阈值,且T2<T1;
如果满足,则认为所述块运动矢量不可靠;
如果不满足,则认为所述块运动矢量可靠。
49、根据权利要求46所述图像坏块修复方法,其特征在于,所述对块运动矢量进行修正进一步包括以下步骤
判断所述块运动矢量是否为最低级图像中的块运动矢量;
如果是,则通过公式对所述块运动矢量进行修正,其中,MV(x,y)为块运动矢量,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,A为邻域集合;
如果不是,则通过公式对所述块运动矢量进行修正,其中MV(x,y)为块运动矢量,其中,MADMVnb(x,y)为运动矢量MV(x,y)的邻域块运动矢量的最小平均绝对值差,MVi(x,y)是上一级图像块处修正后的运动矢量,λ为权值,MVnbi-1是该级图像块处邻域的运动矢量,A为邻域集合。
50、根据权利要求43所述图像坏块修复方法,其特征在于,所述对分块中的每个像素点进行坏点检测包括以下步骤
根据分块中的每个像素点对应的前帧运动补偿点和后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的u个像素点与本帧图像中所述像素点的相关性,判断所述分块中的的像素点是否为坏点。
51、根据权利要求50所述图像坏块修复方法,其特征在于,所述u个像素点为2个像素点,
所述判断分块中的像素点是否为坏点进一步包括以下步骤
对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值;
判断所述分块中的像素点与所述等级均值的相关性;
如果相关,则所述分块中的像素点不是坏点;
如果不相关,则所述分块中的像素点是坏点。
52、根据权利要求51所述图像坏块修复方法,其特征在于,对前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点的灰度值进行平均,得到等级均值具体为对所述前帧运动补偿点和所述后帧运动补偿点,及所述前帧运动补偿点和所述后帧运动补偿点邻域的2个像素点按照灰度值进行排序,得到矢量其中,
表示运动补偿后的像素点坐标,
所述等级均值
为
53、根据权利要求52所述图像坏块修复方法,其特征在于,所述判断分块中的像素点与等级均值的相关性进一步包括以下步骤
确定等级差分,所述等级差分衡量像素点与时间邻域上点相关性的大小,所述等级差分
通过下述公式得到
,其中,所述
是第n帧图像坐标处灰度值,
根据所述等级差分
是否大于阈值Ti判断所述分块中的像素点与所述等级均值是否相关i=1,2,3,其中,i=1,2,3,T1、T2和T3为预定阈值,且T1<T2<T3;
如上述公式中任一不等式成立,则判断分块中的像素点与所述等级均值不相关。
54、根据权利要求42所述图像坏块修复方法,其特征在于,所述对坏块中检测到的坏点进行修复具体包括通过矢量中值滤波方式、梯度扩散修复方式或加权平均修复方式对所述坏点进行修复。
55、根据权利要求54所述图像坏点修复方法,其特征在于,所述修复矢量中值滤波方式包括以下步骤
调取滤波器模板Wz;
根据所述坏点找到所述模板Wz上对应的像素,并得到
,所述
通过下述公式确定,,其中,d(i,j)=|Xi-Xj|,Xi,Xj为坏点所模板Wz中黑色区域所对应的像素点灰度值,d(i,j)为Xi,Xj之间的距离;
定义集合并根据所述计算s(z),所述z=1,2,3,4,5;
选择s(z)最小值所对应的
作为所述坏点处的像素值。
56、一种图像坏点检测装置,其特征在于,包括图像帧缓存模块、运动矢量计算模块、运动补偿点确定模块和坏点检测模块,
所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
所述运动矢量计算模块,用于根据所述图像帧缓存模块缓存的图像,确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;
所述运动补偿点确定模块,用于根据所述运动矢量计算模块获得的所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
所述坏点检测模块,用于根据所述运动补偿点确定模块确定的所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测。
57、根据权利要求56所述图像坏点检测装置,其特征在于,所述运动矢量计算模块包括分块子模块和块运动矢量计算子模块,
所述分块子模块,用于对所述图像帧缓存模块中缓存的所述本帧图像、所述前帧图像和所述后帧图像进行分块;
所述块运动矢量计算子模块,用于确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量,其中所述分块的前向块运动矢量和后向块运动矢量可作为属于所述分块的所述像素点的所述前向运动矢量和所述后向运动矢量。
58、根据权利要求56或57所述图像坏点检测装置,其特征在于,所述运动矢量计算模块还包括分级子模块,用于根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,所述分级的分辨率与所述分块的大小相反;
所述块运动矢量计算子模块,还用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
59、根据权利要求57所述图像坏点检测装置,其特征在于,所述运动矢量计算模块还包括判断子模块和修正子模块,
所述判断子模块,用于判断所述下级图像中分块的块运动矢量是否可靠;
所述修正子模块,用于在所述判断子模块判断所述块运动矢量不可靠时,对所述块运动矢量进行修正。
60、一种图像坏点修复装置,其特征在于,包括图像帧缓存模块、运动矢量计算模块、运动补偿点确定模块、坏点检测模块和修复模块,
所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
所述运动矢量计算模块,用于根据所述图像帧缓存模块缓存的图像,确定所述本帧图像中像素点分别相对于所述前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;
所述运动补偿点确定模块,用于根据所述运动矢量计算模块获得的所述前向运动矢量和所述后向运动矢量确定所述本帧图像中所述像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
所述坏点检测模块,用于根据所述运动补偿点确定模块确定的所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测;
所述修复模块,用于在所述坏点检测模块检测所述像素点为坏点时,对所述像素点进行修复。
61、根据权利要求60所述图像坏点修复装置,其特征在于,所述运动矢量计算模块包括分块子模块和块运动矢量计算子模块,
所述分块子模块,用于对所述图像帧缓存模块中缓存的所述本帧图像、所述前帧图像和所述后帧图像进行分块;
所述块运动矢量计算子模块,用于确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量,其中所述分块的前向块运动矢量和后向块运动矢量可作为属于所述分块的所述像素点的所述前向运动矢量和所述后向运动矢量。
62、根据权利要求60或61所述图像坏点修复装置,其特征在于,所述运动矢量计算模块还包括分级子模块,用于根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,所述分级的分辨率与所述分块的大小相反;
所述块运动矢量计算子模块,还用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
63、根据权利要求61所述图像坏点修复装置,其特征在于,所述运动矢量计算模块还包括判断子模块和修正子模块,
所述判断子模块,用于判断所述下级图像中分块的块运动矢量是否可靠;
所述修正子模块,用于在所述判断子模块判断所述块运动矢量不可靠时,对所述块运动矢量进行修正。
64、一种图像坏块检测装置,其特征在于,包括图像帧缓存模块、分块模块、块运动矢量计算模块、坏点数确定模块和坏块检测模块,
所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
所述分块模块,用于对所述图像帧缓存模块中缓存的本帧图像、所述前帧图像和所述后帧图像进行分块;
所述块运动矢量计算模块,用于确定所述分块模块对所述本帧图像中的分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;
所述坏点数确定模块,用于根据所述块运动矢量计算模块得到的所述前向块运动矢量和所述后向块运动矢量确定所述分块中坏像素点的点数;
所述坏块检测模块,用于根据所述坏点数确定模块确定的坏像素的点数判断所述分块是否为坏块,如果所述坏像素点的点数大于预设阈值,则所述分块为坏块。
65、根据权利要求64所述图像坏块检测装置,其特征在于,所述坏点数确定模块包括运动补偿点确定子模块和坏点检测子模块,
所述运动补偿点确定子模块,用于根据所述前向块运动矢量和所述后向块运动矢量确定所述分块中每个像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
所述坏点检测子模块,用于根据所述分块中的每个像素点,以及所述运动补偿点确定子模块得到的对应的所述前帧运动补偿点和所述后帧运动补偿点对所述分块中的每个像素点进行坏点检测。
66、根据权利要求65所述图像坏块检测装置,其特征在于,所述块运动矢量计算模块还包括分级子模块和本级块运动矢量计算子模块,
所述分级子模块,用于根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,且所述分级的分辨率与所述分块的大小相反;
所述本级块运动矢量计算子模块,用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
67、根据权利要求66所述图像坏块检测装置,其特征在于,所述块运动矢量计算模块还包括判断子模块和修正子模块,
所述判断子模块,用于判断所述下级图像中分块的块运动矢量是否可靠;
所述修正子模块,用于在所述判断子模块判断所述块运动矢量不可靠时,对所述块运动矢量进行修正。
68、一种图像坏块修复装置,其特征在于,包括图像帧缓存模块、分块模块、块运动矢量计算模块、坏点检测模块和修复模块,
所述图像帧缓存模块,用于对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;
所述分块模块,用于对所述图像帧缓存模块缓存的所述本帧图像、所述前帧图像和所述后帧图像进行分块;
所述块运动矢量计算模块,用于确定所述本帧图像中分块分别相对于所述前帧图像的前向块运动矢量和相对于所述后帧图像的后向块运动矢量;
所述坏点检测模块,用于根据所述块运动矢量计算模块得到的所述前向块运动矢量和所述后向块运动矢量对所述分块中每个像素点进行坏点检测;
所述修复模块,用于对所述坏点检测模块检测到的所述分块中的坏点进行修复。
69、根据权利要求68所述的图像坏块修复装置,其特征在于,所述坏点检测模块包括运动补偿点确定子模块和坏点检测子模块,
所述运动补偿点确定子模块,用于根据所述前向块运动矢量和所述后向块运动矢量确定所述分块中每个像素点分别相对于所述前帧图像的前帧运动补偿点和相对于所述后帧图像的后帧运动补偿点;
所述坏点检测子模块,用于根据所述分块中的每个像素点,以及所述运动补偿点确定子模块得到的对应的所述前帧运动补偿点和所述后帧运动补偿点对所述分块中的每个像素点进行坏点检测。
70、根据权利要求69所述图像坏块修复装置,其特征在于,所述块运动矢量计算模块还包括分级子模块和本级块运动矢量计算子模块,
所述分级子模块,用于根据分辨率对所述本帧图像、所述前帧图像和所述后帧图像进行分级,其中,分辨率越高则所述图像级别越高,所述分级的分辨率与所述分块的大小相反;
所述本级块运动矢量计算子模块,用于将下级图像中分块的前向块运动矢量和后向块运动矢量作为本级图像中对应分块的初始值,得到所述本级图像中分块的前向块运动矢量和后向块运动矢量,直至得出所述最高级图像中分块的前向块运动矢量和后向块运动矢量。
71、根据权利要求70所述图像坏块检测装置,其特征在于,所述块运动矢量计算模块还包括判断子模块和修正子模块,
所述判断子模块,用于判断所述下级图像中分块的块运动矢量是否可靠;
所述修正子模块,用于在所述判断子模块判断所述块运动矢量不可靠时,对所述块运动矢量进行修正。
全文摘要
本发明提出一种图像坏点检测方法,包括对至少三帧连续的图像进行缓存,包括本帧图像、至少一前帧图像和至少一后帧图像;确定本帧图像中像素点分别相对于前帧图像的前向运动矢量和相对于所述后帧图像的后向运动矢量;根据前向运动矢量和后向运动矢量确定本帧图像中像素点分别相对于前帧图像的前帧运动补偿点和相对于后帧图像的后帧运动补偿点;根据所述前帧运动补偿点和所述后帧运动补偿点对所述本帧图像中所述像素点进行坏点检测。本发明考虑了图像在时间上和空间上图像灰度与运动矢量相关的特点,根据运动矢量得到本帧图像中像素点对应前后帧图像中的运动补偿点,从而提高坏点或坏块的检测精度,改进图像中坏点或坏块的修复的准确度。
文档编号H04N5/14GK101299799SQ20081011492
公开日2008年11月5日 申请日期2008年6月13日 优先权日2008年6月13日
发明者谌安军 申请人:北京中星微电子有限公司