专利名称：一种图像序列帧间闪烁噪声消除装置的制作方法
技术领域：
本发明提供一种能减小图像序列帧间闪烁噪声的装置，尤其是用于滤除多帧图像序列帧间闪烁噪声的装置。
背景技术：
任何感光电子器件都会存在噪声。图像传感器在拍摄多帧序列图像时，由于随机噪声的影响，序列图像在连续播放时，画面充满了严重的闪烁噪声，极大地影响了视频序列的质量。
目前对图像噪声有的不做任何处理，有的只做空间域上的噪声抑制(即只在同一帧内利用空间上相邻的图像像素点间的关系进行处理)，空间域上的噪声表现为，对着均匀的物体拍出来的一张图像却有类似麻点的不均匀像素点存在。对空间域上噪声的抑制，可以采用均值滤波、中值滤波等方法。另外，对于图像噪声的处理还包括图像叠加平均技术，此技术多用于获取高信噪比的单帧图像，多为对同一静态场景拍摄多帧图像然后叠加，叠加平均后获得的单帧图像拥有很高的“信噪比”，但该方法不适用于序列图像处理，尤其是存在图像间运动的序列图像的处理。
发明内容
本发明要解决的技术问题是提供一种图像序列帧间闪烁噪声消除装置。
为了解决上述技术问题，本发明提供了一种图像序列帧间闪烁噪声消除装置，包括感光器件、帧间噪声抑制单元、图像保存单元、图像提取单元和存储单元，其中所述感光器件用于拍摄图像，并将拍摄的图像序列输出到帧间噪声抑制单元；
所述图像保存单元用于将所述感光器件或帧间噪声抑制单元输出的输入图像序列或输出图像序列的帧实时写入存储单元；所述存储单元用于保存图像帧，其容量至少要能保存N-1帧图像，N是叠加平均处理时采用的帧数；所述图像提取单元用于在感光元件输出第i帧图像时，从存储单元中提取出第i-1帧、第i-2帧……第i-N+1帧图像，输出到所述帧间噪声抑制单元，并将第i-N+1帧图像从存储单元中删除；所述帧间噪声抑制单元用于在接收到感光器件输出的第i帧图像时，根据图像提取单元输出的第i-1帧、第i-2帧……第i-N+1帧图像，逐点判断第i帧图像的各像素点属于背景还是属于运动目标，对属于背景的像素点进行多帧叠加平均，对属于运动目标的像素点保持不变，然后输出该处理后的第i帧图像。
进一步地，上述装置还可具有以下特点所述图像保存单元在收到输入的图像帧后，先对其进行压缩，然后再写入所述存储单元；所述图像提取单元在提取某一帧时，先对其进行解压缩，再输出到所述帧间噪声抑制单元。
进一步地，上述装置还可具有以下特点所述图像保存单元采用的是JPEG压缩格式或ADPCM压缩格式。
进一步地，上述装置还可具有以下特点所述图像提取单元提取第i-1帧、第i-2帧……第i-N+1帧时，一次只提取出这些帧相同位置的部分图像，解压缩后输出到所述帧间噪声抑制单元，如此逐次提取，直到将这些帧的全部图像解压缩和输出到所述帧间噪声抑制单元。
进一步地，上述装置还可具有以下特点所述帧间噪声抑制单元进一步包括像素点比较子单元，用于将输入图像序列第i帧的每一像素点，和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧；叠加平均子单元，用于将输入图像序列第i帧和像素点比较子单元记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变；输出子单元，用于在叠加平均子单元完成所有像素点的叠加平均处理后，输出图像序列的第i帧。
进一步地，上述装置还可具有以下特点所述帧间噪声抑制单元进一步包括像素点比较子单元，用于将输入图像序列第i帧的每一像素点，依次和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，如果和某帧比较时判断第i帧的该像素点属于运动目标，则停止比较；叠加平均子单元，用于将输入图像序列第i帧和像素点比较子单元记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变；输出子单元，用于在叠加平均子单元完成所有像素点的叠加平均处理后，输出图像序列的第i帧。
进一步地，上述装置还可具有以下特点所述帧间噪声抑制单元还包括一个N值设定单元，用于由用户设置该N值或在处理过程中自适应地调整该N值。
进一步地，上述装置还可具有以下特点所述像素点比较子单元将输入图像序列第i帧的像素点和另一帧图像对应像素点比较，判断该像素点属于背景还是属于运动目标时，是在所有颜色通道上对该两帧图像的对应像素点求差，如果在所有通道上得到的差值的绝对值都小于相应通道设定的阈值，则判断该像素点属于背景，反之判断该像素点属于运动目标。
进一步地，上述装置还可具有以下特点所述叠加平均子单元对多帧图像的对应像素点进行叠加平均时，是在所有颜色通道上对多帧图像的该像素点进行算术平均。
进一步地，上述装置还可具有以下特点所述帧间噪声抑制单元对于图像序列第N帧以前的各帧，也是提取出该帧之前的输入图像序列或输出图像序列的所有帧，逐点判断各像素点属于背景还是属于运动目标，对属于背景的像素点进行叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的该帧。
与现有技术相比，本发明使用逐点自适应的多帧叠加平均技术，分别针对运动像素点和静止像素点进行不叠加与叠加的操作，避免了运动部分直接叠加会严重影响图像质量的缺陷和不足。除了可以提高每一帧图像的信噪比，同时还可以极大地滤除序列图像的帧间闪烁噪声。具有良好的可实施性和扩展性。
图1是本发明实施例方法的流程图。
图2是本发明实施例装置的结构图。
图3是本发明另一实施例装置的结构图。
具体实施例方式
本发明对时间域上的噪声进行处理的方法，是将逐点自适应的多帧叠加平均技术用于滤除拍摄多帧序列图像时画面上的闪烁噪声。由于人眼对图像运动部分的噪声闪烁远不如静态部分敏感，而运动部分直接叠加会严重影响图像质量，所以我们采用逐点运动自适应的多帧叠加方法。具体来说，存在运动的像素点不叠加，而静止的像素点叠加。
下面以叠加平均处理的帧数等于3时为例，对本发明方法进行说明，如图1所示，该流程包括以下步骤步骤110，对于图像传感器拍摄的输入图像序列的第1帧，保存该帧并直接作为输出图像序列的第1帧；步骤120，对于输入图像序列的第2帧，提取出保存的第1帧图像，将其中的各像素点逐一和第1帧的对应像素点进行比较，判断该点属于背景还是属于运动目标，对属于背景的像素点进行两帧叠加平均，对属于运动目标的像素点保持不变，得到输出图像序列第2帧，同时保存该第2帧图像；根据两帧图像上的对应像素点判断像素点属于背景还是属于运动目标的方法如下在彩色空间多个颜色通道上进行两帧对应像素点求差，如果图像在多个颜色通道(RGB或者YUV、YIQ等)上同时满足此差值的绝对值小于该通道的阈值，则判断其属于背景，反之判断其属于运动目标。
以RGB通道为例，即判断第i帧和第j帧两个对应像素点之间是否同时满足以下不等式abs(fi(x，y)-fj(x，y))R＜ThresRabs(fi(x，y)-fj(x，y))G＜ThresGabs(fi(x，y)-fj(x，y))B＜ThresB其中，fi(x，y)和fj(x，y)分别表示输入图像序列第i帧和第j帧的对应像素点，ThresR、ThresG、ThresB分别表示在R、G、B通道上设定的阈值，各个通道的Thres可以相同，也可以不同。如果上述三个不等式都满足，则该像素点属于背景，否则，该像素点属于运动目标。
步骤130，对于输入图像序列第i帧，i＝3，4，……，先提取出此前保存的第i-1帧和第i-2帧图像，将第i帧的各像素点逐一和第i-1帧和第i-2帧的对应像素点进行比较，判断该点属于背景还是属于运动目标，对属于背景的像素点进行叠加平均，属于运动目标的像素点则保持不变，得到输出图像序列的第i帧，同时保存输入图像序列的第i帧，并删除原保存的第i-2帧图像；如此逐帧处理，即可得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
具体地，对于输入图像序列的第i帧中的每一像素点，逐一和第i-1帧、第i-2帧图像的对应像素点比较，判断其是否属于背景，如果和第i-1帧、第i-2帧比较时该点都属于背景，则将该三帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点；如果和第i-1帧或第i-2帧比较时该点属于背景，则将该二帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点；如果和第i-1帧、第i-2帧比较时该点都不属于背景，则直接将第i帧的像素点作为输出图像序列第i帧的该像素点。叠加平均应在所有颜色通道上进行，较佳采用算术平均，也可以用加权平均。
类似地，采用N帧叠加平均时(N≥2，如为2～5)，对输入图像序列第i帧的每一像素点，和第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，最后将第i帧和记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变，在处理完所有像素点后，得到输入图像序列的第i帧。
上述对时间域上噪声的抑制方法，采用软件是很容易实现的。但是在很多情况下，是不可能由软件来处理图象序列的，例如在监控摄像头等应用领域，需要直接由硬件的视频处理芯片对图象进行处理并直接送到电视上显示。在这些场合下，就需要用硬件来实现的上述方法。
本实施例结合了图象压缩技术，将压缩后的N-1帧图象的码流存储在芯片内，在需要进行多帧运动检测等操作时，实时地将操作所需的图象数据从压缩码流中解码出来，参与运算。如图2所示，本实施例的图像序列帧间闪烁噪声消除装置包括感光器件、图像保存单元、图像提取单元、存储单元和帧间噪声抑制单元，其中所述感光器件用于拍摄图像，并将拍摄的图像序列输出到图像保存单元和帧间噪声抑制单元。
所述图像保存单元用于将输入的图像帧进行压缩，然后写入存储单元，可以采用JPEG压缩格式或ADPCM压缩格式，ADPCM压缩格式在解压缩时是以逐行的方式来解，之后输出到帧间噪声抑制单元，这样帧间噪声抑制单元需要设置的数据存储空间可以更少，只需要(N-1)行图象数据。
所述存储单元用于保存压缩格式的图像帧，其容量至少要能保存N-1帧压缩格式的图像，N是叠加平均处理的帧数。
所述图像提取单元用于在感光元件输出第i帧图像时，从存储单元中提取出压缩格式的第i-1帧、第i-2帧……第i-N+1帧图像，解压缩后输出到所述帧间噪声抑制单元，然后将第i-N+1帧图像从存储单元中删除。在实际提取时，可以将这些帧的全部图像一次提出，但较佳的方法是一次只提取出这些帧相同位置的部分图像，解压缩后输出到所述帧间噪声抑制单元，如此逐次提取，直到将这些帧的全部图像解压缩和输出到所述帧间噪声抑制单元。该部分图像可以是JPEG压缩标准中所描述的一个宏块(macroblock)行，一般为8行图象数据，这样帧间噪声抑制单元只需要设置保存8*(N-1)行图像数据的存储空间就可以了。
所述帧间噪声抑制单元用于在接收到感光器件输出的第i帧图像时，根据图像提取单元输出的第i-1帧、第i-2帧……第i-N+1帧图像，逐点判断第i帧图像的各像素点属于背景还是属于运动目标，对属于背景的像素点进行多帧叠加平均，对属于运动目标的像素点保持不变，然后输出该处理后的第i帧图像。进一步包括像素点比较子单元，用于将输入图像序列第i帧的每一像素点，和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧；叠加平均子单元，用于将输入图像序列第i帧和像素点比较子单元记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变；输出子单元，用于在叠加平均子单元完成所有像素点的叠加平均处理后，输出图像序列的第i帧。
当N值可变时，可以在该帧间噪声抑制单元中再增加一个N值设定单元，用于由用户设置该N值或在处理过程中自适应地调整该N值。
另外，还有一种最简单的方法是直接在硬件芯片内放置N帧图象的存储器，即图像保存单元和图像提取单元不进行压缩和解压缩，但这将直接给芯片的成本带来很大的影响。
可以看出，本发明采用了逐点自适应的多帧叠加平均技术，根据是否运动决定是否叠加，并可在判断过程中根据实际情况选择不同帧数进行叠加平均，即在对图像序列进行处理的过程中N值是可变的。因为本发明采用了背景像素叠加平均，运动目标像素保持不变的原则，避免了运动部分直接叠加会严重影响图像质量的缺陷和不足。除了可以提高每一帧图像的信噪比，同时还可以极大地滤除序列图像的帧间闪烁噪声。具有良好的可实施性和扩展性。
在上述实施例的基础上，本发明还可以有其它的变换。
例如，另一实施例中，在进行叠加平均时，可以限定在连续的多帧之间进行。即采用N帧叠加时，是将输入图像序列第i帧的每一像素点，依次和第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，如果和某帧比较时判断第i帧的该像素点属于运动目标，则停止比较，然后将第i帧和记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变；在处理完所有像素点后，得到输出图像序列的第i帧。从装置的角度看，帧间噪声抑制单元的像素点比较子单元稍有不同，其它两个子单元的功能是一样的。
对于3帧的情况，对第i帧的各像素点，先和第i-1帧的对应像素点比较，判断该点是否属于背景，如果不属于，将第i帧的该像素点作为输出图像序列第i帧的对应像素点；如果属于，再和第i-2帧图像的对应像素点比较，判断该点是否属于背景，如果属于，将该3帧图像的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点；否则，只将第i帧和第i-1帧图像的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点。和上述实施例的差别在于即使第i帧的像素点和第i-2帧对应像素点比较属于背景，也不进行这两帧该像素点的叠加。这样可以简化运算，不过在效果上要稍差一些。
又如，在另一实施例中，如图3所示，也可以将输出图像序列的帧保存到存储单元，在对下一帧图像进行叠加平均时，再提取出该帧进行比较和叠加平均处理，即采用输出图像序列的第i-1帧、第i-2帧……第i-N+1帧和输入图像序列第i帧进行叠加平均。这样也是可以的。相应地，装置中的图像保存单元就是用于将输出图像序列的帧实时写入存储单元了。
又如，对输入图像序列第N帧以前的帧可以按相同的方式进行叠加平均，如实施例中采用3帧叠加平均时，对第2帧也和第1帧(实施例是输入图像序列的，但也可以是输出图像序列的)一起进行了叠加平均，相当于采用的N值不同。但也可以从第N帧才开始处理，对之前的N-1帧图像直接输出，N值较小时甚至可以不输出之前的N-1帧图像。
权利要求
1.一种图像序列帧间闪烁噪声消除装置，其特征在于，包括感光器件、帧间噪声抑制单元、图像保存单元、图像提取单元和存储单元，其中所述感光器件用于拍摄图像，并将拍摄的图像序列输出到帧间噪声抑制单元；所述图像保存单元用于将所述感光器件或帧间噪声抑制单元输出的输入图像序列或输出图像序列的帧实时写入存储单元；所述存储单元用于保存图像帧，其容量至少要能保存N-1帧图像，N是叠加平均处理时采用的帧数；所述图像提取单元用于在感光元件输出第i帧图像时，从存储单元中提取出第i-1帧、第i-2帧……第i-N+1帧图像，输出到所述帧间噪声抑制单元，并将第i-N+1帧图像从存储单元中删除；所述帧间噪声抑制单元用于在接收到感光器件输出的第i帧图像时，根据图像提取单元输出的第i-1帧、第i-2帧……第i-N+1帧图像，逐点判断第i帧图像的各像素点属于背景还是属于运动目标，对属于背景的像素点进行多帧叠加平均，对属于运动目标的像素点保持不变，然后输出该处理后的第i帧图像。
2.如权利要求1所述的装置，其特征在于，所述图像保存单元在收到输入的图像帧后，先对其进行压缩，然后再写入所述存储单元；所述图像提取单元在提取某一帧时，先对其进行解压缩，再输出到所述帧间噪声抑制单元。
3.如权利要求2所述的装置，其特征在于，所述图像保存单元采用的是JPEG压缩格式或ADPCM压缩格式。
4.如权利要求2所述的装置，其特征在于，所述图像提取单元提取第i-1帧、第i-2帧……第i-N+1帧时，一次只提取出这些帧相同位置的部分图像，解压缩后输出到所述帧间噪声抑制单元，如此逐次提取，直到将这些帧的全部图像解压缩和输出到所述帧间噪声抑制单元。
5.如权利要求1所述的装置，其特征在于，所述帧间噪声抑制单元进一步包括像素点比较子单元，用于将输入图像序列第i帧的每一像素点，和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧；叠加平均子单元，用于将输入图像序列第i帧和像素点比较子单元记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变；输出子单元，用于在叠加平均子单元完成所有像素点的叠加平均处理后，输出图像序列的第i帧。
6.如权利要求1所述的装置，其特征在于，所述帧间噪声抑制单元进一步包括像素点比较子单元，用于将输入图像序列第i帧的每一像素点，依次和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较，判断其是否属于背景，如果和某帧对应像素点比较时判断第i帧的该像素点属于背景，则记录下该帧，如果和某帧比较时判断第i帧的该像素点属于运动目标，则停止比较；叠加平均子单元，用于将输入图像序列第i帧和像素点比较子单元记录下来的所有帧的该像素点进行叠加平均，作为输出图像序列第i帧的该像素点，如果没有记录下任何一帧，则保持第i帧的该像素点不变；输出子单元，用于在叠加平均子单元完成所有像素点的叠加平均处理后，输出图像序列的第i帧。
7.如权利要求5或6所述的装置，其特征在于，所述帧间噪声抑制单元还包括一个N值设定单元，用于由用户设置该N值或在处理过程中自适应地调整该N值。
8.如权利要求5或6所述的装置，其特征在于，所述像素点比较子单元将输入图像序列第i帧的像素点和另一帧图像对应像素点比较，判断该像素点属于背景还是属于运动目标时，是在所有颜色通道上对该两帧图像的对应像素点求差，如果在所有通道上得到的差值的绝对值都小于相应通道设定的阈值，则判断该像素点属于背景，反之判断该像素点属于运动目标。
9.如权利要求5或6所述的装置，其特征在于，所述叠加平均子单元对多帧图像的对应像素点进行叠加平均时，是在所有颜色通道上对多帧图像的该像素点进行算术平均。
10.如权利要求1所述的装置，其特征在于所述帧间噪声抑制单元对于图像序列第N帧以前的各帧，也是提取出该帧之前的输入图像序列或输出图像序列的所有帧，逐点判断各像素点属于背景还是属于运动目标，对属于背景的像素点进行叠加平均，属于运动目标的像素点保持不变，得到输出图像序列的该帧。
全文摘要
一种图像序列帧间闪烁噪声消除装置，该装置包括感光器件；图像保存单元，用于将感光器件或帧间噪声抑制单元输出的输入或输出图像序列的帧实时写入存储单元；存储单元，用于至少保存N－1帧图像；图像提取单元，用于在感光元件输出第i帧时，从存储单元中提取出此前的N－1帧图像输出到帧间噪声抑制单元，并删除第i－N+1帧图像；帧间噪声抑制单元用于根据提取出的N－1帧图像，逐点判断输入图像序列的第i帧图像的各像素点属于背景还是属于运动目标，对属于背景的像素点进行多帧叠加平均，对属于运动目标的像素点保持不变，然后输出处理后的第i帧图像。本发明可提高每一帧图像的信噪比，还可极大地滤除序列图像的帧间闪烁噪声。
文档编号H04N5/217GK1874421SQ20061001223
公开日2006年12月6日 申请日期2006年6月13日 优先权日2006年6月13日
发明者俞青, 王浩 申请人:北京中星微电子有限公司