用于抑制图像中的噪声的方法和系统的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本专利申请是2013年7月16日申请的、申请号为13/943,035的美国专利申请的 继续，其主张2012年7月16日申请的、申请号为61/672, 010的美国临时专利申请的优先 权，通过引用的方式将它们作为整体合并到本文中。
技术领域
[0003] 本发明的一个或多个实施例总体上设及数字图像处理，并且更具体的，例如设及 图像中的噪声抑制。
【背景技术】
[0004] 噪声是导致图像传感器捕获的图像（例如，视频和静止图像）退化的主要原因之 一。在假设噪声是随机的和非结构化的W便可W通过平均或平滑来去除噪声的情况下，传 统的噪声滤波技术一般通过应用各种平均或平滑操作来抑制噪声。
[0005] 然而，噪声的非结构化随机的假设是不准确的。实际上，噪声可W包括固定模式噪 声（FPN)分量（例如，由于读出电路中的列噪声、不规则像素尺寸和/或其他不规则性导致 的噪声）和随机噪声分量。FPN分量可W表现为基本上不随时间变化的噪声模式，因此通过 平均不能使其衰减，而是在传统的噪声滤波之后其通常变得更加明显。对于低成本传感器、 具有极窄像素间距的传感器或者在执行中W极低的信噪比（SNR)工作（例如，在微光成像、 热成像、范围成像或具有低SNR的其他成像应用中）的传感器来说，FPN变得更成问题。另 夕F，对于大多数成像器来说，FPN和随机噪声分量通常是结构化的（例如，有色噪声），并且 在FPN和随机噪声分量中存在不同的相关性。因此，传统的滤波技术通常会产生具有明显 结构化的伪影的图像。
【发明内容】
[0006] 本发明公开了有效地抑制图像（例如，视频或静止图像）中的噪声的各种技术。例 如，可W将图像中的噪声更准确的建模为具有结构化的随机噪声分量和结构化的固定模式 噪声（FPN)分量。可W实时地W及在离线处理中稳健地并有效地估计噪声的各种参数。可 W基于各种噪声参数和运动参数，对图像中的噪声进行自适应地滤波。该种滤波技术可W 有效地抑制噪声，甚至是具有突出的FPN分量的图像中的噪声，并且还可W提高可能受到 噪声影响的其他操作的效率。
[0007] 在一个实施例中，一种方法包括：接收多个视频图像帖；通过对从所述视频图像 帖提取的多个图像块进行分组，构建多个时空体积；对所述时空体积进行滤波，其中，所述 滤波为对所述视频图像帖中的随机噪声（RND)分量的功率谱密度（PSD)和固定模式噪声 (FPN)分量的PSD进行建模，W抑制该两种类型的噪声；W及对滤波后的时空体积的图像块 进行聚合，W生成多个滤波后的视频图像帖。
[000引在另一个实施例中，一种系统包括；视频接口，其被配置为接收多个视频图像帖； 处理器，其与所述视频接口通信并被配置为：通过对从所述视频图像帖提取的多个图像块 进行分组，构建多个时空体积，对所述时空体积进行滤波，其中，所述滤波为对所述视频图 像帖中的随机噪声（RND)分量的功率谱密度（PSD)和固定模式噪声（FPN)分量的PSD进行 建模，W抑制该两种类型的噪声；W及对滤波后的时空体积的图像块进行聚合，W生成多个 滤波后的视频图像帖；W及存储器，其与所述处理器通信并被配置为存储所述视频图像帖。
[0009] 本发明的范围由通过引用的方式合并到该部分的权利要求书限定。通过考虑下面 对一个或多个实施例的详细描述，将向本领域技术人员提供对本发明实施例的更加完整的 理解W及其实现的附加的优点。参考首先将简要介绍的附图。
【附图说明】
[0010] 图1示出了根据本公开实施例的视频处理系统的框图。
[0011] 图2A-2B示出了根据本公开实施例的视频图像中的随机噪声的例子。
[0012] 图2C示出了根据本公开实施例的视频图像中的固定模式噪声肿脚的例子。
[0013] 图3A和3B示出了根据本公开实施例的、分别表示随机噪声分量和FPN分量的功 率谱密度的例子的图表。
[0014] 图4示出了根据本公开实施例的、抑制视频图像中的噪声的过程的流程图。
[0015] 图5示出了根据本公开实施例的、构建并滤波时空体积W抑制视频图像中的噪声 的过程的流程图。
[0016] 图6示出了根据本公开实施例的、为了构建时空体积而提取图像块所沿着的运动 轨迹的例子。
[0017] 图7示出了根据本公开实施例的、对时空体积的=维（3D)光谱执行滤波的视觉表 /J、- 〇
[0018] 图8示出了根据本公开实施例的、随机噪声分量和FPN分量的功率谱密度的例子 的各种二维（2D)变换的表示。
[0019] 图9示出了根据本公开实施例的、红外成像传感器捕获的输入视频图像帖的例 子。
[0020] 图10A示出了通过使用传统技术进行滤波产生的视频图像帖的例子。
[0021] 图10B示出了通过使用传统技术进行滤波和增强产生的视频图像帖的例子。
[0022] 图11A示出了根据本公开实施例进行滤波后产生的视频图像帖的例子。
[0023] 图11B示出了根据本公开实施例进行滤波和增强后产生的视频图像帖的例子。
[0024] 通过参考下面的详细描述，可W最好地理解本发明的实施例及其优点。应当理解 的是，相同的参考标号用于标识在一个或多个附图中示出的相同的元件。
【具体实施方式】
[0025] 本文公开的方法和系统的各种实施例可用于对随机噪声和FPN建模W抑制图像 (例如，视频或静止图像）中的两种类型的噪声。更具体的，在一个或多个实施例中，即使 在具有突出的FPN分量的图像中，通过更准确地对噪声建模W包括随机噪声分量和FPN分 量、估计一个或多个噪声参数，基于运动自适应参数对图像进行滤波、和/或执行本文描述 的其他操作，方法和系统可W允许有效地抑制噪声。
[0026] 在本文公开的方法和系统的一个方面，可W在时空体积上执行滤波，可W通过对 沿着运动轨迹从视频图像帖序列提取的图像块进行分组（例如，固定大小的部分或一段视 频图像帖）来构建时空体积中的任意一个。因为该时空体积中不同的图像块可W属于视频 图像上的不同的空间位置，所WFPN可W显示为体积中的随机噪声，从而可W将FPN作为该 种随机噪声进行建模和滤波。如果运动很少或没有运动，不同的图像块可W对准（例如，属 于视频图像帖上的相同的空间位置），从而FPN可W在时空体积中保持为该样。就该方面而 言，如本文进一步描述的，不仅基于各种噪声参数，还基于在时空体积中捕获的相对运动， 通过自适应地对时空体积滤波，本公开的各种实施例可W有效地抑制FPN。
[0027] 在本文公开的方法和系统的另一个方面，根据本公开的各个实施例，可W通过使 用待处理的视频图像和/或可W用于估计噪声参数目的的其他视频图像，估计与FPN和随 机噪声都相关的一个或多个噪声参数。
[002引因此，在各种实施例中，可W基于估计的噪声参数和在体积中捕获的运动（例如， 图像块的逐帖的相对空间对准），在时空体积上自适应地执行滤波操作。在某些实施例 中，可W通过对时空体积应用=维（3D)变换（例如，离散余弦变换值CT)、离散正弦变换 值ST)、离散小波变换值WT)或其他正交变换）W获得3D光谱、修改（例如，调整、自适应 地缩小）3D光谱的系数并且应用逆变换W获得滤波后的时空体积，来有效地执行该滤