一种自适应的NLM降噪方法与流程

本发明涉及一种图像降噪方法，具体涉及一种nlm（non-local means,非局部均值）降噪方法。

背景技术：

1、数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示的过程，数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化的过程，其中常见的方法包括：图像增强和复原、图像编码压缩、图像描述等。

2、图像的降噪是图像增强和复原中十分重要的一项内容。其广泛应用于车载影像、监控摄像头等诸多领域。在某些低照度的环境下，比如在傍晚和夜晚的户外，摄像头由于感光不足会产生大量的噪点，为了能够显示清晰，需要对低照度影像降噪，便于肉眼清晰获取实时信息和存储清晰图像便于后续使用。

3、nlm方法是一种具有良好效果的2d图像降噪方法，其基于图像中像素块的相似性，对于每个像素点，取其所在像素块与周围像素块根据合适的距离公式和阈值进行块匹配，再对匹配得到的图像块中对应点做均值得到本点的估计值。由于其相比局部的降噪方法更多地利用了图像信息，一般具有良好的降噪效果，但缺点在于块匹配的运算过于消耗资源，在很多场景不具备应用条件。

4、如今，图像处理在智能汽车、智能家居、智能监控等诸多领域发挥着越来越重要的作用，也对图像的质量提出了更高的要求，传统nlm降噪方法的高资源占用率并不能满足使用要求。

技术实现思路

1、发明目的：针对上述现有技术，提出一种自适应的nlm降噪方法，在具有较好降噪前提下降低算法运行时的系统资源占用量。

2、技术方案：一种自适应的nlm降噪方法，包括：

3、步骤1：对于bayer格式图像中每个像素点，计算以像素点为中心的像素块的局部梯度，根据所述局部梯度以及预设阈值确定每个像素点的细节等级；

4、步骤2：根据每个像素点的所述细节等级以及预设阈值自适应选择块匹配模式；所述匹配模式中，以图像块为单位进行搜索匹配，最小的中心块尺寸为2*2；

5、步骤3：以2*2的像素块为单位，先按照位移向量计算单位之间的像素差值，再根据差值图像，以积分图像法计算得到对应的积分图像；

6、步骤4：在步骤2确认的匹配模式基础上确定目标块以及搜索区域，搜索匹配过程中根据步骤3得到的积分图像计算目标块和匹配块的距离，从而确定匹配权重；

7、步骤5：根据所述匹配权重计算得到去噪后的图像。

8、进一步的，所述步骤1中，通过计算像素点与周围同通道像素点的像素值之差来计算所述像素块的局部梯度。

9、进一步的，所述步骤1中，当所述局部梯度小于阈值th1时，像素点的细节等级设置为0；当所述局部梯度在阈值th1至阈值th2之间时，像素点的细节等级设置为1；当所述局部梯度大于阈值th2时，像素点的细节等级设置为2。

10、进一步的，所述步骤2包括：选取大小为8*8的图像块作为基本块，首先计算基本块中各像素点的细节等级之和s0；将s0与预设阈值th8进行比较，若s0≤th8则直接用该8*8的基本块作为中心块进行匹配；若s0＞th8则将所述基本块分为四个4*4的子块，对于各子块，分别计算子块中各像素点的细节等级level之和s1，再将s1与预设阈值th4进行比较，若s1≤th4则直接用该4*4的子块作为中心块进行匹配；若s1＞th4则将所述4*4的子块分为四个2*2的子块，以各2*2的子块作为中心块进行匹配。

11、进一步的，所述步骤3包括：以2*2的像素块为单位，首先，计算每个单位相对于向量(2x,2y)的单位的像素差值，其中0≤x≤m，-m≤y≤m，m为决定于搜索区域大小的参数；对于-m≤x＜0的向量，通过查找其相反向量的方式计算与对应单元的像素差值，从而得到原始图像对应于向量(2x,2y)的各差值图像；然后，对各差值图像，分别用积分图像法计算得到对应的积分图像。

12、进一步的，所述步骤4中，选取以待处理的中心块为中心，各方向分别扩大两个像素的图像块作为目标块。

13、进一步的，所述步骤4中，所述搜索区域为以所述目标块为中心，各方向分别扩大2m个像素的区域，所述m取2、3、4、5。

14、进一步的，所述步骤4中，在搜索区域内，依次以步长2选取与目标块大小相同的图像块进行匹配，目标块和匹配块的相对位置表示为向量(2x,2y)，找到向量(2x,2y)对应的积分图像，设此时目标块右下角像素点的坐标为d(i,j)，则通过下式计算目标块和匹配块之间的距离d(i,j)：

15、

16、其中，l=n/2，匹配块的大小为n*n；i'=i+2x，j'=j+2y。

17、进一步的，所述步骤4中，所述匹配权重为：，其中，c2为根据降噪强度确定的第一参数，d为距离d(i,j)的简写，g为单调递增的函数，s为中心块中各像素的细节等级之和，为基于双边滤波的思想引入的基于空间距离的权重项，σ为反应滤波强度的项。

18、进一步的，所述步骤5中，当匹配块对应的距离d大于阈值th时，定义匹配块对应的匹配权重w为0；阈值th的计算公式为：

19、th=n2*(f(s)+c1)

20、其中，f为单调递增的函数，c1为根据降噪强度确定的第二参数。

21、有益效果：考虑到nlm图像降噪效果良好但消耗资源，本方法采用整块匹配的总体思路，具体具有如下优点：

22、1. 用加权的图像块计算代替逐点计算。逐点计算可以得到效果更好的图像，但需要消耗大量运算资源。而图像大多存在大片平滑区域，对这些区域整块计算和逐点计算效果差异不大，本发明采用不同的阈值进行整块计算，再通过图片不同区域的高频和低频性质对图像进行自适应的加权平均，可以在保留nlm良好效果的基础上大幅节省计算资源。

23、2. 用局部梯度区域的细节等级，以决定不同区域的降噪参数。

24、3. 采用bayer域上的同通道匹配方法。主流的nlm都是在rgb域进行，少数在bayer域进行的nlm一般采用分离通道的方法，浪费了不同通道之间的结构信息。本发明为了增强算法效果和提高算法效率在bayer域进行计算，并在匹配块时只对相同通道位置进行匹配，避免去马赛克插值带来的“数据污染”，在降低计算数据量的同时保留了不同通道之间的结构信息。

25、4.采用积分图像法，减少重复计算，进一步提高运算效率。

26、5.引入双边滤波思想，同时用空间参数和距离参数进行匹配。

技术特征：

1.一种自适应的nlm降噪方法，其特征在于，包括：

2.根据权利要求1所述的自适应的nlm降噪方法，其特征在于，所述步骤1中，通过计算像素点与周围同通道像素点的像素值之差来计算所述像素块的局部梯度。

3.根据权利要求1所述的自适应的nlm降噪方法，其特征在于，所述步骤1中，当所述局部梯度小于阈值th1时，像素点的细节等级设置为0；当所述局部梯度在阈值th1至阈值th2之间时，像素点的细节等级设置为1；当所述局部梯度大于阈值th2时，像素点的细节等级设置为2。

4.根据权利要求1所述的自适应的nlm降噪方法，其特征在于，所述步骤2包括：选取大小为8*8的图像块作为基本块，首先计算基本块中各像素点的细节等级之和s0；将s0与预设阈值th8进行比较，若s0≤th8则直接用该8*8的基本块作为中心块进行匹配；若s0＞th8则将所述基本块分为四个4*4的子块，对于各子块，分别计算子块中各像素点的细节等级level之和s1，再将s1与预设阈值th4进行比较，若s1≤th4则直接用该4*4的子块作为中心块进行匹配；若s1＞th4则将所述4*4的子块分为四个2*2的子块，以各2*2的子块作为中心块进行匹配。

5.根据权利要求1所述的自适应的nlm降噪方法，其特征在于，所述步骤3包括：以2*2的像素块为单位，首先，计算每个单位相对于向量(2x,2y)的单位的像素差值，其中0≤x≤m，-m≤y≤m，m为决定于搜索区域大小的参数；对于-m≤x＜0的向量，通过查找其相反向量的方式计算与对应单元的像素差值，从而得到原始图像对应于向量(2x,2y)的各差值图像；然后，对各差值图像，分别用积分图像法计算得到对应的积分图像。

6.根据权利要求4所述的自适应的nlm降噪方法，其特征在于，所述步骤4中，选取以待处理的中心块为中心，各方向分别扩大两个像素的图像块作为目标块。

7.根据权利要求5所述的自适应的nlm降噪方法，其特征在于，所述步骤4中，所述搜索区域为以所述目标块为中心，各方向分别扩大2m个像素的区域，所述m取2、3、4、5。

8.根据权利要求1-7任一所述的自适应的nlm降噪方法，其特征在于，所述步骤4中，在搜索区域内，依次以步长2选取与目标块大小相同的图像块进行匹配，目标块和匹配块的相对位置表示为向量(2x,2y)，找到向量(2x,2y)对应的积分图像，设此时目标块右下角像素点的坐标为d(i,j)，则通过下式计算目标块和匹配块之间的距离d(i,j)：

9.根据权利要求8所述的自适应的nlm降噪方法，其特征在于，所述步骤4中，所述匹配权重为：

10.根据权利要求9所述的自适应的nlm降噪方法，其特征在于，所述步骤5中，当匹配块对应的距离d大于阈值th时，定义匹配块对应的匹配权重w为0；阈值th的计算公式为：

技术总结
本发明公开了一种自适应的NLM降噪方法，1）对于Bayer格式图像中每个像素点，计算以像素点为中心的像素块的局部梯度，用于确定每个像素点的细节等级；2）根据每个像素点的细节等级自适应选择块匹配模式；所述匹配模式中，以图像块为单位进行搜索匹配；3）以2*2的像素块为单位，先按照位移向量计算单位之间的像素差值，再根据差值图像以积分图像法计算得到对应的积分图像；4）在确认的匹配模式基础上确定目标块以及搜索区域，搜索匹配过程中根据积分图像计算目标块和匹配块的距离，从而确定匹配权重；5）根据匹配权重得到去噪后的图像。本方法采用整块匹配的总体思路，在具有较好降噪前提下降低算法运行时的系统资源占用量。

技术研发人员：季北辰,王彬,周康,程银,张永生,王中杰,熊傲然,聂玮成
受保护的技术使用者：江苏游隼微电子有限公司
技术研发日：
技术公布日：2024/1/13