增强边缘特征的CBDNet去噪网络优化方法及系统与流程

本发明涉及图像处理，尤其涉及一种增强边缘特征的cbdnet去噪网络优化方法及系统。

背景技术：

1、图像去噪是数字图像处理的重要手段，旨在减少成像过程引入或是人为添加的各种噪声。去噪算法通常作为图像预处理阶段的重要环节，亦或是用于增强图像清晰度。当今，去噪技术追求尽可能地消除所有噪声，并且保证图像中的信息不会因过度去噪而受到损坏。

2、目前的图像去噪算法都有着良好的去噪效果。如cbdnet采用了串行分支结构，先通过噪声估计网络来估计噪声水平，再通过非盲去噪网络根据噪声水平来进行去噪操作。然而，虽然cbdnet的去噪效果尚佳，但由于池化过程可能导致细节丢失，且u-net存在语义鸿沟问题，从而导致图像边缘模糊。

3、因此，亟需一种增强边缘特征的cbdnet去噪网络优化方法及系统。

技术实现思路

1、本发明的目的是提供一种增强边缘特征的cbdnet去噪网络优化方法及系统，以解决上述现有技术中的问题，能够对cbdnet中非盲去噪网络模型进行优化，尽可能地保留边缘细节。

2、本发明提供了一种增强边缘特征的cbdnet去噪网络优化方法，其中，包括：

3、分别获取真实图像数据集和合成图像数据集；

4、将选自所述真实图像数据集和所述合成图像数据集中的原图像交替输入噪声估计网络，输出噪声估计图；

5、对所述原图像和所述噪声估计图进行拼接；

6、将拼接后的所述原图像和所述噪声估计图输入非盲去噪网络中，输出去噪后的图像，其中，所述非盲去噪网络采用u-net架构，包括若干卷积层、两个双线性插值上采样层和两个indexnet模块。

7、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，所述分别获取真实图像数据集和合成图像数据集，具体包括：

8、采用真实成像设备拍摄得到所述真实图像数据集；

9、获取无噪图像数据集，并在无噪图像数据集中的各无噪图像中添加泊松-高斯噪声，然后对添加有泊松-高斯噪声的无噪图像进行去马赛克和伽马矫正过程，得到所述合成图像数据集。

10、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，所述将选自所述真实图像数据集和所述合成图像数据集中的原图像交替输入噪声估计网络，输出噪声估计图，具体包括：

11、输入所述噪声估计网络的原图像与所述噪声估计网络输出的噪声估计图的尺寸相同，所述噪声估计网络采用全卷积网络，且没有池化层和bn层。

12、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，输入所述噪声估计网络的原图像和所述噪声估计网络输出的噪声估计图的分辨率大小均为h×w×3；所述噪声估计网络包括5个relu激活的标准卷积层，前4个卷积层包含32个卷积核，最后一个卷积层包含3个卷积核，且所有卷积层的卷积核大小均为3×3。

13、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，所述对所述原图像和所述噪声估计图进行拼接，具体包括：

14、采用concatenate函数将所述原图像与所述噪声估计图拼接成一个分辨率大小为h×w×6的向量。

15、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，所述非盲去噪网络包括5个卷积块、1个卷积层、2个平均池化层、两个双线性插值上采样层和两个indexnet模块，其中，第一个卷积块由2个卷积层组成，第二个卷积块由3个卷积层组成，第三个卷积块由6个卷积层组成，第四个卷积块由3个卷积层组成，第五个卷积块由2个卷积层组成；第一个indexnet模块添加在第一个卷积块之后，用于指导第一个平均池化层和第二个双线性插值上采样层，第二个indexnet模块添加在第二个卷积块之后，用于指导第二个平均池化层和第一个双线性插值上采样层。

16、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，各所述indexnet模块包括1个indexblock、sigmoid激活函数和softmax激活函数，其中，indexblock作为学习模块，由1个卷积层和1个像素重构层构成，

17、所述将拼接后的所述原图像和所述噪声估计图输入非盲去噪网络中，输出去噪后的图像，具体包括：

18、将拼接后的所述原图像和所述噪声估计图，送入indexblock，首先经过卷积核步长为2、输出通道数为4的卷积层，将图像长宽减半，再经过像素重构层将四个特征图合并成一个特征图，其尺寸也恢复为原来的大小；

19、indexblock输出的图像经过sigmoid激活函数后用于指导上采样过程，将indexblock输出的图像与上采样之前的图像进行元素乘法，再进行上采样操作；

20、indexblock输出的图像经过sigmoid函数后再经过softmax激活函数得到的图像则用于指导下采样过程，将indexblock输出的图像先与下采样之前的图像进行元素乘法，再进行下采样操作，并在经过下采样后将图像中每个元素乘4。

21、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，所述将拼接后的所述原图像和所述噪声估计图输入非盲去噪网络中，输出去噪后的图像，具体包括：

22、将分辨率为h×w×6的拼接后的所述原图像和所述噪声估计图输入非盲去噪网络，经过2次indexnet指导的平均池化层后像素逐渐减小，再经过2次indexnet指导的双线性插值上采样层后像素恢复为原来的尺寸，输出分辨率为h×w×3的图像。

23、如上所述的增强边缘特征的cbdnet去噪网络优化方法，其中，优选的是，根据总损失函数训练所述噪声估计网络和所述非盲去噪网络，并采用随机梯度下降方法进行参数更新，共同训练所述噪声估计网络和所述非盲去噪网络两个网络，其中，所述总损失函数由所述噪声估计网络输出位置的非对称损失函数和全变差损失函数、和所述非盲去噪网络输出位置的像素级均方误差损失函数加权构成，并且，

24、通过以下公式计算所述噪声估计网络输出位置的所述非对称损失函数lasymm，

25、

26、其中，yi表示输入到噪声估计网络的图像，表示噪声强度估计值，σ(yi)表示ground-truth无噪图像的噪声强度；对于ie，e为真时，ie＝1，否则ie＝0；通过赋值α＜0.5来对低估噪声强度实施更大的惩罚力度；

27、通过以下公式计算所述噪声估计网络输出位置的所述全变差损失函数ltv，

28、

29、其中，grafh表示水平方向的梯度，grafv表示垂直方向的梯度；|| ||2表示l2范数；

30、通过以下公式计算所述非盲去噪网络输出位置的像素级均方误差损失函数lrec，

31、

32、其中，表示去噪结果，x表示ground-truth无噪图像，

33、通过以下公式计算所述总损失函数，

34、l＝lrec+λasymmlasymm+λtvltv    (4)

35、其中，λasymm表示非对称损失函数lasymm的权重，λtv表示全变差损失函数ltv的权重，并且在使用真实数据训练时不使用lasymm，仅考虑ltv和lrec，此时lasymm＝0。

36、本发明还提供一种增强边缘特征的cbdnet去噪网络优化系统，包括：

37、数据集获取模块，用于分别获取真实图像数据集和合成图像数据集；

38、噪声估计模块，用于将选自所述真实图像数据集和所述合成图像数据集中的原图像交替输入噪声估计网络，输出噪声估计图；

39、图像拼接模块，用于对所述原图像和所述噪声估计图进行拼接；

40、非盲去噪模块，用于将拼接后的所述原图像和所述噪声估计图输入非盲去噪网络中，输出去噪后的图像，其中，所述非盲去噪网络采用u-net架构，包括若干卷积层、两个双线性插值上采样层和两个indexnet模块。

41、本发明提供一种增强边缘特征的cbdnet去噪网络优化方法及系统，将indexnet加入了非盲去噪网络，将两个转置卷积层替换为双线性插值上采样层，并通过indexnet输出的两张权重图与采样前的图像进行元素乘法来指导采样过程，解决了非盲去噪网络下采样过程中丢失信息导致边缘模糊的问题；将u-net与indexnet进行结合，既保留了u-net获取多层次特征的能力，又通过indexnet模块增强了边缘细节特征；通过减少去噪过程中图像边缘信息的丢失来提高后续图像处理或检测的效果；利用cbdnet的非盲去噪网络的方式来保留更多的图像纹理特征，同时降低噪声估计网络高估噪声水平导致的过度去噪造成的影响。