技术特征：
1.一种基于改进unet的raw域夜景图像去噪方法，其特征在于，包括如下步骤：s1:获得噪声图像和高质量图像数据集，并且将图片进行像增强操作；s2:采用类unet的训练网络，在图像下采样阶段，采用改进自注意力模块进行特征提取，提取全局信息；s3:在图像上采样阶段，采用卷积模块，并结合像素重组方法，把低分辨率的潜在特征作为输入，并分阶段恢复出高分辨率的图像；并在网络添加全局和局部残差卷积块，s4:将数据集分为训练集和测试级，记录训练损失值以及测试集的峰值信噪比psnr和结构相似性ssim作为模型的评估依据；s5：将待处理的噪声图像加载到模型中，经过处理后获得去噪后的图像。2.根据权利要求1所述的基于改进unet的raw域夜景图像去噪方法，其特征在于，所述步骤s1中，获得噪声图像和高质量图像数据集并进行图像增强操作，具体包括如下步骤：s11：针对同一场景，拍摄低iso图像作为真实标签，高iso图像作为噪声图像，并调整曝光时间等相机参数使得两张图像亮度一致；s12：将图片进行随机裁剪、旋转和缩放，使其能够正常输入到网络模型中；且由于raw域图像读入时为单通道数组，进行通道数的改变以及归一化处理，如下公式所示：其中，output为输出图像，raw为输入的raw格式的图像，black_level为传感器的黑电平，white_level为传感器的白电平。3.根据权利要求1所述的基于改进unet的raw域夜景图像去噪方法，其特征在于，在网络添加全局和局部残差卷积块，全局残差块包括对下采样的每个改进transformer模块和上采样的cnn模块的输入输出都进行跳跃连接，局部残差块包括对每个模块内部进行阶段性的跳跃连接，如下公式所示：y＝f(x)+x其中，x为输入特征图，f(x)为经过处理后的特征图，y为输出特征图。4.根据权利要求3所述的基于改进unet的raw域夜景图像去噪方法，其特征在于，所述步骤s2中，所述进自注意力模块包括self-attention模块和前馈神经网络；具体方法为：s21：先对输入特征图进行逐层归一化，如下公式所示：计算第l层的均值和方差：计算第l层的均值和方差：式中，为第l层第i个神经元的净输入，n
(l)
为第l层神经元的数量；再进行层归一化：
式中，γ为缩放因子，β为平移因子，z
l
为逐层归一化后的第l层神经元，∈为一个较小值，防止除0操作；s22：层归一化向量之后特征图大小为x∈r
h
×
w
×
c
，再使用逐点卷积改变输入特征图的通道数，融合各个通道在相同空间位置上的特征信息；然后使用逐通道卷积，融合每个通道在不同空间位置上的特征信息；以此学习到self-attention中的产生q、k和v矩阵，如下公式：attention中的产生q、k和v矩阵，如下公式：attention中的产生q、k和v矩阵，如下公式：其中，是尺寸为1
×
1的逐点卷积，是尺寸为3
×
3的逐通道卷积，h、w和c分别为输入特征图的宽、高和通道数；s23：最后再经过一次逐层归一化后通过一个前馈神经网络得到最终输出；总的来说，整个自注意力模块的流程为：t＝attention(q，k，v)+xout＝mlp(ln(t))+t其中，t为中间处理过程中的向量，out为经过自注意力模块的输出向量，ln(
·
)为层归一化，mlp(
·
)为多层感知机，为向量的维度。5.根据权利要求4所述的基于改进unet的raw域夜景图像去噪方法，其特征在于，所述步骤s3中，在图像上采样阶段采用像素重组方法，把低分辨率的潜在特征作为输入并分阶段恢复出高分辨率的图像，具体包括：上采样阶段的每个卷积模块包括两个子模块，每个子模块都包括两个3
×
3卷积层和一个relu激活层，并且也都融合了全局和局部的残差连接；将下采样过后的低分辨率潜在特征图作为输入，通过融合各个通道的像素来重构特征图，以输入特征图(n,c,h,w)为例，其中，n为批量大小，c为通道数，h为图像的高度，w为图像的宽度；像素重组会将输入特征图变换成其中，r为图像扩大的倍数；最后再通过逐点卷积改变通道数；编码器的特征通过跳过连接与解码器的特征串联在一起。6.根据权利要求5所述的基于改进unet的raw域夜景图像去噪方法，其特征在于，所述步骤s4中，将数据集分为训练集和测试级，记录训练损失值以及测试集的峰值信噪比psnr和结构相似性ssim作为模型的评估依据，具体为：首先计算原图像与被处理图像之间的均方误差，再计算psnr：首先计算原图像与被处理图像之间的均方误差，再计算psnr：
其中，x(h,w)为原图像位置为(h,w)的像素值，y(h,w)为处理后图像位置为(h,w)的像素值，max为图像可能的最大像素值；ssim比较亮度、对比度和结构三个指标，其计算流程如下：sim比较亮度、对比度和结构三个指标，其计算流程如下：sim比较亮度、对比度和结构三个指标，其计算流程如下：sim比较亮度、对比度和结构三个指标，其计算流程如下：其中，μ
x
，μ
y
分别原图像和处理后图像的均值，σ
x
，σ
y
分别为原图像和处理后图像的方差，σ
x
σ
y
为原图像和处理后图像的协方差，c1，c2，c3为常数，避免除零。7.根据权利要求6所述的基于改进unet的raw域夜景图像去噪方法，其特征在于，所述步骤s5中，所述将噪声图像加载到模型中，具体为：将噪声图像切分为较小的图像，将小图像加载到模型进行训练，再将输出图像进行拼接，即得到最终去噪后的图像。
技术总结
本发明公开了一种基于改进Unet的RAW域夜景图像去噪方法，包括S1:获得噪声图像和高质量图像数据集，并且将图片进行数据增强操作；S2:采用类Unet的训练网络，在图像下采样阶段，采用改进自注意力模块进行特征提取，提取全局信息；S3:在图像上采样阶段，采用卷积模块，并结合像素重组方法，把低分辨率的潜在特征作为输入，并分阶段恢复出高分辨率的图像；并在网络添加全局和局部残差卷积块，S4:将数据集分为训练集和测试级，记录训练损失值以及测试集的峰值信噪比PSNR和结构相似性SSIM作为模型的评估依据；S5：将待处理的噪声图像加载到模型中，经过处理后获得去噪后的图像。通过采用自注意力模型进行全局建模，相比于传统的Unet模型取得了更好的效果。模型取得了更好的效果。模型取得了更好的效果。
技术研发人员：秦宗韬 黄馨怡 和子杰 张宇韬 杨亚楠 段馨妍 王昕怡
受保护的技术使用者：河海大学
技术研发日：2022.08.25
技术公布日：2022/11/25