一种基于卷积神经网络的超分辨率图像重建方法

文档序号:25172500发布日期:2021-05-25 14:43阅读:来源:国知局

技术特征:

1.一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,包括以下步骤:

步骤一、获取训练图像数据集和测试图像数据集;其中,所述图像为低分辨率图像;

步骤二、设定训练参数和内容损失函数,构建改进的超分辨率卷积神经网络模型;

步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入,调整所述训练参数直至所述内容损失函数最小化,获得训练好的超分辨率卷积神经网络模型;

步骤四、将所述测试图像数据集输入训练好的超分辨率卷积神经网络模型,获得高分辨率图像。

2.根据权利要求1所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,步骤二中训练参数包括学习率和训练次数;所述内容损失函数为均方误差。

3.根据权利要求2所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,步骤二中所述改进的超分辨率卷积神经网络模型包括特征提取模块、非线性映射模块、上采样模块和特征重组模块,特征提取模块的输出与非线性映射模块的输入相连,非线性映射模块的输出与上采样模块的输入相连,上采样模块的输出与特征重组模块的输入相连;其中,所述特征提取模块用于采用卷积操作从低分辨率图像中提取特征信息;所述非线性映射模块用于将特征信息映射到高维向量上,获得多个高维特征图;所述上采样模块用于对高维特征图进行放大;所述特征重组模块用于将放大后的多个高维特征图重组,获得高分辨率图像。

4.根据权利要求3所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,所述非线性映射模块中加入了跳跃连接的多个残差块,所述残差块的结构依次是卷积、块的标准化、激活函数、卷积、块的标准化、各元素对应乘积后求和,其中,所述激活函数是relu函数;所述上采样模块采用亚像素层卷积方法对特征图进行重构,所述亚像素层卷积方法为:将多通道特征图上的单个像素,按一定的组合方式形成一个特征图单位,并且每个特征图上的像素等价于新特征图上的亚像素。

5.根据权利要求4所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,步骤二中所述改进的超分辨率卷积神经网络模型还包括降维模块,所述降维模块用于采用卷积操作将特征图的通道数降为rgb的3维通道。

6.一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,包括以下步骤:

步骤一、获取训练图像数据集和测试图像数据集;其中,所述图像为低分辨率图像;

步骤二、设定训练参数和内容损失函数,构建改进的超分辨率卷积神经网络模型;

步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入,调整所述训练参数直至所述内容损失函数最小化,获得训练好的超分辨率卷积神经网络模型;

步骤四、将训练好的超分辨率卷积神经网络模型作为生成对抗网络模型中的生成网络模型,使用生成对抗损失函数同时训练所述生成网络模型和生成对抗网络模型中的判别网络模型,直到生成网络和判别网络达到纳什平衡,获得最终训练好的生成网络模型和判别网络模型;

步骤五、将所述测试图像数据集输入步骤四中最终训练好的生成网络模型中,获得高分辨率图像。

7.根据权利要求6所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,步骤二中训练参数包括学习率和训练次数;所述内容损失函数为均方误差。

8.根据权利要求7所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,步骤二中所述改进的超分辨率卷积神经网络模型包括特征提取模块、非线性映射模块、上采样模块和特征重组模块,特征提取模块的输出与非线性映射模块的输入相连,非线性映射模块的输出与上采样模块的输入相连,上采样模块的输出与特征重组模块的输入相连;其中,所述特征提取模块用于采用卷积操作从低分辨率图像中提取特征信息;所述非线性映射模块用于将特征信息映射到高维向量上,获得多个高维特征图;所述上采样模块用于对高维特征图进行放大;所述特征重组模块用于将放大后的多个高维特征图重组,获得高分辨率图像。

9.根据权利要求8所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,所述非线性映射模块中加入了跳跃连接的多个残差块,所述残差块的结构依次是卷积、块的标准化、激活函数、卷积、块的标准化、各元素对应乘积后求和,其中,所述激活函数是relu函数;所述上采样模块采用亚像素层卷积方法对特征图进行重构,所述亚像素层卷积方法为:将多通道特征图上的单个像素,按一定的组合方式形成一个特征图单位,并且每个特征图上的像素等价于新特征图上的亚像素。

10.根据权利要求9所述的一种基于卷积神经网络的超分辨率图像重建方法,其特征在于,步骤四中所述生成对抗损失函数包括内容损失函数和对抗损失函数,所述生成对抗损失函数的公式表示为:

其中,表示内容损失函数,也即均方误差;表示对抗损失函数。


技术总结
一种基于卷积神经网络的超分辨率图像重建方法,属于图像处理技术领域,用以解决现有的超分辨率卷积神经网络的运行速度慢、得到的图像质量不理想、图像分辨率较低、训练网络梯度易消失等问题。本发明的技术要点包括:对现有超分辨率卷积神经网络模型进行改进,包括:使缩放图像发生在模型后段进行后上采样操作;后上采样为基于学习的上采样‑亚像素方法;加深了网络层数,并在网络中加入了残差网络;并进一步将经过上述改进的超分辨率卷积神经网络模型作为生成对抗网络中的生成网络,并和对抗网络相整合,进一步提高图像重建效率。本发明可广泛应用于超分辨率图像重建研究领域。

技术研发人员:李鹏飞;李丽丽
受保护的技术使用者:哈尔滨理工大学
技术研发日:2021.03.30
技术公布日:2021.05.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1