基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质

本发明涉及一种超分辨率方法，特别是涉及一种基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质。

背景技术：

1、超分辨率(super resolution)技术旨在从模糊的低分辨率图像中重建出其对应的清晰的高分辨率图像。基于深度学习的超分辨率方法由于存在以下缺点而缺乏实际落地应用能力：

2、1、泛化性能差，不能应用于真实的超分场合：现有主流的超分辨率方法有基于卷积神经网络的图像超分辨率，如srcnn等，还有基于对抗生成网络技术的图像超分辨率方法，如esrgan等。这些方法通过将高清的图像进行线性下采样，或者添加高斯噪声，以一种单一固定的下采样方法生成模糊的低分辨率图像，以此来构造成对的数据集。虽然运用了深度学习模型，在各自构造的数据集上取得了较好的效果，但是通过这种方法训练出来的模型，用于现实世界中的其他低清图像时，一般会产生较明显的伪影，导致超分辨率效果不佳。

3、2、需要耗费大量人力物力去构造真实的成对数据集：许多研究试图用真实的低清图像和真实的高清图像组成成对的数据集进行训练以克服上述伪影问题。但是现实世界中，极少能出现对一物体的同一角度、不同清晰度的成对图像，采集数据集变得困难。现有的一些方法尝试使用相机变焦等方法，人为对成对的数据集进行采集，但是这个方法需要耗费大量的人力和物力。

技术实现思路

1、针对上述现有技术的缺陷，本发明提供了一种基于风格迁移的核磁图像超分辨率方法，解决采用下采样构造数据集训练的深度学习模型泛化性不足，无法应用于真实世界而人为构造数据集的方法又耗时耗力的问题。

2、本发明技术方案如下：一种基于风格迁移的核磁图像超分辨率方法，包括以下步骤：

3、步骤1、由非配对的高清图像和低清图像数据集训练改进的transformer模型；

4、步骤2、将待配对的高清图像输入所述步骤1训练后的改进的transformer模型输出对应的配对低清图像，由所述待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集；

5、步骤3、由所述步骤2得到的对抗生成网络训练集训练对抗生成网络；

6、步骤4、将核磁图像输入所述步骤3训练后的对抗生成网络得到高清核磁图像；

7、所述改进的transformer模型包括两个线性映射层、两个transformer编码器、transformer解码器和卷积神经网络上采样器，其中两个transformer编码器的每一层由一个多头自注意模块和一个前馈网络组成，原始高清图像通过剪裁和一个线性映射层得到内容图像块序列，加上经过具有内容感知的位置编码的高清图像共同输入一个transformer编码器得到内容序列，低清图像通过剪裁和另一个线性映射层得到风格图像块序列，输入另一个transformer编码器得到风格序列；transformer解码器的每一层由两个多头自注意模块和一个前馈网络组成，所述内容序列和风格序列共同输入所述transformer解码器解码后由所述卷积神经网络上采样器进行放大输出。

8、进一步地，所述经过具有内容感知的位置编码的高清图像中具有内容感知的位置编码方法为：将图像剪裁为图像块，通过线性映射层将图片块映射为一个连续的特征编码序列ε，图像的位置编码的序列为

9、

10、

11、其中avgpooln×n是平均池化函数，是1x1的卷积操作，是可学习的相对位置关系，n是位置编码图像块的长宽，akl为插值权重，s为相邻补丁的数量。

12、进一步地，所述内容序列和风格序列共同输入所述transformer解码器是以所述内容序列的编码序列生成查询，以所述风格序列生成键和值，其中yc为高清图像经过所述transformer编码器编码的内容序列，

13、

14、

15、其中avgpooln×n是平均池化函数，是1x1的卷积操作，是可学习的相对位置关系，n是位置编码图像块的长宽，akl为插值权重，s为相邻补丁的数量。

16、进一步地，所述改进的transformer模型的损失函数为

17、

18、

19、

20、

21、

22、其中为内容损失函数，为风格损失函数，φi(·)代表由预训练的vgg第i层网络抽取的特征，μ(·)代表计算均值，σ(·)代表计算方差，io代表模型输出图像，is代表风格输入图像，ic代表内容输入图像，为一致性误差，icc和iss是模型产生的图像。

23、进一步地，所述对抗生成网络中的生成器为esrgan模型的生成器并由rrdb模块代替残差模块，所述对抗生成网络中的判别器为attention u-net。

24、进一步地，所述对抗生成网络中判别器的损失函数为：

25、

26、对抗生成网络的对抗损失为：

27、

28、总体的损失函数ltotal为：

29、ltotal＝lprecep+λlg+ηl1

30、

31、l1＝‖g(ilr)-g(ihr)‖

32、其中lprecep代表视觉损失函数，l1代表l1范数损失函数，λ为对抗损失系数，η为l1范数损失函数系数，表示由预训练的vgg16网络的第l层提取出来的特征，ihr为对抗生成网络训练集中的高清图像，ilr为对抗生成网络训练集中的低清图像，g(ilr)为生成器网络生成的高清图像，w和h代表输入图像的长和宽。

33、本发明还提供一种基于风格迁移的核磁图像超分辨率装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述基于风格迁移的核磁图像超分辨率方法。

34、本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现上述基于风格迁移的核磁图像超分辨率方法。

35、本发明所提供的技术方案的优点在于：

36、本发明方法利用改进的transformer模型基于真实高清图像生成对应低清图像形成用于训练对抗生成网络的配对数据集，可以利用容易获得的非配对高清-低清图像对中训练超分辨率网络，不需要耗费大量人力物力构造配对数据集，提升核磁图像超分辨率方法的实用性。同时改进后的transformer模型可以通过学习真实的低清图像的图像风格，将高清图像下采样至与真实低清图像同一个风格域中，从而避免传统下采样方法下采样出的低清图像与真实图像之间的图像域间隔(domain gap)，解决了模型泛化性不足的问题，采用训练后的对抗生成网络获得高清图像，利用了attention u-net判别器，通过注意力机制重点关注对抗生成网络生成器中生成得较差的部分，可以使得训练出的超分辨率网络生成更加真实、更小色差的高清图像。

技术特征：

1.一种基于风格迁移的核磁图像超分辨率方法，其特征在于，步骤1、由非配对的高清图像和低清图像数据集训练改进的transformer模型；

2.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述经过具有内容感知的位置编码的高清图像中具有内容感知的位置编码方法为：将图像剪裁为图像块，通过线性映射层将图片块映射为一个连续的特征编码序列ε，图像的位置编码的序列为

3.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述内容序列和风格序列共同输入所述transformer解码器是以所述内容序列的编码序列生成查询，以所述风格序列生成键和值，其中yc为高清图像经过所述transformer编码器编码的内容序列，

4.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述改进的transformer模型的损失函数为

5.根据权利要求1所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述对抗生成网络中的生成器为esrgan模型的生成器并由rrdb模块代替残差模块，所述对抗生成网络中的判别器为attention u-net。

6.根据权利要求5所述的基于风格迁移的核磁图像超分辨率方法，其特征在于，所述对抗生成网络中生成器的损失函数为：

7.一种基于风格迁移的核磁图像超分辨率装置，包括处理器以及存储器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，实现权利要求1至6中任意一项所述的基于风格迁移的核磁图像超分辨率方法。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现权利要求1至6中任意一项所述的基于风格迁移的核磁图像超分辨率方法。

技术总结
本发明公开了一种基于风格迁移的核磁图像超分辨率方法，包括以下步骤：由非配对的高清图像和低清图像数据集训练改进的Transformer模型；将待配对的高清图像输入改进的Transformer模型输出对应的配对低清图像并与待配对的高清图像与所述配对低清图像组对构成对抗生成网络训练集，再由此训练集训练对抗生成网络；最后将核磁图像输入训练后的对抗生成网络得到高清核磁图像；其中改进的Transformer模型包括两个编码器、解码器和卷积神经网络上采样器，经过位置编码的高清图像分别输入两个编码器得到内容序列和风格序列再共同输入解码器解码后进行放大输出。本发明克服了传统线性下采样没有考虑图片域差导致与真实低清图像风格不一致的问题，可获得更加真实、更小色差的高清图像。

技术研发人员：丛山,杨宇尊,姚晓辉,罗昊燃,魏怡明,刘宏伟
受保护的技术使用者：青岛哈尔滨工程大学创新发展中心
技术研发日：
技术公布日：2024/1/13