一种基于通道注意力生成对抗网络的PET超分辨率方法

一种基于通道注意力生成对抗网络的pet超分辨率方法
技术领域
1.本发明属于医学图像处理领域，尤其涉及一种基于通道注意力生成对抗网络的pet图像超分辨率方法。


背景技术：

2.正电子发射断层成像(positron emission tomography,pet),是核医学领域比较先进的临床检查影像技术。pet的大致方法是，将生物生命代谢中必须的某种物质，如：葡萄糖、蛋白质、核酸、脂肪酸等，标记上短寿命的放射性核素(如
18
f，
11
c等)，注入人体后，通过该物质在代谢中的聚集，来反映生命代谢活动的情况，从而达到医学成像的目的。
3.清晰的高分辨率的pet图像能够帮助医生更好的诊断疾病，然而受到pet物理成像设备以及核素剂量的限制，生成的pet图像往往是不清晰的。图像超分辨率(super resolution，sr)算法可以从软件角度来提高pet图像的分辨率。
4.传统的图像超分辨率方法主要有基于插值的方法，基于建模的方法和基于机器学习的方法，其中基于插值的方法和基于建模的方法都是根据先验知识来提高图像的分辨率，成像效果往往不太理想，基于机器学习的方法所需样本集过大且重建耗时较长。2014年，dong等人提出了一个含有三个卷积层的网络
‑
srcnn(super resolution convolutional neural network),首次将深度学习用于图像超分辨率，此后，基于深度学习的图像超分辨率网络不断出现并改进，如vdsr(very deep convolutional networks for super resolution),rcan(residual channel attention networks)等。这些模型在图像质量评价指标如峰值信噪比(peak signal
‑
to
‑
noise ratio,psnr)和结构相似性(structural similarity,ssim)上有着不错的效果，但是视觉感知质量比较差。2016，ledig等人使用生成对抗网络来实现图像的超分辨，提出了srgan，然而，srgan平等的对待所有通道，忽略了图像中的高频信息，阻碍了卷积神经网络的表征能力，因此srgan在恢复图像的高频信息上仍然具有上升空间。


技术实现要素：

5.本发明的目的在于解决上述现有技术存在的缺陷，提供一种基于通道注意力生成对抗网络的pet超分辨方法，在pet成像过程中，由于受到硬件设备和核素剂量的限制，生成的图像往往是不清晰的，分辨率低且边缘部分比较模糊。
6.本发明采用如下技术方案：
7.本发明提供一种基于通道注意力生成对抗网络的pet超分辨率方法，包括如下步骤：
8.步骤一.获取高分辨率pet数据集，将数据集分为高分辨率训练数据集和高分辨率测试数据集；
9.步骤二.将步骤一中高分辨率的训练数据集和测试数据集中的pet图像进行双三次下采样，得到低分辨率训练数据集和低分辨率测试数据集；
10.步骤三.在超分辨率生成对抗网络(super resolution generative adversarial network，srgan)的生成器中，用残差通道注意力块(residual channel attention block，rcab)取代残差块，得到通道注意力超分辨率生成对抗网络(channel attention super resolution generative adversarial network，ca
‑
srgan)；
11.步骤四.用像素级的均方误差(mean square error，mse)损失来改进srgan的感知损失，ca
‑
srgan的损失函数包括像素级的mse损失，内容损失和对抗损失三个部分；
12.步骤五.用步骤一中高分辨率训练数据集和步骤二中低分辨率训练数据集对ca
‑
srgan进行训练；
13.步骤六：用步骤一中高分辨率测试数据集和步骤二中低分辨率测试数据集对所提出的ca
‑
srgan进行验证，并用图像质量评价指标对网络进行评价。
14.进一步的，步骤一中，对高分辨率训练数据集中的pet图像进行随机裁剪来实现数据的增强。
15.进一步的，步骤二中，采用python中bicubic函数对图像进行下采样，同时对低分辨率训练数据集中的图像进行随机裁剪。
16.进一步的，步骤三中，所述ca
‑
srgan包括生成器模块和判别器模块：
17.所述ca
‑
srgan的生成器模块的结构依次为：一个卷积核大小为9
×
9，个数为64，步长为1的卷积层，一个参数化修正线性单元(parametric rectified linear unit，prelu)激活层，6个结构相同的rcab，一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个批归一化层，一个按元素求和的跳跃连接层，两个上采样层和一个卷积核大小为9
×
9，个数为1，步长为1的卷积层。
18.所述ca
‑
srgan的判别器模块的结构依次为：一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个带泄露修正线性单元(leaky rectified linear unit,leaky relu)激活层，7个组合层，一个1024维的全连接层，一个leaky relu激活层，一个1维的全连接层，一个sigmoid激活层。
19.其中，每个组合层由卷积层，批归一化层，激活层组成，卷积层的卷积核的大小均为3
×
3，卷积核的个数依次为64,128，128，256,256,512,512，步长依次为2,1,2,1,2,1,2。激活层均为leaky relu层。
20.所述rcab的结构依次为：一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个修正线性单元(rectified linear unit,relu)激活层，一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个通道注意力层，一个按元素求和跳跃连接层。
21.所述通道注意力层的结构依次为：一个全局平均池化层，一个卷积核大小1
×
1，个数为4，步长为1的卷积层，一个relu激活层，一个卷积核大小为1
×
1，个数为64，步长为1的卷积层，一个sigmoid激活层，一个按元素求积跳跃连接层。
22.所述上采样层结构依次为：一个卷积核大小为3
×
3，个数为256，步长为1的卷积层，一个2倍上采样的亚像素层，一个prelu激活层。
23.进一步的，步骤四中，用像素级的mse损失来改进srgan的感知损失，ca
‑
srgan的损失函数l
sr
表示为：
24.25.其中，λ，μ为超参数，表示像素级的mse损失，表示为：
[0026][0027]
其中，r表示放大因子，w,h分别表示图像的宽和高，i
hr
,i
lr
分别表示高分辨率图像和低分辨率图像，g
θg
(i
lr
)表示生成的超分辨率图像，g
θg
(i
lr
)
x,y
分别表示高分辨率图像和超分辨率图像像素点的值。表示内容损失，使用在vgg19中预训练的模型提取图像特征，得到特征图并计算损失，为使用vgg19网络中第i个最大池化层之前的第j个卷积层操作所得到的损失函数，表示为：
[0028][0029]
其中，w
i,j
，h
i,j
表示vgg19网络中各个特征图的尺寸，φ
i,j
表示vgg19网络中，第i个最大池化层之前的第j个卷积层操作。表示对抗损失，表示为：
[0030][0031]
其中，d
θd
(g
θg
(i
lr
))表示判别器判别超分辨率图像g
θg
(i
lr
)为真实高分辨率图像的概率。
[0032]
本发明的有益效果：
[0033]
本发明在srgan的基础上，在生成器中加入了通道注意力机制，使得生成器网络更加关注含有丰富高频信息的通道，能够恢复出pet图像更加清晰的边缘部分，便于医生更好的诊断疾病。同时，用像素级的mse损失来改进srgan的感知损失，进一步提高了生成的超分辨率pet图像的质量。
附图说明
[0034]
图1(a)
‑
图1(b)为ca
‑
srgan网络结构图；
[0035]
图1(a)、图1(b)中，k表示卷积核大小，n表示卷积核的个数，s表示卷积核的步长；
[0036]
图2为rcab网络结构图；
[0037]
图2中，k表示卷积核大小，n表示卷积核的个数，s表示卷积核的步长；
[0038]
图3(a)
‑
图3(d)是不同超分辨率方法重建的pet图像，图3(e)是高分辨率pet图像；
[0039]
图3(a)是nearest,图3(b)是bicubic,图3(c)是srgan，图3(d)是ca
‑
srgan,图3(e)是hr pet；
[0040]
图4为本发明的步骤流程图。
具体实施方式
[0041]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行
清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
本发明提出的一种基于通道注意力生成对抗网络的pet超分辨率方法，在srgan的基础上加入了通道注意力机制，使得生成器网络更加关注含有丰富高频信息的通道，增加了卷积神经网络的表征能力。同时，用像素级的mse损失来改进srgan的感知损失，进一步提高了重建图像的质量。
[0043]
如图1(a)
‑
4所示，本发明提供了一种基于通道注意力生成对抗网络的pet超分辨率方法，包括如下步骤：
[0044]
步骤一.获取脑pet数据集，并将脑pet数据集分为高分辨率训练数据集和高分辨率测试数据集，其中训练数据集图片3000张，测试数据集图片为100张，同时将训练数据集中的图片进行随机裁剪，裁剪尺寸为88像素
×
88像素。
[0045]
步骤二.将步骤一中高分辨率的训练数据集和测试数据集中的pet图像使用python中pil模块中的bicubic函数进行4倍下采样，得到低分辨率训练数据集和低分辨率测试数据集，同时对低分辨率训练数据集中的图像进行88像素
×
88像素的随机裁剪。
[0046]
步骤三.在srgan的生成器中，用rcab取代残差块，得到ca
‑
srgan。
[0047]
如图1(a)
‑
图1(b)所示，所述ca
‑
srgan的生成器模块的结构依次为：一个卷积核大小为9
×
9，个数为64，步长为1的卷积层，一个prelu激活层，6个结构相同的rcab，一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个批归一化层，一个按元素求和的跳跃连接层，两个上采样层和一个卷积核大小为9
×
9，个数为1，步长为1的卷积层。
[0048]
所述ca
‑
srgan的判别器模块的结构依次为：一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个leaky relu激活层，7个组合层，一个1024维的全连接层，一个leaky relu激活层，一个1维的全连接层，一个sigmoid激活层。
[0049]
其中，每个组合层由卷积层，批归一化层，激活层组成，卷积层的卷积核的大小均为3
×
3，卷积核的个数依次为64,128,128,256,256,512,512，步长依次为2,1,2,1,2,1,2。激活层均为leaky relu层。
[0050]
如图2所示，所述rcab结构依次为：一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个relu激活层，一个卷积核大小为3
×
3，个数为64，步长为1的卷积层，一个通道注意力层，一个按元素求和的跳跃连接层。
[0051]
所述通道注意力层的结构依次为：一个全局平均池化层，一个卷积核大小1
×
1，个数为4，步长为1的卷积层，一个relu激活层，一个卷积核大小为1
×
1，个数为64，步长为1的卷积层，一个sigmoid激活层，一个按元素求积跳跃连接层。
[0052]
所述上采样层结构依次为：一个卷积核大小3
×
3，个数为256，步长为1的卷积层，一个2倍上采样的亚像素层，一个prelu层。
[0053]
步骤四：用像素级的mse损失来改进srgan的感知损失，ca
‑
srgan的损失函数l
sr
包括像素级的mse损失，内容损失和对抗损失三个部分。
[0054][0055]
其中，λ，μ为超参数，l
sr
表示ca
‑
srgan的损失函数，表示像素级的mse损失，表
示为：
[0056][0057]
其中，r表示放大因子，w,h分别表示图像的宽和高，i
hr
,i
lr
分别表示高分辨率图像和低分辨率图像，g
θg
(i
lr
)表示生成的超分辨率图像,g
θg
(i
lr
)
x,y
分别表示高分辨率图像和超分辨率图像像素点的值。表示内容损失，使用在vgg19中预训练的模型提取图像特征，得到特征图并计算损失，为使用vgg19网络中第i个最大池化层之前的第j个卷积层操作所得到的损失函数，表示为：
[0058][0059]
其中，w
i,j
，h
i,j
表示vgg19网络中各个特征图的尺寸，φ
i,j
表示vgg19网络中，第i个最大池化层之前的第j个卷积层操作。表示对抗损失，表示为：
[0060][0061]
其中，d
θd
(g
θg
(i
lr
))表示判别器判别超分辨率图像g
θg
(i
lr
)为真实高分辨率图像的概率。
[0062]
步骤五：用步骤一中高分辨率训练数据集和步骤二中低分辨率训练数据集对ca
‑
srgan进行训练。其中各类参数设置的情况为：batchsize设置为16，训练轮数为200，损失函数的系数为λ＝6
×
10
‑3，μ＝1
×
10
‑3，优化器使用adam，学习率为1
×
10
‑3，β1＝0.9，β2＝0.999，在pytorch框架和英伟达rtx 2070s平台上训练模型。
[0063]
步骤六：用步骤一中高分辨率测试数据集和步骤二中低分辨率测试数据集对所提出的ca
‑
srgan进行验证，并用图像质量评价指标对网络进行评价。psnr和ssim作为图像质量评价指标，能够从客观角度评估图像的质量，同时使用平均意见指数(mean opinion score,mos)从主观角度评估图像质量，将本方法和基于插值的方法，基于srgan的方法进行对比，实验结果如表1所示：
[0064]
表1 图像质量评价指标值
[0065] nearestbicubicsrganca
‑
srganpsnr34.282038.478839.690239.8650ssim0.93600.96650.97470.9745mos1.51.83.64.1
[0066]
可以看到，本发明提出的ca
‑
srgan不仅在psnr和ssim上有着不弱于srgan的表现，且在mos上明显高于其他算法。
[0067]
不同的超分辨率方法重建图像如图3(a)
‑
图3(d)所示，可以看到，基于最邻近插值法(nearest)，双三次插值法(bicubic)生成的pet图像质量较差，纹理不清晰，基于srgan生
成的pet图像质量相较于nearest和bicubic有了明显的提升，但是边缘部分比较模糊，本发明提出的ca
‑
srgan生成的pet图像纹理清晰，且边缘部分比较明显，证明了该方法的有效性。
[0068]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。