基于教师-学生双模型的低剂量SPECT弦图预处理和图像重建方法

基于教师-学生双模型的低剂量spect弦图预处理和图像重建方法
技术领域
1.本发明属于生物医学图像重建技术领域，具体涉及一种基于教师-学生双模型的低剂量spect弦图预处理和图像重建方法。


背景技术：

2.单光子发射计算机断层成像技术(single-photon emission computed tomography，spect))作为一种非侵入型分子成像技术已经广泛应用于心血管疾病、骨扫描、肺灌注显像等临床诊断中。它的原理是将一定浓度的放射性示踪剂注射到病人体中，放射性示踪剂在衰减过程中会发射出gamma光子，当gamma光子沿着准直器确定的方向运动时可以被围绕在人体周围的探测器所记录，记录下来的数据可以被处理成一组沿投影角方向的投影数据，对投影数据利用重建算法进行迭代重建便可得到用于辅助临床诊断的重建图像.
3.然而，放射性示踪剂会对人体造成特异性辐射损伤甚至有可能增加诱发癌症的风险，因此在spect成像中如果能降低示踪剂的剂量则能减少对病人的损害，但是低剂量的示踪剂得到的投影数据重建后的图像往往会存在质量劣化的情况，如：图像可能存在泊松噪声、射线伪影以及空间分辨率低等，从而会影响临床诊断的准确性。因此，如何在保持重建图像质量能满足临床诊断需要的前提下降低spect成像中的放射性示踪剂的剂量已成为一个热门的研究问题。基于模型迭代重建方法是低剂量投影数据重建的传统方法之一，这种方法具有良好的数学解释性，但是传统的迭代重建方法中用到的模型参数如：变换滤波器、非线性收缩算子以及正则化参数等都需要通过先验知识经验地选取，不能满足不同剂量下的成像需要。
4.近年来，深度学习技术的发展极大地推动了医学图像重建领域的进展，在分析和迭代重建方法的基础上，传统重建方法和基于深度学习的结合已成为一个更加热门的趋势,目前，深度学习技术在医学图像重建领域有三大应用：利用神经网络对重建好的图像进行后处理、利用神经网络学习投影数据与重建图像之间的端对端映射和利用神经网络对投影数据进行预处理后再用传统重建方法重建。
5.训练深度卷积神经网络通常需要大量的标签数据，在医学影像深度学习的一个常见的不足就是缺乏标签数据。为数据注释标签通常需要资历深厚的专家进行标注，这个过程既耗时且成本又高。但是，医学影像领域中存在非常丰富的临床数据，即无标签数据。在只有一小部分有标签数据，大量无标签数据的条件下实现由低剂量spect弦图数据到高质量的spect图像的转化成为了一个非常重要的研究课题。


技术实现要素：

6.为了解决背景技术问题，本发明提出了一种基于教师-学生双模型的低剂量spect弦图预处理和图像重建方法，该方法能够在使用小部分有标签数据，大量的无标签数据条
件下实现低剂量spect弦图的去噪预处理，得到高质量的spect弦图，再使用传统-迭代重建mlem算法进行重建，重建出高质量的spect图像。
7.本发明的一种基于教师-学生双模型的低剂量spect弦图预处理和图像重建方法，包括如下步骤：
8.s1：所有数据都包含低剂量弦图和正常剂量的弦图，低剂量弦图作为网络的输入，正常剂量的弦图作为网络的标签。将所有的数据划分成训练集和数据集，然后在训练集的基础上按照1：4的比例进一步将划分，其中一份数据使用它的低剂量弦图和正常剂量的弦图标签，称为有标签数据；其余的四份仅仅使用它的低剂量弦图，称为无标签数据；
9.s2：搭建教师-学生网络模型，将有标签数据和无标签数据分别输入搭建好的教师网络模型和学生网络模型中训练；
10.s3：将步骤s2中训练好的教师模型进行测试，将测试数据输入进行测试，得到去噪的弦图；
11.s4：将步骤s3得到去噪的弦图，运用mlem迭代重建算法进行重建，得到重建好的spect图像。
12.进一步地，所述步骤s1中在训练集的基础上按照1：4的比例进一步将划分是指：在训练集上，每连续五份数据中，按照次序，第一次取第一份数据作为有标签数据，其余四份作无标签数据；第二次取第二份数据作为有标签数据，其余四份作无标签数据；这样重复四次操作后，就把训练集划分为五份数据集，且两两之间的有标签数据互不交叉，每一份数据集之间的有标签数据与无标签数据互不交叉。
13.进一步地，所述步骤s2中的教师-学生双模型网络，是两个结构完全一致的网络，即采用基于cbam注意力机制的unet网络结构。首先将该网络分为左右部分来分析，左边是压缩的过程，即encoder。通过卷积块和下采样来降低图像尺寸，提取一些浅显的特征。每一层的卷积块包含两个重复的卷积，其卷积核为大小为3x 3，padding＝1，stride＝1，卷积块中的每一个卷积操作后面都进行批归一化bn处理和使用leakyrelu激活函数，然后在后面都加了cbam的注意力模块，用来关注重要特征，抑制不必要特征。下采样是进行了卷积核为2x2，stride＝2的池化操作。
14.右边部分是解码的过程，即decoder。通过卷积块和上采样来获取一些深层次的特征。其中上采样的实现是调用pytorch的接口upsample，后依次使用卷积核为2x2，stride＝2的卷积操作，批归一化bn处理，leakyrelu激活函数和cbam注意力机制。卷积块也是由两个重复的卷积，具体结构和解码过程的卷积块相同，只是卷积操作的通道数不一致。
15.在encoder和decoder中间通过concat的方式，将编码阶段获得的feature map同解码阶段获得的feature map结合在一起，结合深层次和浅层次的特征，细化图像。最后一层通过1x1的卷积和tanh激活函数得到输出结果。
16.进一步地，所述步骤s2中的cbam注意力机制是卷积块的注意力模块(convolutional block attention module)的简称，它使用到注意力机制中的通道域模块和空间域模块。通道注意力在前，空间注意力在后，特征图输入后，先进入通道注意力，基于特征图的宽、高进行平均池化(average pooling)、最大值池(max pooling)，然后经过多层感知器(multilayer perceptron，mlp)得到通道的注意力权重，然后通过sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原
始特征的重新标定。
17.为了获得在空间维度的注意力特征，经通道注意力输出的特征图同样基于特征图的宽度和高度进行全局最大池化和全局平均池化，将特征维度由h
×
w转变成1
×
1，接着经过卷积核为7
×
7的卷积和relu激活函数后降低特征图的维度，然后在经过一次卷积后提升为原来的维度，最后将经过sigmoid激活函数标准化处理后的特征图与通道注意力输出的特征图进行合并，从而在空间和通道两个维度上完成对特征图的重标定。经过cbam后，新的特征图将得到通道和空间维度上的注意力权重，大大提高了各个特征在通道和空间上的联系，更有利于提取目标的有效特征。
18.进一步地，所述步骤s2中将有标签数据和无标签数据分别输入搭建好的教师网络模型和学生网络模型中训练，是将有标签数据作为学生模型的输入，以其对应的标签，算两者之间的l1距离作为有监督部分的损失函数；将所有数据分别输入教师模型和学生模型；得到两个模型的输出，以两者之间的l2距离作为无监督部分的损失函数。最后将无监督部分的损失函数赋予一定的权重后和有监督部分的损失函数相加作为学生模型的损失函数进行梯度反向传播训练；对于教师网络模型，它的网络更新是由学生网络模型动量集成，本身不参与梯度反向传播。
19.进一步地，所述步骤s4所述的mlem经典迭代重建算法，在物理上，spect数据的采集过程实际上就是探测器对的计数过程，并且spect的观测数据服从泊松分布，且在spect数据采集过程中，各探测器记录的数据是相互独立的随机变量，即：yi＝poisson(|af|i)，其中，y表示观测的投影数据。a＝{a
ij
}是系统矩阵，a
ij
为表示从像素j发射的光子被第i条投影线所经过的探测单元检测到的概率，f为待重建的图像。针对上述观测数据的统计特性分析，spect重建使用mlem算法是非常合适的,通过迭代更新，使基于泊松分布的似然函数逼近最大值,其重建的迭代公式如下所示：
[0020][0021]
本发明的有益效果：
[0022]
本发明结合了传统的mlem迭代重建方法和神经网络，提出了一种基于教师-学生双模型的低剂量spect弦图预处理和图像重建方法，利用少量的有标签数据和大量的无标签数据，在训练阶段训练好教师网络和学生网络，进而在测试期间只利用训练好的教师网络进行测试，把低剂量的spect弦图进行去噪预处理，得到高质量的spect弦图，进一步用mlem迭代重建方法，得到高质量的spect图像。
附图说明：
[0023]
图1为教师-学生双模型框架
[0024]
图2为基于cbam注意力机制的unet网络结构
[0025]
图3(a)为通道注意力模块
[0026]
图3(b)为空间注意力模块
[0027]
图3(c)为cbam注意力模块
[0028]
图4(a)为低剂量spect弦图
[0029]
图4(b)为经过去噪预处理后的spect弦图
[0030]
图4(c)为对应的标签弦图
[0031]
图4(d)为低剂量spect弦图重建结果图
[0032]
图4(e)经过去噪预处理后的spect弦图重建后的结果图
[0033]
图4(f)标签弦图重建后的结果图
具体实施方式
[0034]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
[0035]
本发明实施例中若有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0036]
另外，在本发明中若涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
[0037]
为了更为明确地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0038]
本发明基于教师-学生双模型的低剂量spect弦图预处理和图像重建方法，具体实施如下：
[0039]
本文中使用的实验数据是通过蒙特卡罗模拟软件simind获得的，且每张低剂量弦图和高质量弦图的大小都是120
×
128。将将所有的数据划分成训练集和数据集，然后在训练集的基础上按照有标签：无标签＝1：4的比例进一步将划分。然后对数据进行预处理，先利用python内置库函数将弦图大小修改为128
×
128，然后进行归一化处理。
[0040]
搭建好的教师-学生双模型结构如图1所示，双模型采用的基于cbam注意力机制的unet网络结构如图2所示，在unet结构的基础上，在每层的卷积块和上采样过程中都加了convolutional block attention module(cbam)注意力机制，包括通道注意力模块和空间注意力模块。详细结构如图3(a)和图3(b)所示。如图3(c)所示，通道注意力模块在前，空间注意力模块在后。cbam注意力机制的计算公式如下所示：
[0041]
mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)))
[0042]
上式为通道注意力模块的实现，如图3(a)所示，f为特征图，且f∈rc×h×w，σ()为激活函数；avgpool为平均池化；maxpool为最大池化；mlp为只有一层隐藏层的感知机。
[0043]ms
(f
′
)＝σ(f7×7([avgpool(f
′
)；maxpool(f
′
)]))
[0044]
上式为空间注意力模块的实现，如图3(b)所示，f’为通道注意力输出的特征图，[；]为拼接操作。整个流程可以概括为以下式子：
[0045][0046]
其中f为特征图，且f∈rc×h×w，表示对应元素相乘操作。f’为通道注意力输出的特征图，f”为cbam输出的特征图。
[0047]
将有标签数据和无标签数据分别输入搭建好的教师网络模型和学生网络模型中
训练，是将有标签数据作为学生模型的输入，以其对应的标签，算两者之间的l1距离作为有监督部分的损失函数；将所有数据分别输入教师模型和学生模型；得到两个模型的输出，以两者之间的l2距离作为无监督部分的损失函数。最后将无监督部分的损失函数赋予一定的权重后和有监督部分的损失函数相加作为学生模型的损失函数进行梯度反向传播训练。有标签数据为无标签数据为损失函数的式子如下所示：
[0048][0049]
损失函数第一项为有监督损失，第二项为无监督损失，其中l1为li距离函数，mse为均方误差函数。λ为加权系数，用于控制监督损失和非监督损失之间的权衡。λ是和时间t有关的函数，其式子为：
[0050][0051]
其中t
max
为最大的训练epcon数。
[0052]
对于教师网络模型，它的网络更新是由学生网络模型动量集成，本身不参与梯度反向传播。动量集成的式子如下所示：
[0053]
θ
′
t
＝αθ
′
t
+(1-α)θ
t
，其中，θ
′
t
为教师网络的网络参数权重，θ
t
为学生网络的网络参数权重。α为ema衰减因子，α＝0.999。
[0054]
在训练阶段，本实施方式采用adam优化算法，学习率为0.00009，进行了1635个epoch的训练。
[0055]
在测试阶段，本实施方式将低剂量的spect弦图输入到训练好的教师网络中，过的高质量的spect弦图。如图4(a)，图4(b)，图4(c)所示的同一部位的弦图，通过本发明方法进行去噪预处理的弦图质量上有了明显提高，且本发明的去噪预处理后的弦图与正常剂量的弦图之间的误差较小。
[0056]
将去噪后的高质量弦图采用mlem迭代重建算法进行重建，得到spect图像。如图4(d)，图4(e)，图4(f)所示的同一部位的弦图，通过去噪后再重建得到的spect图像结构更加清晰。，本发明的重建图与正常剂量的重建图之间的误差较小，且结构信息基本恢复，一些微小的结构也能够恢复的很好。
[0057]
在本实施方式中，如表1所示，通过与纯粹的uet网络作对比，本发明的方法在数值指标上也有比较乐观的提高。
[0058]
表1
[0059][0060]
本实施方式整个算法在ubuntu 16.04.1(64位)系统中测试，其中cpu为intel xeon silver 4210r(2.4ghz)，显卡型号为geforce rtx3090(8gb显存)。在编程中，采用pytorch 1.8.0平台来进行网络模型的搭建。
[0061]
上述的对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发
明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。