一种基于深度学习的PET图像跨模态重构方法及装置

一种基于深度学习的pet图像跨模态重构方法及装置
技术领域
1.本发明涉及医疗图像工程技术领域，特别涉及一种基于深度学习的pet图像跨模态重构方法及装置。


背景技术：

2.阿尔茨海默病(alzheimer’s disease，ad)以认知功能损害和记忆丧失为主要特征，是一种进行性和不可逆的神经退行性疾病。随着全球人类预期寿命的延长，ad发病率也在不断提高。基于以上因素，早期诊断和早期治疗对于提高ad患者的生活质量、降低社会平均医疗成本具有重要意义。在近年来的研究中，ad的病理生理进程被概念化为由淀粉样蛋白(β-amyloid，aβ)沉积引发的一系列连续事件，随后是tau过度磷酸化、葡萄糖代谢减退减少、脑萎缩、认知障碍，最终导致痴呆。
3.随着医学成像技术和人工智能技术的迅猛发展，自动以及半自动的计算机辅助影像重建开始扮演举足轻重的角色。大量文献研究显示，ad的病理改变通常可以在症状出现的几十年前通过正电子发射断层扫描技术(pet)在体内检测出来。因此，这项技术的出现极大地促进了ad病理筛查的准确性，也使得ad诊断时间节点被进一步前置。
4.目前有多种用于pet的放射性示踪剂可用于ad成像，其中，[18f]fdg和[18f]av45两种示踪剂分别用于测量大脑葡萄糖代谢水平与aβ沉积。由于ad患者通常出现全脑广泛性的脑葡萄糖代谢水平下降，因此研究者可以通过fdg-pet来判断ad患者的进行性程度和病理阶段；而av45-pet可以很好地描述全脑aβ沉积水平，因此不仅适用于ad患者诊断，也可用于ad痴呆和与非aβ病理相关的痴呆疾病的鉴别诊断，如额颞叶痴呆(ftld)。
[0005]
pet-ct全身检查过程中所经受的辐射主要来源于pet放射性示踪剂与ct扫描时的放射性射线。较好的仪器的过程中辐射剂量非常低，全身pet检查总辐射量一般在15msv左右，低于常规局部增强ct扫描的辐射剂量。但是，在一些脑部图像的病理学分析与诊断方案(如：癫痫病灶的定位和形态学分析)中，需要多次pet扫描才能做出完整正确的诊断，所以患者不得不面对多次辐射暴露的风险。根据国际辐射委员会报告，单次pet-ct扫描可导致被扫描者终身患癌风险提升0.04％。尽管这个数字看起来不大，其在多次扫描过程中所产生的叠加效应却极为显著。此外，儿科患者对放射性成像较为敏感，考虑到其免疫系统仍未发育完全；相对成年患者而言，对儿科患者进行多次pet扫描，可能会造成无法挽回的危害。无论是pet-ct还是pet-mri联合成像系统，降低扫描时所造成的辐射剂量始终是近年来许多研究竞相追逐的热点和难点。
[0006]
专利文献cn113808106a公开一种基于深度学习的超低剂量pet图像重建系统及方法，该方法通过超低剂量pet图像与数据库配对生成对应的高质量mri图像，该方法可以避免因多次pet扫描而造成的辐射问题，同时也降低了示踪剂的使用量。但是该方法只是适用于同一模态的pet图像重构，同时需要有预构建相关的mri图像数据库。


技术实现要素：

[0007]
为了解决上述问题，本发明提供了一种基于深度学习的pet图像跨模态重构方法，该方法通过构建跨模态图像生成的生成网络，基于输入fdg-pet脑部切片图像的图像特征与模态特征，映射到指定模态空间中生成对应的av45-pet脑部切片图像，同时通过约束函数对生成的每一帧切片图像进行约束和修正，输出高质量的av45-pet脑部扫描图像，从而解决了现阶段av45示踪剂稀缺的问题，使得一次扫描的单模态图像可以推测出多模态影像的诊断价值。
[0008]
一种基于深度学习的pet图像跨模态重构方法，包括：
[0009]
步骤1、获取包含fdg-pet脑部扫描图像与对应的av45-pet脑部扫描图像的多模态脑部扫描图像，并对多模态脑部扫描图像的模态类型进行标注，将多模态脑部扫描图像与对应的标注标标签组成训练样本；
[0010]
步骤2、构建用于跨模态图像生成的生成对抗网络，包括编码器模块，图像生成模块，约束模块以及数据分析模块，所述编码器模块包括特征提取器，所述特征提取器用于提取输入脑部扫描图像的图像特征与模态特征，所述图像生成模块用于将提取的图像特征与模态特征映射到指定模态空间中生成对应的跨模态图像，所述约束模块用于对生成的跨模态图像进行全尺度约束与量化，并通过注意力机制对跨模态图像进行注意力修正，所述数据分析模块用于对完成注意力修正的跨模态图像进行图像分析，输出分析结果，所述分析结果包括最终生成的跨模态图像以及对应的图像信息；
[0011]
步骤3、利用步骤1获取的训练样本，对生成对抗网络进行训练，训练结束后，获得pet跨模态图像生成模型；
[0012]
步骤4、将fdg-pet脑部扫描图像输入到所述pet跨模态图像生成模型中，经计算输出av45-pet脑部扫描图像以及对应的图像信息。
[0013]
优选的，所述步骤1中的多模态脑部扫描数据在输入生成对抗网络之前，进行多模态脑部扫描图像的预处理，包括裁剪，缩放以及获取脑部切片图像掩膜，预处理后的多模态脑部扫描图像输入至生成对抗网络，使得图像特征能更加突出，从而提高跨模态图像的图片质量。
[0014]
具体的，所述步骤2中的图像生成模块由多个resnet块依次连接组成，每个resnet块均包含2个卷积层、2次归一化操作和relu函数，根据输入的fdg-pet脑部扫描图像质量与对输出的av45-pet脑部扫描图像质量需求，可以适应性选取3～12个resnet块进行组合。
[0015]
优选的，所述步骤2中的图像生成模块采用charbonnier损失函数以及引入l1范数，对每一张从fdg-pet切片图像到av45-pet切片图像的生成过程进行约束，所述生成过程的约束公式为：
[0016][0017]
其中，表示图像生成模块的cgan损失，表示图像生成过程的正则化损失，g表示图像生成器，d表示判别器，λ为[0,1]之间的常数，通过该约束公式使得生成的av45-pet切片图像与对应的真实av45-pet切片图像的像素尺度绝对值之差能被严格约束，控制生成的av45-pet切片图像代谢值的可变范围，从而保障最终图像生成结果的稳定性。
[0018]
具体的，所述的表达式为：
[0019][0020]
其中，表示图像生成模块的cgan损失，d(x,y)表示输入源图像x和目标图像y的判断损失，g(x,z)表示图像生成模块生成av45pet的损失，z～p(z)表示随机噪声，x表示输入的fdg-pet切片图像，y表示真实av45-pet切片图像，e
x,y
表示x,y的期望。
[0021]
具体的，所述的表达式为：
[0022][0023]
优选的，对所述生成的av45-pet切片图像采用2.5d框架进行图像重构，利用av45-pet切片图像的片间信息，构建相近片间信息损失函数进行约束，其具体表达式为：
[0024][0025][0026]
其中，表示包含k张连续切片图像的向量，范围从到x表示输入的fdg-pet切片图像，g(xk)表示对应生成的av45-pet切片图像，表示切片的生成对抗损失，表示切片的像素尺度损失函数，y表示真实的av45-pet切片图像，d表示判别器，通过该约束公式可以很好地学习相邻av45-pet切片图像之间的空间语义信息，便于后续2d切片图像堆叠重构3d脑部扫描图像时能利用更优的融合思路。
[0027]
优选的，所述步骤2中的约束模块包括patchgan描述器，所述patchgan描述器采用vgg16-net感知损失函数和vgg19-net感知损失函数对生成的跨模态图像进行约束与修正，其表达式为：
[0028][0029]
其中，v
16
表示vgg16-net网络模块运算，v
19
表示vgg19-net网络模块运算，x表示输入的fdg-pet切片图像，y表示真实的av45-pet切片图像，g(x)表示对应生成的av45-pet切片图像，∈表示一个小于1
×
10-5
的极小常量，进一步提高图像生成能力，获取更高质量的代谢纹理分布模式，从而使得最终跨模态生成的av45-pet脑部扫描图像更为可靠、真实。
[0030]
优选的，所述步骤3中训练时，针对每一对多模态脑部扫描图像，以图像损失函数，正则化损失函数以及感知损失函数，综合考虑跨模态图像的损失函数更新生成对抗网络的参数，其表达式为：
[0031][0032]
其中，α与β为系统预设的超参数，取值范围均为[0,100]。根据具体任务的差异性，
α与β两个超参数可以自适应地调节。
[0033]
优选的，所述步骤4中的图像信息包括每一张切片图像中脑区尺度的标准摄取率数值与对应的量化全脑代谢分布，具体获取公式如下：
[0034][0035]
其中，suv
av45-generated
表示生成的每一张av45-pet切片图像的标准摄取率数值，suv
av45-original
表示真实的每一张av45-pet切片图像的标准摄取率数值，s
av45-generated
表示生成的每一张av45-pet切片图像，s
av45-original
表示真实的每一张av45-pet切片图像。
[0036]
本发明还提供了一种pet图像跨模态重构装置，包括计算器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机器上执行的计算器程序，所述计算机存储器中采用了上述训练获得的pet跨模态图像生成模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将fdg-pet脑部扫描图像输入到所述pet跨模态图像生成模型中，经计算与图像重构，输出av45-pet脑部扫描图像以及对应的图像信息。
[0037]
与现有技术相比，本发明的有益效果为：
[0038]
(1)在“生成-对抗”的过程中充分分析每张fdg-pet源图像与对应生成的av45-pet目标图像的映射模式，并通过多个感知损失约束强化这种映射模式的稳定性。
[0039]
(2)在图像生成过程中，通过指定模态空间与约束函数，将原本图像生成过程中容易丢失的切片间空间关系保留下来，从而加快后续图像重构的效率与准确率。
[0040]
(3)采用双重感知损失vgg16-net和vgg19-net对生成的av45-pet图像进行约束与修正，从而使得输出的图像稳定性更好。
附图说明
[0041]
图1为本发明提供的一种基于深度学习的pet图像跨模态重构方法的流程图；
[0042]
图2为本实施例中生成对抗网络的图像生成流程示意图；
[0043]
图3为本实施例中生成的av45-pet脑部扫描图像与真实av45-pet脑部扫描图像的绝对差值比较图。
具体实施方式
[0044]
pet-ct全身检查过程中所经受的辐射主要来源于pet放射性示踪剂与ct扫描时的放射性射线。相对于ct而言，pet放射性示踪剂单次注射的辐射剂量通常很小，然而，现阶段关于阿尔茨海默病的诊断通常需要进行多次脑部图像的pet-ct扫描才能确定病理机制，并给出完整的诊断方案。
[0045]
为了避免因多次注射放射性示踪剂对患者带来的潜在患癌风险，同时解决av45示踪剂的成本高且国内存货少的问题，如图1所示，本发明提供了一种基于深度学习的pet图像跨模态重构方法，包括：
[0046]
步骤1、获取包含fdg-pet脑部扫描图像与对应的av45-pet脑部扫描图像的多模态脑部扫描图像，并对多模态脑部扫描图像的模态类型进行标注，将多模态脑部扫描图像与对应的标注标标签组成训练样本；
[0047]
其中，要对训练样本中的图像进行预处理：重建pet原始帧并求其平均值，将平均
图像重新定向为包含1.5mm立方体素的标准160*160*96体素图像坐标，再用特定对象的掩码进行强度归一化，用扫描仪对归一化的图像进行8mm滤波，从而得到一组统一分辨率的训练样本图像。
[0048]
步骤2、如图2所示，构建用于跨模态图像生成的生成对抗网络，包括编码器模块，图像生成模块，约束模块以及数据分析模块：
[0049]
编码器模块包括特征提取器，该特征提取器用于提取输入脑部扫描图像的图像特征与模态特征；
[0050]
图像生成模块用于将提取的图像特征与模态特征映射到指定模态空间中生成对应的跨模态图像，该图像生成模块由9个resnet块依次连接组成，每个resnet块均包含2个卷积层、2次归一化操作和relu函数；图像生成模块还采用charbonnier损失函数以及引入l1范数，对每一张从fdg-pet切片图像到av45-pet切片图像的生成过程进行约束，所述生成过程的约束公式为：
[0051][0052]
其中，表示图像生成模块的cgan损失，表示图像生成过程的正则化损失，g表示图像生成器，d表示判别器，λ为[0,1]之间的常数；
[0053][0054][0055]
其中，表示图像生成模块的cgan损失，d(x,y)表示输入源图像x和目标图像y的判断损失，g(x,z)表示图像生成模块生成av45pet的损失，z～p(z)表示随机噪声，x表示输入的fdg-pet切片图像，y表示真实av45-pet切片图像，e
x,y
表示x,y的期望；
[0056]
同时，图像生成模块对所生成的av45-pet切片图像采用2.5d框架进行图像重构，利用av45-pet切片图像的片间信息，构建相近片间信息损失函数进行约束，其具体表达式为：
[0057][0058][0059]
其中，表示包含k张连续切片图像的向量，范围从到x表示输入的fdg-pet切片图像，g(xk)表示对应生成的av45-pet切片图像，表示切片的生成对抗损失，表示切片的像素尺度损失函数，y表示真实的av45-pet切片图像，d表示判别器。
[0060]
约束模块用于对生成的跨模态图像进行全尺度约束与量化，并通过注意力机制对跨模态图像进行注意力修正，其中，约束模块包括patchgan描述器，该patchgan描述器采用vgg16-net感知损失函数和vgg19-net感知损失函数对生成的跨模态图像进行约束与修正，其表达式为：
[0061][0062]
其中，v
16
表示vgg16-net网络模块运算，v
19
表示vgg19-net网络模块运算，x表示输入的fdg-pet切片图像，y表示真实的av45-pet切片图像，g(x)表示对应生成的av45-pet切片图像，∈表示一个小于1
×
10-5
的极小常量。
[0063]
数据分析模块用于对完成注意力修正的跨模态图像进行图像分析，输出分析结果，所述分析结果包括最终生成的跨模态图像以及对应的图像信息，其中，图像信息包括每一张切片图像中脑区尺度的标准摄取率数值与对应的量化全脑代谢分布，具体获取公式如下：
[0064][0065]
其中，suv
av45-generated
表示生成的每一张av45-pet切片图像的标准摄取率数值，suv
av45-original
表示真实的每一张av45-pet切片图像的标准摄取率数值，s
av45-generated
表示生成的每一张av45-pet切片图像，s
av45-original
表示真实的每一张av45-pet切片图像。
[0066]
步骤3、利用步骤1获取的训练样本，对生成对抗网络进行训练，训练结束后，获得pet跨模态图像生成模型，其中，针对每一对多模态脑部扫描图像，以图像损失函数，正则化损失函数以及感知损失函数，综合考虑跨模态图像的损失函数更新生成对抗网络的参数，其表达式为：
[0067][0068]
其中，α与β为系统预设的超参数，分别取值100。
[0069]
步骤4、将fdg-pet脑部扫描图像输入到所述pet跨模态图像生成模型中，经计算输出av45-pet脑部扫描图像以及对应的图像信息。
[0070]
本实施例还提供了一种pet图像跨模态重构装置，包括计算器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机器上执行的计算器程序，该计算机存储器中采用了上述训练获得的pet跨模态图像生成模型；
[0071]
计算机处理器执行所述计算机程序时实现以下步骤：将fdg-pet脑部扫描图像输入到所述pet跨模态图像生成模型中，经计算与图像重构，输出av45-pet脑部扫描图像以及对应的图像信息。
[0072]
如图3所示，第一行为本发明提供的方法重构的av45-pet脑部扫描图像，第二行为真实av45-pet脑部扫描图像，第三行为前两行图像的差异伪彩图，根据该差异伪彩图可以很方便的观察到两种图像之间的差异很小，基本难以通过肉眼进行简单区分，因此说明了本发明提供的pet图像跨模态重构方法重构的图像质量较好。