一种基于低信噪比PET图像的处理方法

本发明涉及医学成像领域，尤其涉及一种基于低信噪比pet图像的处理方法。

背景技术：

全剂量示踪剂对应的图像(即高信噪比图像)可以很好的提供人体代谢信息，但由于放射性示踪剂剂量大存在安全隐患；低剂量图像放射性危害较小，但是图像存在噪声和伪影。现有的深度学习3dpet合成方法往往使用很大的模型，模型参数较多，且不能实现数据依赖的样式调整。

为此，提供一种可根据数据特点自动保留模型中有用的特征并丢弃无用的特征的模型并及时实现低剂量pet图像的翻译成为当前亟需解决的方案。

技术实现要素：

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种基于低信噪比pet图像的处理方法，用以实现轻量化的网络对低信噪比pet图像翻译成高信噪比pet图像。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本发明实施例提供一种基于低信噪比pet图像的处理方法，包括：

获取待处理的第一模式的pet图像，该第一模式的pet图像为pet采集设备采集并重建的低信噪比的pet图像；

将第一模式的pet图像输入到训练的生成器g中，生成第二模式的pet图像，所述第二模式的pet图像为经过g处理的、具有高信噪比且无伪影的图像，第二模式的pet图像与pet采集设备采集并重建的高信噪比的pet图像匹配；

所述g包括：包括多个特征提取模块的特征提取器和样式调制模块；

所述多特征提取模块用于提取第一模式的pet图像的各层次的语义特征，任意两个特征提取模块提取的语义特征不同，所述特征提取器还用于将所有特征提取模块输出的语义特征进行拼接并输出至样式调制模块；

所述样式调制模块采用权重解调方式对拼接后的特征进行调制和解调，获得输出的第二模式的pet图像。

可选地，所述特征提取器包括：

卷积层、四个特征提取模块和拼接模块；

所述卷积层用于对输入的第一模式的pet图像进行卷积，得到该pet图像的卷积特征；

第一特征提取模块的输入为所述卷积特征，其输出经过实例归一化和激活处理，得到第一输出特征；

第二特征提取模块的输入为第一输出特征和所述卷积特征，其输出和第一输出特征进行实例归一化和激活处理，得到第二输出特征；

第三特征提取模块的输入为第三输出特征和所述卷积特征，其输出和第二输出特征进行实例归一化和激活处理，得到第三输出特征；

第四特征提取模块的输入为第三输出特征，其输出第四输出特征；

所述第一输出特征、第二输出特征、第三输出特征和第四输出特征经由拼接模块进行拼接，获得样式调制模块的输入特征。

可选地，所述样式调制模块包括：

一个挤压-激发模块、两个3d调制卷积；

所述输入特征经由向量转换之后输入挤压-激发模块，所述挤压-激发模块输出作为样式表达的通道数据；

第一个3d调制卷积接收所述输入特征、对所述通道数据进行第一次仿射变换的输入数据进行调制，输出调制后的数据；

第二个3d调制卷积接收所述调制后的数据、对所述通道数据进行第二次仿射变换的输入数据进行解调，输出第二模式的pet图像。

可选地，

3d调制卷积的权重更新分两步，第一步经过调制后的3d调制卷积的参数w′ijk，第二步经过解调的3d调制卷积的参数w″ijk，所述第一个w′ijk＝si·wijk

其中，si表示样式，wijk表示卷积核的权重参数，i、j、k分别表示输入通道数，输出通道数以及卷积的足迹。

可选地，获取待处理的第一模式的pet图像之前，所述方法还包括：

获取用于训练g的第三模式的pet图像即高信噪比的pet图像和第四模式的pet图像即低信噪比的pet图像；

将第四模式的pet图像输入到建立的g中，并输出第五模式的pet图像；

将第三模式的pet图像和第五模式的pet图像输入到鉴别器d，依据损失函数进行判断并调整g的训练参数，并交替进行g和d的训练，使得g最后输出的pet图像匹配第三模式的pet图像，获得训练后的g；

其中，目标函数l为：

lgan(g,d)为生成对抗损失；

lgan(g,d)＝-ex,y[d(x,y)]+ex[d(x,g(x)]；

l1为用于抑制图像噪声且保证低频信息的损失函数；

ll1(g)＝ex,y[‖y-g(x)‖1]；

-ex,y[d(x,y)]表示样本是低信噪比的图像和高信噪比的图像组合的期望，d(x,y)表示判别器对真实测量的高信噪比图像的判别结果，d(x,g(x))表示判别器对采用g输出的图像的判别结果；

第三模式的pet图像为y；第四模式的pet图像为x；β为超参数；

第三模式的pet图像为pet采集设备采集并重建的高信噪比的pet图像，第四模式的pet图像为在重建的第三模式的pet图像的原始数据序列中抽取部分数据重建得到的，作为用于训练时输入的，低信噪比的pet图像。

可选地，所述g为能够实现对数据进行自调制的网络结构轻量化的生成器。

本发明实施例还提供一种电子设备，包括：存储器、处理器和总线，所述处理器和所述存储器通过所述总线连接；

所述存储器用于存储程序，所述处理器用于运行所述程序，其中，程序运行时执行任意实施例所述的基于低信噪比pet图像的处理方法。

根据本发明第三方面，一种pet系统，其特征在于，包括：pet图像重建设备和上述任意实施例所述的电子设备，所述pet重建设备重建的pet图像经由所述电子设备进行处理。

(三)有益效果

本发明的有益效果是：本发明的方法是将低信噪比的pet图像翻译成高信噪比的pet图像，在处理过程中，采用的是一个轻量的、可以实现数据依赖的自调制的生成器g，它可以有效的对经过各个模块的特征图进行调整，有效实现了数据依赖的特征调整，最终很好的将低信噪比的pet图像翻译成高信噪比的图像。

本发明的生成器g网络结构简单，同时处理快速能够在任一电子设备中进行实现，减少设备的配置成本，提高了处理效率。

附图说明

图1为本发明一实施例提供的基于低信噪比pet图像的处理方法的流程示意图；

图2为本发明一实施例提供的条件生成对抗网络g的结构示意图；

图3为本发明一实施例提供的样式调制模块的结构示意图；

图4为使用本发明的方法和现有方法的结果对比图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

当前pet采集设备采集并重建pet图像的质量主要受两种因素影响，第一是示踪剂的量，第二是采集时间。为了获得高质量(即高信噪比)的pet图像，pet采集设备基于高剂量示踪剂/全剂量示踪剂并采集预设时长的图像进而重建出高信噪比的pet图像。

下述实施例中提及的低信噪比的pet图像可至少包括下述三种：

pet采集设备基于高剂量示踪剂并采集z倍预设时长的图像重建出pet图像作为低信噪比的pet图像，z为小于1大于0的数值；

pet采集设备基于低剂量示踪剂并采集预设时长的图像重建出pet图像作为低信噪比的pet图像，

pet采集设备基于低剂量示踪剂并采集z倍预设时长的图像重建出pet图像作为低信噪比的pet图像。

本发明实施例中低剂量示踪剂可为对患者注射剂量小于0.08mci/kg，例如，可采用0.05mci/kg的放射性药物fdg注射至患者，以获取当前患者的pet图像，对本发明实施例的pet图像处理的方法进行验证。

本实施例中高剂量示踪剂可为对患者注射剂量大于等于0.08mci/kg；通常pet系统中采集患者的pet图像时患者注射的剂量为0.1mci/kg，现有技术中为了提高pet图像质量，还增加注射给患者的剂量，如增加到0.12mci/kg-0.15mci/kg。

本实施例的方法可以针对2维pet图像和3维pet图像均适用，其主要是将低信噪比的pet图像翻译成高信噪比的pet图像。

实施例一

本实施例提供一种基于低信噪比pet图像的处理方法，如图1所示，其包括下述的步骤：

101、获取待处理的第一模式的pet图像，该第一模式的pet图像为pet采集设备采集并重建的低信噪比的pet图像；

102、将第一模式的pet图像输入到训练的条件生成对抗网络g中，生成第二模式的pet图像，所述第二模式的pet图像为经过g处理的、具有高信噪比且无伪影的图像，第二模式的pet图像与pet采集设备采集并重建的高信噪比的pet图像匹配；

在本实施例中，g可包括：包括多个特征提取模块的特征提取器和样式调制模块；

所述多特征提取模块用于提取第一模式的pet图像的各层次的语义特征，任意两个特征提取模块提取的语义特征不同，所述特征提取器还用于将所有特征提取模块输出的语义特征进行拼接并输出至样式调制模块；

所述样式调制模块采用权重解调方式对拼接后的特征进行调制和解调，获得输出的第二模式的pet图像。

本实施例的方法可以将低信噪比的pet图像翻译成高信噪比的pet图像，在处理过程中，采用的是一个轻量的、可以实现数据依赖的自调制的生成器g，它可以有效的对经过各个模块的特征图进行调整，有效实现了数据依赖的特征调整，最终很好的将低信噪比的pet图像翻译成高信噪比的图像。

本实施例中预先通过鉴别器d和生成器g进行交替训练，获取训练后的生成器d，进而能够随着网络深度加深提升不同层次的语义特征，并能够保存有用的特征，抑制无用的特征，最终生成与真实的高信噪比的pet图像一致的翻译后的图像。

本发明的生成器g网络结构简单，同时处理快速能够在任一电子设备中进行实现，减少设备的配置成本，提高了处理效率。

实施例二

为了更好的理解本发明实施例中生成器g的结构，以下结合图2和图3对生成器g进行举例说明。

如图2所示，图2示出了生成器g中的特征提取器的结构示意图，本实施例的特征提取器可包括：

卷积层、四个特征提取模块和拼接模块；

所述卷积层用于对输入的第一模式的pet图像进行卷积，得到该pet图像的卷积特征；

第一特征提取模块的输入为所述卷积特征，其输出经过实例归一化和激活处理，得到第一输出特征；

第二特征提取模块的输入为第一输出特征和所述卷积特征，其输出和第一输出特征进行实例归一化和激活处理，得到第二输出特征；

第三特征提取模块的输入为第三输出特征和所述卷积特征，其输出和第二输出特征进行实例归一化和激活处理，得到第三输出特征；

第四特征提取模块的输入为第三输出特征，其输出第四输出特征；

所述第一输出特征、第二输出特征、第三输出特征和第四输出特征经由拼接模块进行拼接，获得样式调制模块的输入特征。

在本实施例中，每一个特征提取模块由卷积-激活-卷积组合组成，卷积核大小为3*3*3，输出通道数为64，特征提取模块前后进行跳跃连接以实现残差学习。

本实施例中的四个特征提取模块进行了四个不同深度的残差特征提取。特征提取模块之间加入实例归一化和leakyrelu激活函数，通过实例归一化进而增加生成器网络的稳定性，leakyrelu激活函数用于实现生成器网络的非线性性。

在本实施例中，语义特征是一个较为抽象的概念，指的是具有一定语义信息的特征，而残差特征则是指需要经过残差结构的特征。

如图3所示，生成器g中的样式调制模块包括：

一个挤压-激发模块、两个3d调制卷积；

所述输入特征经由向量转换之后输入挤压-激发模块，所述挤压-激发模块输出作为样式表达的通道数据；图3中所示的输入特征，h高w宽d深，256(64*4)代表通道数量。

第一个3d调制卷积接收所述输入特征、对所述通道数据进行第一次仿射变换的输入数据进行调制，输出调制后的数据；

第二个3d调制卷积接收所述调制后的数据、对所述通道数据进行第二次仿射变换的输入数据进行解调，输出第二模式的pet图像。

本实施例中，两个3d调制卷积块中的每一个3d调制卷积模块都要经过两步权重更新，即经过调制后的3d调制卷积的参数w′ijk，以及经过解调的3d调制卷积的参数w″ijk。

也就是说，样式调制模块主干由两个3d调制卷积组成，卷积核大小分别为1和3。本实施例中采用权重解调的方法进行样式调整，它的表达式如下：

w′ijk＝si·wijk(1)，公式(1)对应调制过程中3d调制卷积的权重参数；

公式(2)对应解调过程中3d调制卷积的权重参数。

si表示样式，wijk表示卷积核(即不进行3d调制的卷积核权重，也就是原始的卷积核权重)的权重参数，w′ijk表示经过样式调整后的权重参数，w″ijk表示经过解调后的权重参数。其中i、j、k分别表示输入通道数，输出通道数以及卷积的足迹。经过调制-解调之后，卷积核在通道维度的调整能力加强。3d调制卷积的权重更新分两步，是第一步经过调制后的3d调制卷积的参数w′ijk，是第二步经过解调的3d调制卷积的参数w″ijk，也是3d调制卷积的最终权重。

本实施例中采用了挤压-激发模块(squeeze-and-excitation,se)获取si，其主要原因是样式其实是对通道的建模，而se模块可以有效地、轻量地实现对通道维度进行建模。

可理解的是，生成器中首先使用卷积-激活-卷积的组合来增加非线性性，然后使用se模块获取通道数据。把获取的通道数据视为样式表达，然后利用仿射变换获取样式si，再采用两个3d调制卷积进行调制解调实现获取翻译后的图像。

本实施例中使用的基础网络架构是条件生成对抗网络，由生成器g和鉴别d组成。g的作用为利用低信噪比的pet图像生成高信噪比的图像。d的作用则是区分生成的图像与真实的图像。g和d交替进行训练，最终使得g生成逼真的高信噪比的pet的图像。本实施例中着重对生成器g进行了设计，其包括特征提取模块和样式调制模块。特征提取模块可以随着网络深度加深提升不同层次的语义特征，而样式调制模块则将不同层次的特征汇总在一起，保存有用的特征，抑制无用的特征。

本实施例中的鉴别器d的结构为当前patchgan的鉴别器结构。

在本实施例中，记生成器g，鉴别器d，低剂量图像为x，全剂量图像为y。训练时网络整体的目标函数记为(β为超参数)：

lgan(g,d)为生成对抗损失，若采取wgan的架构，其损失函数表达式为：lgan(g,d)＝-ex,y[d(x,y)]+ex[d(x,g(x)](4)

l1损失函数抑制图像的噪声同时保证低频信息的正确性，可以表示为：

ll1(g)＝ex,y[‖y-g(x)‖1](5)

由此，在本实施例中，将低信噪比的pet图像输入到训练的生成器g中，输出与高信噪比的pet图像一致的pet图像。本实施例中生成器与鉴别器进行对抗训练，最后得到的生成器可以很好的修复图像信息，将低信噪比图像翻译成高信噪比图像，并超过现有方法redcnn，参见图4所示的结果对比图。

实施例三

本发明实施例还提供一种电子设备，其包括：存储器、处理器和总线，所述处理器和所述存储器通过所述总线连接；

所述存储器用于存储程序，所述处理器用于运行所述程序，其中，程序运行时执行上述任意实施例所述的基于低信噪比pet图像的处理方法。

另外，本发明实施例还提供一种pet系统，其包括：pet图像重建设备和上述任意实施例所述的电子设备，所述pet重建设备重建的pet图像经由所述电子设备进行处理。

在具体实践过程中，上述的电子设备可以是pet设备或pet-ct设备，其各设备中集成有本实施例中的程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。

应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。

此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。