基于注意力机制的磁粒子成像重建方法

1.本发明属于磁粒子成像领域，尤其涉及一种基于深度学习自我注意力机制的从一维频域信号到二维图像的磁粒子成像重建方法。


背景技术：

2.在临床诊断和检测中，如何准确、客观的定位肿瘤及其他病灶一直是国际上的研究热点和挑战性问题。传统的医学影像技术如ct、mri、spect等方法均存在危害大，定位差，精度低等问题。近年来，一种全新的基于示踪剂的成像方式——磁粒子成像技术(mpi)被提出，该技术利用断层成像技术，通过检测对人体无害的超顺磁氧化铁纳米颗粒(spios)的空间浓度分布，对目标进行精准定位，具有三维成像、高时空分辨率和高灵敏度的特点。此外，mpi不显示解剖结构并且无背景信号干扰，因此信号的强度与示踪剂的浓度直接成正比，是一种颇具医学应用潜力的检测方法。
3.目前，mpi多数采用磁粒子成像的原始信号，包括一维时域信号和一维频域信号，通过传统算法，例如基于系统矩阵或基于x
‑
space的重现方法进行成像重建。而基于深度学习的磁粒子成像重建方法则均以多层感知机结构为主。
4.然而，不论是传统方法还是深度学习方法存在明显的不足，主要体现在以下几个方面：(1)由于原始采集数据量大，现有方法尤其是传统方法需要对数据进行预处理，增加重建复杂度；(2)现有的预处理方法包括降采样或截断等，均属于人为的预处理方法，会导致数据中样本信息的丢失，最终造成重建图像质量的损失；(3)由于不同条件下采集信号的长度不同，缺少一个通用的提取不同信号中关键信息的处理方法。


技术实现要素：

5.针对现有技术中的不足，本发明提出了一种基于注意力机制的磁粒子成像重建方法，该方法利用神经网络模型强大的计算能力匹配采集到的大数据量，并通过融入自我注意力机制学习提取信号中的有效信息，减少了因降采样或截断造成的信号信息损失，并且实现了从一维频域信号到二维图像的端到端重建。
6.本发明的技术方案如下：
7.一种基于注意力机制的磁粒子成像重建方法，包括以下步骤：
8.s1获取数据集，基于真实磁粒子成像得到仿真图像和对应的一维频域信号；
9.s2神经网络模型的搭建，搭建融合自我注意力机制的神经网络模型；
10.s3神经网络模型的训练，将步骤s1中生成的数据分为训练集和验证集，对神经网络模型进行训练，更新神经网络模型参数并保存最优神经网络模型；
11.s4重建图像，将任意真实磁粒子成像一维频域信号输入s3得到的最优神经网络模型，可端到端的得到重建图像结果。
12.优选的，所述s1中，仿真图像为黑白二值图像，白色代表有信号，黑色代表背景，利用重建算法，将仿真图像作为实际的磁粒子分布输入，通过仿真代码模拟ffp扫描过程，得
到仿真图像对应的一维时域信号及一维频域信号。
13.优选的，所述s1中，对一维频域信号进行预处理，得到长度统一为1*10000的数组，每个值为复数。
14.优选的，所述s1中，预处理的方法为：对过长的信号采取截断靠后无信号段操作，对过短信号采取补零操作。
15.优选的，所述s2中，神经网络模型的结构为：磁粒子产生的信号依次经过全连接层，激活函数，全连接层，激活函数，接着输入一个能量注意力模块中，而后经过一个reshape层将一维信号转换为二维图像，再依次经过卷积层，激活函数，卷积层，激活函数得到输出重建图像。
16.优选的，所述输入到能量注意力模块中信号首先通过一个一维卷积层得到多通道的信号，接着采用全局平均池化层和全局最大池化层聚合不同通道的信息，将两个池化后的特征图经过一个由三个全连接层和三个激活函数构成的多层感知机，将多层感知机得到的两个对应输出特征图相连接并通过sigmoid激活函数计算对应的能量注意力结果。
17.优选的，所述s3中还包括，对神经网络模型进行训练前，对输入数据作如下处理：提取磁粒子成像1*10000原始一维频域信号中每个复数的实部和虚部，得到两个长度为1*10000的实数数组，磁粒子成像的实部和虚部分别为关于中心对称的结构，取实部和虚部的前一半，得到两个1*5000的数组，将归一化后的实部信号和虚部信号连接得到长度为1*10000的数组。
18.优选的，所述s3中，处理后的数据作为输入，仿真图像作为标签图像，对神经网络模型进行训练，采用均方误差作为损失函数，根据输出结果与标签图像计算损失函数，更新神经网络模型参数，在验证集上进行损失函数计算，更新保存使损失函数最小的网络模型参数，迭代训练完成后，保存最优神经网络模型。
19.优选的，损失函数如下：
[0020][0021]
其中i是图像输出结果，是标签图像，h，w和c分别表示特征图的高度，宽度和通道数。
[0022]
优选的，所述s4中，对任意采集到的真实磁粒子成像一维频域信号进行预处理，转换为长度1*10000的数组，然后输入s3得到的最优神经网络模型，得到磁粒子的精确分布图像。
[0023]
与现有技术相比，本发明具有以下有益效果：
[0024]
1.本发明的基于注意力机制的磁粒子成像重建方法采用深度学习方法完成磁粒子成像重建过程，充分利用了神经网络模型高效的计算能力，匹配了重建过程中大量数据的计算需求；
[0025]
2.本发明构建的卷积神经网络模型中包含能量注意力模块，融合了自我注意力机制的神经网络模型有助于提取信号中有效信息，降低噪声信号的影响，减少因降采样或截断造成的信号信息损失，提高重建图像的分辨率与精确性；
[0026]
3.本发明的基于注意力机制的磁粒子成像重建方法对不同长度的磁粒子成像一
维频域信号具有一定的泛化性能。
附图说明
[0027]
通过参考附图可更好地理解本发明。图中的构件不应视作按比例绘制，重点应放在示出本发明的原理上。
[0028]
附图1为本发明基于注意力机制的磁粒子成像重建方法的流程图；
[0029]
附图2为磁粒子成像一维频域信号实部示意图；
[0030]
附图3为磁粒子成像一维频域信号虚部示意图；
[0031]
附图4为本发明构建的神经网络模型结构示意图。
具体实施方式
[0032]
为了便于本领域普通技术人员理解和实施本发明，下面结合附图与具体实施方式对本发明作进一步详细描述：
[0033]
本发明提出的基于注意力机制的磁粒子成像重建方法的技术方案如图1所示，主要包括了数据集的获取、神经网络模型的搭建、模型的训练以及真实磁粒子一维频域信号的测试几个步骤，具体的实施方案如下：
[0034]
s1数据集的获取：生成仿真图像，仿真实际情况中磁粒子成像的结果。仿真图像为黑白二值图像，白色代表有信号，黑色代表背景，利用一些简单的形状如椭圆，矩形等模拟实际情况中采集到的样本形状。利用现有重建算法，将生成的仿真图像作为实际的磁粒子分布输入，通过仿真代码模拟ffp扫描过程，最终得到仿真图像对应的一维时域信号及一维频域信号。一维频域信号经过简单预处理，得到长度统一为1*10000的数组，具体方法为：对过长的信号采取截断靠后无信号段操作，对过短信号采取补零操作，信号的每个值为复数。得到仿真图像及对应一维频域信号共10000组作为神经网络的训练集和验证集数据。
[0035]
s2神经网络模型的搭建：搭建融合自我注意力机制的神经网络模型，该模型的结构为：磁粒子产生的信号首先依次经过全连接层，激活函数，全连接层，激活函数。两个全连接层的神经元数量分别为20000和10000，两个激活函数都为relu激活函数；从第二个激活函数输出的为1*10000向量，为后接能量注意力模块的输入。能量注意力模块通过学习关注信号中能量集中部分(有效信息部分)，抑制噪声信号。具体的，模块中首先通过一个一维卷积层得到多通道的信号，该卷积层包含32个1*5的卷积核，处理后得到1*10000*32的多通道特征向量。接着采用全局平均池化层和全局最大池化层聚合不同通道的信息，得到两个1*10000的特征向量，将这两个特征向量经过一个多层感知机，多层感知机具体结构为依次连接的全连接层，激活函数，全连接层，激活函数，全连接层，激活函数，三个全连接层的神经元数量分别为10000，1250，10000。激活函数为relu。将多层感知机的输出，即两个1*10000特征图相加并通过一个sigmoid激活函数计算对应的能量注意力模块的输出结果。将能量注意力模块的输出与能量注意力模块的输入做元素级别的相乘，得到经过注意力模块处理的长度为1*10000的特征向量，而后经过一个reshape层将长度为1*10000的一维特征向量转换为大小为100*100的二维特征图，而后经过一个卷积层，该卷积层包含16个大小为3*3的卷积核，再经过一个relu激活函数。接着在输入一个卷积层，该卷积层包含1个大小为1*1的卷积核，最后经过一个relu激活函数得到输出的二维重建图像。
[0036]
s3神经网络模型的训练：将s1中生成的数据按9:1分为训练集和验证集，其中一维频域信号作为输入，仿真图像作为标签图像。由于一维频域信号为复数，因此对其做简单的预处理，具体方法为：提取磁粒子成像1*10000原始一维频域信号中每个复数的实部和虚部，得到两个长度为1*10000的实数数组。由于磁粒子成像的实部和虚部分别为关于中心对称的结构，因此为减少数据冗余，以及为了更高效的训练，只取实部和虚部的前一半，得到两个1*5000的数组，将归一化后的实部信号和虚部信号连接得到长度为1*10000的数组，即为最终的输入向量；
[0037]
采用均方误差作为损失函数：
[0038][0039]
其中i是图像输出结果，是标签图像，h,w和c分别表示特征图的高度，宽度和通道数。
[0040]
根据神经网络模型的输出结果与标签图像计算损失函数，更新神经网络模型参数并保存网络模型，迭代训练使得损失函数降低，迭代训练300个epoch，最终保存最优模型。
[0041]
s4真实磁粒子一维频域信号的测试：首先制造仿体，然后利用现有商用磁粒子成像仪器对仿体进行图像采集，并将从仪器内采集到的原始一维频域信号作为测试输入信号，真实图像作为真值图像。对输入信号进行简单预处理将其转换为长度为1*10000的数组，通过保存的最优模型进行测试得到最终的结果，经与真值图像对比后，对重建结果进行评估。模型进行验证后，对采集到的真实的磁粒子成像一维频域信号进行简单预处理，通过保存的最优模型即可重建得到磁粒子的精确分布图像。
[0042]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0043]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0044]
在本发明中，术语“第一”、“第二”、第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
[0045]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。