一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法与流程

本发明涉及一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法，属于医学图像处理的技术领域。

背景技术：

在计算机辅助脊柱手术的背景下，确切的知道单个椎体的形状是非常重要的，例如，用于脊活组织检查、植入物或椎弓根螺钉的插入等。但在大多数情况下，不仅要求精确分割得到椎体的形状而且还需要定位椎体，识别椎体。在计算机断层扫描(ct)或磁共振成像(mri)脊柱成像中自动分割，定位和标记椎体，已成为一种临床任务的重要工具，包括病理诊断，手术计划和术后评估。具体应用如骨折检测、肿瘤检测。配准和统计形状分析也可以受益于有效的椎体定位、识别和分割算法。因此，自动定位、识别和分割椎体是建立一个脊椎诊断和治疗计算机系统的基本需要。

近年来，mri已成为诊断腰椎间盘突出等腰椎疾病的重要工具。mri与ct相比，在腰区诊断中具有较高的可靠性，这是由于其在描述软组织结构方面的价值。mri是诊断常见脊柱疾病潜在原因的首选方法。此外，mri不像x射线或ct那样使患者受到有害的辐射。然而,对于mri椎体的自动定位、识别和分割的椎体面临很多挑战，比如:(1)椎体和周围组织对比度低，可能导致椎体边缘信息较弱；(2)mri分辨率的多样性导致数据集中椎体大小不一；(3)mri成像中噪声引起的椎体灰度值不均匀；(4)椎体存在多种解剖病理模式。

椎体的自动定位、识别和分割是建立计算机辅助脊柱系统(cas)的关键。脊柱cas有三个主要步骤:(1)解剖结构的定位和识别；(2)分割；(3)异常的诊断和量化。椎体定位(由质心定位椎体)和识别(5块腰椎分别标记为l1、l2、l3、l4、l5)。准确的椎体分割是cas诊断椎体畸形的基础。由于个体椎体定位、识别和分割的耗时和主观性，大多数临床应用已经开始使用全自动或半自动的计算机系统。

椎体定位、识别和分割是脊柱自动分析的重要步骤。由于椎骨外观相似，病理类型多样，影像学存在伪影，椎体的准确分割、定位及鉴别仍有一定的难度。

由于不同椎体外观相似，各种病理类型和影像学伪影，对椎体的准确定位、识别和分割仍是一个挑战。随着深度的出现，基于卷积神经网络的方法已经有效地解决了这三项任务。然而，以往的方法忽略了任务间紧密的联系。

技术实现要素：

针对现有技术的不足，本发明提供了一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法

发明概述：

本发明提出了一个多任务关系学习网络，利用了椎体定位、识别和分割任务之间的相关性。任务之间的相关性从损失函数和网络结构设计两方面进行实践。多任务关系学习网络主要由seg-loc网络，异或操作和判别网络三个部分组成，seg-loc网络利用任务之间的关系，学习椎体的定位和语义分割。本发明将定位结果和分割结果做异或操作得到的xor结果作为判别网络的输入，有效的解决了多任务的对抗训练问题。

本发明详细解释了多任务关系学习网络各个部分的作用。seg-loc网络可以同时兼顾类内(同一块椎体任务间关系)和类间(不同椎体上下文关系)，这是定位、识别和分割多任务学习的一个通用框架，可以很容易应用在其它研究领域。

术语解释：

1、itk-snap软件，是用于对3d医学图像中的结构进行分割的软件应用程序。

2、异或标签，将分割标签和定位标签进行二值化，将得到的二值化后的分割标签和二值化后的定位标签，在512*512维度上进行异或运算，得到异或标签。异或标签是真实的，在本发明中，在训练阶段是用于计算损失函数，在测试阶段是检验异或预测结果好坏的标准。

3、孔洞卷积(dilatedconvolution)，也被称为膨胀卷积，是在标准的卷积核中注入空洞，以此来增加模型的感受野(receptionfield)。

4、任务互关注模块(co-attention)，最初是在视觉问题回答任务中设计的，它将视觉注意和问题注意对称地建模。

5、异或(xor),只有在两个比较的位不同时其结果是1，否则结果为0，用来将某块二值化。

6、生成对抗网络(generativeadversarialnetworks，gan)，通过对目标的优化，可以调整概率生成模型的参数，使概率分布与实际数据分布尽可能接近。

7、dice系数,是一种集合相似度度量函数，通常用于计算两个样本的相似度，这里用来评估语义分割结果，取值范围为[0,1]:

|x∩y|-x和y之间的交集；|x|表示分割标签区域，|y|表示分割结果区域。

8、定位误差,椎体质心的预测位置与真实位置之间的距离。

其中(x,y)为椎体的预测位置，(xg,yg)为椎体的真实位置。

9、识别率，定义当某块椎体定位误差小于5mm时识别正确。

10、lstm(longshort-termmemory)，是一种时间循环神经网络用于学习椎体的全局信息。

本发明的技术方案为：

一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，包括步骤如下：

(1)图像预处理

通过对核磁共振图像和语义分割标签进行预处理操作，使最终得到的数据结构符合多任务关系学习网络模型的输入和损失函数计算的要求；

(2)构建多任务关系学习网络模型

多任务关系学习网络模型包括seg-loc网络、异或操作和判别网络；

作为对抗训练的生成器，seg-loc网络利用任务互关注模块，通过网络参数学习，端对端学习语义定位和语义分割之间的关系，输出语义定位结果和语义分割结果；

异或操作将seg-loc网络输出的语义定位结果和语义分割结果进行异或操作，得到异或预测；

通过异或操作得到的异或预测作为判别网络的输入，同时，通过异或操作得到的异或预测来计算损失函数；这个损失函数避免了多输出网络损失函数权重的调节。判别网络使用预测的xor和xor标签作为输入，相较于直接将语义定位和语义分割结果直接拼接作为输入，训练更加有效。

判别网络用于和seg-loc网络共同构成对抗训练，给符合异或标签分布的输入给予高奖励，促使seg-loc网络得到的异或预测更接近异或标签；从而得到更好的定位、识别和分割结果。

根据生成对抗网络的思想，通过生成器和判别器的互相博弈学习产生较好的输出。为了得到更加鲁棒的训练结果，在多任务关系学习网络模型中，seg-loc网络作为生成器，判别网络作为判别器，进行对抗训练。

(3)训练多任务关系学习网络模型

将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中，进行seg-loc网络和判别网络的对抗训练；设定步骤(1)预处理后得到的n张核磁共振图像，是指：

首先，随机取出其中3n/4张核磁共振图像，依次输入seg-loc网络进行训练；

然后，将seg-loc网络的输出经过异或操作得到异或预测；

最后，依次将异或预测和异或标签输入判别网络；

交替训练seg-loc网络和判别网络直到训练收敛；利用5折交叉验证的方法，分别进行5次训练；

(4)测试

除去步骤(3)训练时随机选取的3n/4张核磁共振图像,将剩余的n/4张核磁共振图像作为测试集，输入步骤(3)已经训练好的seg-loc网络，输出语义定位结果和语义分割结果；

由语义定位结果及其对应的定位标签通过定位误差和识别率来衡量多任务关系学习网络模型的定位识别性能，由语义分割结果和其对应的分割标签通过dice系数来衡量多任务关系学习网络模型的分割性能。

根据本发明优选的，所述步骤(1)中，包括步骤如下：

由于原始核磁共振图像面临一些挑战，如椎体的弱边缘信息；强烈的噪音导致椎体成像灰度不均匀；分辨率的多样性导致数据集中椎骨大小不一；且生成的mri脊柱图像中包含与不同程度病变，每张图像包含不同椎体块数。经过统计，得到分别包含6块椎体(s1-l5),包含7块椎体(s1-t12),包含8块椎体(s1-t11)的核磁共振图像数接近相等。

a、先将所有的核磁共振图像调整为512*512；

b、利用itk-snap软件专业医生对所有的核磁共振图像进行椎体分割标签的标注：利用itk-snap软件的工具箱将核磁共振图像中的椎体进行掩膜标记，从最下方的椎骨开始，沿着椎体边缘画出闭合曲线，填充闭合曲线内部，生成与椎体形状位置一致的掩膜标记为1，对其它椎体也执行相同的操作，并按照标签值递升次序依次标记，进行掩膜标记后，得到与分割的核磁共振图像等大的分割标签，背景的分割标签是0；

c、为了充分利用定位和分割之间的关系，即定位标签是分割标签的质心，利用已存在的分割标签来产生定位标签：包括步骤如下：

①利用分割标签来找出每块椎体的质心；

②将质心转换为服从高斯分布的定位标签；具体过程为：

根据公式(ⅰ)计算能量标签，即椎体的定位标签yi：

式(ⅰ)中，μi代表标签为i的椎体的质心，σ代表从质心向周围扩散的半径，k代表高斯分布在质心处的值，x代表位置，yi代表x处的高斯函数值；

背景的定位标签是由其他类计算出来的：y0＝1-max(yi)；

③将分割标签和定位标签进行one-hot运算，即进行二值化，将得到的one-hot分割标签和one-hot定位标签，在512*512维度上进行异或运算，得到异或标签。

根据本发明优选的，所述步骤(2)中，

seg-loc网络，是提出的多任务关系学习网络的生成网络。seg-loc网络的架构为一个encoder-decoder网络，encoder-decoder网络包括一个encoder、两个decoder、两个任务互关注模块，两个decoder共用一个encoder，两个decoder之间设有两个任务互关注模块；

两个decoder分别输出语义定位结果和语义分割结果；任务互关注模块用于学习语义定位和语义分割之间的关系；

encoder包括卷积层、lstm、孔洞卷积群、批标准化层、relu激活层和最大池化层；卷积层用于提取图片信息，同时也达到降维效果；lstm用于学习图像中椎骨的顺序关系；孔洞卷积群在没有损失信息的情况下，增大了感受野；批标准化层对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，避免梯度消失问题；最大池化层在尽量不丢失图像特征前期下，对图像进行下采样；

所述孔洞卷积群是包括扩张率分别为2、4、8、16的4层孔洞卷积，一维孔洞卷积如公式(ⅱ)所示：

式(ⅱ)中，i[i]为输入信号，o[i]为输出信号，f[l]为长度l的滤波器，r为采样i[i]的膨胀率；

最大池化层通过减小卷积层参数误差引起的估计均值偏移，实现输入图像在小空间移位时的平移不变性；因此，与平均池化相比，更多的纹理信息将被保留。

decoder包括卷积层、反卷积层、批标准化层，为了实现像素级的预测，两个decoder中两层反卷积层之间分别添加两个任务互关注模块；反卷积层通过上采样使输出恢复到原始磁共振图像的尺寸大小；由于得到的结果还是不够精确，一些细节无法恢复，又加了卷积层；批标准化层作用同上。首次提出了在两支decoder之间加入co-attention机制，称之为任务互关注模块,端对端学习。

任务互关注模块将分割和定位作为同等角色，在分割定位和识别任务中进行对称建模，任务互关注模块通过计算两个decoder中反卷积层输出的定位特征图和分割特征图在相应位置的相似度来连接多任务；具体是指：给定一个定位特征图分割特征图将l和s分别变换为和计算关联矩阵如公式(ⅲ)、(ⅳ)、(ⅴ)所示：

式(ⅲ)、(ⅳ)、(ⅴ)中，fl，fs为定位与分割之间通道关联性的归一化权值，则得到定位导向的分割注意flgsa和分割导向的定位注意fsgla，如公式(ⅵ)、(ⅶ)所示：

flgsa＝sfs(ⅵ)

fsgla＝fll^t(ⅶ)

将定位特征图和flgsa拼接起来，得到最终的定位注意特征图fsegmentation-attented；同样，对分割特征图进行对称操作，将分割特征图和fsgla拼接起来，得到最终的分割注意特征图flocalization-attented；如公式(viii)、(ⅸ)所示：

fsegmentation-attented＝reshape(concat(s,fsgla))(viii))

flocalization-attented＝reshape(concat(s,flgsa))(ⅸ)；

一个decoder通过解码encoder生成的高级特征得到语义分割结果；另一个decoder通过解码encoder生成的高级特征得到语义定位结果。最终的分割注意特征图只是分割特征图输入任务互关注模块后的输出，相当于一个decoder输出的中间状态，语义分割结果是这一个decoder最终的输出。最终的定位注意特征图只是定位特征图输入任务互关注模块后的输出，相当于另一个decoder输出的中间状态，定位分割结果是另一个decoder最终的输出。

根据本发明优选的，所述步骤(2)中，异或操作将seg-loc网络输出的语义定位结果和语义分割结果(两个decoder的输出512*512*c)进行异或操作，得到异或预测，是指：

d、通过softmax函数将seg-loc网络输出的语义定位结果和语义分割结果分别变为512*512，

e、再通过onehot函数，重新变为512*512*c，这样得到的512*512*c，c是包含的类别数，对于每一类是二值化的(即是这一类像素值是1，不是这一类像素值为0)；

f、将二值化后的语义定位结果和语义分割结果，对c类进行对应通道的异或(xor)，得到异或预测。

异或操作是获取同一块椎体的位置和形态关系，为椎骨语义定位和语义分割的本地化关系提供了直接的评估标准，并且避免了对不同的任务损失函数之间繁琐的权重调参。

根据本发明优选的，所述步骤(2)中，判别网络包括卷积层和全连接层；判别网络，是提出的多任务关系学习网络对抗训练的判别网络。判别网络在全局角度中鉴别输入是来自由seg-loc网络输出的异或得到的异或预测还是异或标签。为了更好地帮助生成器(seg-loc网络)进行预测，判别网络提供了一个额外的损失函数，用于生成器训练时更新参数。g和d分别表示seg-loc网络和判别网络。根据二人最小博弈理论，提出了初始gan的目标:g的目标是使判别网络d出错的概率最大，而d则通过区分输入来自生成器或真实标签来最小化出错的概率。

根据本发明优选的，所述步骤(3)，将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中，进行seg-loc网络和判别网络的对抗训练，包括步骤如下：

将经过步骤(1)预处理的512*512大小的磁共振图像输入seg-loc网络，将seg-loc网络的输出，经过异或操作得到的异或预测和异或标签共同作为判别网络的输入，判别网络的输出又以损失函数的形式反馈至seg-loc网络，seg-loc网络和判别网络的输出结果相互竞争。

在这种对抗学习的训练模式下，seg-loc网络学习到更合理的参数，seg-loc网络训练好以后输入测试集，由分割标签和定位标签来定量地衡量提出的多任务关系学习网络的好坏。

根据本发明优选的，损失函数ld，如公式(ⅹ)所示：

式(ⅹ)中，如果判别网络输入来自真实标签，则yn＝1；输入来自seg-loc网络，则yn＝0；n是图片的总数，j,k代表图像像素点的横纵坐标，gxor(·)表示输入seg-loc网络，并对seg-loc网络的输出进行异或操作；xn代表第n张图像，yxorn代表第n张图像的异或标签，θd代表判别网络可练的参数。

根据本发明优选的，所述步骤(3)中，通过最小化损失函数来训练seg-loc网络和判别网络，如公式(ⅺ)、(ⅻ)所示：

式(ⅺ)、(ⅻ)中，y0是背景类的定位标签；yc是除了背景类外的第c类的定位标签，wc是第c类的权重，w,h分别是图像的宽和高，mc代表了训练集中第c类像素点的个数。

本发明的有益效果为：

1.本发明为了解决由相邻椎体形态相似以及mr成像多样性引发的难题，利用了任务间的关系解决了这一难题。与传统的全卷积网络相比，本发明将孔洞卷积和lstm集成到seg-loc生成器中。孔洞卷积是为了解决脊柱mri中用于学习全局信息的接受域与卷积核参数量之间的互斥问题。针对本发明的椎体是有顺序的(例：从尾椎骨s开始，往上依次是腰椎l5、l4、l3、l2、l1，胸椎t12、t11、t10等)，利用孔洞卷积扩张感受野是至关重要的。

2.本发明为了端对端学习语义定位和语义分割之间的位置和形态相关性，在两个任务的decoder过程中加入了任务互关注模块。任务互关注模块得到lgsa注意力特征和sgla注意力特征。这两个注意力特征将分别连接到两个原始的特征图上。双重特征图将参与下一次向上采样或卷积操作，这样做不仅可以保留当前任务decoder分支的特征，还能添加相关任务即另一个decoder分支的特征。这样做得到的分割、定位和识别结果比前人单一任务网络结果要好。

3.本发明为了解决判别网络输入形式的难题，以及得到一个合理的损失函数。创建了xor标签，可以同时解决这两个问题。xor损失函数可以直观反映语义定位和语义分割之间的位置和形态相关性。相比也直接将分割损失和定位损失直接相加，xor损失函数提升了结果。

4.本发明的多任务关系学习网络，可以不仅可以用于医学图像，还可以用于其他图像。为定位、识别和分割这三种任务同时解决提供了一个通用框架。

附图说明

图1为本发明一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法的流程框图；

图2为本发明多任务关系学习网络模型的结构框图；

图3为本发明seg-loc网络的结构框图；

图4为判别网络的结构框图；

图5(a)为最终的分割和定位的效果图一；

图5(b)为最终的分割和定位的效果图二；

图5(c)为最终的分割和定位的效果图三；

图5(d)为最终的分割和定位的效果图四。

具体实施方式

下面结合实施例和说明书附图对本发明做进一步说明，但不限于此。

实施例1

一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，如图1所示，包括步骤如下：

(1)图像预处理

通过对核磁共振图像和语义分割标签进行预处理操作，使最终得到的数据结构符合多任务关系学习网络模型的输入和损失函数计算的要求；在本实施例中，核磁共振图像是指mr腰椎图像；

(2)构建多任务关系学习网络模型

如图2所示，多任务关系学习网络模型包括seg-loc网络、异或操作和判别网络；

作为对抗训练的生成器，seg-loc网络利用任务互关注模块，通过网络参数学习，端对端学习语义定位和语义分割之间的关系，输出语义定位结果和语义分割结果；

异或操作将seg-loc网络输出的语义定位结果和语义分割结果进行异或操作，得到异或预测；

通过异或操作得到的异或预测作为判别网络的输入，同时，通过异或操作得到的异或预测来计算损失函数；这个损失函数避免了多输出网络损失函数权重的调节。判别网络使用预测的xor和xor标签作为输入，相较于直接将语义定位和语义分割结果直接拼接作为输入，训练更加有效。

判别网络用于和seg-loc网络共同构成对抗训练，给符合异或标签分布的输入给予高奖励，促使seg-loc网络得到的异或预测更接近异或标签；从而得到更好的定位、识别和分割结果。

根据生成对抗网络的思想，通过生成器和判别器的互相博弈学习产生较好的输出。为了得到更加鲁棒的训练结果，在多任务关系学习网络模型中，seg-loc网络作为生成器，判别网络作为判别器，进行对抗训练。

(3)训练多任务关系学习网络模型

将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中，进行seg-loc网络和判别网络的对抗训练；设定步骤(1)预处理后得到的n张核磁共振图像，是指：

首先，随机取出其中3n/4张核磁共振图像，依次输入seg-loc网络进行训练；

然后，将seg-loc网络的输出经过异或操作得到异或预测；

最后，依次将异或预测和异或标签输入判别网络；

交替训练seg-loc网络和判别网络直到训练收敛；利用5折交叉验证的方法，分别进行5次训练；

(4)测试

除去步骤(3)训练时随机选取的3n/4张核磁共振图像,将剩余的n/4张核磁共振图像作为测试集，输入步骤(3)已经训练好的seg-loc网络，输出语义定位结果和语义分割结果；

由语义定位结果及其对应的定位标签通过定位误差和识别率来衡量多任务关系学习网络模型的定位识别性能，由语义分割结果和其对应的分割标签通过dice系数来衡量多任务关系学习网络模型的分割性能。

实施例2

根据实施例1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其区别在于：

步骤(1)中，包括步骤如下：

由于原始核磁共振图像面临一些挑战，如椎体的弱边缘信息；强烈的噪音导致椎体成像灰度不均匀；分辨率的多样性导致数据集中椎骨大小不一；且生成的mri脊柱图像中包含与不同程度病变，每张图像包含不同椎体块数。经过统计，得到分别包含6块椎体(s1-l5),包含7块椎体(s1-t12),包含8块椎体(s1-t11)的核磁共振图像数接近相等。

a、先将所有的核磁共振图像调整为512*512；

b、利用itk-snap软件对所有的核磁共振图像进行椎体分割标签的标注：利用itk-snap软件的工具箱将核磁共振图像中的椎体进行掩膜标记，从最下方的椎骨开始，沿着椎体边缘画出闭合曲线，填充闭合曲线内部，生成与椎体形状位置一致的掩膜标记为1，对其它椎体也执行相同的操作，并按照标签值递升次序依次标记，进行掩膜标记后，得到与分割的核磁共振图像等大的分割标签，背景的分割标签是0；

c、为了充分利用定位和分割之间的关系，即定位标签是分割标签的质心，利用已存在的分割标签来产生定位标签：包括步骤如下：

①利用分割标签来找出每块椎体的质心；

②将质心转换为服从高斯分布的定位标签；具体过程为：

根据公式(ⅰ)计算能量标签，即椎体的定位标签yi：

式(ⅰ)中，μi代表标签为i的椎体的质心，σ代表从质心向周围扩散的半径，k代表高斯分布在质心处的值，x代表位置，yi代表x处的高斯函数值；

背景的定位标签是由其他类计算出来的：y0＝1-max(yi)；

③将分割标签和定位标签进行one-hot运算，即进行二值化，将得到的one-hot分割标签和one-hot定位标签，在512*512维度上进行异或运算，得到异或标签。

实施例3

根据实施例2所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其区别在于：

步骤(2)中，seg-loc网络，是提出的多任务关系学习网络的生成网络。如图3所示，seg-loc网络的架构为一个encoder-decoder网络，encoder-decoder网络包括一个encoder、两个decoder、两个任务互关注模块，两个decoder共用一个encoder，两个decoder之间设有两个任务互关注模块；

两个decoder分别输出语义定位结果和语义分割结果；任务互关注模块用于学习语义定位和语义分割之间的关系；

encoder包括卷积层、lstm、孔洞卷积群、批标准化层、relu激活层和最大池化层；卷积层用于提取图片信息，同时也达到降维效果；lstm用于学习图像中椎骨的顺序关系；孔洞卷积群在没有损失信息的情况下，增大了感受野；批标准化层对于每个隐层神经元，把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布，使得非线性变换函数的输入值落入对输入比较敏感的区域，避免梯度消失问题；最大池化层在尽量不丢失图像特征前期下，对图像进行下采样；

孔洞卷积群是包括扩张率分别为2、4、8、16的4层孔洞卷积，一维孔洞卷积如公式(ⅱ)所示：

式(ⅱ)中，i[i]为输入信号，o[i]为输出信号，f[l]为长度l的滤波器，r为采样i[i]的膨胀率；

最大池化层通过减小卷积层参数误差引起的估计均值偏移，实现输入图像在小空间移位时的平移不变性；因此，与平均池化相比，更多的纹理信息将被保留。

decoder包括卷积层、反卷积层、批标准化层，为了实现像素级的预测，两个decoder中两层反卷积层之间分别添加两个任务互关注模块；反卷积层通过上采样使输出恢复到原始磁共振图像的尺寸大小；由于得到的结果还是不够精确，一些细节无法恢复，又加了卷积层；批标准化层作用同上。首次提出了在两支decoder之间加入co-attention机制，称之为任务互关注模块,端对端学习。

任务互关注模块将分割和定位作为同等角色，在分割定位和识别任务中进行对称建模，任务互关注模块通过计算两个decoder中反卷积层输出的定位特征图和分割特征图在相应位置的相似度来连接多任务；给定一个定位特征图分割特征图将l和s分别变换为和计算关联矩阵如公式(ⅲ)、(ⅳ)、(ⅴ)所示：

a＝l^ts(ⅲ)

fl＝softmax(a^t)(ⅳ)

fs＝softmax(a)^t(ⅴ)

式(ⅲ)、(ⅳ)、(ⅴ)中，fl，fs为定位与分割之间通道关联性的归一化权值，则得到定位导向的分割注意flgsa和分割导向的定位注意fsgla，如公式(ⅵ)、(ⅶ)所示：

flgsa＝sfs(ⅵ)

fsgla＝fll^t(ⅶ)

将定位特征图和flgsa拼接起来，得到最终的定位注意特征图fsegmentation-attented；同样，对分割特征图进行对称操作，将分割特征图和fsgla拼接起来，得到最终的分割注意特征图flocalization-attented；如公式(viii)、(ⅸ)所示：

fsegmentation-attented＝reshape(concat(s,fsgla))(viii))

flocalization-attented＝reshape(concat(s,flgsa))(ⅸ)；

一个decoder通过解码encoder生成的高级特征得到语义分割结果；另一个decoder通过解码encoder生成的高级特征得到语义定位结果。最终的分割注意特征图只是分割特征图输入任务互关注模块后的输出，相当于一个decoder输出的中间状态，语义分割结果是这一个decoder最终的输出。最终的定位注意特征图只是定位特征图输入任务互关注模块后的输出，相当于另一个decoder输出的中间状态，定位分割结果是另一个decoder最终的输出。

步骤(2)中，异或操作将seg-loc网络输出的语义定位结果和语义分割结果(两个decoder的输出512*512*c)进行异或操作，得到异或预测，是指：

d、通过softmax函数将seg-loc网络输出的语义定位结果和语义分割结果分别变为512*512，

e、再通过onehot函数，重新变为512*512*c，这样得到的512*512*c，c是包含的类别数，对于每一类是二值化的(即是这一类像素值是1，不是这一类像素值为0)；

f、将二值化后的语义定位结果和语义分割结果，对c类进行对应通道的异或(xor)，得到异或预测。

异或操作是获取同一块椎体的位置和形态关系，为椎骨语义定位和语义分割的本地化关系提供了直接的评估标准，并且避免了对不同的任务损失函数之间繁琐的权重调参。

步骤(2)中，如图4所示，判别网络包括卷积层和全连接层；判别网络，是提出的多任务关系学习网络对抗训练的判别网络。判别网络在全局角度中鉴别输入是来自由seg-loc网络输出的异或得到的异或预测还是异或标签。为了更好地帮助生成器(seg-loc网络)进行预测，判别网络提供了一个额外的损失函数，用于生成器训练时更新参数。g和d分别表示seg-loc网络和判别网络。根据二人最小博弈理论，提出了初始gan的目标:g的目标是使判别网络d出错的概率最大，而d则通过区分输入来自生成器或真实标签来最小化出错的概率。

实施例4

根据实施例3所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法，其区别在于：

步骤(3)，将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中，进行seg-loc网络和判别网络的对抗训练，包括步骤如下：

将经过步骤(1)预处理的512*512大小的磁共振图像输入seg-loc网络，将seg-loc网络的输出，经过异或操作得到的异或预测和异或标签共同作为判别网络的输入，判别网络的输出又以损失函数的形式反馈至seg-loc网络，seg-loc网络和判别网络的输出结果相互竞争。

在这种对抗学习的训练模式下，seg-loc网络学习到更合理的参数，seg-loc网络训练好以后输入测试集，由分割标签和定位标签来定量地衡量提出的多任务关系学习网络的好坏。

损失函数ld，如公式(ⅹ)所示：

式(ⅹ)中，如果判别网络输入来自真实标签，则yn＝1；输入来自seg-loc网络，则yn＝0；n是图片的总数，j,k代表图像像素点的横纵坐标，gxor(·)表示输入seg-loc网络，并对seg-loc网络的输出进行异或操作；xn代表第n张图像，yxorn代表第n张图像的异或标签，θd代表判别网络可练的参数。

步骤(3)中，通过最小化损失函数来训练seg-loc网络和判别网络，如公式(ⅺ)、(ⅻ)所示：

式(ⅺ)、(ⅻ)中，y0是背景类的定位标签；yc是除了背景类外的第c类的定位标签，wc是第c类的权重，w,h分别是图像的宽和高，mc代表了训练集中第c类像素点的个数。

最终的分割和定位的效果如图5(a)、图5(b)、图5(c)、图5(d)所示；

采用现有的u-net(convolutionalnetworksforbiomedicalimagesegmentation，图像分割(边缘检测))、本发明多任务关系学习网络模型(去掉xor)及本发明多任务关系学习网络模型分别得到的分割结果如表1所示：

表1

采用现有的di2in、本发明多任务关系学习网络模型(去掉xor)及本发明多任务关系学习网络模型分别得到的定位识别结果如表2所示：

表2

表1及表2中，s1是人体第一块尾椎，l1-l5分别是第1到第5块腰椎，t11和t12分别是第11和12块胸椎；

由表1可知，本发明多任务关系学习网络模型比采用现有的u-net及多任务关系学习网络模型(去掉xor)得到的dice参数要高，说明了本发明方法的分割结果更优。

由表2可知，本发明比现有的di2in定位误差更低、识别率更高，本发明创建了xor标签，解决了判别网络输入形式的难题，相比也直接将分割损失和定位损失直接相加，降低了定位误差，提升了识别率。