1.一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,包括步骤如下:
(1)图像预处理
通过对核磁共振图像和语义分割标签进行预处理操作,使最终得到的数据结构符合多任务关系学习网络模型的输入和损失函数计算的要求;
(2)构建多任务关系学习网络模型
多任务关系学习网络模型包括seg-loc网络、异或操作和判别网络;
seg-loc网络利用任务互关注模块,通过网络参数学习,端对端学习语义定位和语义分割之间的关系,输出语义定位结果和语义分割结果;
异或操作将seg-loc网络输出的语义定位结果和语义分割结果进行异或操作,得到异或预测;
通过异或操作得到的异或预测作为判别网络的输入,同时,通过异或操作得到的异或预测来计算损失函数;
判别网络用于和seg-loc网络共同构成对抗训练,给符合异或标签分布的输入给予高奖励,促使seg-loc网络得到的异或预测更接近异或标签;从而得到更好的定位、识别和分割结果。
(3)训练多任务关系学习网络模型
将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中,进行seg-loc网络和判别网络的对抗训练;设定步骤(1)预处理后得到的n张核磁共振图像,是指:
首先,随机取出其中3n/4张核磁共振图像,依次输入seg-loc网络进行训练;
然后,将seg-loc网络的输出经过异或操作得到异或预测;
最后,依次将异或预测和异或标签输入判别网络;
交替训练seg-loc网络和判别网络直到训练收敛;
(4)测试
除去步骤(3)训练时随机选取的3n/4张核磁共振图像,将剩余的n/4张核磁共振图像作为测试集,输入步骤(3)已经训练好的seg-loc网络,输出语义定位结果和语义分割结果;
由语义定位结果及其对应的定位标签通过定位误差和识别率来衡量多任务关系学习网络模型的定位识别性能,由语义分割结果和其对应的分割标签通过dice系数来衡量多任务关系学习网络模型的分割性能。
2.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,所述步骤(1)中,包括步骤如下:
a、先将所有的核磁共振图像调整为512*512;
b、利用itk-snap软件对所有的核磁共振图像进行椎体分割标签的标注:利用itk-snap软件的工具箱将核磁共振图像中的椎体进行掩膜标记,从最下方的椎骨开始,沿着椎体边缘画出闭合曲线,填充闭合曲线内部,生成与椎体形状位置一致的掩膜标记为1,对其它椎体也执行相同的操作,并按照标签值递升次序依次标记,进行掩膜标记后,得到与分割的核磁共振图像等大的分割标签,背景的分割标签是0;
c、利用已存在的分割标签来产生定位标签:包括步骤如下:
①利用分割标签来找出每块椎体的质心;
②将质心转换为服从高斯分布的定位标签;具体过程为:
根据公式(ⅰ)计算能量标签,即椎体的定位标签yi:
式(ⅰ)中,μi代表标签为i的椎体的质心,σ代表从质心向周围扩散的半径,k代表高斯分布在质心处的值,x代表位置,yi代表x处的高斯函数值;
背景的定位标签是由其他类计算出来的:y0=1-max(yi);
③将分割标签和定位标签进行one-hot运算,即进行二值化,将得到的one-hot分割标签和one-hot定位标签,在512*512维度上进行异或运算,得到异或标签。
3.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,所述步骤(2)中,seg-loc网络的架构为一个encoder-decoder网络,encoder-decoder网络包括一个encoder、两个decoder、两个任务互关注模块,两个decoder共用一个encoder,两个decoder之间设有两个任务互关注模块;
两个decoder分别输出语义定位结果和语义分割结果;任务互关注模块用于学习语义定位和语义分割之间的关系;
encoder包括卷积层、lstm、孔洞卷积群、批标准化层、relu激活层和最大池化层;卷积层用于提取图片信息,同时也达到降维效果;lstm用于学习图像中椎骨的顺序关系;孔洞卷积群在没有损失信息的情况下,增大了感受野;批标准化层对于每个隐层神经元,把逐渐向非线性函数映射后向取值区间极限饱和区靠拢的输入分布强制拉回到均值为0方差为1的比较标准的正态分布;最大池化层在尽量不丢失图像特征前期下,对图像进行下采样;
所述孔洞卷积群是包括扩张率分别为2、4、8、16的4层孔洞卷积,一维孔洞卷积如公式(ⅱ)所示:
式(ⅱ)中,i[i]为输入信号,o[i]为输出信号,f[l]为长度l的滤波器,r为采样i[i]的膨胀率;
最大池化层通过减小卷积层参数误差引起的估计均值偏移,实现输入图像在小空间移位时的平移不变性;
decoder包括卷积层、两层反卷积层、批标准化层,两个decoder中两层反卷积层之间分别添加两个任务互关注模块;反卷积层通过上采样使输出恢复到原始磁共振图像的尺寸大小;
任务互关注模块通过计算两个decoder中反卷积层输出的定位特征图和分割特征图在相应位置的相似度来连接多任务;具体是指:给定一个定位特征图
a=lts(ⅲ)
fl=softmax(at)(ⅳ)
fs=softmax(a)t(ⅴ)
式(ⅲ)、(ⅳ)、(ⅴ)中,fl,fs为定位与分割之间通道关联性的归一化权值,则得到定位导向的分割注意flgsa和分割导向的定位注意fsgla,如公式(ⅵ)、(ⅶ)所示:
flgsa=sfs(ⅵ)
fsgla=fllt(ⅶ)
将定位特征图和flgsa拼接起来,得到最终的定位注意特征图fsegmentation-attented;同样,对分割特征图进行对称操作,将分割特征图和fsgla拼接起来,得到最终的分割注意特征图flocalization-attented;如公式(viii)、(ⅸ)所示:
fsegmentation-attented=reshape(concat(s,fsgla))(viii))
flocalization-attented=reshape(concat(s,flgsa))(ⅸ);
一个decoder通过解码encoder生成的高级特征得到语义分割结果;另一个decoder通过解码encoder生成的高级特征得到语义定位结果。
4.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,所述步骤(2)中,异或操作将seg-loc网络输出的语义定位结果和语义分割结果进行异或操作,得到异或预测,是指:
d、通过softmax函数将seg-loc网络输出的语义定位结果和语义分割结果分别变为512*512,
e、再通过onehot函数,重新变为512*512*c,这样得到的512*512*c,c是包含的类别数,对于每一类是二值化的;
f、将二值化后的语义定位结果和语义分割结果,对c类进行对应通道的异或,得到异或预测。
5.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,所述步骤(2)中,包括卷积层和全连接层;判别网络在全局角度中鉴别输入是来自由seg-loc网络输出的异或得到的异或预测还是异或标签。
6.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,所述步骤(3),将经过步骤(1)预处理后得到的数据输入经步骤(2)构建好的多任务关系学习网络模型中,进行seg-loc网络和判别网络的对抗训练,包括步骤如下:
将经过步骤(1)预处理的512*512大小的磁共振图像输入seg-loc网络,将seg-loc网络的输出,经过异或操作得到的异或预测和异或标签共同作为判别网络的输入,判别网络的输出又以损失函数的形式反馈至seg-loc网络,seg-loc网络和判别网络的输出结果相互竞争。
7.根据权利要求1所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,损失函数ld,如公式(ⅹ)所示:
式(ⅹ)中,如果判别网络输入来自真实标签,则yn=1;输入来自seg-loc网络,则yn=0;n是图片的总数,j,k代表图像像素点的横纵坐标,gxor(·)表示输入seg-loc网络,并对seg-loc网络的输出进行异或操作;xn代表第n张图像,yxorn代表第n张图像的异或标签,θd代表判别网络可练的参数。
8.根据权利要求1-7任一所述的一种用于核磁共振图像中的椎体定位、识别和分割的多任务关系学习方法,其特征在于,所述步骤(3)中,通过最小化损失函数来训练seg-loc网络和判别网络,如公式(ⅺ)、(ⅻ)所示:
式(ⅺ)、(ⅻ)中,y0是背景类的定位标签;yc是除了背景类外的第c类的定位标签,wc是第c类的权重,w,h分别是图像的宽和高,mc代表了训练集中第c类像素点的个数。