一种基于多任务学习的脑影像分类及脑认知评分预测方法

本技术属于图像分类，尤其涉及一种基于多任务学习的脑影像分类及脑认知评分预测方法。

背景技术：

1、脑影像分类是医学影像领域的重要组成部分，在脑龄评估、衰老进展判断以及疾病识别等领域都有重要的应用。由于能够无创而且精细地对大脑进行成像，磁共振影像(mri，magnetic resonance imaging)等神经影像技术已经被广泛应用于脑影像分类领域中，成为脑影像分类的重要数据载体。早期的基于mri的脑影像分类主要依靠手工特征。然而，手工制作的特征有时无法识别大脑区域内的微小变化。因此，更多的研究将卷积神经网络(cnn，convolution neural network)作为脑影像分类的主要框架。一些基于2d切片的脑影像分类方法借鉴了经典的cnn结构，如深度残差网络(resnet，deep residual network)和超深卷积网络(vggnet，visual geometry group network)。为了进一步利用空间信息，一些研究通过先验知识选择了一些特定区域的图像块作为3d cnn的输入，也有一些研究设计了新的网络结构，以适应整个大脑图像作为输入。对于微小的结构变化，mri能够反映的大脑结构变化依然不够明显，进而无法准确的对脑影像进行分类。

2、从已有的临床经验来看，脑影像分类不仅能依赖于mri，还与一些与大脑认知功能相关的指标都有密切的关联，比如衡量认知功能的简易精神状态量表(mmse，mini-mentalstate examination)、临床痴呆量表(cdr，clinical dementia rating)。其中，关键的大脑结构比如海马体已经被研究证实与认知功能存在高度的关联，并验证了通过mri影像预测脑认知评分的可能行。与脑影像分类方法类似，脑认知评分预测方法领域也陆续出现了基于传统机器学习的预测方法、基于cnn的预测方法和基于弱监督学习等其他深度学习技术的预测方法。但是，现有的绝大多数方法并没有考虑脑影像分类和脑认知评分预测之间的关联关系。

技术实现思路

1、本技术提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，可以解决目前脑影像分类准确度较低和脑认知评分预测精度较差的问题。

2、第一方面，本技术提供了一种基于多任务学习的脑影像分类及脑认知评分预测方法，包括：

3、获取训练脑磁共振图像集；训练脑磁共振图像集包括n个脑磁共振图像样本；

4、构建脑影像分类及脑认知评分预测模型；脑影像分类及脑认知评分预测模型包括用于提取脑影像分类特征的第一特征提取模块、用于提取脑认知评分特征的第二特征提取模块、用于对脑影像分类特征和脑认知评分特征进行交互的特征交互模块、用于生成脑影像分类结果的识别模块以及用于生成脑认知评分预测结果的预测模块，第一特征提取模块的输入端和第二特征提取模块的输入端接收脑磁共振图像，第一特征提取模块的第一输出端输出脑影像分类特征，第二特征提取模块的第一输出端输出脑认知评分特征，特征交互模块的第一输入端连接第一特征提取模块的第二输出端，特征交互模块的第二输入端连接第二特征提取模块的第二输出端，特征交互模块的第一输出端连接识别模块的第一输入端，识别模块的第二输入端连接第一特征提取模块的第一输出端，识别模块的输出端输出脑影像分类结果，特征交互模块的第二输出端连接预测模块的第一输入端，预测模块的第二输入端连接第二特征提取模块的第一输出端，预测模块的输出端输出脑认知评分预测值；

5、将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征；

6、根据n个脑影像分类结果，构建第一损失函数；

7、根据n个脑认知评分预测值，构建第二损失函数；

8、根据n个交互特征，构建第三损失函数；

9、根据预先获取的n个脑磁共振图像样本中每个脑磁共振图像样本的脑认知评分实际值，构建第四损失函数；

10、根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值；

11、利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型；

12、将待分类脑磁共振图像输入训练后的脑影像分类及脑认知评分预测模型，得到待分类脑磁共振图像的脑影像分类结果及脑认知评分预测值。

13、可选的，将训练脑磁共振图像集中的脑磁共振图像逐个输入脑影像分类及脑认知评分预测模型，得到n个脑影像分类结果、n个脑认知评分预测值以及n个交互特征，包括：

14、分别针对每个脑磁共振图像，执行以下操作：

15、通过计算公式

16、zm1，i＝z0，i-zm2，i

17、zm2，i＝(csm(z0，i)⊙ssm(z0，i))×z0，i

18、得到脑影像分类特征zm1，i；其中，zm1，i表示第i个脑磁共振图像的脑影像分类特征，zm2，i表示第一特征模块的第二输出端输出的特征数据，csm表示第一特征模块中的空间注意力网络，ssm表示第一特征模块中的通道注意力网络，z0，i表示第i个脑磁共振图像的原始特征，原始特征由脑磁共振图像经过卷积和池化运算得到，⊙表示克罗内克积，×表示逐元素乘，i＝1，2，...，n；

19、通过计算公式

20、za1，i＝z0，i-za2，i

21、za2，i＝(csa(z0，i)⊙ssa(z0，i))×z0，i

22、得到脑认知评分特征za1，i；其中，za1，i表示第i个脑磁共振图像的脑认知评分特征，za2，i表示第二特征提取模块的第二输出端输出的特征数据，csa表示第二特征提取模块中的空间注意力网络，ssa表示第二特征提取模块中的通道注意力网络；

23、通过计算公式

24、zs，i＝conv111(zl，i)+zr，i

25、zl，i＝(css1(za2，i)⊙sss1(za2，i))×za2，i+(css2(zm2，i)⊙sss2(zm2，i))×zm2，i

26、zr，i＝e(concat(za2，i，zm2，i，ec(zs，i，-1)))

27、得到交互特征zs，i；其中，zs，i表示第i个脑磁共振图像的交互特征，css2，css1表示特征交互模块中两个不同的空间注意力网络，sss1，sss2表示特征交互模块中两个不同的通道注意力网络，conv111表示卷积核为1的卷积，e(·)表示包含两个卷积层的特征提取层，ec(·)表示包含一个卷积层和一个池化层的特征提取层，concat(·)表示特征的级联，zs，i，-1表示前一个特征交互模块输出的结果；

28、根据交互特征zs，i和脑影像分类特征zm1，i，得到脑影像分类特征序列，并对脑影像分类特征序列进行全连接处理，得到脑影像分类结果pi；其中，pi表示第i个脑磁共振图像的脑影像分类结果，脑影像分类结果包括该影像属于相应类别的概率；

29、根据交互特征zs，i和脑认知评分特征za1，i，得到脑认知评分特征序列，并对脑认知评分特征序列进行全连接处理，得到脑认知评分预测值其中，表示第i个脑磁共振图像的脑认知评分预测值。

30、可选的，第一损失函数的表达式如下：

31、

32、其中，lce表示第一损失函数，yi表示第i个脑磁共振图像的真实标签。

33、可选的，第二损失函数的表达式如下：

34、

35、

36、其中，ls表示第二损失函数，mi表示预先获取的第i个样本的脑认知评分实际值。

37、可选的，第三损失函数的表达式如下：

38、

39、

40、其中，lc表示第三损失函数，j＝1，2，...，i，i表示脑影像分类及脑认知评分预测模型中每个模块的总数量，脑影像分类及脑认知评分预测模型中各模块的数量相同，表示第j个第二特征提取模块的第二输出端输出的特征数据，表示第j个第一特征提取模块的第二输出端输出的特征数据，sa表示平均池化，sm表示最大池化，||·||1表示向量的1范数。

41、可选的，第四损失函数的表达式如下：

42、

43、

44、其中，ld表示第四损失函数，fc表示分布函数，au(fc)表示分布函数fc下的面积，第四损失函数的梯度计算表达式为：

45、

46、可选的，根据第一损失函数、第二损失函数、第三损失函数以及第四损失函数，确定脑影像分类及脑认知评分预测模型的损失值，包括：

47、通过计算公式

48、ltotal＝lce+ls+lc+ld

49、得到损失值ltotal；其中，lce表示第一损失函数，ls表示第二损失函数，lc表示第三损失函数，ld表示第四损失函数。

50、可选的，利用损失值对脑影像分类及脑认知评分预测模型进行反向传播，直至脑影像分类及脑认知评分预测模型收敛，得到训练后的脑影像分类及脑认知评分预测模型，包括：

51、步骤i，根据损失值对脑影像分类及脑认知评分预测模型进行反向传播，得到新脑影像分类及脑认知评分预测模型；

52、步骤ii，计算新脑影像分类及脑认知评分预测模型对应的新损失值，并判断新损失值是否小于等于预设损失阈值；

53、步骤iii，若新损失值小于等于预设损失阈值，则确定新脑影像分类及脑认知评分预测模型已经收敛，并将新脑影像分类及脑认知评分预测模型作为训练后的脑影像分类及脑认知评分预测模型；否则，确定新脑影像分类及脑认知评分预测模型未收敛，将新脑影像分类及脑认知评分预测模型作为步骤i中的脑影像分类及脑认知评分预测模型，返回执行步骤i。

54、第二方面，本技术提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的基于多任务学习的脑影像分类及脑认知评分预测方法。

55、第三方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的基于多任务学习的脑影像分类及脑认知评分预测方法。

56、本技术的上述方案有如下的有益效果：

57、本技术提供的脑影像分类及脑认知评分预测模型有效的结合了脑认知评分和脑影像分类两个任务之间的相关性，极大的提高了脑影像分类和脑认知评分预测的准确度；本技术通过构建四个不同的损失函数对脑影像分类及脑认知评分预测模型模型进行反向传播，使脑影像分类及脑认知评分预测模型模型的分类和预测效果更加准确；本技术提供的脑影像分类及脑认知评分预测方法，通过准确的脑影像分类及脑认知评分预测方法模型对待识别脑磁共振图像进行分类和预测，能够有效提升脑磁共振图像分类和认知评分预测的准确度。

58、本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。