一种神经胶质瘤复发判断方法、电子设备及存储介质与流程

本发明属于计算机视觉处理，涉及一种神经胶质瘤复发判断方法、电子设备及存储介质。

背景技术：

1、神经胶质瘤是一种常见的脑肿瘤，因其高复发率和的愈后不良成为难以治疗的肿瘤之一。预测神经胶质瘤复发的传统方法在很大程度上依赖于手动测量和主观评估，通常无法捕捉影响肿瘤变化因素之间的复杂相互关系，这使得精确预测神经胶质瘤复发成为一个挑战性问题。

2、医学成像技术、特别是mri(核磁共振成像)的发展带来了丰富的图像数据，利用高清晰度的肿瘤和水肿区域信息，可以增强对肿瘤动态的理解和预测。与此同时，深度学习的进步，尤其是视觉transformer领域的进步，为从复杂的成像数据中自动提取有效的特征和特征之间的关系提供了有效工具。

技术实现思路

1、本发明用于解决如何提高神经胶质瘤复发预测的准确性和可靠性的问题。

2、本发明是通过以下技术方案解决上述技术问题的：

3、一种神经胶质瘤复发判断方法，包括以下步骤：

4、s1、收集神经胶质瘤粒子介入内放疗患者的术前和术后复查mri图像数据以及水肿和肿瘤区域的注释勾画标签，并获取导致复发的水肿、肿瘤、强化程度占复发的权重；

5、s2、对图像及其勾画标签进行重采样、裁剪并归一化；

6、s3、使用elastix配准将所有对图像进行仿射配准；

7、s4、构建孪生网络复发判断模型，具体方法如下：

8、s41、孪生网络复发判断模型包括结构相同的术前分支网络和术后分支网络，术前分支网络和术后分支网络之间共享参数；

9、s42、分别对应输入术前以及术后的mri图像数据，输入图像首先进行分块编码，将输入的图像切分为多个图像块，每个块包含一个特定区域的图像信息，并将这些图像块编码成基本语义单元；

10、s43、将图像块输入到包含两个卷积层、激活层以及池化层的卷积模块中来提取和压缩图像特征，将图像特征送到transformer编码器中，并在编码器的输入阶段，在每个图像块加上位置编码，以提供位置信息；

11、s44、经过由卷积模块和transformer编码器组成的初级编码层之后，图像特征被初步提取出来；再将图像特征依次输入次级、第三级、第四级编码层之后，图像特征被编码至768*2*24*24大小；再依次输入到初级、次级、第三级、第四级解码层进行解码，获得最终的目标特征，将最终的目标特征输入到转换卷积层中，目标特征被转换为术前和术后包含肿瘤和水肿位置的分割结果；

12、s45、通过特征差异模块对术前和术后分支网络提取的特征进行比较和对比，识别和量化神经胶质瘤在术前和术后图像之间的变化，再通过预测模块预测复发概率和各元素导致复发的权重；

13、s5、使用总损失进行反向传播，优化网络权重、更新网络中的参数，对孪生网络复发判断模型进行训练；

14、s6、使用训练后的孪生网络复发判断模型推断患者复发情况及各元素导致复发的权重。

15、进一步地，所述的transformer编码器包括：多头自注意力层和前馈网络；

16、所述的多头自注意力层使用不同的头并行地计算注意力，计算过程如下：

17、1)设x为输入的图像块，图像块首先经过一个嵌入层，将每个像素的值映射到一个高维特征空间，将x展平为一个向量，嵌入层表示为一个权重矩阵we如下：

18、fembed＝we·xflat

19、其中，xflat是将图像块展平成的一维向量，fembed是经过嵌入层映射后的特征；

20、2)加入位置编码以赋予transformer编码器位置信息fpos如下：

21、fpos＝fembed+p

22、其中，p是位置编码，它具有与fembed相同的维度，并且为每个位置添加唯一的编码；

23、3)多头自注意力层通过h个不同的头分别处理，每个头学习到不同的子空间表示如下：

24、headi＝attention(wiq·fpos,wik·fpos,wiv·fpos)

25、multiheaded(fpos)＝concat(head1,head2,…,head)wo

26、其中，wiq、wik、wiv是每个头的查询、键和值的权重矩阵，wo是将所有头的输出连接后进行线性变换的权重矩阵，attention()表示一个注意力模块，headi表示多头注意力中的每个头，concat()表示拼接操作，multiheaded(fpos)表示计算完多头注意力的结果；

27、4)多头自注意力层的输出通过残差连接和层归一化后形成最终的输出，残差连接允许模型绕过某一层直接传递信息，计算如下：

28、f′＝multihead(fpos)+fpos

29、fattn＝layernorm(f′)

30、其中，fattn表示经过归一化的结果，layernorm()表示层归一化层，f′表示经过残差结构结果；

31、所述的前馈网络用于将多头自注意力层的输出进行转换，前馈网络包括两个线性层和一个非线性激活函数relu：

32、fffn＝relu(0,fattnw1+b1)w2+b2

33、其中，w1、w2是权重矩阵，b1、b2是偏置项，fffn表示前馈网络结果；

34、再次通过残差连接和层归一化得到前馈网络的输出，这个输出将被传递到下一层或者用于特征差异模块的输入：

35、f″＝fffn+fattn

36、foutput＝layernorm(f″)

37、其中，f″表示经过残差结构结果，foutput表示归一化后的结果。

38、进一步地，所述的特征差异模块从术前和术后的transformer模块输出中获得对应的特征图fpre和fpost，这些特征图在空间分辨率上对齐，以确保每个术前的图像块与相应的术后图像块在位置上是一致的，采用逐元素的特征差分方法来计算特征差异，差异特征fdiff通过以下公式获得：

39、fdiff＝fpost-fpre

40、使用注意力权重来突出重要的特征变化：

41、fweighted＝attention(fdiff)

42、其中，attention()表示一个注意力模块，fweighted表示加权差分特征图。

43、进一步地，所述的预测模块通过解码器接收加权差分特征图fweighted作为输入，代表肿瘤、水肿、水肿和肿瘤强化程度的信号，并通过多层全连接层进行处理：

44、f1＝f(w1·fweighted+b1)

45、其中，f1是第一层的输出，w1和b1分别是第一层的权重和偏置，f()是非线性激活函数；

46、连续的全连接层进一步处理上层的输出，深层次地融合差异特征，为预测提供更丰富的信息：

47、fl＝f(wl·fl-1+bl),l＝2,...,l

48、其中，l是mlp解码器的层数，fl是第l层的输出，fl-1是第l-1层的输出，bl是第l层的偏置项；

49、将特征分别输出到预测层，预测层是一个具有单个输出单元的全连接层，使用sigmoid激活函数来产生概率如下：

50、pi＝σ(wl·f(l-1)i+bl0

51、其中，pi是第i预测元素的概率，σ()是sigmoid函数，确保输出在0到1之间；wl表示神经网络第l层的权重，f(l-1)i表示l层的输入为第l-1层的输出。

52、进一步地，所述的总损失是分割损失和复发权重损失的加权和，具体如下：

53、ltotal＝αlseg+βlrecurrence

54、其中，ltotal表示总损失，lseg表示分割损失，lrecurrence表示复发权重损失，α是调节分割损失的超参数，β是调节复发权重损失的超参数。

55、进一步地，所述的分割损失使用dice损失表示如下：

56、

57、所述的复发权重损失使用二元交叉熵计算如下：

58、

59、其中，n是标签元素数，yi是像素i的真实标签，是相应的二值预测。

60、一种电子设备，包括存储器以及处理器，所述存储器用于存储支持处理器执行所述神经胶质瘤复发判断方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

61、一种存储介质，存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行所述神经胶质瘤复发判断方法的步骤。

62、本发明的优点在于：

63、本发明通过构建孪生网络复发判断模型，采用先进的视觉transformer高效提取术前和术后mri数据中的关键特征，包括肿瘤大小、水肿范围和mri强化程度，并利用算法对这些特征进行分析，得到神经胶质瘤复发的预测结果和复发时各因素所占权重比例，最终提高神经胶质瘤复发预测的准确性和可靠性，此外，模型可以自动对肿瘤和水肿位置进行勾画；模型的核心在于采用了基于孪生视觉transformer的深度学习架构，结合专门设计的特征提取和分析算法，实现了对复杂术前术后影像数据的高效处理和复发的精准判断；利用术前术后特征差异对复发风险提供准确的评估，本发明超越了需要主观手动判断的传统方法，为临床医生提供了做出明智决策和个性化患者治疗方案的辅助工具。