一种针对脑MRI图像的多注意力融合弱监督病理分割方法

本发明涉及，具体为一种针对脑mri图像的多注意力融合弱监督病理分割方法。

背景技术：

1、传统的分割方法通常基于mri图像的灰度、纹理和形状等特征，借助计算机视觉技术，旨在准确提取出感兴趣结构的边界和轮廓。因此，传统的分割方法对于结构清晰、灰度差异明显的图像能起到较为不错的分割效果，但在面对复杂、多层次结构或灰度变化较小的mri图像时，传统方法的局限性逐渐显现，限制了其在高精度分割方面的应用。与此同时，基于深度学习的经典分割方法虽然对于mri图像中脑部病理区达到较为精准的分割结果，如：fcn、unet等，但这些方法都是基于图像标注完备的有监督方法所实现。在实际应用中，由于标注过程不仅需要专业知识，还会消耗大量的人力及时间，乃至涉及到数据安全和患者隐私的问题，大量的mri图像数据无法被完全标注。因此，如何在数据缺乏的前提条件下完成脑部病理区的精准分割成了该领域需要解决的首要任务。除此之外，病理区形状不规则且出现位置区域不固定，以及由于噪声和伪影干扰导致的边界模糊问题，使得精准分割病理区域变得更为困难。

2、为此，提出一种针对脑mri图像的多注意力融合弱监督病理分割方法。

技术实现思路

1、本发明的目的在于提供一种针对脑mri图像的多注意力融合弱监督病理分割方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种针对脑mri图像的多注意力融合弱监督病理分割方法，包括以下步骤：步骤一，构建基于弱监督多注意力融合的脑mri图像病理分割框架，通过脑mri图像病理分割框架生成病理区域分割结果；步骤二，引入基于混合卷积的多尺度特征融合模块捕捉病灶区域的全局信息，将不同膨胀率的卷积核通过残差连接的方式串行组合，提高感受野的捕获范围以及不同大小、形状物体的辨别能力；步骤三，提出一种基于transformerfocus的边界注意力模块，通过在捕捉输入序列中的上下文信息，形成全局依赖关系表征的基础上，引入一组可学习的类别标记，使其与空间特征映射之间构成相似性映射并将其转移到相应的分割掩码上，实现全局信息和边缘感知信息的细化联系。

3、根据上述技术方案，所述步骤一中脑mri图像病理分割框架包括基于类激活映射的伪标签生成技术、基于无监督分割的边界映射技术以及基于双链路图像的边界拟合技术。

4、根据上述技术方案，脑mri图像病理分割框架工作流程为：输入待分割脑mri图片，通过框架的上半支路中的经过图像级标签预训练的classification backbone输出的最后一层特征图，然后经过mask generator模块生成所需的伪标签(pseudo mask)；另一路将待分割脑mri图像输入到基于无监督分割的边界映射技术构成无监督分割网络(unsupervised segment network,usn)中，最终生成一张边界映射图(edge map)；最后，将上述生成的伪标签和边界映射图共同输入到基于双链路图像的边界拟合技术构成的边界融合模块(boundaryfit moudule)进行边界拟合，从而进一步细化边界信息，生成最终的病理区域分割结果。

5、根据上述技术方案，所述步骤二中的多尺度特征融合模块由三个连续的卷积模块和一个注意力模块串联而成，卷积模块由不同膨胀率的空洞卷积核，以及对应的归一化函数(norm)和激活函数(relu)串行连接。

6、根据上述技术方案，所述注意力模块工作流程为：将输入的二维特征图分解为两个方向上的信息，即水平坐标信息和垂直坐标信息，生成一对具有方向感知的特征图，将两个特征图进一步处理，生成两个注意力映射图(attention map)，注意力映射图用于帮助模型在输入的特征图中快速聚焦其中的关键信息。

7、根据上述技术方案，特征图输入边界注意力模块前，将输入的特征图划分为大小为p×p的小块(patches)，每个patch被视为一个token，通过一个可训练的线性映射层(linear projection)将上述中patch的维度拉伸为transformerfocus encoder所需的d维，随后，将处理完适用于transformer结构的特征图以及其对应的分类标签的token一起送入边界注意力模块中进行下一步的计算处理。

8、根据上述技术方案，所述步骤三中基于transformerfocus的边界注意力模块用于将输入的特征序列经过层归一化(layer normalization)的处理，这一步骤的目的是对输入数据进行标准化，确保输入序列在该模块中的传递过程间保持稳定的分布，经过归一化处理的序列进入多头注意力机制(multi-head attention)进行自相关运算。

9、与现有技术相比，本发明所达到的有益效果是：(1)针对脑mri图像中病理区域结构复杂，从而导致标注过程费时费力且高度依赖专业人员辅助的问题，本文提出了一种基于弱监督边界细化的语义分割框架。该框架由双路结构组成，一路经过预训练的分类主干输出特征图，经过类激活映射的方法生成相应的伪标签；另一路通过无监督分割网络将相似像素聚集，生成一张抑制无关细节的边缘映射图，然后将两者进一步融合去除无关信息，从而生成最终的分割结果，大大减少了大规模标注费时费力且依赖专业人员辅助的问题；

10、(2)针对脑mri图像中病理区域位置随机且形状不规则导致的类内异质性问题，本文构建了一种基于混合卷积的多尺度特征融合模块。通过将不同膨胀率的卷积核进行残差连接，在不增加参数量的基础上和防止“栅格化”发生的同时，提高了感受野的捕获范围，以及不同大小、形状物体的可分辨性；

11、(3)针对脑mri图像结构复杂、病理区域边界模糊以及常混有伪影干扰问题，本文提出了一种基于transformerfocus的边界注意力模块。该方法能够捕捉输入序列中的上下文信息，从而形成全局依赖关系表征。在此基础上，还引入了一组可学习的类别标记，它与空间特征映射之间构成一组相似性映射，并将其转移到相应的分割掩码上，这使得网络在联系全局信息的基础上，进一步细化边缘感知信息。

技术特征：

1.一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：包括以下步骤：步骤一，构建基于弱监督多注意力融合的脑mri图像病理分割框架，通过脑mri图像病理分割框架生成病理区域分割结果；

2.根据权利要求1所述的一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：所述步骤一中脑mri图像病理分割框架包括基于类激活映射的伪标签生成技术、基于无监督分割的边界映射技术以及基于双链路图像的边界拟合技术。

3.根据权利要求2所述的一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：脑mri图像病理分割框架工作流程为：输入待分割脑mri图片，通过框架的上半支路中的经过图像级标签预训练的classification backbone输出的最后一层特征图，然后经过mask generator模块生成所需的伪标签(pseudo mask)；另一路将待分割脑mri图像输入到基于无监督分割的边界映射技术构成无监督分割网络(unsupervised segmentnetwork,usn)中，最终生成一张边界映射图(edge map)；最后，将上述生成的伪标签和边界映射图共同输入到基于双链路图像的边界拟合技术构成的边界融合模块(boundaryfitmoudule)进行边界拟合，从而进一步细化边界信息，生成最终的病理区域分割结果。

4.根据权利要求3所述的一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：所述步骤二中的多尺度特征融合模块由三个连续的卷积模块和一个注意力模块串联而成，卷积模块由不同膨胀率的空洞卷积核，以及对应的归一化函数(norm)和激活函数(relu)串行连接。

5.根据权利要求4所述的一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：所述注意力模块工作流程为：将输入的二维特征图分解为两个方向上的信息，即水平坐标信息和垂直坐标信息，生成一对具有方向感知的特征图，将两个特征图进一步处理，生成两个注意力映射图(attention map)，注意力映射图用于帮助模型在输入的特征图中快速聚焦其中的关键信息。

6.根据权利要求4所述的一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：特征图输入边界注意力模块前，将输入的特征图划分为大小为p×p的小块(patches)，每个patch被视为一个token，通过一个可训练的线性映射层(linearprojection)将上述中patch的维度拉伸为transformerfocus encoder所需的d维，随后，将处理完适用于transformer结构的特征图以及其对应的分类标签的token一起送入边界注意力模块中进行下一步的计算处理。

7.根据权利要求6所述的一种针对脑mri图像的多注意力融合弱监督病理分割方法，其特征在于：所述步骤三中基于transformerfocus的边界注意力模块用于将输入的特征序列经过层归一化(layer normalization)的处理，这一步骤的目的是对输入数据进行标准化，确保输入序列在该模块中的传递过程间保持稳定的分布，经过归一化处理的序列进入多头注意力机制(multi-head attention)进行自相关运算。

技术总结
本发明公开了一种针对脑MRI图像的多注意力融合弱监督病理分割方法，包括以下步骤：构建基于弱监督多注意力融合的脑MRI图像病理分割框架，通过少量脑MRI图像数据生成精准的病理区域分割结果；引入一种基于混合卷积的多尺度特征融合模块，它通过残差连接的方式将不同膨胀率的卷积核串行连接，在不增加额外参数量的同时，扩大了病灶区域的捕获范围；提出一种基于TransformerFocus的边界注意力模块，形成全局依赖关系表征的基础上，引入一组可学习的类别标记，实现全局信息和边缘感知信息的细化联系。本发明大大减少了大规模标注费时费力且依赖专业人员辅助的问题，有效提高了感受野的捕获范围，以及不同大小、形状物体的可分辨性，并细化边缘感知信息。

技术研发人员：毕福昆,车志豪,后兴海,黄晓语,刘文楷
受保护的技术使用者：北方工业大学
技术研发日：
技术公布日：2024/11/11