基于自适应多尺度Transformer优化的前列腺MRI影像分割方法及系统

基于自适应多尺度transformer优化的前列腺mri影像分割方法及系统
技术领域
1.本发明涉及医学图像处理领域，具体地，涉及一种基于自适应多尺度transformer优化的前列腺mri影像分割方法及系统。


背景技术：

2.前列腺癌早期病灶在影像学上难以被发现，而到晚期才被确诊者占前列腺癌患者的一半以上。为了提高患者的治愈率，早期的精准筛查对其提前干预治疗意义重大。磁共振成像(magnetic resonance imaging，mri)具有较高的组织分辨力，可很好地区分正常及病变组织信号，目前通过mri影像特征对前列腺癌进行鉴别诊断，对医生的专业水平要求较高，但也存在一些问题：前列腺癌病灶与其周边正常组织的分界不明显，使得放射科医生单靠肉眼不易识别前列腺癌病灶，且难以对恶性程度进行准确判断，从而增加了误诊和漏诊风险。因此对前列腺分割技术的研究具有重大意义。
3.近年来，随着人工智能(artificial intelligence，ai)以及基于ai的深度学习图像处理的技术逐渐发展，深度学习算法已广泛用于医学影像辅助诊断系统研发与应用中。基于深度学习的前列腺分割技术可以帮助放射科医生提高阅片效率并降低误诊、漏诊率。一般来说，基于深度学习的前列腺mri影像分割技术可以分为五类：基于卷积神经网络(convolutional neural networks，cnn)的分割技术，基于u型网络的分割技术，基于分辨率增强的分割技术，基于对抗生成网络(generative adversarial net，gan)的分割技术和基于transformer的分割技术。cnn的出现克服了传统机器学习需要人工提取特征的局限性，可以自动的从输入图像中学习有效的特征。相对于卷积神经网络图像级别的分类，u型网络采用对称编码器解码器，具有跳跃连接结构，逐渐将下采样的特征图恢复到原始大小，从而实现医学图像的像素级分割。虽然u型网络模型在在医学图像分割中表现出较好的性能，但当其应用于mri图像前列腺分割时仍然存在以下问题：(1)u型网络模型通过增加网络层级提升网络分割精度，但这往往会导致反向传播过程中梯度弥散；(2)u型网络中的池化下采样操作会导致目标边缘的细节信息丢失，给上采样后特征图的重构带来影响，导致分割精度降低；(3)待分割的腺体具有不同的大小和形状，且腺体组织与背景对比度不高，导致网络难于专注于腺体结构的学习。因此需要进一步改进。基于gan的分割技术主要由分割网络和判别网络构成，分割网络生成分割预测图，判别网络判断输入来自真实标签还是分割预测。同时，在分割网络中集成了感受野模块(receptive field block,rfb)来获取和融合深度特征的多尺度信息，提高特征的识别率和鲁棒性，以提升网络的分割性能。近期，为了更好的捕捉图像的局部特征，基于transformer的框架更多的被引入医学图像分割的任务中，且表现出了最优异的性能。
4.专利文献cn110188792a(申请号：cn201910312296.3)公开了一种前列腺mri三维图像的图像特征获取方法。本发明通过对前列腺t2wi图像进行自动器官分割，得到相应的前列腺器官区域，并基于分割结果映射到配准后的adc与dwi图像上，得到多参数前列腺器
官区域作为判别模型的输入，结合多参数mri图像与深度学习算法来获得图像特征。但该发明没有引入自适应卷积自适应地调制卷积核全局互补信息。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于自适应多尺度transformer优化的前列腺mri影像分割方法及系统。
6.根据本发明提供的一种基于自适应多尺度transformer优化的前列腺mri影像分割方法，包括：
7.步骤s1：获取前列腺mri影像数据集；
8.步骤s2：对数据集中mri图像进行预处理，得到预处理之后的训练集与测试集；
9.步骤s3：初始化网络中的参数，使用带有transformer模块的网络结合在前列腺图像标注的前列腺器官区域进行训练，更新参数得到前列腺自动分割模型；
10.步骤s4：将测试数据集的图像输入训练完成的网络中，得到每幅mri图像的前列腺分割图像。
11.优选地，在所述步骤s1中：
12.前列腺mri影像数据集包含t1wi扫描序列，图像上标注区域为前列腺器官的范围，由人工标注得到；
13.在所述步骤s2中：
14.预处理的方法包括对训练集和测试集中的所有mri图像进行直方图均衡化操作，对训练集和测试集中的所有mri图像进行数据增强。
15.优选地，在所述步骤s3中：
16.网络中的参数主要包括权值、偏置、卷积核数目、卷积核大小、transformer模块数量以及dropout层数；
17.使用带有transformer模块的网络结合医生在前列腺图像标注的前列腺器官区域进行训练，更新网络中的参数，得到前列腺自动分割模型，模型结构包括下采样、上采样及基于transformer的自适应多尺度注意力模块。
18.优选地，步骤s3.1：基于transformer的网络包括n个下采样层、n个上采样层、1个leaky relu层和m个transformer模块；
19.步骤s3.2：对输入的前列腺图像进行k次卷积，得到与输入的前列腺图像尺寸大小相同的特征图，并将卷积后的特征图与输入的第一图像相减，得到第1残差特征图，其中k为正整数；
20.步骤s3.3：对第1残差特征图进行下采样，得到第1次下采样特征图；对该第1次下采样特征图进行k次卷积，得到与第1次下采样特征图尺寸大小相同的特征图；并将第1次下采样特征图k次卷积之后得到的特征图与第1次下采样特征图相减，得到第2残差特征图；
21.步骤s3.4：重复进行步骤s3.3，对第n残差特征图进行一次卷积下采样，得到第n次下采样的特征图；之后对第n次下采样特征图进行m次卷积，得到与第n次下采样特征图尺寸大小相同的特征图；并将第n次下采样特征图m次卷积之后得到的特征图与第n次下采样特征图相减，得到第n+1残差特征图；其中，n的初始值为2；
22.步骤s3.5：将n值加1后重复执行步骤s3.4；直至n＝n+1时，转至步骤s3.6；
23.步骤s3.6：对图像进行下采样后，输入图像的l型断层堆栈表示为一个四维输入：
24.x∈r
l
×h×w×c25.其中，h为特征图的高度，w为宽度，c为通道数，x为输入四维图像，r为正实数，l为断层厚度；
26.利用特征图中附近像素的高相关性，并通过平均池化来对x进行下采样，内核大小为k，生成压缩特征图：
[0027][0028]
其中，x
pool
为池化后的四维输入；
[0029]
步骤s3.7：计算压缩特征图查询的线性投影q
′
和键的线性投影k
′
，并将x在通道数量中的线性投影表示为v，计算公式如下：
[0030]q′
＝x
pool
wq[0031]k′
＝x
pool
wk[0032]
v＝xwv[0033]
其中，wq为查询的线性投影权重，wk为键的线性投影权重，wv为v线性投影的权重；
[0034]
步骤s3.8：计算注意力矩阵a∈r
l
×
l
，该矩阵表示在分割当前断面时应给予其他断面的关注度，计算公式为：
[0035][0036]
其中，q为查询，k为键；
[0037]
跨断面注意力块的输出为y∈r
l
×h×w×c，y＝av
[0038]
步骤s3.9：将跨断面注意力模块嵌入transformer模块，经过transformer模块的输出为z，z的计算公式为：
[0039]
z＝layer_norm(gelu(z
int
w+b)+z
int
)
[0040]
其中，z
int
为经过transformer模块输出的中间结果，w为对应权重矩阵，b为偏置；
[0041]
步骤s3.10：对第n+1残差特征图进行一次上采样，得到第1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加，得到第1特征图；
[0042]
步骤s3.11：对该第1特征图进行k次卷积，得到与该第1特征图尺寸大小相同的特征图；并将第1特征图k次卷积之后的特征图与第1特征图相减，得到第1次上采样残差特征图；
[0043]
步骤s3.12：对第m次上采样残差特征图进行一次上采样，得到第m+1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加，得到第m+1特征图；其中，m的初始值为1；
[0044]
步骤s3.13：对第m+1特征图进行k次卷积，得到与该第m+1特征图尺寸大小相同的特征图；并将第m+1特征图k次卷积之后的特征图与第m+1特征图相减，得到第m+1次上采样残差特征图；
[0045]
步骤s3.14：将m值加1后重复执行步骤s3.12与步骤s3.13，直至m＝n时，转至步骤s3.15；
[0046]
步骤s3.15：将上采样过程生成的n个表示高层特征信息的特征图进行卷积、leaky relu激活函数与反池化，使特征图尺寸增加并得到网络参数；
[0047]
其中，损失函数d的计算公式为：
[0048][0049]
其中，i为像素点的横坐标位置，j像素点的纵坐标位置，p
ij
为输入前列腺图像经过网络分割后的二值图像中坐标位置为(i,j)的像素值，g
ij
为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值，x和y分别是手工标记的标准分割图像目标区域的长和宽。
[0050]
优选地，在所述步骤s4中：
[0051]
利用所有数据中前列腺区域在mri图像中的分布信息，进行半监督学习；训练分为两个阶段：
[0052]
第一阶段：利用经手工标记的标准前列腺分割图像的数据进行训练生成网络模型，对未标记的前列腺mri图像进行预测，并将预测结果放进最初的训练集；
[0053]
第二阶段：使用所有数据，进行整合训练，生成网络模型；
[0054]
引入自适应卷积自适应地调制卷积核全局互补信息，采用自适应transformer模块增强全局语义提取能力，进一步模拟远程依赖关系，该模块使得在具有不同尺度的跳跃连接的网络上表现更好。
[0055]
根据本发明提供的一种基于自适应多尺度transformer优化的前列腺mri影像分割系统，包括：
[0056]
模块m1：获取前列腺mri影像数据集；
[0057]
模块m2：对数据集中mri图像进行预处理，得到预处理之后的训练集与测试集；
[0058]
模块m3：初始化网络中的参数，使用带有transformer模块的网络结合在前列腺图像标注的前列腺器官区域进行训练，更新参数得到前列腺自动分割模型；
[0059]
模块m4：将测试数据集的图像输入训练完成的网络中，得到每幅mri图像的前列腺分割图像。
[0060]
优选地，在所述模块m1中：
[0061]
前列腺mri影像数据集包含t1wi扫描序列，图像上标注区域为前列腺器官的范围，由人工标注得到；
[0062]
在所述模块m2中：
[0063]
预处理的方法包括对训练集和测试集中的所有mri图像进行直方图均衡化操作，对训练集和测试集中的所有mri图像进行数据增强。
[0064]
优选地，在所述模块m3中：
[0065]
网络中的参数主要包括权值、偏置、卷积核数目、卷积核大小、transformer模块数量以及dropout层数；
[0066]
使用带有transformer模块的网络结合医生在前列腺图像标注的前列腺器官区域进行训练，更新网络中的参数，得到前列腺自动分割模型，模型结构包括下采样、上采样及
基于transformer的自适应多尺度注意力模块。
[0067]
优选地，模块m3.1：基于transformer的网络包括n个下采样层、n个上采样层、1个leaky relu层和m个transformer模块；
[0068]
模块m3.2：对输入的前列腺图像进行k次卷积，得到与输入的前列腺图像尺寸大小相同的特征图，并将卷积后的特征图与输入的第一图像相减，得到第1残差特征图，其中k为正整数；
[0069]
模块m3.3：对第1残差特征图进行下采样，得到第1次下采样特征图；对该第1次下采样特征图进行k次卷积，得到与第1次下采样特征图尺寸大小相同的特征图；并将第1次下采样特征图k次卷积之后得到的特征图与第1次下采样特征图相减，得到第2残差特征图；
[0070]
模块m3.4：重复进行模块m3.3，对第n残差特征图进行一次卷积下采样，得到第n次下采样的特征图；之后对第n次下采样特征图进行m次卷积，得到与第n次下采样特征图尺寸大小相同的特征图；并将第n次下采样特征图m次卷积之后得到的特征图与第n次下采样特征图相减，得到第n+1残差特征图；其中，n的初始值为2；
[0071]
模块m3.5：将n值加1后重复执行模块m3.4；直至n＝n+1时，转至模块m3.6；
[0072]
模块m3.6：对图像进行下采样后，输入图像的l型断层堆栈表示为一个四维输入：
[0073]
x∈r
l
×h×w×c[0074]
其中，h为特征图的高度，w为宽度，c为通道数，x为输入四维图像，r为正实数，l为断层厚度；
[0075]
利用特征图中附近像素的高相关性，并通过平均池化来对x进行下采样，内核大小为k，生成压缩特征图：
[0076][0077]
其中，x
pool
为池化后的四维输入；
[0078]
模块m3.7：计算压缩特征图查询的线性投影q
′
和键的线性投影k
′
，并将x在通道数量中的线性投影表示为v，计算公式如下：
[0079]q′
＝x
pool
wq[0080]k′
＝x
pool
wk[0081]
v＝xwv[0082]
其中，wq为查询的线性投影权重，wk为键的线性投影权重，wv为v线性投影的权重；
[0083]
模块m3.8：计算注意力矩阵a∈r
l
×
l
，该矩阵表示在分割当前断面时应给予其他断面的关注度，计算公式为：
[0084][0085]
其中，q为查询，k为键；
[0086]
跨断面注意力块的输出为y∈r
l
×h×w×c，y＝av
[0087]
模块m3.9：将跨断面注意力模块嵌入transformer模块，经过transformer模块的输出为z，z的计算公式为：
[0088]
z＝layer_norm(gelu(z
int
w+b)+z
int
)
[0089]
其中，z
int
为经过transformer模块输出的中间结果，w为对应权重矩阵，b为偏置；
[0090]
模块m3.10：对第n+1残差特征图进行一次上采样，得到第1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加，得到第1特征图；
[0091]
模块m3.11：对该第1特征图进行k次卷积，得到与该第1特征图尺寸大小相同的特征图；并将第1特征图k次卷积之后的特征图与第1特征图相减，得到第1次上采样残差特征图；
[0092]
模块m3.12：对第m次上采样残差特征图进行一次上采样，得到第m+1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加，得到第m+1特征图；其中，m的初始值为1；
[0093]
模块m3.13：对第m+1特征图进行k次卷积，得到与该第m+1特征图尺寸大小相同的特征图；并将第m+1特征图k次卷积之后的特征图与第m+1特征图相减，得到第m+1次上采样残差特征图；
[0094]
模块m3.14：将m值加1后重复执行模块m3.12与模块m3.13，直至m＝n时，转至模块m3.15；
[0095]
模块m3.15：将上采样过程生成的n个表示高层特征信息的特征图进行卷积、leaky relu激活函数与反池化，使特征图尺寸增加并得到网络参数；
[0096]
其中，损失函数d的计算公式为：
[0097][0098]
其中，i为像素点的横坐标位置，j像素点的纵坐标位置，p
ij
为输入前列腺图像经过网络分割后的二值图像中坐标位置为(i,j)的像素值，g
ij
为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值，x和y分别是手工标记的标准分割图像目标区域的长和宽。
[0099]
优选地，在所述模块m4中：
[0100]
利用所有数据中前列腺区域在mri图像中的分布信息，进行半监督学习；训练分为两个阶段：
[0101]
第一阶段：利用经手工标记的标准前列腺分割图像的数据进行训练生成网络模型，对未标记的前列腺mri图像进行预测，并将预测结果放进最初的训练集；
[0102]
第二阶段：使用所有数据，进行整合训练，生成网络模型；
[0103]
引入自适应卷积自适应地调制卷积核全局互补信息，采用自适应transformer模块增强全局语义提取能力，进一步模拟远程依赖关系，该模块使得在具有不同尺度的跳跃连接的网络上表现更好。
[0104]
与现有技术相比，本发明具有如下的有益效果：
[0105]
1、由于二维网络无法从临近的断面中获取有用的信息，三维网络由于mri数据的各向异性(即平面分辨率远低于平面内分辨率)，单独运用卷积方法表现不佳。本发明引入了自适应卷积自适应地调制卷积核全局互补信息；
[0106]
2、本发明采用自适应transformer模块来增强全局语义提取能力，进一步模拟远
程依赖关系，该模块使得在具有不同尺度的跳跃连接的网络上表现更好，因此自适应transformer模块可以改进基于跳跃连接的u型网络，提升了对前列腺mri图像的分割效果；
[0107]
3、本发明以大量前列腺mri影像数据为基础，建立前列腺器官自动分割模型，减少了无关背景信息对判别模型的干扰，为提升前列腺癌的诊断效率与准确率提供依据。
附图说明
[0108]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0109]
图1为本发明流程图；
[0110]
图2为本发明的基于自适应多尺度transformer优化的前列腺分割流程图；
[0111]
图3为本发明的自适应多尺度注意力模块流程图；
[0112]
图4为本发明的transformer模块流程图。
具体实施方式
[0113]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0114]
实施例1：
[0115]
根据本发明提供的一种基于自适应多尺度transformer优化的前列腺mri影像分割方法，如图1-图4所示，包括：
[0116]
步骤s1：获取前列腺mri影像数据集；
[0117]
具体地，在所述步骤s1中：
[0118]
前列腺mri影像数据集包含t1wi扫描序列，图像上标注区域为前列腺器官的范围，由人工标注得到；
[0119]
步骤s2：对数据集中mri图像进行预处理，得到预处理之后的训练集与测试集；
[0120]
在所述步骤s2中：
[0121]
预处理的方法包括对训练集和测试集中的所有mri图像进行直方图均衡化操作，对训练集和测试集中的所有mri图像进行数据增强。
[0122]
步骤s3：初始化网络中的参数，使用带有transformer模块的网络结合在前列腺图像标注的前列腺器官区域进行训练，更新参数得到前列腺自动分割模型；
[0123]
具体地，在所述步骤s3中：
[0124]
网络中的参数主要包括权值、偏置、卷积核数目、卷积核大小、transformer模块数量以及dropout层数；
[0125]
使用带有transformer模块的网络结合医生在前列腺图像标注的前列腺器官区域进行训练，更新网络中的参数，得到前列腺自动分割模型，模型结构包括下采样、上采样及基于transformer的自适应多尺度注意力模块。
[0126]
具体地，步骤s3.1：基于transformer的网络包括n个下采样层、n个上采样层、1个leaky relu层和m个transformer模块；
[0127]
步骤s3.2：对输入的前列腺图像进行k次卷积，得到与输入的前列腺图像尺寸大小相同的特征图，并将卷积后的特征图与输入的第一图像相减，得到第1残差特征图，其中k为正整数；
[0128]
步骤s3.3：对第1残差特征图进行下采样，得到第1次下采样特征图；对该第1次下采样特征图进行k次卷积，得到与第1次下采样特征图尺寸大小相同的特征图；并将第1次下采样特征图k次卷积之后得到的特征图与第1次下采样特征图相减，得到第2残差特征图；
[0129]
步骤s3.4：重复进行步骤s3.3，对第n残差特征图进行一次卷积下采样，得到第n次下采样的特征图；之后对第n次下采样特征图进行m次卷积，得到与第n次下采样特征图尺寸大小相同的特征图；并将第n次下采样特征图m次卷积之后得到的特征图与第n次下采样特征图相减，得到第n+1残差特征图；其中，n的初始值为2；
[0130]
步骤s3.5：将n值加1后重复执行步骤s3.4；直至n＝n+1时，转至步骤s3.6；
[0131]
步骤s3.6：对图像进行下采样后，输入图像的l型断层堆栈表示为一个四维输入：
[0132]
x∈r
l
×h×w×c[0133]
其中，h为特征图的高度，w为宽度，c为通道数，x为输入四维图像，r为正实数，l为断层厚度；
[0134]
利用特征图中附近像素的高相关性，并通过平均池化来对x进行下采样，内核大小为k，生成压缩特征图：
[0135][0136]
其中，x
pool
为池化后的四维输入；
[0137]
步骤s3.7：计算压缩特征图查询的线性投影q
′
和键的线性投影k
′
，并将x在通道数量中的线性投影表示为v，计算公式如下：
[0138]q′
＝x
pool
wq[0139]k′
＝x
pool
wk[0140]
v＝xwv[0141]
其中，wq为查询的线性投影权重，wk为键的线性投影权重，wv为v线性投影的权重；
[0142]
步骤s3.8：计算注意力矩阵a∈r
l
×
l
，该矩阵表示在分割当前断面时应给予其他断面的关注度，计算公式为：
[0143][0144]
其中，q为查询，k为键；
[0145]
跨断面注意力块的输出为y∈r
l
×h×w×c，y＝av
[0146]
步骤s3.9：将跨断面注意力模块嵌入transformer模块，经过transformer模块的输出为z，z的计算公式为：
[0147]
z＝layer_norm(gelu(z
int
w+b)+z
int
)
[0148]
其中，z
int
为经过transformer模块输出的中间结果，w为对应权重矩阵，b为偏置；
[0149]
步骤s3.10：对第n+1残差特征图进行一次上采样，得到第1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加，得到第1特征图；
[0150]
步骤s3.11：对该第1特征图进行k次卷积，得到与该第1特征图尺寸大小相同的特征图；并将第1特征图k次卷积之后的特征图与第1特征图相减，得到第1次上采样残差特征图；
[0151]
步骤s3.12：对第m次上采样残差特征图进行一次上采样，得到第m+1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加，得到第m+1特征图；其中，m的初始值为1；
[0152]
步骤s3.13：对第m+1特征图进行k次卷积，得到与该第m+1特征图尺寸大小相同的特征图；并将第m+1特征图k次卷积之后的特征图与第m+1特征图相减，得到第m+1次上采样残差特征图；
[0153]
步骤s3.14：将m值加1后重复执行步骤s3.12与步骤s3.13，直至m＝n时，转至步骤s3.15；
[0154]
步骤s3.15：将上采样过程生成的n个表示高层特征信息的特征图进行卷积、leaky relu激活函数与反池化，使特征图尺寸增加并得到网络参数；
[0155]
其中，损失函数d的计算公式为：
[0156][0157]
其中，i为像素点的横坐标位置，j像素点的纵坐标位置，p
ij
为输入前列腺图像经过网络分割后的二值图像中坐标位置为(i,j)的像素值，g
ij
为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值，x和y分别是手工标记的标准分割图像目标区域的长和宽。
[0158]
步骤s4：将测试数据集的图像输入训练完成的网络中，得到每幅mri图像的前列腺分割图像。
[0159]
具体地，在所述步骤s4中：
[0160]
利用所有数据中前列腺区域在mri图像中的分布信息，进行半监督学习；训练分为两个阶段：
[0161]
第一阶段：利用经手工标记的标准前列腺分割图像的数据进行训练生成网络模型，对未标记的前列腺mri图像进行预测，并将预测结果放进最初的训练集；
[0162]
第二阶段：使用所有数据，进行整合训练，生成网络模型；
[0163]
引入自适应卷积自适应地调制卷积核全局互补信息，采用自适应transformer模块增强全局语义提取能力，进一步模拟远程依赖关系，该模块使得在具有不同尺度的跳跃连接的网络上表现更好。
[0164]
实施例2：
[0165]
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
[0166]
本领域技术人员可以将本发明提供的一种基于自适应多尺度transformer优化的前列腺mri影像分割方法，理解为基于自适应多尺度transformer优化的前列腺mri影像分割系统的具体实施方式，即所述基于自适应多尺度transformer优化的前列腺mri影像分割系统可以通过执行所述基于自适应多尺度transformer优化的前列腺mri影像分割方法的
步骤流程予以实现。
[0167]
根据本发明提供的一种基于自适应多尺度transformer优化的前列腺mri影像分割系统，包括：
[0168]
模块m1：获取前列腺mri影像数据集；
[0169]
具体地，在所述模块m1中：
[0170]
前列腺mri影像数据集包含t1wi扫描序列，图像上标注区域为前列腺器官的范围，由人工标注得到；
[0171]
模块m2：对数据集中mri图像进行预处理，得到预处理之后的训练集与测试集；
[0172]
在所述模块m2中：
[0173]
预处理的方法包括对训练集和测试集中的所有mri图像进行直方图均衡化操作，对训练集和测试集中的所有mri图像进行数据增强。
[0174]
模块m3：初始化网络中的参数，使用带有transformer模块的网络结合在前列腺图像标注的前列腺器官区域进行训练，更新参数得到前列腺自动分割模型；
[0175]
具体地，在所述模块m3中：
[0176]
网络中的参数主要包括权值、偏置、卷积核数目、卷积核大小、transformer模块数量以及dropout层数；
[0177]
使用带有transformer模块的网络结合医生在前列腺图像标注的前列腺器官区域进行训练，更新网络中的参数，得到前列腺自动分割模型，模型结构包括下采样、上采样及基于transformer的自适应多尺度注意力模块。
[0178]
具体地，模块m3.1：基于transformer的网络包括n个下采样层、n个上采样层、1个leaky relu层和m个transformer模块；
[0179]
模块m3.2：对输入的前列腺图像进行k次卷积，得到与输入的前列腺图像尺寸大小相同的特征图，并将卷积后的特征图与输入的第一图像相减，得到第1残差特征图，其中k为正整数；
[0180]
模块m3.3：对第1残差特征图进行下采样，得到第1次下采样特征图；对该第1次下采样特征图进行k次卷积，得到与第1次下采样特征图尺寸大小相同的特征图；并将第1次下采样特征图k次卷积之后得到的特征图与第1次下采样特征图相减，得到第2残差特征图；
[0181]
模块m3.4：重复进行模块m3.3，对第n残差特征图进行一次卷积下采样，得到第n次下采样的特征图；之后对第n次下采样特征图进行m次卷积，得到与第n次下采样特征图尺寸大小相同的特征图；并将第n次下采样特征图m次卷积之后得到的特征图与第n次下采样特征图相减，得到第n+1残差特征图；其中，n的初始值为2；
[0182]
模块m3.5：将n值加1后重复执行模块m3.4；直至n＝n+1时，转至模块m3.6；
[0183]
模块m3.6：对图像进行下采样后，输入图像的l型断层堆栈表示为一个四维输入：
[0184]
x∈r
l
×h×w×c[0185]
其中，h为特征图的高度，w为宽度，c为通道数，x为输入四维图像，r为正实数，l为断层厚度；
[0186]
利用特征图中附近像素的高相关性，并通过平均池化来对x进行下采样，内核大小为k，生成压缩特征图：
[0187][0188]
其中，x
pool
为池化后的四维输入；
[0189]
模块m3.7：计算压缩特征图查询的线性投影q
′
和键的线性投影k
′
，并将x在通道数量中的线性投影表示为v，计算公式如下：
[0190]q′
＝x
pool
wq[0191]k′
＝x
pool
wk[0192]
v＝xwv[0193]
其中，wq为查询的线性投影权重，wk为键的线性投影权重，wv为v线性投影的权重；
[0194]
模块m3.8：计算注意力矩阵a∈r
l
×
l
，该矩阵表示在分割当前断面时应给予其他断面的关注度，计算公式为：
[0195][0196]
其中，q为查询，k为键；
[0197]
跨断面注意力块的输出为y∈r
l
×h×w×c，y＝av
[0198]
模块m3.9：将跨断面注意力模块嵌入transformer模块，经过transformer模块的输出为z，z的计算公式为：
[0199]
z＝layer_norm(gelu(z
int
w+b)+z
int
)
[0200]
其中，z
int
为经过transformer模块输出的中间结果，w为对应权重矩阵，b为偏置；
[0201]
模块m3.10：对第n+1残差特征图进行一次上采样，得到第1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加，得到第1特征图；
[0202]
模块m3.11：对该第1特征图进行k次卷积，得到与该第1特征图尺寸大小相同的特征图；并将第1特征图k次卷积之后的特征图与第1特征图相减，得到第1次上采样残差特征图；
[0203]
模块m3.12：对第m次上采样残差特征图进行一次上采样，得到第m+1次上采样特征图；并将第1残差特征图至第n+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加，得到第m+1特征图；其中，m的初始值为1；
[0204]
模块m3.13：对第m+1特征图进行k次卷积，得到与该第m+1特征图尺寸大小相同的特征图；并将第m+1特征图k次卷积之后的特征图与第m+1特征图相减，得到第m+1次上采样残差特征图；
[0205]
模块m3.14：将m值加1后重复执行模块m3.12与模块m3.13，直至m＝n时，转至模块m3.15；
[0206]
模块m3.15：将上采样过程生成的n个表示高层特征信息的特征图进行卷积、leaky relu激活函数与反池化，使特征图尺寸增加并得到网络参数；
[0207]
其中，损失函数d的计算公式为：
[0208][0209]
其中，i为像素点的横坐标位置，j像素点的纵坐标位置，p
ij
为输入前列腺图像经过网络分割后的二值图像中坐标位置为(i,j)的像素值，g
ij
为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值，x和y分别是手工标记的标准分割图像目标区域的长和宽。
[0210]
模块m4：将测试数据集的图像输入训练完成的网络中，得到每幅mri图像的前列腺分割图像。
[0211]
具体地，在所述模块m4中：
[0212]
利用所有数据中前列腺区域在mri图像中的分布信息，进行半监督学习；训练分为两个阶段：
[0213]
第一阶段：利用经手工标记的标准前列腺分割图像的数据进行训练生成网络模型，对未标记的前列腺mri图像进行预测，并将预测结果放进最初的训练集；
[0214]
第二阶段：使用所有数据，进行整合训练，生成网络模型；
[0215]
引入自适应卷积自适应地调制卷积核全局互补信息，采用自适应transformer模块增强全局语义提取能力，进一步模拟远程依赖关系，该模块使得在具有不同尺度的跳跃连接的网络上表现更好。
[0216]
实施例3：
[0217]
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
[0218]
本发明公开了一种基于自适应多尺度transformer优化的前列腺mri影像分割方法。本发明提出了一个基于transformer的3d跨断面注意力模块提取不同断面间的信息来对前列腺区域进行分割。跨断面注意力模块的提出提升了深度学习网络的分割效率与精度，同时可以有效的解决过拟合问题。本发明通过对前列腺图像进行自动器官分割，得到相应的前列腺器官区域。本发明以大量前列腺mri影像数据为基础，建立前列腺器官自动分割模型，减少了无关背景信息对判别模型的干扰，为提升前列腺癌的诊断效率与准确率提供依据。
[0219]
为了到满足放射科医生使用计算机辅助诊断前列腺癌的需求，本发明提出了一种基于自适应多尺度transformer优化的前列腺mri影像分割方法，该方法在边缘与细节处的分割结果更加准确，提升了前列腺分割的效果。
[0220]
本发明解决上述技术问题采用的技术方案为：一种基于自适应多尺度transformer优化的前列腺mri影像分割方法，如图1所示，包括以下步骤：
[0221]
步骤1、获取前列腺mri影像数据集，前列腺mri影像数据集包含但不限于t1wi扫描序列，图像上标注区域为前列腺器官的范围，由人工标注得到；
[0222]
步骤2、分别对数据集中的所有的mri图像进行预处理，得到预处理之后的训练集与测试集；
[0223]
为了解决原始的前列腺图像组织特征不明显等问题，所述步骤2中预处理的方法包括对训练集和测试集中的所有mri图像进行直方图均衡化操作。该操作处理之后增强了
图像的细节表现，提高了图像整体亮度。
[0224]
为了解决训练样本数量较少造成的网络训练出现的过拟合现象，所述步骤2中预处理的方法包括对训练集和测试集中的所有mri图像进行水平垂直平移、扩大缩放、尺度变换、角度旋转等操作进行数据增强。
[0225]
步骤3、初始化网络中的参数，其中网络中的参数主要包括权值、偏置、卷积核数目、卷积核大小、transformer模块数量以及dropout层数等。使用带有transformer模块的网络结合医生在前列腺图像标注的前列腺器官区域进行训练，不断更新网络中的参数，得到前列腺自动分割模型，模型结构包括下采样、上采样及基于transformer的自适应多尺度注意力模块；
[0226]
步骤3-1、本实施例中，基于transformer的网络包括n个下采样层、n个上采样层、1个leaky relu层和m个transformer模块，n和m为通过实验确定的最优正整数,在本方案中，考虑到网络的层数n的取值对特征提取效果影响较大，为了找到合适的网络层次，通过预设n值，并通过逐步增加层次的方式搭建不同层次的网络模型进行训练，分别使用dice相似性系数(dice coefficient，dsc)、精确率(precision)和召回率(recall)等多种指标对不同的网络模型的表现性能进行评价和分析前列腺组织区域的分割效果，从而找到最合适的网络层次n值和m值，n＝5，m＝2时该网络对前列腺区域的分割效果最好；
[0227]
步骤3-2、对输入的前列腺图像进行若k次卷积，得到与输入的前列腺图像尺寸大小相同的特征图，并将卷积后的特征图与输入的第一图像相减，得到第1残差特征图，其中k为正整数；
[0228]
步骤3-3、对该第1残差特征图进行下采样，得到第1次下采样特征图；之后对该第1次下采样特征图进行k次卷积，得到与第1次下采样特征图尺寸大小相同的特征图；并将第1次下采样特征图k次卷积之后得到的特征图与第1次下采样特征图相减，得到第2残差特征图；
[0229]
步骤3-4、重复进行步骤3-3，对第n残差特征图进行一次卷积下采样，得到第n次下采样的特征图；；之后对该第n次下采样特征图进行m次卷积，得到与第n次下采样特征图尺寸大小相同的特征图；并将第n次下采样特征图m次卷积之后得到的特征图与第n次下采样特征图相减，得到第n+1残差特征图；其中，n的初始值为2；
[0230]
步骤3-5、将n值加1后重复执行步骤3-4；直至n＝n+1时，转至步骤3-6；
[0231]
步骤3-6、对图像进行下采样后，输入图像的l型断层堆栈表示为一个四维输入x∈r
l
×h×w×c，其中特征图的高度为h，宽度为w，通道数为c。利用特征图中附近像素的高相关性，并通过平均池化(内核大小为k)来对x进行下采样，生成压缩特征图
[0232]
步骤3-7、计算压缩特征图的线性投影q
′
，k
′
，并将x在通道数量中的线性投影表示为v，计算公式如下：
[0233]q′
＝x
pool
wq[0234]k′
＝x
pool
wk[0235]
v＝xwv[0236]
步骤3-8、计算注意力矩阵a∈r
l
×
l
，该矩阵表示在分割当前断面时应给予其他断面
的关注度，计算公式为：跨断面注意力块的输出为y∈r
l
×h×w×c，其中y＝av；
[0237]
步骤3-9、将跨断面注意力模块嵌入transformer模块，经过transformer模块的输出为z，z的计算公式为：z＝layer_norm(gelu(z
int
w+b)+z
int
)；
[0238]
步骤3-10、对第n+1残差特征图进行一次上采样，得到第1次上采样特征图；并将第1残差特征图～第n+1残差特征图中与该第1次上采样特征图尺寸大小相同的残差特征图与该第1次上采样特征图相加，得到第1特征图；
[0239]
步骤3-11、对该第1特征图进行k次卷积，得到与该第1特征图尺寸大小相同的特征图；并将第1特征图k次卷积之后的特征图与第1特征图相减，得到第1次上采样残差特征图；
[0240]
步骤3-12、按照与步骤3-10相同的方式，再次对第m次上采样残差特征图进行一次上采样，得到第m+1次上采样特征图；并将第1残差特征图～第n+1残差特征图中与该第m+1次上采样特征图尺寸大小相同的残差特征图与该第m+1次上采样特征图相加，得到第m+1特征图；其中，m的初始值为1；
[0241]
步骤3-13、按照与步骤3-11相同的方式，再次对第m+1特征图进行k次卷积，得到与
[0242]
该第m+1特征图尺寸大小相同的特征图；并将第m+1特征图k次卷积之后的特征图与第m+1特征图相减，得到第m+1次上采样残差特征图；
[0243]
步骤3-14、将m值加1后重复执行步骤3-12与步骤3-13，直至m＝n时，转至步骤3-15；
[0244]
步骤3-15、将上采样过程生成的n个表示高层特征信息的特征图进行卷积、leaky relu激活函数与反池化，使特征图尺寸增加并得到最终的网络参数；
[0245]
其中，损失函数d的计算公式为：
[0246][0247]
其中，p
ij
为输入前列腺图像经过网络分割后的二值图像中坐标位置为(i,j)的像素值，g
ij
为第一图像中该幅图像所对应的经手工标记的标准分割图像中坐标位置为(i,j)的像素值，x和y分别是手工标记的标准分割图像目标区域的长和宽；
[0248]
步骤4、将测试数据集的图像输入训练完成的网络中，得到每幅mri图像的前列腺分割图像。
[0249]
考虑到原始数据集图像数量的局限，可以利用所有数据中前列腺区域在mri图像中的分布信息，进行半监督学习；训练分为两个阶段：第一阶段、主要利用经手工标记的标准前列腺分割图像的数据进行训练生成网络模型，进而对未标记的前列腺mri图像进行预测，并将预测结果放进最初的训练集；第二阶段、使用所有数据，进行整合训练，生成最终的网络模型。
[0250]
同时，由于二维网络无法从临近的断面中获取有用的信息，三维网络由于mri数据的各向异性(即平面分辨率远低于平面内分辨率)，单独运用卷积方法表现不佳。引入了自适应卷积自适应地调制卷积核全局互补信息。采用自适应transformer模块来增强全局语
义提取能力，进一步模拟远程依赖关系，该模块使得在具有不同尺度的跳跃连接的网络上表现更好，因此自适应transformer模块可以改进基于跳跃连接的u型网络，提升了对前列腺mri图像的分割效果。
[0251]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0252]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。