基于伪装目标检测的EdgeAttenNet肾小球图像精确分割系统及方法

文档序号:40531090发布日期:2024-12-31 13:45阅读:10来源:国知局
基于伪装目标检测的EdgeAttenNet肾小球图像精确分割系统及方法

本发明涉及医学图像分析,特别涉及基于伪装目标检测的edgeattennet肾小球图像精确分割系统及方法。


背景技术:

1、近年来,随着深度学习和计算机视觉技术的迅猛发展,医学图像分析领域取得了显著进展。肾小球的精确分割对于慢性肾病的诊断、病情评估和治疗方案的制定至关重要。然而,由于肾小球在病理图像中具有复杂的形态、不规则的边界,以及与周围组织高度相似的特性,传统图像分割方法难以取得理想效果,亟需更先进的技术手段。

2、深度学习模型,尤其是基于卷积神经网络(cnn)的方法,在图像分割任务中展现了出色的性能。诸如u-net、fcn和deeplab3+等经典网络架构在医学图像分割中也取得了显著进展,但在面对肾小球病理图像时,这些模型仍面临诸多挑战,如边界模糊、细节丢失,以及对小目标(如小尺寸肾小球)的识别困难。此外,如何有效利用多尺度特征并同时处理不同大小的目标对象,仍然是当前研究的重点与难点。

3、现有的肾小球分割方法主要包括传统图像处理技术、机器学习方法和深度学习方法。传统图像处理技术,如阈值分割、边缘检测和区域生长等,在复杂背景下效果有限,难以处理肾小球的形态多样性和结构变异性。机器学习方法如支持向量机(svm)和随机森林尽管有所改进,但其在特征提取和泛化能力方面仍有局限。

4、相比之下,基于深度学习的分割方法,尤其是基于u-net等架构的模型,在医学图像分割中表现优越。然而,这些模型在肾小球复杂结构的分割中仍存在一些不足,如边界识别不够精准、对小目标肾小球的检测能力有限等问题。这些挑战主要源于肾小球与周围组织的高度相似性,以及病理图像中肾小球的形态多样性和变异性。现有的深度学习方法虽然在全局特征提取上表现优异,但在边界细节和小尺寸目标的处理上仍存在局限,尤其是当肾小球边界模糊或与背景融合时,模型容易出现误分类或漏检现象。

5、因此,现有技术还有待改进和提高。


技术实现思路

1、鉴于上述现有技术的不足,本发明的目的是提供一种基于伪装目标检测的edgeattennet肾小球图像精确分割系统及方法,针对肾小球分割中的复杂挑战提出优化方案。该系统采用edgeattennet模型,结合pvtv2作为骨干网络,能够高效捕捉多尺度特征,并通过其层次化设计提升全局感知能力,保持高效的特征提取性能。模型还引入了aspp(空间金字塔池化)模块,利用不同的空洞率扩大感受野,从细节到全局精准捕捉空间信息,尤其适用于形态复杂且边界模糊的肾小球分割任务。

2、edgeattennet中的创新模块包括agbm(注意力引导边界模块)和efem(边界引导与特征增强模块),这两个模块显著提升了边界检测能力和特征表达。afcm(自适应融合上下文模块)通过多尺度特征的融合,进一步提高了模型在不同大小和复杂形态肾小球分割中的精度。这些模块的协同作用,有效解决了传统模型在处理小目标和复杂边界时的局限性,显著提升了模型的分割性能与鲁棒性。

3、为了达到上述目的,本发明采取了以下技术方案:

4、第一方面,一种基于伪装目标检测的edgeattennet肾小球图像精确分割系统,包括以下模块:

5、基于多级卷积的特征提取模块,包含五个连续的特征提取层(f1, f2, f3, f4,f5),用于逐层提取从低级到高级的图像特征;

6、注意力引导的边界(agbm)模块,负责边界的精确检测,通过结合低级和高级特征(如f2和f5),提升复杂场景下肾小球边界的识别精度;

7、边缘引导的特征增强(efem)模块,与每个特征提取层(f2, f3, f4, f5)相连,用于增强各层特征中的边缘信息,确保多尺度的边缘特征能够被准确捕获和处理;

8、自适应融合上下文(afcm)模块,串联多个来自efem的特征,逐步融合不同层次的上下文信息,提升模型对复杂结构的全局理解能力。

9、这些模块协同工作,形成一个端到端的分割网络结构,专为高精度肾小球识别与分割设计。该系统通过整合多级卷积特征提取、边界检测、边缘增强和上下文信息融合等多个创新模块,成功解决了传统方法在处理复杂背景、模糊边界和小目标识别中的局限性,大幅提高了分割的准确性和鲁棒性。

10、进一步地,所述特征提取模块采用pvtv2(pyramid vision transformer v2)网络架构,该架构能够从输入的肾小球病理图像中提取多尺度特征信息(如f1到fn),这些特征具有不同的空间分辨率和语义级别,分别对应{c1,c2, ... cn}维度的特征。pvtv2通过多级空间降采样和局部注意力机制,在保持高效特征提取能力的同时,降低计算复杂度,确保系统能够处理高分辨率医学图像。该模块的多尺度特征提取策略使得系统既能捕捉局部细节又能理解全局结构,从而更好地处理不同大小和形态的肾小球。

11、进一步地,所述注意力引导的边界模块采用空间注意力机制与通道注意力机制,并通过空洞空间金字塔池化(aspp)捕获多尺度上下文信息。注意力引导的边界模块的核心流程包括;

12、feat_1 = self.conv1(feat_1) feat_1 = self.spatial_attention(feat_1) *feat_1 feat_4 = self.aspp(feat_4) feat_4 =self.channel_attention(feat_4) *feat_4

13、xa = torch.cat((feat_4, feat_1), 1)

14、xa = self.block(xa)

15、其中,feat_1 代表低层次特征,经过 1x1 卷积降维后,通过空间注意力机制加权,突出重要的空间位置信息,捕获局部细节。feat_4 代表高层次特征,经过aspp模块提取多尺度上下文信息,扩展感受野,随后通过通道注意力机制加权,突出关键通道。feat_1和feat_4 在通道维度上拼接(torch.cat((feat_4, feat_1), 1)),并传递至 block 进行处理。block模块通过多重卷积操作融合多尺度信息,进一步细化边界特征,确保分割的精准度;

16、该模块的整体设计,模型在处理复杂形态的肾小球边界时表现出色。空间注意力机制有效地聚焦特征图中的重要空间位置信息,确保局部细节的准确捕捉;通道注意力机制则突出与分割任务相关的重要特征通道,提升了整体特征表达的准确性;而aspp 模块通过多尺度上下文信息的捕捉与感受野的扩展,使模型能够处理不同形态和大小的肾小球结构。整体设计确保了模型在复杂背景下对边界特征的精确检测和分割,显著提升了分割任务的鲁棒性和性能。

17、进一步地,所述边缘引导的特征增强模块通过以下步骤实现特征增强:

18、结合边界预测信息,对输入特征 c 进行加权,边界权重 att 用于突出边缘区域,核心操作为:

19、x = c * att + c

20、其中c为输入特征,att为边界预测权重,该操作通过将通道注意力权重 att 与原始特征图 c 相乘,突出与肾小球边缘相关的特征。残差连接保留了原始特征信息,确保增强后的特征既能够强调重要的边缘信息;

21、自适应池化采用了平均池化和最大池化相结合的方式,对全局特征进行不同尺度的汇聚;随后,通过一维卷积捕捉通道间的依赖性,生成融合后的注意力权重:

22、wei = self.avg_pool(x)

23、wei = self.conv1d(wei.squeeze(-1).transpose(-1, -2)).transpose(-1, -2).unsqueeze(-1)

24、wei2 = self.max_pool(x)

25、wei2 = self.conv1d2(wei2.squeeze(-1).transpose(-1, -2)).transpose(-1,-2).unsqueeze(-1)

26、其中,self.avg_pool(x) 使用自适应平均池化将输入特征图 x 汇聚为全局特征,生成的结果用于后续的注意力权重计算;self.max_pool(x) 使用自适应最大池化将输入特征图 x 缩小为一维向量,提供全局特征的最大值表示;wei.squeeze(-1) 移除多余的维度,transpose 操作用于调整张量维度顺序,以适应一维卷积的输入格式。self.conv1d表示通过一维卷积对全局特征进行处理,生成通道间的注意力权重。

27、随后,将平均池化和最大池化生成的通道权重进行融合,以确保模型在整合不同全局特征时更加平滑、鲁棒:

28、wei = 0.5 * wei + 0.5 * wei2

29、其中,wei 和 wei2 分别是通过平均池化和最大池化得到的注意力权重。为了充分利用两种不同池化策略的优势,将两者以0.5的权重进行加权融合,确保全局特征的综合性与鲁棒性。

30、接着,融合后的权重通过 sigmoid 激活函数进行归一化处理:

31、wei = self.sigmoid(wei)

32、其中,sigmoid 函数将注意力权重缩放至 [0,1]的范围,确保注意力权重的稳定性和灵活性,从而有效调整通道间的权重分布,突出关键边缘特征并抑制不相关的背景信息。

33、最后,结合注意力加权后的特征图 x 进行进一步的卷积处理,最终通过以下操作完成增强:

34、x = x * wei + x

35、该步骤通过对特征图 x 进行加权操作,这种方式不仅增强了边缘特征,还通过残差连接保持了输入特征的完整性,确保模型对复杂边界的检测具有更强的鲁棒性和适应性。

36、该模块通过自适应池化、动态计算的卷积核大小以及通道注意力机制,有效捕捉通道间的依赖关系,显著提高了模型对复杂肾小球边界的检测精度。该模块引入了边缘预测信息,通过与边缘相关的注意力权重进一步强化边缘特征的表达,实现边缘语义的精确增强。这种边缘引导机制能够在特征图中突出与肾小球边界高度相关的区域,抑制不相关的背景信息。同时,通过残差连接机制保留了原始特征信息,确保增强后的特征在不丢失全局信息的前提下,能更好地捕捉关键边缘细节。

37、进一步地,所述自适应融合上下文模块通过以下步骤实现上下文信息的聚合、特征重组与增强,并引入新的上下文信息以提升模型的特征表达能力和对复杂结构的理解能力:

38、首先,低级特征(lf)和高级特征(hf)通过torch.cat操作沿通道维度(即dim=1)进行拼接,随后使用 1x1 卷积(conv1_1)对拼接后的特征进行融合:

39、x = self.conv1_1(torch.cat((lf, hf), dim=1))

40、其中,lf为低级特征,hf为高级特征,torch.cat将它们沿通道维度拼接,conv1_1为1x1卷积操作,用于特征的初步融合和维度统一;

41、使用 torch.chunk 将融合后的特征图在通道维度上分为四个等通道的子特征图:

42、xc = torch.chunk(x, 4, dim=1)

43、其中,torch.chunk 函数将 x 沿通道维度划分为4个子特征块,供后续多尺度特征融合操作使用。

44、对第一个和第二个子特征块进行卷积操作,使用 attentionfuoin2 模块通过注意力机制加权融合两个特征图:

45、x0 = self.conv3_1(xc[0], xc[1])

46、其中,conv3_1 为 attentionfuoin2 模块,作用是通过softmax生成权重对 xc[0]和 xc[1] 进行加权,确保融合过程中保留重要的局部细节。

47、对第二个、第三个和第一步融合后的特征块 x0 进行多尺度卷积操作,使用attentionfuoin3 模块处理三个特征块的融合:

48、x1 = self.dconv5_1(xc[1], x0,xc[2])

49、其中,dconv5_1 为 attentionfuoin3 模块,通过加权的方式将 xc[1]、x0 和 xc[2] 进行融合,保证特征之间的相互作用,并强化对多尺度上下文信息的捕捉。

50、类似地,对第三个、第四个以及之前步骤中融合后的特征块进行卷积操作,使用attentionfuoin3 继续处理三个特征块的融合:

51、x2 = self.dconv7_1(xc[2], x1,xc[3])

52、其中,dconv7_1 同样为 attentionfuoin3 模块,用于进一步融合 xc[2]、x1 和xc[3],加强不同尺度之间的上下文依赖关系。

53、最后,对第四个特征块与第三步融合后的特征块 x2 进行卷积操作,完成最后两个特征的加权融合:

54、x3 = self.dconv9_1(xc[3], x2)

55、其中,dconv9_1 为 attentionfuoin2 模块,用于融合 xc[3]和 x2,并通过残差连接保留关键特征。

56、将经过多个卷积操作融合后的四个特征块重新拼接为一个完整的特征图,并通过卷积操作进一步压缩通道,完成最终特征融合:

57、xx = self.conv1_2(torch.cat((x0, x1, x2, x3), dim=1))

58、其中,torch.cat 将四个特征块在通道维度上重新拼接,conv1_2 使用1x1卷积压缩通道,进一步融合多尺度特征信息,确保特征表达的紧凑性。

59、最终,经过进一步的卷积处理,细化融合后的特征图,提升特征的表达能力:

60、x = self.conv3_3(xx, x)

61、其中,conv3_3 为卷积操作,用于细化融合后的特征,确保模型能够充分利用高低层特征,提升复杂场景下的分割精度。

62、attentionfuoin2 和 attentionfuoin3 的核心逻辑如下:

63、attentionfuoin2 通过 softmax 生成动态权重,对两个输入特征进行加权融合,并通过残差连接保留原始特征:

64、w = self.act(x1 + x2)

65、x1 = w[:, 0, ...].unsqueeze(1) * x1+ x1

66、x2 = w[:, 1, ...].unsqueeze(1) * x2+ x2

67、其中,act 函数生成的权重通过 softmax 进行归一化,对 x1 和 x2 进行加权。残差连接确保融合过程中不丢失原始特征的信息。

68、attentionfuoin3 通过类似方式处理三个输入特征图,生成三维权重,对每个特征图进行加权,并通过残差连接保留关键特征:

69、w = self.act(x1 + x2 + x3)

70、x1 = w[:, 0, ...].unsqueeze(1) * x1+ x1

71、x2 = w[:, 1, ...].unsqueeze(1) * x2+ x2

72、x3 = w[:, 2, ...].unsqueeze(1) * x3+ x3

73、其中,softmax 生成三维权重矩阵,用于加权融合三个特征,确保多尺度信息的整合。残差连接同样保留原始特征,增强了模型的鲁棒性。

74、自适应融合上下文模块通过多尺度特征的自适应融合,结合 attentionfuoin2和 attentionfuoin3 的动态权重生成机制,能够有效捕捉复杂肾小球结构中的多尺度信息。残差连接的设计确保了特征融合的过程中不会丢失关键信息,提升了模型在复杂背景下的分割能力。

75、第二方面、一种基于伪装目标检测的edgeattennet肾小球图像精确分割系统的分割方法,该方法包括以下步骤:

76、步骤1:使用pvtv2(pyramid vision transformer v2)作为特征提取模块,对输入的肾小球病理图像进行多尺度特征提取。pvtv2通过其层次化的transformer结构逐层提取多尺度特征,既能有效捕捉局部细节(如肾小球的纹理和边缘信息),又能提供全局上下文信息,适应不同大小和形态的肾小球特征需求。pvtv2的多尺度特征提取能力有助于提升模型对复杂场景的适应性,同时保持较低的计算复杂度;

77、步骤2:利用注意力引导的边界模块(agbm模块)对多尺度特征进行边界增强处理。该模块结合了空间注意力机制、通道注意力机制和aspp(空洞空间金字塔池化)机制,通过不同的空洞率捕捉多尺度上下文信息,扩大模型的感受野。空间注意力机制用于强化低层特征中与肾小球边缘相关的局部细节,通道注意力机制则用于增强高层特征中的全局信息表达,从而提升边缘特征的检测精度,确保肾小球边界得到更准确的分割;

78、步骤3:通过边缘引导的特征增强模块(efem模块),进一步增强与肾小球边缘相关的特征。efem模块结合边界预测信息,生成通道级别的注意力权重,通过边缘引导机制动态调整特征表达。efem利用双池化策略(平均池化和最大池化)综合捕捉全局和局部信息,有效突出关键特征,确保肾小球的边缘细节得到强化,进一步提高分割精度;

79、步骤4:使用自适应融合上下文模块(afcm模块),对不同层次的特征进行自适应融合。afcm通过结合不同膨胀率的卷积操作,捕捉多尺度上下文信息,并通过注意力机制对特征进行动态加权融合。在特征融合过程中,afcm能够重点关注重要的上下文信息,抑制无关的背景噪声,进而提升模型在复杂肾小球结构中的分割表现;

80、步骤5:最终解码生成肾小球分割结果,并应用形态学操作优化分割结果。

81、该方法通过逐步细化和增强特征,实现了对肾小球结构的精确分割,每个步骤都针对性地解决了肾小球分割中的特定挑战;这种渐进式的特征处理和融合策略不仅提高了分割的准确性,还增强了模型对不同类型和程度的病变肾小球的适应能力。

82、第三方面、一种基于伪装目标检测的edgeattennet肾小球图像精确分割系统的训练方法,包括:

83、步骤1:对输入的肾小球病理图像 iii 进行标准化处理,确保输入图像的特征值分布一致,提升模型的训练效果和稳定性。标准化公式如下:

84、

85、其中,μ为图像的均值,σ 为标准差。通过此步骤,消除不同图像间的亮度和对比度差异,使模型能够在相同的尺度上处理不同的图像,保证特征提取的一致性;

86、步骤2:加载edgeattennet模型,并使用预训练的pvtv2(pyramid visiontransformer v2)权重初始化特征提取模块。pvtv2是在大规模图像数据集上预训练的,通过其多尺度特征提取能力,为肾小球图像提供丰富的上下文信息,特别是在捕捉复杂结构和细节上具有显著优势。模型的初始化有助于加快训练收敛速度,提升初始分割性能;

87、步骤3:采用交叉熵损失(cross-entropy loss)和dice损失的加权组合来优化分割任务的目标函数。交叉熵损失关注像素级别的分类准确性,而dice损失更侧重于目标区域的重叠度与匹配精度。损失函数定义为:

88、

89、其中,lce为交叉熵损失,ldice为dice损失,α为平衡因子。通过调整 α,能够在全局分类精度和局部区域匹配间取得良好平衡,特别是在类别不平衡的情况下,dice损失能够有效防止小目标(如肾小球)的漏检;

90、步骤4:使用adam优化器进行参数更新。adam优化器结合了动量和自适应学习率调整的优势,在处理复杂的非凸优化问题时具有较好的鲁棒性。设置初始学习率:

91、

92、adam的自适应学习率机制有助于提高训练收敛速度,同时减少手动调整学习率的需求;

93、步骤5:采用多项式衰减策略(polynomial decay)动态调整学习率,确保模型在训练的不同阶段能够合理控制学习率。学习率更新公式为:

94、

95、其中,lr0 为初始学习率,t 为当前迭代次数,t 为总迭代次数,β为控制衰减速度的超参数。该策略能够在训练后期保持较低的学习率,避免模型陷入振荡或过拟合,同时确保精细化的特征调整;

96、步骤6:在每个训练迭代中,首先执行前向传播计算当前批次的损失函数值。接着,通过反向传播根据损失函数的梯度信息对模型参数进行更新。每次更新后,adam优化器会自适应调整参数的学习率,以确保模型能够逐步收敛;

97、步骤7:定期在验证集上评估模型性能,通过计算平均交并比(miou)和平均dice系数(mdice)等指标,量化模型的分割性能。miou衡量模型在各个类别中的分割一致性,而mdice则关注目标区域的重叠程度。这些评估指标能够准确反映模型在复杂场景中的表现。验证评估后,保存当前性能最优的模型权重,确保训练过程中能够选取最优的参数配置。通过此过程,避免模型过拟合,并确保模型在实际应用中的鲁棒性。

98、该方法通过多步优化策略和自适应机制,确保了edgeattennet模型能够在肾小球图像分割任务中取得优异的性能。各步骤紧密结合,通过数据预处理、模型初始化、损失函数优化、动态学习率调整等方式,使得模型在复杂背景下仍能保持高精度和稳定性。

99、本发明所采用的技术方案具有以下有益效果:

100、本发明针对肾小球分割问题,提出了edgeattennet网络。它通过创新的模块设计,有效提高了分割的精确度,特别是在处理复杂背景和模糊边界时表现出色。edgeattennet在网络的宽度和深度方面都进行了优化,可以实现更好的检测结果。

101、本发明提出的注意力引导的边界模块(agbm)结合空间注意力、通道注意力和aspp,显著增强了对肾小球边界的感知能力。这种多重注意力机制的设计使得模型能够更精确地定位肾小球边界,克服了传统方法在处理模糊边界时的不足。

102、本发明提出的边缘引导的特征增强模块(efem)通过结合边界预测信息和输入特征,实现了对边缘区域的精细增强,有效提高了分割的准确性。efem的设计不仅增强了边缘特征,还通过残差连接保留了原始特征信息,避免了过度强调边缘而忽视内部结构的问题。

103、本发明提出的自适应融合上下文模块(afcm),实现了多尺度上下文信息的有效捕获和动态融合,提高了模型对不同大小肾小球的适应能力。afcm的设计允许模型根据输入自适应地调整不同特征的重要性,使得系统能够更好地处理变化的肾小球形态和复杂的背景信息。

104、本发明的整体网络架构通过多个创新模块的协同作用,在保持高精度分割的同时,有效解决了细节丢失和边界模糊等问题,为肾小球病理分析提供了可靠的技术支持。edgeattennet不仅提高了分割的准确性,还增强了模型的可解释性和可扩展性,为未来在其他医学图像分割任务中的应用奠定了基础。

105、本发明采用的多目标损失函数设计,结合了交叉熵损失和dice损失,能够更好地平衡像素级别的分类准确性和区域重叠度,从而实现更精确的肾小球边界定位。这种损失函数设计特别适合医学图像分割任务的需求。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1