本发明属于医学影像处理的,具体涉及一种基于伪影靶向对抗训练的可信前列腺癌识别方法及装置。
背景技术:
1、目前,多参数磁共振成像(mpmri)因其检测前列腺病变的高灵敏度而在前列腺癌(pca)诊断中广泛应用。然而,传统的前列腺mpmri评估是基于主观的视觉评估,这将导致评估结果产生差异,并且评估病变的性能不佳。此外,手动解释mpmri序列需要大量的经验和劳动力,这限制了其临床适用性。因此,高效、准确地解释mpmri数据并在临床上实现令人满意的pca诊断结果尤为重要。
2、近年来,深度学习技术在医学图像识别任务中取得了显著的成功。前列腺磁共振成像(mri)能够提供pca的解剖结构信息和组织功能信息,可用于pca的检测、诊断、分类以及治疗响应评估,目前已有多种基于mri的pca深度学习诊断方法,然而,在临床工作中,mri容易出现敏感性伪影,现有的深度学习辅助方法通常不考虑直肠伪影的影响,因此它们的性能容易受到直肠伪影的干扰。特别是,除了明显的异常纹理(通常在病变区域之外)之外,直肠伪影具有小且多变的扩散噪声,很可能覆盖病变区域,这些噪声会干扰病变级pca识别模型的性能。此外,受到直肠扩张程度和肠内容物的影响,直肠伪影的形态、特征分布和规模也有较大差异。这些问题将导致深度学习辅助诊断的可信度不足。因此,如何增强模型的可信性成为智能诊断技术在临床实践中的核心问题。
3、有鉴于此,有必要提供一种能够抵抗伪影干扰的可信pca识别系统。
技术实现思路
1、本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于伪影靶向对抗训练的可信前列腺癌识别方法及装置,通过利用对抗训练方法,结合专有样本和原始图像,提高了前列腺癌识别系统的可信性,从而进行更准确的前列腺癌识别。
2、为了达到上述目的,本发明采用以下技术方案:
3、本发明一方面提供了一种基于伪影靶向对抗训练的可信前列腺癌识别方法,包括下述步骤:
4、s1、采集前列腺数据集,并对所述前列腺数据集进行预处理操作,得到不同维度的前列腺原始图像;
5、s2、构建不同维度的前列腺癌识别模型,将所述不同维度的前列腺原始图像导入相应前列腺癌识别模型中进行预训练,得到预训练好的前列腺癌识别模型;
6、s3、将所述前列腺原始图像作为参考集输入至所述预训练好的前列腺癌识别模型中,得到预测的样本图像,在所述预测的样本图像中筛选出具有直肠伪影属性的前列腺样本图像作为风格迁移的风格样本;
7、s4、基于所述风格样本,结合风格迁移技术和对抗攻击技术,构建专有对抗样本生成模型,并利用最小化总损失优化所述专有对抗样本生成模型,生成具有直肠伪影属性的专有对抗样本;
8、s5、利用所述前列腺原始图像和专有对抗样本,对所述预训练好的前列腺癌识别模型进行对抗训练,共同优化预训练好的前列腺癌识别模型参数,得到可信的前列腺癌识别模型。
9、作为优选的技术方案,所述步骤s1中预处理操作包括裁剪、归一化、配准和切割;
10、s11、所述裁剪是将所有图像都裁剪至体素大小为预设尺寸的前列腺周围区域,间距为预设的间距,所有图像的插值任务均用三阶b样条插值的方法;
11、s12、所述归一化是独立地对图像的每个通道进行归一化,使得图像中的体素落在[0,1]范围内,归一化公式为:
12、
13、其中,x表示归一化后的图像;percentile(xinit,num)表示将该图像通道的所有数值xinit按升序排列,形成一个数列,并取该数列num%处的值,此操作避免最大值和最小值对归一化的干扰;
14、s13、所述配准是使用基于b样条变换的非刚性配准,实现所有数据在空间位置上的一致;
15、s14、所述切割是使用前列腺分割模型生成前列腺分割掩码,同时通过使用阈值水平设置方法生成病变区域掩码,从而裁剪出每个切片中的病变区域,形成病变样本。
16、作为优选的技术方案,所述不同维度包括病变维度、切片维度和患者维度。
17、作为优选的技术方案,所述步骤s3中,具体为:
18、从前列腺原始图像中选择多张具有明显直肠伪影的图像作为参考集,将参考集输入到预训练好的识别模型中获取预测的样本图像,并选择置信度最低的预测样本图像作为参考样本,从参考样本中裁剪出一个区域作为风格迁移的风格样本xs。
19、作为优选的技术方案,所述步骤s4中基于所述风格样本,结合风格迁移技术和对抗攻击技术,构建专有对抗样本生成模型的具体过程为:
20、给定具有类别标签y的前列腺原始图像x和前列腺癌识别模型hθ,首先利用强一阶攻击pgd对前列腺原始图像进行对抗攻击得到对抗样本x′,公式为:
21、x′=x+δ,hθ(x′)≠y,||x-x||≤ε
22、其中,δ是对抗噪声,||·||表示基于l∞范数的距离度量,ε是人为设定的扰动预算,对抗样本x′的获得是通过解决优化问题来实现的:
23、
24、其中,yi为第i类对应的y值,pi为识别模型对第i类的预测概率,c表示类别数目;由此得到对抗损失
25、
26、在进行对抗攻击时,选取最佳扰动预算ε为8/255,攻击步长为2×10-3,攻击迭代次数为10;
27、利用给定的风格样本xs,将对抗样本x′进行风格迁移,以生成具有直肠伪影属性的专有对抗样本,具体步骤为:以vggnet-16为特征提取网络e,进行对抗样本x′和风格样本xs的特征提取,并定义对抗样本x′和风格样本xs之间的风格损失为:
28、
29、其中ψ是e中风格层的索引集,包括第2层、第4层、第7层和第10层卷积层,eψ是ψ中第ψ个风格层,表示从风格层提取的深层特征的gram矩阵;
30、构造对抗样本x′和前列腺原始图像x之间的语义损失,以确保前列腺原始图像的语义信息不会被改变,语义损失定义为:
31、
32、其中φ是e中语义层的索引集,包括第10层、第11层、第12层和第13层卷积层,eφ是φ中第φ个语义层。
33、作为优选的技术方案,所述步骤s4中利用最小化总损失优化所述专有对抗样本生成模型,具体为:
34、最终的总损失函数由三部分组成:用于寻找最强大扰动的对抗性损失用于生成直肠伪影专有对抗样本的风格损失和用于防止语义信息被破坏的语义损失最终构成的总损失函数为:
35、
36、其中α和β是用于权衡三个项的超参数,通过对超参数进行一系列更改,选取模型性能最佳时的α和β,α和β分别设置为10-3和5×10-2;
37、通过最小化模型的总损失来优化专有对抗样本生成模型,直到训练满足设定的终止条件,得到具有直肠伪影属性的专有对抗样本,总体优化目标为:
38、
39、其中,n是训练数据的数量。
40、作为优选的技术方案,所述步骤s5中,所述优化预训练好的前列腺癌识别模型参数的优化目标为:
41、
42、其中,是前列腺癌识别模型的原始损失函数;
43、反向传播并重复该预训练好的前列腺癌识别模型参数优化目标步骤,直至到达设定的终止条件,实现可信的前列腺癌识别模型。
44、本发明又一方面提供了一种基于伪影靶向对抗训练的可信前列腺癌识别系统,应用于所述的基于伪影靶向对抗训练的可信前列腺癌识别方法,包括预处理模块、识别模型模块、风格样本选取模块、对抗样本生成模块以及对抗训练模块;
45、所述预处理模块,用于采集前列腺数据集,并对所述前列腺数据集进行预处理操作,得到不同维度的前列腺原始图像;
46、所述识别模型模块,用于构建不同维度的前列腺癌识别模型,将所述不同维度的前列腺原始图像导入相应前列腺癌识别模型中进行预训练,得到预训练好的前列腺癌识别模型;
47、所述风格样本选取模块,用于将所述前列腺原始图像作为参考集输入至所述预训练好的前列腺癌识别模型中,得到预测的样本图像,在所述预测的样本图像中筛选出具有直肠伪影属性的前列腺样本图像作为风格迁移的风格样本;
48、所述对抗样本生成模块,用于基于所述风格样本,结合风格迁移技术和对抗攻击技术,构建专有对抗样本生成模型,并利用最小化总损失优化所述专有对抗样本生成模型,生成具有直肠伪影属性的专有对抗样本;
49、所述对抗训练模块,用于利用所述前列腺原始图像和专有对抗样本,对所述预训练好的前列腺癌识别模型进行对抗训练,共同优化预训练好的前列腺癌识别模型参数,得到可信的前列腺癌识别模型。
50、本发明又一方面提供了一种电子设备,其特征在于,所述电子设备包括:
51、至少一个处理器;以及,
52、与所述至少一个处理器通信连接的存储器;其中,
53、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行所述的基于伪影靶向对抗训练的可信前列腺癌识别方法。
54、本发明再一方面提供了一种计算机可读存储介质,存储有程序,所述程序被处理器执行时,实现所述的基于伪影靶向对抗训练的可信前列腺癌识别方法。
55、本发明与现有技术相比,具有如下优点和有益效果:
56、1、由于医学影像的特殊性,一般来说只有放射医生和具有医学临床知识的人才能根据影像对pca进行检测,本发明提出了一种基于伪影靶向对抗训练的可信前列腺癌识别方法,很大程度上减轻了医生手动解释mri图像的复杂度。
57、2、本发明基于风格迁移和对抗攻击技术,提出了一个能够针对直肠伪影进行噪声建模的专有对抗样本生成模块,从而获得具有直肠伪影属性的对抗样本,用于前列腺癌识别模型的对抗训练。
58、3、本发明利用对抗训练方法,结合专有样本和原始图像,提出了一种基于伪影靶向对抗训练的可信前列腺癌识别系统,提高了前列腺癌识别系统的可信性,从而进行更准确的前列腺癌识别。