1.本发明涉及乳腺肿瘤良恶性分类模型技术领域,更具体地说,涉及一种乳腺肿瘤良恶性分类模型方法、系统、终端及存储介质。
背景技术:2.自动乳腺全容积超声成像系统(automatic breast volume scanner, abvs)则是一种新型的乳腺检查技术,该技术不仅有bus检查的安全、无辐射、方便快捷等优点,同时通过计算机辅助下的自动扫查方式,弥补了bus检查中的经验依赖性问题,也不会因为扫查角度的不同产生不一致的结果,可重复性更高,因此abvs正广泛应用于乳腺疾病的筛查当中。
3.但是,abvs因其成像方式类似计算机断层扫描,通过将连续多帧2d超声灰度图像重建成为3d容积图像,所以其图像数据量巨大,导致超声医生阅片耗时耗力;又因其存在超声图像固有的噪声多、伪影等缺陷,给超声医生对良恶性判断造成困难,因而亟需一种多分支多模态多视角自注意力深度自注意力编码器的乳腺肿瘤良恶性分类模型,来辅助提高超声医生的阅片效率,并提升肿瘤分类准确率。
技术实现要素:4.本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种乳腺肿瘤良恶性分类模型方法,还提供了一种乳腺肿瘤良恶性分类模型系统、一种乳腺肿瘤良恶性分类终端及一种存储介质。
5.本发明解决其技术问题所采用的技术方案是:构造一种乳腺肿瘤良恶性分类模型方法,其中,包括以下步骤:将原始abvs图像进行预处理并提取多视角切片图像,得到主视角交叉图像和6个视角截面图像;扫描获取2d灰度图像和剪切波弹性图像;将6个视角截面图像、2d灰度图像和剪切波弹性图像分别进行切块嵌入操作处理后输入到深度自注意力编码器中,得到辅助视角特征、2d灰度图像特征和剪切波弹性图像特征;将主视角交叉图像中三个角度视图进行两两交叉组合形成3个交叉视角图像,将剪切波弹性图像进行切块嵌入操作处理后通过空间注意力计算得到包含硬度信息的注意力矩阵,通过注意类矩阵对3个交叉视角图像加权,将硬度信息添加到3个交叉视角图像中,经过交叉视角切块嵌入操作后输入到深度自注意力编码器中,得到主视角交叉图像特征;将主视角交叉图像特征、辅助视角特征、2d灰度图像特征和剪切波弹性图像特征进行特征融合。
6.本发明所述的乳腺肿瘤良恶性分类模型方法,其中,还包括对2d灰度图像和剪切波弹性图像进行真实性验证:采用两组隐空间编码器分别对2d灰度图像和剪切波弹性图像进行隐空间编码,将图像编码到低维隐空间,得到第一隐空间编码和第二隐空间编码;
将第一隐空间编码作为条件信息,与对应的类别信息编码和高斯采样的噪声一同输入到剪切波弹性图像生成器中,生成新的剪切波弹性图像,采用剪切波弹性图像判别器将新的剪切波弹性图像与原剪切波弹性图像进行比对判断真伪;将第二隐空间编码作为条件信息,与对应的类别信息编码和高斯采样的噪声一同输入到2d灰度图像生成器中,生成新的2d灰度图像图像,采用2d灰度图像判别器将新的2d灰度图像与原2d灰度图像进行比对判断真伪。
7.本发明所述的乳腺肿瘤良恶性分类模型方法,其中,将主视角交叉图像中三个角度视图进行两两交叉组合形成3个交叉视角图像包括方法:将主视角交叉图像的横断面、冠状面和矢状面两两组合,得到交叉视角图像;依据视角切面间的空间位置关系,对图像进行转置操作;将进行组合的两张图片进行中心轴重合嵌入操作。
8.本发明所述的乳腺肿瘤良恶性分类模型方法,其中,所述深度自注意力编码器对交叉视角图像窗口选取采用方法:以两张合并图像的总宽度作为窗宽,以固定的高度作为窗高。
9.本发明所述的乳腺肿瘤良恶性分类模型方法,其中,所述深度自注意力编码器采取窗口变换机制:仅将图像进行上下扰动,使得本属于相邻窗口内的图像进入原窗口,以获得窗口边界和相邻窗口内的信息。
10.本发明所述的乳腺肿瘤良恶性分类模型方法,其中,所述深度自注意力编码器在窗口内进行多头自注意力计算时:将线性变换将窗口信息转换成为q、k和v等3个向量:;;;linear1、linear2和linear3分别代表独立的线性变换;利用公式计算自注意力关系矩阵:;其中,arm
′
表示自注意力关系矩阵,dk表示向量的维度,dk=窗宽
×
窗高,qk
t
表示查询向量q与键值向量k的转置的乘积;交叉视角图像由两张相互垂直的切面(a,b)嵌入形成,通过一个空间关系权重矩阵来表示两张切面的空间距离关系,其中空间关系权重矩阵的行数和列数均为窗宽
×
窗高,并按单层窗宽的像素顺序依序排列,通过aa,bb,ab,ba标记表示该子块区域的所对应自注意力关系矩阵是否仅靠单一视角决定,或需由交叉视角构成,以此对自注意力关系矩阵进行加权,使其在单视角内的自注意力权重不变,而在交叉视角间的权重依据空间距离降低,以公式表示由中心轴附近的0逐渐减少到矩阵边缘至-1:;
式中,swm为空间关系权重矩阵,(xa,xy)和(xb,yb)表示在同一视角图片内的自注意力关系矩阵区域,而(x
−dx
)2+(y
−dy
)2表示像素点距离中心的距离,其中d
x
和dy表示子矩阵的中心坐标,空间关系权重矩阵的非同一视角图片内的自注意力关系矩阵区域的权重由中心向边缘降低;加权后的自注意力关系矩阵由公式计算得到,其中swm为空间关系权重矩阵:;经过多头自注意力计算的输出特征采用公式:。
11.本发明所述的乳腺肿瘤良恶性分类模型方法,其中,所述方法还包括将融合输入分类网络,获得相应分类结果;分类网络中使用的分类损失函数为:;其中yi表示预测的标签,pi表示预测值的可能性,n表示全部的样本总数。
12.一种乳腺肿瘤良恶性分类模型系统,应用于如上述的乳腺肿瘤良恶性分类模型方法,其特征在于,包括图像获取单元和深度自注意力编码器模型;所述图像获取单元,将原始abvs图像进行预处理并提取多视角切片图像,得到主视角交叉图像和6个视角截面图像;扫描获取2d灰度图像和剪切波弹性图像;所述深度自注意力编码器模型,将6个视角截面图像、2d灰度图像和剪切波弹性图像分别进行切块嵌入操作处理后输入到深度自注意力编码器中,得到辅助视角特征、2d灰度图像特征和剪切波弹性图像特征;将主视角交叉图像中三个角度视图进行两两交叉组合形成3个交叉视角图像,将剪切波弹性图像进行切块嵌入操作处理后通过空间注意力计算得到包含硬度信息的注意力矩阵,通过注意类矩阵对3个交叉视角图像加权,将硬度信息添加到3个交叉视角图像中,经过交叉视角切块嵌入操作后输入到深度自注意力编码器中,得到主视角交叉图像特征;将主视角交叉图像特征、辅助视角特征、2d灰度图像特征和剪切波弹性图像特征进行特征融合。
13.一种乳腺肿瘤良恶性分类终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上述方法的步骤。
14.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上述方法的步骤。
15.本发明的有益效果在于:应用本技术的乳腺肿瘤良恶性分类模型,将3个主视角交叉图像、6个辅助视角图像和普通二维超声、剪切波弹性成像图像分别切块嵌入操作处理后输入到深度自注意力编码器,之后分别输出它们的特征信息并进行特征融合,医生将最终融合结果输入到全连接层中进行良恶性分类,就可以得到肿瘤的分类结果,该方法在实验中使用私有abvs数据集,进行5折交叉验证,取得了较好的分类成绩,证明了所提出方法的有效性。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图及实施例对本发明作进一步说明,下面描述中的附图仅仅是本发明的部分实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图:图1是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法流程图;图2是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法模型示意图;图3是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法对2d灰度图像和剪切波弹性图像进行真实性验证示意图;图4是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法交叉视角的切块嵌入和基于窗口的深度自注意力操作示意图;图5是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法窗口变换示意图;图6是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法交叉视角分支的空间关系权重矩阵加权示意图;图7是本发明较佳实施例的乳腺肿瘤良恶性分类模型方法实验的良恶性患者abvs图像多视角切片影像图;图8是本发明较佳实施例的乳腺肿瘤良恶性分类模型系统原理框图。
具体实施方式
17.为了使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的部分实施例,而不是全部实施例。基于本发明的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
18.本发明较佳实施例的乳腺肿瘤良恶性分类模型方法,如图1所示,同时参阅图2-图7,包括以下步骤:s01:将原始abvs图像进行预处理并提取多视角切片图像,得到主视角交叉图像和6个视角截面图像;扫描获取2d灰度图像和剪切波弹性图像;s02:将6个视角截面图像、2d灰度图像和剪切波弹性图像分别进行切块嵌入操作处理后输入到深度自注意力编码器中,得到辅助视角特征、2d灰度图像特征和剪切波弹性图像特征;s03:将主视角交叉图像中三个角度视图进行两两交叉组合形成3个交叉视角图像,将剪切波弹性图像进行切块嵌入操作处理后通过空间注意力计算得到包含硬度信息的注意力矩阵,通过注意类矩阵对3个交叉视角图像加权,将硬度信息添加到3个交叉视角图像中,经过交叉视角切块嵌入操作后输入到深度自注意力编码器中,得到主视角交叉图像特征;s04:将主视角交叉图像特征、辅助视角特征、2d灰度图像特征和剪切波弹性图像特征进行特征融合;需要说明的是,上述的第二步和第三步不分先后顺序,亦可同时进行。
19.由于深度自注意力编码器在提取特征时可以较好的保留图像的全局信息,故本技术提出了一个基于双分支多视角的深度自注意力编码器模型(见图2)。该模型的输入数据
来自预处理阶段提取的9个视角截面图像、2d灰度图像和剪切波弹性图像。该模型由四个分支构成:其主分支是一个交叉视角的transformer,该分支的输入是两两交叉组合的3个主视角图像,经过交叉视角切块嵌入操作后输入到编码器中,最终得到它们的特征表示,得到的此特征在一定程度上含有三维空间信息;三个辅助分支分别是由一个传统的单视角transformer,将9个视角的图像单独输入到编码器中,得到单视角的特征表达,作为交叉视角图像的补充信息;以及医生手扫作为诊断依据的2d灰度图像分支和提供硬度信息的剪切波弹性成像分支组成。最终将四个分支得到的特征进行特征融合,输入到全连接层中进行良恶性分类,得到肿瘤的分类结果。其中超声弹性成像通过空间注意力计算得到包含硬度信息的注意力矩阵,并通过加权赋予到主分支中,将硬度信息添加到abvs分支的主视角图像中。
20.应用本技术的乳腺肿瘤良恶性分类模型,医生将最终融合结果输入到全连接层(每一层的所有神经元节点都与上一层或下一层中的所有神经元节点连接)中进行良恶性分类,就可以得到肿瘤的分类结果,该方法在实验(见下文实验部分)中使用私有abvs数据集,进行5折交叉验证,取得了较好的分类成绩,证明了所提出方法的有效性;图2中c-v patch embedding是交叉视角的切块嵌入操作,s-v patch embedding是单视角的切块嵌入操作,swin-t block是基于swin-transformer提出的深度自注意力编码器,编码器在此处的作用即将图像变换为特征向量。
21.如图3所示,还包括对2d灰度图像和剪切波弹性图像进行真实性验证:采用两组隐空间编码器分别对2d灰度图像和剪切波弹性图像进行隐空间编码,将图像编码到低维隐空间,得到第一隐空间编码和第二隐空间编码;将第一隐空间编码作为条件信息,与对应的类别信息编码和高斯采样的噪声一同输入到剪切波弹性图像生成器中,生成新的剪切波弹性图像,采用剪切波弹性图像判别器将新的剪切波弹性图像与原剪切波弹性图像进行比对判断真伪;将第二隐空间编码作为条件信息,与对应的类别信息编码和高斯采样的噪声一同输入到2d灰度图像生成器中,生成新的2d灰度图像图像,采用2d灰度图像判别器将新的2d灰度图像与原2d灰度图像进行比对判断真伪;该种多模态乳腺超声图像条件对抗生成网络的架构由两组隐空间编码器,两组生成器,两组判别器构成。其中隐空间编码器分别对2d灰度图像和剪切波弹性图像进行隐空间编码,将图像编码到低维隐空间;将隐空间的编码作为条件信息,与类别信息编码和高斯采样的噪声一同输入到生成器中,分别输出生成的剪切波弹性图像和2d灰度图像;最后将通过判别器分别判断两种生成图像的真伪。该过程有效的实现了指定类别下高质量双模态图像对的生成,可以实现图像的扩增与类别平衡;生成对抗网络中的损失函数可以采用:;其中d表示判别器,g表示生成器,maxd部分保持生成器不变,训练判别器,其中x为真实数据中的抽样,z为生成数据中的抽样,此时最大化则令第一项接近1,第二项中的d()的值接近0,取得最大值;ming时保持判别器不变,此时第一项无效,第二项要g的产物使d()的值接近1,取得最小值。
22.图3中eg表示2d灰度图像隐空间编码器,ee表示剪切波弹性图像隐空间编码器,ge表示剪切波弹性图像生成器,gg表示2d灰度图像生成器,de表示剪切波弹性图像判别器,dg表示2d灰度图像判别器。
23.在交叉视角深度自注意力编码器分支中,所设计的一种交叉视角切块嵌入操作,以替代transformer中原始的切块嵌入操作;首先将三个主视角横断面、冠状面和矢状面两两组合,得到交叉视角图像;再依据视角切面间的空间位置关系,对图像进行必要的转置操作;将两张图片按照图4所示以中心为轴进行嵌入。
24.与swin-transformer划分窗口的方式不同,在图4中同时展示出了本方法选取窗口的依据,以两张合并图像的总宽度作为窗宽,以固定的高度(设置为8)作为窗高,这样一个窗口中即可以包含两个视角的图像信息。由于是在窗口内部计算自注意力矩阵,所以与传统的transformer相比,削弱了保持全局信息的能力。而采取窗口变换机制的目的是使一个窗口能够获取相邻窗口间的边界信息,以达到在窗口内进行自注意力编码计算的同时,保持一定的全局视野的能力。而设计的窗口变换机制(见图5)也与swin-transformer进行窗口变换的机制有所不同,由于此时窗宽已经选定为交叉嵌入图像的宽度,因此在进行变换窗口时,只需将图像进行一个上下扰动而无需左右扰动,如图5所示,使得本属于相邻窗口内的图像进入原窗口,以获得窗口边界和相邻窗口内的信息,达到保持全局视野的目的。
25.优选的,深度自注意力编码器在窗口内进行多头自注意力计算时:将线性变换将窗口信息转换成为q、k和v等3个向量,如图4所示:;;;linear1、linear2和linear3分别代表独立的线性变换,x为输入到自注意力编码器的输入特征;在得到三个线性变换后,利用公式计算自注意力关系矩阵:;其中,arm
′
表示自注意力关系矩阵,dk表示向量的维度,dk=窗宽
×
窗高,qk
t
表示查询向量q与键值向量k的转置的乘积;如图6所示,由于交叉视角图像由两张相互垂直的切面(a,b)嵌入形成,其像素在空间上的关系如图6所示,在中心轴附近的空间距离近,在远离中心轴的两端则空间距离较远;因此提出了一个空间关系权重矩阵来表示两张切面的空间距离关系,其中空间关系权重矩阵的行数和列数均为窗宽
×
窗高,并按单层窗宽的像素顺序依序排列,通过aa,bb,ab,ba标记表示该子块区域的所对应自注意力关系矩阵是否仅靠单一视角决定,或需由交叉视角构成。以此对自注意力关系矩阵进行加权,使其在单视角内的自注意力权重不变(图6中的aa、bb方块所示区域,即对角线区域),而在交叉视角间的权重依据空间距离降低(图6中的ab、ba方块所示区域,即非对角线区域),以公式表示由中心轴附近的0逐渐减少到矩阵边缘至-1:
;式中,swm为空间关系权重矩阵,(xa,xy)和(xb,yb)表示在同一视角图片内的自注意力关系矩阵区域,而(x
−dx
)2+(y
−dy
)2表示像素点距离中心的距离,其中d
x
和dy表示子矩阵的中心坐标,空间关系权重矩阵的非同一视角图片内的自注意力关系矩阵区域的权重由中心向边缘降低,x,y分别表示像素点在图像中的坐标位置;加权后的自注意力关系矩阵由公式计算得到,其中swm为空间关系权重矩阵:;最终经过多头自注意力计算的输出特征采用公式:其中f为最终的输出特征,arm表示自注意力关系矩阵和空间关系权重矩阵的和,输出特征为arm与值向量v的乘积。
26.优选的,方法还包括将融合输入分类网络,获得相应分类结果;分类网络中使用的分类损失函数为:;其中yi表示预测的标签,pi表示预测值的可能性,n表示全部的样本总数。
27.实验数据:1.数据集如图7所示,所使用的数据集为医院通过siemens acuson oxana2 abvs 自动乳腺全容积超声成像设备进行采集,本数据集共包含357位患者的abvs数据、2d灰度数据和剪切波弹性成像数据,其中良性病变图像312例,恶性肿瘤图像45例。每例数据图像均经过高年资超声医生标注肿瘤掩膜,以确定乳腺病变位置,同时每例图像均有病理活检结果明确其良恶性分类。
28.1)abvs图像预处理。由于每个病人的乳房形态大小差异,abvs系统在进行全乳扫查时,其扫查间隔会进行动态调整,因此最终重建形成的三维图像的体素间隔存在差异,本研究中的体素间隔范围为[0.212~0.219, 0.049~0.102, 1.0]mm/voxel,故需对图像数据进行体素一致化操作,利用三次样条插值将原始体素间隔转变为[1.0, 1.0, 1.0]mm/voxel,使得图像数据的单个体素在三个维度都表示1mm的物理间隔。在进行体素一致化后,通过超声医生的肿瘤掩膜提取出包含肿瘤的三维感兴趣区域(volume of interest, voi)。
[0029]
2)提取abvs的多视角截面。本研究中使用深度自注意力编码器结构作为分类网络的骨干,由于深度自注意力编码器的计算复杂度和数据维度成正比,故在本研究中使用abvs图像的9个视角截面(见图3)代替原始的三维数据输入,在减小计算量、加速运算速度的同时,还利用多视角信息弥补损失的三维空间信息。其中本研究中使用的三个主视角是超声医生用于诊断乳腺病变的常用切面,分别是横断面、冠状面和矢状面。同时我们还在3个主视角之外增加6个辅助视角分别按照图2下部的方式进行截取,每个辅助视角与对应的主视角成45
°
夹角(见图2)。上述9张多视角切面均依照voi进行截取,图像尺寸为128
×
128,其中辅助视角由于体素一致性问题,需要将体素间隔缩小至原来的1/√2,以保持与主视角
的空间一致性。
[0030]
2.实验环境本研究使用pytorch深度学习框架搭建算法模型并进行训练和验证。由于良恶性数据量的不平衡,在训练时对恶性样本数据增强后,进行重采样操作,使模型对恶性样本进行多次学习,达到平衡数据分布的目的;batch size 设置为16,初始学习率设置为1
×
10^(-3),学习率衰减设置为每10次迭代缩小0.98;优化器均使用adam;损失函数为二则交叉熵损失(binary cross entropy loss)。
[0031]
在实验中使用5折交叉验证计算各项指标的平均值和标准差,以此对实验中使用的各模型的分类性能进行评估。
[0032]
3.方法评价指标本研究的目的在于对乳腺肿瘤的良恶性进行分类,为一个常规的二分类任务,通常使用准确率(accuracy, acc)、敏感性(sensitivity, sen)、查准率(precision, pre)、特异性(specificity, spe)、受试者工作特征曲线(receiver operating characteristic curve, roc)和roc曲线下面积(area under roc, auc)等评价指标作为模型分类性能的评判标准。由于本研究中的数据存在不平衡问题,故同时使用f1评分作为本研究的评价指标,来弥补上述指标对于不平衡数据的评判存在不利影响。
[0033]
在本研究中,将恶性样本作为阳性样本(positive, p),将良性样本作为阴性样本(negative, n),当模型对恶性样本做出正确预测时为真阳性样本(true positive, tp),当模型对恶性样本做出错误预测时为假阴性样本(false negative, fn),当模型对良性样本做出正确预测时为真阴性样本(true negative, tn),最后模型对良性样本做出错误预测时为假阳性样本(false positive, fp)。于是评价指标中的各项指标可分别被表示为;准确率反映了模型预测结果整体准确程度,为预测正确的样本量与总样本量的比值。
[0034]
;敏感度可以较好地反映出模型检测出恶性肿瘤的能力,为正确预测的恶性肿瘤样本量与所有恶性肿瘤样本量的比值,该值越高表示模型可以尽可能多地找全恶性肿瘤,漏诊率越低。
[0035]
;查准率反映出模型正确检测出的恶性肿瘤样本与所有预测出的恶性肿瘤样本的比值。
[0036]
;特异度体现模型对良性肿瘤的检测能力,该值越高表示误诊率越低。
[0037]
;f1分数在类别不平衡时可以比较均衡的反映模型的分类性能。
[0038]
本方法的预测效果
methodacc/%pre/%sen/%spe/%f1/%aucours91.0460.3284.4491.9970.370.8012一种乳腺肿瘤良恶性分类模型系统,应用于如上述的乳腺肿瘤良恶性分类模型方法,如图8所示,包括图像获取单元1和深度自注意力编码器模型2;图像获取单元1,将原始abvs图像进行预处理并提取多视角切片图像,得到主视角交叉图像和6个视角截面图像;扫描获取2d灰度图像和剪切波弹性图像;深度自注意力编码器模型2,将6个视角截面图像、2d灰度图像和剪切波弹性图像分别进行切块嵌入操作处理后输入到深度自注意力编码器中,得到辅助视角特征、2d灰度图像特征和剪切波弹性图像特征;将主视角交叉图像中三个角度视图进行两两交叉组合形成3个交叉视角图像,将剪切波弹性图像进行切块嵌入操作处理后通过空间注意力计算得到包含硬度信息的注意力矩阵,通过注意类矩阵对3个交叉视角图像加权,将硬度信息添加到3个交叉视角图像中,经过交叉视角切块嵌入操作后输入到深度自注意力编码器中,得到主视角交叉图像特征;将主视角交叉图像特征、辅助视角特征、2d灰度图像特征和剪切波弹性图像特征进行特征融合;应用本技术的乳腺肿瘤良恶性分类模型,将3个主视角交叉图像、6个辅助视角图像和普通二维超声、剪切波弹性成像图像分别切块嵌入操作处理后输入到深度自注意力编码器,之后分别输出它们的特征信息并进行特征融合,医生将最终融合结果输入到全连接层中进行良恶性分类,就可以得到肿瘤的分类结果。
[0039]
一种乳腺肿瘤良恶性分类终端,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现如上述方法的步骤。
[0040]
一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,其中,计算机程序被处理器执行时实现如上述方法的步骤。
[0041]
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。