基于转换器的肺癌组织病理全切片EGFR状态预测方法

基于转换器的肺癌组织病理全切片egfr状态预测方法
技术领域
1.本发明涉及计算机视觉技术领域，尤其涉及一种基于转换器的肺癌组织病理全切片egfr状态预测方法。


背景技术：

2.egfr(epidermal growth factor receptor，表皮生长因子受体)是一种具有细胞质激酶活性的跨膜蛋白，可将重要的生长因子信号从细胞外环境转导至细胞。肺腺癌是一种常见的肺癌组织学类型，表皮生长因子受体(egfr)突变的发现使其治疗方法发生了革命性变化。阳性肺腺癌egfr状态大体可分为突变型(mutant)和野生型(wild)两种，为了保证状态分类的准确性，本专利中将除了突变型和野生型以外的阳性egfr状态分为其他型(other)。在一线治疗中，检测egfr突变是至关重要的，因为不同类型的egfr状态会有用药、治疗方面的显著差异。因此，准确无误地判断egfr状态对于患者治疗、医生用药起到至关重要的作用。
3.活检组织的突变测序已成为检测egfr突变的金标准。在实际诊疗过程中，病理医生需要在显微镜下用肉眼检查数以万计的细胞。而每位病理医生每天需要处理大量病患的标本，常常会产生阅片疲劳，误诊现象时有发生。因此，需要一种高效且定量的肺癌组织病理全切片egfr状态预测方法，减轻病理医生的阅片负担，同时提高肺癌组织病理全切片egfr状态预测准确率。目前，针对肺癌组织病理全切片egfr状态预测的算法主要以基于深度学习的监督学习分类算法为主。
4.近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于肺癌组织病理全切片egfr状态预测任务中，如残差网络(resnet)、密集卷积网络(densenet)，但它们依赖归纳偏置，不能动态自适应建模，并且无法捕捉egfr受体之间在空间尺度上的特征，难以对肺癌egfr状态做出准确预测。


技术实现要素：

5.本发明目的就是为了弥补已有技术的缺陷，提供一种基于转换器的肺癌组织病理全切片egfr状态预测方法，旨在解决由于病理图像结构复杂、类型多变，特征信息丰富，导致肺癌组织病理全切片egfr状态预测困难的问题，通过构建基于视觉转换器的两阶段网络，获取肺癌组织病理全切片图像内部远距离依赖关系，从而得到不同类别egfr受体相对应的表征，完成肺癌组织病理全切片egfr状态的准确高效预测。
6.本发明是通过以下技术方案实现的：
7.一种基于转换器的肺癌组织病理全切片egfr状态预测方法，具体包括如下步骤：
8.(1)、根据肺癌组织病理全切片图像获取肺癌组织病理全切片数据集并进行预处理；
9.(2)、建立并利用步骤(1)中数据集训练能够预测图像块阴阳性的视觉转换器网络模型；
10.(3)、利用步骤(2)建立的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用保留下来的阳性图像块生成egfr突变类型数据集；
11.(4)、建立并利用步骤(3)中生成的数据集训练能够预测图像块egfr突变类型的视觉转换器网络模型；
12.(5)、利用步骤(2)和步骤(4)建立的能够预测图像块阴阳性的视觉转换器网络模型和能够预测图像块egfr突变类型的视觉转换器网络模型完成对全切片egfr状态的预测。
13.步骤(1)所述的根据肺癌组织病理全切片图像获取肺癌组织病理全切片数据集并进行预处理，具体如下：
14.对肺癌组织病理全切片图像按照阴阳性标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，记为其中，表示第i个图像块，c表示图像块的通道数，p
×
p表示每个图像块的宽度和高度；yi表示第i个图像块xi对应的类别，将全切片的阴阳性标签赋给图像块作为其伪标签，从而得到每个图像块及其阴阳性分类；i＝1,2,
…
,n；n表示图像块的数量。
15.步骤(2)所述的建立并利用步骤(1)中数据集训练能够预测图像块阴阳性的视觉转换器网络模型，具体如下：
16.构建由l个编码器构成的视觉转换器vit作为第一阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
17.步骤2.1、对图像块xi进行分块处理，得到包含m个图像块的序列其中，表示图像块xi的第j个图像块；表示图像块xi经分块处理后的每个图像块的宽度和高度，且m＝p2/p2；
18.步骤2.2、设置一个可学习的分类标记x
class
，并利用式(1)得到m个图像块和分类标记x
class
的d维嵌入表示z
l0
，作为第1个编码器的输入；
[0019][0020]
式(1)中，e
pos
表示m个图像块和分类标记x
class
在图像块xi中的空间位置；e表示所设置的嵌入矩阵；
[0021]
步骤2.3、利用式(2)得到m个图像块和分类标记x
class
在第l个编码器的多头注意力机制层的输出z
′
l
；
[0022]
z'
l
＝msa(ln(z
l-1
))+z
l-1
,l＝1,
…
,l
ꢀꢀꢀꢀꢀꢀ
(2)
[0023]
式(2)中，msa(
·
)表示多头自注意力机制层的处理；ln(
·
)表示归一化层的处理；z
l-1
表示第l-1个编码器的输出；
[0024]
步骤2.4、利用式(3)得到第l个编码器的多层感知器的输出z
l
；
[0025]zl
＝mlp(ln(z
′
l
))+z
′
l
,l＝1,
…
,l
ꢀꢀꢀ
(3)
[0026]
式(3)中，mlp(
·
)表示多层感知器的处理；ln(
·
)表示归一化层的处理；
[0027]
步骤2.5、将第l个编码器的多层感知器的输出z
l
，送入第l+1个编码器的多头注意力机制层得到输出z
′
l+1
，再将z
′
l+1
送入第l+1个编码器的多层感知器得到输出z
l+1
，重复步骤2.5多次直至第l个编码器，得到第l个编码器的输出z
l
；
[0028]
步骤2.6、利用式(4)得到经归一化处理后的输出z
′
l
，并提取出分类标记x
class
对应的d维特征
[0029]z′
l
＝ln(z
l
)
ꢀꢀꢀꢀ
(4)
[0030]
式(4)中，ln(
·
)表示归一化层的处理；
[0031]
步骤2.7、利用式(5)对特征进行线性变换，得到线性分类器的输出结果pos
pred
；
[0032][0033]
式(5)中，linear(
·
)代表线性分类函数；c代表阴性/阳性；
[0034]
步骤2.8、利用式(6)构建交叉熵损失函数l，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第一阶段网络，使得交叉熵损失函数l达到收敛，从而得到训练好的能够预测图像块阴阳性的视觉转换器网络模型；
[0035][0036]
式(6)中，y
label
为图像块对应的阴阳性伪标签，n为图像块总数。
[0037]
步骤(3)所述的利用步骤(2)建立的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用保留下来的阳性图像块生成egfr突变类型数据集，具体如下：
[0038]
对肺癌组织病理全切片图像按照egfr突变状态类别标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，并送入训练好的能够预测图像块阴阳性的视觉转换器网络模型，预测每个图像块的阴阳性类别，筛除阴性图像块，得到n个阳性图像块，生成egfr突变类型数据集，记为其中，表示第i个图像块，c表示图像块的通道数，p
×
p表示每个图像块的宽度和高度；y'i表示图像块x'i对应的类别，即数据集中的egfr突变类别标签；i＝1,2,
…
,n；n表示图像块的数量。
[0039]
步骤(4)所述的建立并利用步骤(3)中生成的数据集训练能够预测图像块egfr突变类型的视觉转换器网络模型，具体如下：
[0040]
构建由s个编码器构成的视觉转换器vit作为第二阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0041]
步骤4.1、对图像块x'i进行分块处理，得到包含m'个图像块的序列其中，表示图像块x'i的第j个图像块；p
×
p表示图像块x'i经分块处理后的每个图像块的宽度和高度，且m'＝p2/p2；
[0042]
步骤4.2、设置一个可学习的分类标记x'
class
，并利用式(7)得到m个图像块和分类标记x'
class
的d维嵌入表示z
s0
，作为第1个编码器的输入；
[0043][0044]
式(7)中，e'
pos
表示m'个图像块和分类标记x'
class
在图像块x'i中的空间位置；e'表示所设置的嵌入矩阵；
[0045]
步骤4.3、利用式(8)得到m'个图像块和分类标记x'
class
在第s个编码器的多头注意力机制层的输出z
′
l
：
[0046]z′s＝msa(ln(z
s-1
))+z
s-1
,s＝1,
…
,s
ꢀꢀꢀ
(8)
[0047]
式(8)中，msa(
·
)表示多头自注意力机制层的处理；ln(
·
)表示归一化层的处理；z
s-1
表示第s-1个编码器的输出；
[0048]
步骤4.4、利用式(9)得到第s个编码器的多层感知器的输出zs；
[0049]zs
＝mlp(ln(z
′s))+z
′s,s＝1,
…
,s
ꢀꢀꢀ
(9)
[0050]
式(9)中，mlp(
·
)表示多层感知器的处理；ln(
·
)表示归一化层的处理；
[0051]
步骤4.5、将第s个编码器的多层感知器的输出zs，送入第s+1个编码器的多头注意力机制层得到输出z
′
s+1
，再将z
′
s+1
送入第s+1个编码器的多层感知器得到输出z
s+1
，重复步骤4.5多次直至第s个编码器，得到第s个编码器的输出zs；
[0052]
步骤4.6、利用式(10)得到经归一化处理后的输出z
′s，并提取出分类标记x'
class
对应的d维特征
[0053]z′s＝ln(zs)
ꢀꢀꢀꢀ
(10)
[0054]
式(10)中，ln(
·
)表示归一化层的处理；
[0055]
步骤4.7、利用式(11)对特征进行线性变换，得到线性分类器的输出结果egfr
pred
：
[0056][0057]
式(11)中，linear(
·
)代表线性分类函数；c代表egfr状态类别数；
[0058]
步骤4.8、利用式(12)构建交叉熵损失函数l，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第二阶段网络，使得交叉熵损失函数l达到收敛，从而得到训练好的能够预测图像块egfr突变类型的视觉转换器网络模型：
[0059][0060]
式(12)中，y
label
为图像块的egfr状态伪标签，n为图像块总数。
[0061]
步骤(5)所述的利用步骤(2)和步骤(4)建立的能够预测图像块阴阳性的视觉转换器网络模型和能够预测图像块egfr突变类型的视觉转换器网络模型完成对全切片egfr状态的预测，具体如下：
[0062]
步骤5.1、将肺癌组织病理全切片图像去除空白背景区域并进行分块处理，得到多个图像块，记为序列(x1,x2,
…
,xj,
…
,xm)；
[0063]
步骤5.2、将图像块(x1,x2,
…
,xj,
…
,xm)送入所述的能够预测图像块阴阳性的视觉转换器网络模型，预测图像块阴阳性类别，筛除其中的阴性图像块，得到阳性图像块序列(x1,x2,
…
,xj,
…
,xn)；设定阴阳性分类阈值t，并根据式(13)计算阳性图像块占比t
pos
，比较分类阈值t与阳性图像块占比t
pos
确定全切片的阴阳性分类；
[0064][0065]
步骤5.3、对于步骤5.2中预测为阳性的全切片进行下一步预测；将全切片阳性图像块(x1,x2,
…
,xj,
…
,xn)输入所述的能够预测图像块egfr突变类型的视觉转换器网络模型，预测每个图像块对应的egfr突变类型，根据式(14)计算n个图像块中每种egfr状态所占比例egfri，取占比最高的一类为肺癌组织病理全切片的egfr状态，其中ni为第i种类型的egfr突变状态对应的图像块的数量，k为所有egfr突变状态分类；
[0066][0067]
本发明的优点是：
[0068]
1.本发明利用视觉转换器对肺癌组织病理全切片图像进行特征学习，视觉转换器能够动态自适应建模，基于注意力机制，捕捉图像局部和全局特征，提高了肺癌组织病理全切片图像的特征表示能力；
[0069]
2.本发明利用视觉转换器学习图像内部的远距离依赖关系，从而建立了肺癌组织病理全切片图像各部分之间的依赖关系，进而提高了egfr状态预测准确率。
[0070]
3.本发明使用两个视觉转换器vit模型构成主干网络，第一个视觉转换器完成肺癌组织病理全切片图像阴阳性分类并提取出阳性图像块，第二个视觉转换器只对阳性图像块进行egfr类型分类，有效降低伪标签的错误率，提高了预测的准确度。
附图说明
[0071]
图1为本发明中网络的结构图；
[0072]
图2为本发明的总体流程框图。
具体实施方式
[0073]
本实施例中，一种基于转换器的肺癌组织病理全切片egfr状态预测方法，综合考虑了egfr状态分类任务的难度，于是将图像首先输入第一个视觉转换器网络，预测全切片图像的阴阳性分类，并将其中阳性图像块输入第二个视觉转换器网络，预测各个图像块egfr状态，从而完成对于肺癌组织病理全切片图像egfr状态的分类，如图1、2所示，具体步骤如下：
[0074]
步骤(1)、根据肺癌组织病理全切片图像获取肺癌组织病理全切片数据集并进行预处理，具体如下：
[0075]
对肺癌组织病理全切片图像按照阴阳性标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，记为其中，表示第i个图像块，c表示图像块的通道数，p
×
p表示每个图像块的宽度和高度；yi表示第i个图像块xi对应的类别，将全切片的阴阳性标签赋给图像块作为其伪标签，从而得到每个图像块及其阴阳性分类；i＝1,2,
…
,n；n表示图像块的数量；本实施例中使用的数据egfr状态包含阴性和阳性2个类别；数据集包含100张全切片，在每张全切片上随机采样500个图像块，因此n＝500，每个图像块尺寸为256
×
256，因此c＝3、p＝256；将数据集中每类的80％用于训练，其余20％用于测试。
[0076]
步骤(2)、建立并利用步骤(1)中数据集训练能够预测图像块阴阳性的视觉转换器网络模型，具体如下：
[0077]
建立如图1所示的基于视觉转换器的深度学习网络模型，深度学习网络包括2个视觉转换器vit网络。构建由l个编码器构成的视觉转换器vit作为第一阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0078]
步骤2.1、对图像块xi进行分块处理，得到包含m个图像块的序列
其中，表示图像块xi的第j个图像块；表示图像块xi经分块处理后的每个图像块的宽度和高度，且m＝p2/p2；本实施例中，每个图像块尺寸为16
×
16，因此p＝16，且m＝196。
[0079]
步骤2.2、设置一个可学习的分类标记x
class
，并利用式(1)得到m个图像块和分类标记x
class
的d维嵌入表示z
l0
，作为第1个编码器的输入；
[0080][0081]
式(1)中，e
pos
表示m个图像块和分类标记x
class
在图像块xi中的空间位置；e表示所设置的嵌入矩阵；本实施例中，d＝768，x
class
是一个768个随机数构成的768维向量，e是一个768
×
768个随机数构成的矩阵，矩阵行数为768，列数为768，e
pos
是一个197
×
768个随机数构成的矩阵，矩阵行数为197，列数为768。
[0082]
步骤2.3、利用式(2)得到m个图像块和分类标记x
class
在第l个编码器的多头注意力机制层的输出z
′
l
：
[0083]
z'
l
＝msa(ln(z
l-1
))+z
l-1
,l＝1,
…
,l
ꢀꢀꢀ
(2)
[0084]
式(2)中，msa(
·
)表示多头自注意力机制层的处理；ln(
·
)表示归一化层的处理；z
l-1
表示第l-1个编码器的输出；
[0085]
步骤2.4、利用式(3)得到第l个编码器的多层感知器的输出z
l
；
[0086]zl
＝mlp(ln(z
′
l
))+z
′
l
,l＝1,
…
,l
ꢀꢀꢀ
(3)
[0087]
式(3)中，mlp(
·
)表示多层感知器的处理，本实施例中，多层感知器包含两层网络和一个gelu非线性激活层；ln(
·
)表示归一化层的处理；
[0088]
步骤2.5、将第l个编码器的多层感知器的输出z
l
，送入第l+1个编码器的多头注意力机制层得到输出z
′
l+1
，再将z
′
l+1
送入第l+1个编码器的多层感知器得到输出z
l+1
，重复步骤2.5多次直至第l个编码器，得到第l个编码器的输出z
l
。
[0089]
步骤2.6、利用式(4)得到经归一化处理后的输出z
′
l
，并提取出分类标记x
class
对应的d维特征
[0090]z′
l
＝ln(z
l
)
ꢀꢀꢀꢀ
(4)
[0091]
式(4)中，ln(
·
)表示归一化层的处理；
[0092]
步骤2.7、利用式(5)对特征进行线性变换，得到线性分类器的输出结果pos
pred
：
[0093][0094]
式(5)中，linear(
·
)代表线性分类函数；c代表阴性/阳性；
[0095]
步骤2.8、利用式(6)构建交叉熵损失函数l，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第一阶段网络，使得交叉熵损失函数l达到收敛，从而得到训练好的能够预测图像块阴阳性的视觉转换器网络模型：
[0096][0097]
式(6)中，y
label
为图像块对应的阴阳性伪标签，n为图像块总数。
[0098]
步骤(3)、利用步骤(2)建立的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用保留下来的阳性图像块生成egfr突变
类型数据集，具体如下：
[0099]
对肺癌组织病理全切片图像按照egfr突变状态类别标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，并送入步骤2中训练好的能够预测图像块阴阳性的视觉转换器网络模型，预测每个图像块的阴阳性类别，筛除阴性图像块，得到n个阳性图像块，生成egfr突变类型数据集，记为其中，表示第i个图像块，c表示图像块的通道数，p
×
p表示每个图像块的宽度和高度；y'i表示图像块x'i对应的类别，即数据集中的egfr突变类别标签；i＝1,2,
…
,n；n表示图像块的数量；本实施例中使用的数据egfr突变状态包含mutant、wild和other3个类别；数据集包含100张全切片，在每张全切片上随机采样500个图像块，每个图像块尺寸为256
×
256，因此c＝3、p＝256；将数据集中每类的80％用于训练，其余20％用于测试。
[0100]
步骤(4)、建立并利用步骤(3)中生成的数据集训练能够预测图像块egfr突变类型的视觉转换器网络模型，具体如下：
[0101]
构建由s个编码器构成的视觉转换器vit作为第二阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；
[0102]
步骤4.1、对图像块x'i进行分块处理，得到包含m'个图像块的序列其中，表示图像块x'i的第j个图像块；p
×
p表示图像块xi经分块处理后的每个图像块的宽度和高度，且m'＝p2/p2；本实施例中，每个图像块尺寸为16
×
16，因此p＝16，且m'＝196。
[0103]
步骤4.2、设置一个可学习的分类标记x'
class
，并利用式(7)得到m个图像块和分类标记x'
class
的d维嵌入表示z
s0
，作为第1个编码器的输入；
[0104][0105]
式(7)中，e'
pos
表示m'个图像块和分类标记x'
class
在图像块x'i中的空间位置；e'表示所设置的嵌入矩阵；本实施例中，d＝768，x'
class
是一个768个随机数构成的768维向量，e'是一个768
×
768个随机数构成的矩阵，矩阵行数为768，列数为768，e'
pos
是一个197
×
768个随机数构成的矩阵，矩阵行数为197，列数为768。
[0106]
步骤4.3、利用式(8)得到m'个图像块和分类标记x'
class
在第s个编码器的多头注意力机制层的输出z
′
l
：
[0107]z′s＝msa(ln(z
s-1
))+z
s-1
,s＝1,
…
,s
ꢀꢀꢀ
(8)
[0108]
式(8)中，msa(
·
)表示多头自注意力机制层的处理；ln(
·
)表示归一化层的处理；z
s-1
表示第s-1个编码器的输出；
[0109]
步骤4.4、利用式(9)得到第s个编码器的多层感知器的输出zs：
[0110]zs
＝mlp(ln(z
′s))+z
′s,s＝1,
…
,s
ꢀꢀꢀ
(9)
[0111]
式(9)中，mlp(
·
)表示多层感知器的处理，本实施例中，多层感知器包含两层网络和一个gelu非线性激活层；ln(
·
)表示归一化层的处理；
[0112]
步骤4.5、将第s个编码器的多层感知器的输出zs，送入第s+1个编码器的多头注意力机制层得到输出z
′
s+1
，再将z
′
s+1
送入第s+1个编码器的多层感知器得到输出z
s+1
，重复步骤4.5多次直至第s个编码器，得到第s个编码器的输出zs。
[0113]
步骤4.6、利用式(10)得到经归一化处理后的输出z
′s，并提取出分类标记x'
class
对应的d维特征
[0114]z′s＝ln(zs)
ꢀꢀꢀꢀ
(10)
[0115]
式(10)中，ln(
·
)表示归一化层的处理；
[0116]
步骤4.7、利用式(11)对特征进行线性变换，得到线性分类器的输出结果egfr
pred
：
[0117][0118]
式(11)中，linear(
·
)代表线性分类函数；c代表egfr状态类别数；
[0119]
步骤4.8、利用式(12)构建交叉熵损失函数l，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第二阶段网络，使得交叉熵损失函数l达到收敛，从而得到训练好的能够预测图像块egfr突变类型的视觉转换器网络模型：
[0120][0121]
式(12)中，y
label
为图像块的egfr状态伪标签，n为图像块总数。
[0122]
步骤(5)、利用步骤(2)和步骤(4)建立的能够预测图像块阴阳性的视觉转换器网络模型和能够预测图像块egfr突变类型的视觉转换器网络模型完成对全切片egfr状态的预测，具体如下：
[0123]
步骤5.1、将肺癌组织病理全切片图像去除空白背景区域并进行分块处理，得到多个图像块，记为序列(x1,x2,
…
,xj,
…
,xm)；
[0124]
步骤5.2、将图像块(x1,x2,
…
,xj,
…
,xm)送入能够预测图像块阴阳性的视觉转换器网络模型，预测图像块阴阳性类别，筛除其中的阴性图像块，得到阳性图像块序列(x1,x2,
…
,xj,
…
,xn)；设定阴阳性分类阈值t，并根据式(13)计算阳性图像块占比t
pos
，比较分类阈值t与阳性图像块占比t
pos
确定全切片的阴阳性分类；
[0125][0126]
步骤5.3、对于步骤5.2中预测为阳性的全切片进行下一步预测；将全切片阳性图像块(x1,x2,
…
,xj,
…
,xn)输入能够预测图像块egfr突变类型的视觉转换器网络模型，预测每个图像块对应的egfr突变类型，根据式(14)计算n个图像块中每种egfr状态所占比例egfri，取占比最高的一类为肺癌组织病理全切片的egfr状态，其中ni为第i种类型的egfr突变状态对应的图像块的数量，k为所有egfr突变状态分类；本实施例中，k＝3。
[0127]