一种基于引入注意力机制的异常细胞检测方法与流程

一种基于引入注意力机制的异常细胞检测方法
【技术领域】
1.本发明属于细胞检测分类技术领域，特别是涉及一种基于引入注意力机制的异常细胞检测方法。


背景技术：

2.宫颈癌是女性最常见的癌症之一，若通过筛查在早期诊断和干预该疾病，则可以治愈该疾病。thinprep细胞学检测(tct)可帮助病理学家发现可能转变为癌症的异常宫颈鳞状细胞。通常，在筛选的单个全玻片tct样本中，有数千个宫颈鳞状细胞。然而对于病理学人员来说在大量细胞病理样本中寻找和评估异常细胞既繁琐又耗时。因此，寻找一种实现可疑异常宫颈细胞的自动检测方法是非常必要的。
3.随着深度学习在图像检测和图像分类领域的发展，异常宫颈细胞自动检测已经开展了许多尝试。所有检测工作都不可避免地会产生假阳性结果。一些正常宫颈细胞被错误地归类为异常宫颈细胞，因此需要病理学家进行人工检查，以确保最终诊断结果的准确性。如果假阳性高，对病理学家来说是一个负担。
4.在细胞分类上，现有技术中专利号为cn201510742096.3公开了一种基于模糊积分多分类器融合的宫颈细胞图像识别方法及装置，其采用预训练的卷积神经网络cnn提取特征，并将输出特征发送到svm分类器进行最终分类，但它的输入仅限于小的单细胞图像，这对于包含数千个细胞的tct扫描图像来说是不切实际的。
5.目前所有的目标检测方法应用到异常细胞检测问题上都存在假阳性问题，即检测出的可疑细胞中既有真正异常的细胞也有正常的细胞，这给医生诊断带来了一定的干扰。传统的深度学习分类方法存在着不可解释性问题，并且需要探索其在分类性能上进一步提升的可行性。
6.因此，有必要研发一种基于引入注意力机制的异常细胞检测方法来解决上述问题。


技术实现要素：

7.本发明的主要目的在于提供一种基于引入注意力机制的异常细胞检测方法，可对tct扫描图像检测出来的异常细胞进一步的进行更加精准度的分类，抑制假阳性现象，减少医务人员的复核工作量，提高异常宫颈细胞检测复核的工作效率。
8.本发明通过如下技术方案实现上述目的：一种基于引入注意力机制的异常细胞检测方法，其包括以下步骤：
9.s1)获取第一样本集：获取宫颈细胞视野图，病理学家在宫颈细胞视野图上采用矩形框形式标注出异常宫颈细胞，得到第一样本集；
10.s2)异常细胞检测：用第一样本集送入目标检测retinanet网络中训练得到可疑细胞自动检测模型；
11.s3)获取第二样本集：
12.s31)获取宫颈细胞视野图并将其输入到所述可疑细胞自动检测模型中，输出若干带有可疑细胞框的宫颈细胞图像；
13.s32)以每个所述可疑细胞框的中心位置向外扩展得到若干小块细胞图像，病理学家对设定比例数量的小块细胞图像中的异常宫颈细胞进行标注，判断其小块细胞图像中包含的目的细胞是否为真正阳性的异常宫颈细胞，得到有标注数据集，剩下的其他小块细胞图像作为无标记数据集，有标注数据集与无标记数据集构成第二样本集；
14.s4)掩膜生成：在有标注数据集中的小块细胞图像上根据标注的相对位置生成掩膜；
15.s5)将第二样本集输入到mean
‑
teacher网络中，引入注意力机制和掩膜获得假阳性抑制分类模型。
16.进一步的，所述步骤s1)包括：
17.s11)获得若干张1024
×
1024像素大小的宫颈细胞视野图像x
i
，i＝0,1,2,3,n1；
18.s12)病理学家对上述宫颈细胞视野图像中的异常宫颈细胞做标注，得到第一样本集，其中标注形式为矩形框，用(x,y,w,h)表示，x、y、w、h这四个参数分别为标注矩形框的左上顶点坐标、标注矩形框的宽度、标注矩形框的高度。
19.进一步的，所述步骤s2)异常细胞检测包括：
20.s21)将所述第一样本集按设定比例划分为第一训练集和第一测试集；
21.s22)将第一训练集送入目标检测retinanet网络中，通过调节模型的初始学习率、损失函数中的α、γ参数使训练过程中的损失值收敛，完成网络训练；
22.s23)利用第一测试集对步骤s22)中的训练模型做筛选，得到可疑细胞自动检测模型；其中，筛选指标为map。
23.进一步的，所述步骤s3)获取第二样本集包括：
24.s311)获取若干张1024
×
1024像素大小的宫颈细胞视野图像，并将其送入所述可疑细胞自动检测模型中，网络将以可疑细胞框(x,y,w,h)的格式输出预测的可疑异常宫颈细胞的位置信息；
25.s312)在步骤s311)中的若干张1024
×
1024像素大小的宫颈细胞视野图上，以可疑细胞框的中心位置为中心向外扩展，得到一批224
×
224像素大小的小块细胞图像；
26.s313)按照设定比例提取设定数量的小块细胞图像，让病理学家对小块细胞图像中的异常宫颈细胞做标记，得到有标注的数据集dl＝{(x
i
,y
i
)},i＝1,...,m，剩下没有标注的小块细胞图像为未标注的数据集du＝{(x
i
)},i＝m+1,...,n，其中x
i
代表小块细胞图像，y
i
代表该小块细胞图形所属的类别，为真正异常的宫颈细胞或者假阳性宫颈细胞；
27.s314)以所述步骤s312)中所获得的所有小块细胞图像为第二样本集，并将所述第二样本集按照设定比例划分为第二训练集与第二测试集，所述第二训练集按照设定的比例包含有标注的数据集和无标注的数据集，所述第二测试集均为有标注的数据集。
28.进一步的，所述步骤s4)掩膜生成包括将步骤s313)中病理学家标注的异常宫颈细胞作为目标细胞，在224
×
224像素大小的小块细胞图像中的相对位置生成掩膜，掩膜图像也是224
×
224像素大小，其中目标细胞区域内的值是1，其余区域的值是0。
29.进一步的，所述步骤s5)包括：
30.s51)假阳性抑制分类模型的建立：mean
‑
teacher分类网络包括一个教师模型和一个学生模型组成；
31.s52)mean
‑
teacher分类网络的损失计算：
32.s521)每一个有标注信息的小块细胞图像x
i
经过学生模型都会有一个输出y
′
i
，采用交叉熵方式计算y
i
和y
′
i
的误差l
cls
：
[0033][0034]
其中f(x
i
,θ)指学生模型对于图像x
i
的输出，θ为学生模型的参数；
[0035]
s522)用平方差损失来计算两个教师模型和学生模型输出结果的差异l
con
，
[0036][0037]
其中f(x
′
i
,θ
′
)为教师模型对于图像x
′
i
的输出，θ
′
为教师模型的参数；x
′
i
是对x
i
进行了改变后的图像；
[0038]
s523)注意力图与掩膜图差异损失计算：提取分类网络全连接层之前的特征图，生成注意力图，将所述注意力图尺寸变换到224
×
224像素大小并作归一化处理，与步骤s4)中获得的掩膜计算平方差损失l
mask
：
[0039][0040]
其中mask
i
代表掩膜，s(am
i
)代表从分类网络得到的归一化了的224
×
224大小的特征图；
[0041]
s524)学生模型与教师模型之间的约束损失l
att
：
[0042][0043]
其中am(j,k)学生模型注意力图在(j,k)坐标位置处的值，am
′
(j,k)教师模型注意力图在(j,k)坐标位置处的值，p、q分别是特征图的长度和宽度，n是所有有标注和没有标注的小块图像的数量；
[0044]
s524)总损失l
total
：
[0045]
l
total
＝l
cls
+l
con
+l
mask
+l
att
。
[0046]
s53)网络参数设置和优化：
[0047]
s531)训练网路：将所述第二样本集划分为第二训练集与第二测试集，将所述第二训练集输入到学生模型与教师模型中，训练分类网络；其中学生模型的参数经梯度的反向传播更新，教师模型的模型参数由学生模型和上一轮训练过程中的教师模型参数通过组合计算得出；
[0048]
s532)测试集选取最优结果：利用所述第二测试集对训练得到的分类网络做筛选，得到分类结果最好的模型，即为假阳性抑制分类模型；其中筛选指标为衡量检测模型性能最常用的准确率、auc、精度、f1指标。
[0049]
进一步的，所述教师模型与所述学生模型均为se
‑
resnext
‑
50。
[0050]
进一步的，所述步骤s522)中，所述改变包括色彩亮度变化与垂直水平翻转。
[0051]
进一步的，所述注意力图由所述小块细胞图像通过mt网络的神经网络卷积层cnn
得到。
[0052]
与现有技术相比，本发明一种基于引入注意力机制的异常细胞检测方法的有益效果在于：首先使用异常细胞检测模型检测出可疑宫颈细胞，在此基础上引入了基于注意力机制的分类网络，实现对异常细胞检测模型检测出样的更精确的分类，完成异常宫颈细胞检测假阳性抑制，使得异常宫颈细胞检测结果更加精准、可靠。具体的，
[0053]
首先，通过训练retinanet网络模型，以可疑细胞检测框的形式输出可疑异常宫颈细胞的检测结果，然后，根据可疑细胞检测框得到小块细胞图像，并进一步的生成掩膜图像；再引入可疑细胞检测框作为掩码指导小块细胞图像利用mt网络的神经网络卷积层cnn生成注意力图，与传统的全分类网络相比，引入注意力机制可以让网络更加关注待分类的目标可疑细胞，从而提升分类性能；最后利用该分类网络模型对宫颈细胞视野图假阳性抑制，进一步的排除假阳性标记，为医务工作者的异常宫颈细胞检测复核工作减少工作量，提高工作效率；本方法在潜在的临床应用中具有重要价值，也可以进一步应用于病理图像计算机辅助诊断中的其他细胞检测任务。
【附图说明】
[0054]
图1为本发明实施例的框架原理结构图。
【具体实施方式】
[0055]
实施例：
[0056]
请参照图1，本实施例一种基于引入注意力机制的异常细胞检测方法，其包括两个主要部分，一是可疑异常细胞的检测；二是引入注意力机制的半监督分类网络。具体包括：
[0057]
s1)异常细胞检测：
[0058]
s11)获取第一样本集：
[0059]
s111)获得若干张1024
×
1024像素大小的宫颈细胞视野图像x
i
，i＝0,1,2,3,n1，在实验中此图像是jpg格式；
[0060]
s112)病理学家对上述宫颈细胞视野图像中的异常宫颈细胞做标注，得到第一样本集，其中标注形式为矩形框，用(x,y,w,h)表示，x、y、w、h这四个参数分别为标注矩形框的左上顶点坐标、标注矩形框的宽度、标注矩形框的高度。
[0061]
s12)获得可疑细胞自动检测模型：
[0062]
s121)将带有异常宫颈细胞标注信息的宫颈细胞视野图像即第一样本集按8：2的比例划分为第一训练集和第一测试集；
[0063]
s122)将第一训练集送入通用的目标检测retinanet网络中，通过调节模型的初始学习率，损失函数中的α、γ参数使训练过程中的损失值收敛，完成网络训练；
[0064]
s123)利用第一测试集对步骤s122)中的训练模型做筛选，得到异常细胞检测结果最好的模型，即可疑细胞自动检测模型；其中，筛选指标为衡量检测模型性能最常用的map。
[0065]
s2)获得引入注意力机制的半监督自动分类模型：
[0066]
由于假阳性在目标检测中是不可避免的，我们在异常细胞检测步骤之后加入了一个分类网络来最大可能地抑制目标检测过程中的假阳性，具体包括：
[0067]
s21)获取第二样本集：
[0068]
s211)获取若干张1024
×
1024像素大小的宫颈细胞视野图像，并将其送入步骤s1)获得的可疑细胞自动检测模型中，网络将以可疑细胞框(x,y,w,h)的格式输出预测的可疑异常宫颈细胞的位置信息；注意这里的1024大小的视野图并不是异常细胞检测步骤中的视野图，他们都是同类型的视野图，但异常细胞检测步骤中的视野图的作用只是训练一个性能优秀的检测网络；
[0069]
为了区分可疑细胞自动检测模型输出的可疑异常宫颈细胞哪些是真正异常的宫颈细胞，哪些是网络预测错误的宫颈细胞，也就是假阳性的细胞，本实施例以网络输出的可疑异常宫颈细胞为对象来训练一个分类网络；
[0070]
s212)在步骤s211)中的若干张1024
×
1024像素大小的宫颈细胞视野图上，以可疑细胞自动检测模型输出的可疑细胞框的中心位置细胞自动检测模型输出的可疑细胞框的中心位置为中心，按照设定规则向外扩展，得到一批224
×
224像素大小的小块细胞图像，小块细胞图像的中心是我们要进行分类的可疑异常宫颈细胞；
[0071]
s213)步骤s212)会得到数量非常庞大的小块细胞图像，按照设定比例提取设定数量的小块细胞图像，让病理学家对小块细胞图像中的异常宫颈细胞做标记，判断其小块细胞图像中包含的目的细胞是否为真正阳性的异常宫颈细胞，得到有标注的数据集dl＝{(x
i
,y
i
)},i＝1,...,m，剩下没有标注的小块细胞图像为未标注的数据集du＝{(x
i
)},i＝m+1,...,n，其中x
i
代表小块细胞图像，y
i
代表该小块细胞图形所属的类别：真正异常的宫颈细胞或者假阳性宫颈细胞；在本实施例中小块细胞图像作为第二样本集，将第二样本集划分为第二训练集与第二测试集，比例为7：3。其中第二训练集有标注的数据集和无标注的数据集的比例为2：8，第二测试集均为有标注图像。
[0072]
全监督分类网络只能利用有标签信息的图像，给图像打标签就是判断该图像属于哪个类别，而对于病理学图像来说，得到医生对于病理学图像的标注是非常昂贵的，需要耗费大量的时间和精力；因此本实施例采用基于mean
‑
teacher的半监督分类网络，半监督网络可以利用少量有标注数据和大量未标注数据提升相对于只用少量有标注数据的分类网络的分类性能。同时本实施例加入了针对小块细胞图像的掩膜，引入注意力机制，进一步提升半监督分类网络的性能。
[0073]
s22)掩膜的获取：由于小块细胞图像是统一规格的，都是224
×
224像素大小，将步骤s213)中病理学家标注的异常宫颈细胞作为目标细胞，在224
×
224像素大小的小块细胞图像中的相对位置生成掩膜，掩膜图像也是224
×
224像素大小，其中目标细胞区域内的值是1，其余区域的值是0；
[0074]
s23)假阳性抑制分类模型的建立：
[0075]
s231)mean
‑
teacher分类网络的结构：mt网络结构包括一个教师模型和一个学生模型组成，二者网络结构相同，本实施例中两者都是se
‑
resnext
‑
50；
[0076]
s232)mean
‑
teacher分类网络的损失计算：
[0077]
s2321)每一个有标注信息的小块细胞图像x
i
经过学生模型都会有一个输出y
′
i
，采用交叉熵方式计算y
i
和y
′
i
的误差：
[0078]
[0079]
其中f(x
i
,θ)指学生模型对于图像x
i
的输出，θ为学生模型的参数；
[0080]
s2322)同时因为教师模型和学生模型网络结构相同，因此对于近乎相同的有标注和无标注小块细胞图像的输入，两个网络应该有一致的预测结果，本实施例用平方差损失来计算两个网络输出结果的差异l
con
，
[0081][0082]
其中f(x
′
i
,θ
′
)为教师模型对于图像x
′
i
的输出，θ
′
为教师模型的参数；x
′
i
是对x
i
进行了改变，本实施例中，所述改变为色彩亮度变化与垂直水平翻转；
[0083]
s2323)引入注意力机制：为了使分类网络更好地关注224
×
224像素大小的小块细胞图像中的目标细胞，本实施例加入了掩膜和注意力机制，将分类网络全连接层之前的特征图尺寸变换到224
×
224像素大小并作归一化处理，与步骤s22)中获得的掩膜计算平方差损失l
mask
：
[0084][0085]
其中mask
i
代表掩膜，s(am
i
)代表从分类网络得到的归一化了的224
×
224大小的特征图；
[0086]
s2324)学生模型与教师模型之间的约束l
att
：
[0087][0088]
其中am(j,k)学生模型注意力图在(j,k)坐标位置处的值，am
′
(j,k)教师模型注意力图在(j,k)坐标位置处的值，p、q分别是特征图的长度和宽度，n是所有有标注和没有标注的小块图像的数量；
[0089]
s2324)总损失l
total
：
[0090]
l
total
＝l
cls
+l
con
+l
mask
+l
att
。
[0091]
s233)网络参数设置和优化：
[0092]
s2331)训练网路：将步骤s213)中划分的第二训练集输入到学生模型与教师模型中，训练分类网络；其中学生模型的参数经梯度的反向传播更新，教师模型的模型参数由学生模型和上一轮训练过程中的教师模型参数通过组合计算得出；
[0093]
s2332)测试集选取最优结果：利用步骤s213)中划分的第二测试集对训练得到的分类网络做筛选，得到分类结果最好的模型，即为假阳性抑制分类模型；其中筛选指标为衡量检测模型性能最常用的准确率、auc、精度、f1等指标，至此引入注意力机制的半监督自动分类模型已获得。
[0094]
在实际应用时，获取到病人的宫颈细胞视野图后将其输入到本实施例的可疑细胞自动检测模型中，自动输出若干小块细胞图像，并自动生成掩膜，然后自动输入到假阳性抑制分类模型中，自动输出可疑异常宫颈细胞的标注以及分类结果，大大减少了病理学家标记工作量，提高了异常宫颈细胞检测的精度，有效的抑制了假阳性。
[0095]
为了验证本方法的有效性，本实施例采用本方法、全监督方法fs和mean teacher方法三种方法进行了实验对比分析，其检测结果如表1所示。
[0096]
表1三种方法结果对比
[0097][0098]
从表1可知，全监督方法实验的性能随着标记数据数量的增加而提高。使用2组标记数据和8组未标记数据的基本mt方法的性能与使用6组标记数据的全监督分类网络相当。同时，本实施例提出的具有与mt方法相同训练数据的方法可以与使用8组标记数据的全监督分类网络相媲美，这清楚地表明，我们的方法优于mt方法，并且与全监督方法相比，大大降低了标签数据准备的成本。
[0099]
本实施例利用本方法对宫颈细胞图像进行了实验分析，其实验分析结果如表2所示。
[0100]
表2使用抑制fp方法对宫颈细胞图像的实验结果
[0101][0102]
在实验中，我们使用每个图像的假阳性细胞数来表示fp抑制。fp1表示每个正图像的平均假阳性细胞数，fp0是每个阴性图像的平均假阳性细胞数，fp
avg
表示每张图像的平均假阳性细胞数。
[0103]
如果预测边界框和注释异常细胞的iou小于0.5，我们将预测的“异常”细胞定义为假阳性细胞。对于正图像，每张图像的假阳性细胞数为13.95，在我们的fp抑制后数量减少到8.68；对于负图像，数字为7.98和0.39，这证明了fp抑制专门针对负图像的有效性。虽然测试数据的召回率从0.85降低到0.78，但不会影响最终的图像分类性能，因为如果病例被诊断为异常，通常会检测到足够的细胞。由于我们的fp抑制后fp的差异大大扩大，并且在实际临床测试情况下，阴性宫颈细胞图像约占90％，我们的方法可以大大减少检测错误的影响，并有助于最终诊断。
[0104]
抑制之后的假阳性表2显示了抑制或不抑制后的假阳性结果。本实施例通过改进的半监督分类网络来抑制宫颈异常细胞检测中的误报；在检测到可疑异常细胞后，我们只
对置信度得分高于0.1的检测细胞进行分类，因为大量置信度得分低于0.1的细胞对临床诊断价值不大。
[0105]
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。