基于目标检测的乳腺癌病理图像有丝分裂细胞核识别方法

本发明涉及图像处理，尤其涉及基于目标检测的乳腺癌病理图像有丝分裂细胞核识别方法。

背景技术：

1、乳腺癌是全球女性面临的主要癌症威胁，根据诺丁汉分级系统(nottinghamgrading system，ngs)进行分级，乳腺癌的分级使用三个参数：(1)有丝分裂计数，(2)细胞核多形性，(3)腺管的形成程度。其中，有丝分裂细胞计数是最客观的因素，另外两个因素比较主观，并且评分准确性在很大程度上取决于病理学家的专业知识。在ngs中，病理学家通过显微镜观察经过苏木精和伊红(hematoxylin and eosin staining,h&e)染色的组织学切片，并手动为每个参数分配分数。这样的手动分级过程因为每个高倍镜视野中细胞的数量众多以及细胞在有丝分裂下的不同外观而显得费时且容易出错，这些因素导致了病理学家在量化结果上会有差异。此外，在发展中国家和欠发达地区，乡村地区几乎没有病理学服务，这些国家严重缺乏经验丰富的病理学家，这也阻碍了癌症的早期诊断。

2、因此，在这种情况下，自动化检测有丝分裂细胞核的方法可以帮助更快地诊断和准确分级，以制定适当的治疗计划，这可以有效降低乳腺癌死亡率。自动化有丝分裂细胞核检测就是朝着为乳腺癌开发完全自动化的癌症分级系统迈出的一步。

3、目前，在乳腺癌病理图像有丝分裂细胞核识别领域，多是采用深度学习的方法，因为基于深度学习的方法可以从数据中学习更有效的特征。现有技术中提出了一种深度学习框架deepmitosis，用于在仅有细胞核的质心标记时对有丝分裂细胞核进行分割。该方法由三个深度学习网络组件组成：(1)检测有丝分裂细胞核的检测网络faster-rcnn；(2)一种验证模型，用于消除检测到的细胞核中的假阳性；(3)分割模型，用于分割未提供像素级标签的弱注释有丝分裂细胞核。这三个组成部分网络协同工作，产生了非常好的结果。但这种两阶段的方法存在的一个问题就是由于检测阶段的预测质量差以及两个阶段之间的训练数据分布不一致导致分类阶段的性能降低。此外，由于有丝分裂这个过程本身的复杂性、有丝分裂细胞核和非有丝分裂细胞核的高度相似性、正负样本比例不平衡等因素，现有的方法在临床实践中仍然不能取得令人满意的结果。

技术实现思路

1、为解决上述技术问题，本发明提出了基于目标检测的乳腺癌病理图像有丝分裂细胞核识别方法，该方法在经典分类网络resnet50上加入eca注意力模块和特征金字塔，便于获得丰富的小目标空间信息和深层语义信息，提升小目标的检测精度。

2、为实现上述目的，本发明提供了基于目标检测的乳腺癌病理图像有丝分裂细胞核识别方法，包括：

3、将乳腺癌有丝分裂细胞核图像输入目标检测网络，筛选有丝分裂细胞核的候选框及所述候选框对应的第一置信度；

4、对筛选后的候选框进行窗口重定位，过滤检测阶段产生的劣质假阳性，并重新定位有丝分裂细胞核的中心位置，获取过滤后的候选框及第二置信度；

5、将所述过滤后的候选框输入分类网络，输出最终候选框及最终目标置信度，其中，所述最终目标置信度通过所述第二置信度和分类网络置信度加权获得。

6、优选地，训练所述目标检测网络，包括：

7、在原始图片中找到有丝分裂细胞核的坐标并标记，使用标注工具为可识别的有丝分裂进行注释并生成相应的标签，标签中包含核分裂像区域最小外接矩形坐标和质心坐标，获得数据集；

8、对所述数据集进行数据增强操作，并对图像尺寸进行统一，获得所述乳腺癌有丝分裂细胞核图像；

9、将所述乳腺癌有丝分裂细胞核图像输入目标检测网络进行训练。

10、优选地，所述目标检测网络包括图像预处理模块、特征提取子网络和特征融合子网络，其中，所述图像预处理模块用于将尺寸统一后的图像切割成图像块，并采用svd染色归一化方法处理所述图像块；所述特征提取子网络利用resnet50进行特征提取，所述特征融合子网络利用特征金字塔fpn算法进行多尺度特征融合，获取特征图。

11、优选地，筛选有丝分裂细胞核的候选框及所述候选框对应的第一置信度，包括：

12、根据所述特征图的尺寸和感受野大小，在所述特征图的每个空间位置生成一组默认的候选框，其中，所述候选框以一个参考点为中心，根据预定义的尺度和长宽比生成的不同大小和形状的所述候选框；

13、使用卷积核对所述候选框的感兴趣区域进行特征提取，生成包含区域特征的特征向量，并在不同尺度上对所述特征向量进行预测，获得预测结果，基于所述预测结果与提供的真实目标框之间的差异，构建损失函数；

14、使用基于imagenet 2012进行训练的卷积神经网络resnet 50生成的预训练权重初始化所述目标检测网络，将输入图像及标注提供给所述目标检测网络进行训练，根据预测和标注计算损失，通过最小化所述损失函数及反向传播方法更新所述目标检测网络的权重，最终生成有丝分裂细胞核的所述候选框和对应的置信度；其中，所述标注为核分裂图像区域最小外接矩形坐标和质心坐标。

15、优选地，对筛选后的候选框进行窗口重定位，包括：

16、对所述候选框边界中的有丝分裂细胞核进行窗口重定位，通过检测器进行重新检测；

17、对有丝分裂细胞核中心进行调整，预测正例对象的中心位置，所述正例对象为包含有丝分裂的候选框。

18、优选地，对所述候选框边界中的有丝分裂细胞核进行窗口重定位，包括：

19、将经检测网络中图像预处理模块得到的每个图像块的边界周围重新定义一个定位区域，丢弃处于所述定位区域的有丝分裂细胞核；

20、为以被丢弃对象为中心创建新的图像块，基于所述检测器对其进行重新检测，输出所述第二置信度。

21、优选地，对所述有丝分裂细胞核中心进行调整，包括：

22、基于输入数据集随机采样有丝分裂细胞核和非有丝分裂细胞核，切成相同尺寸的图像块；

23、对所述图像块进行随机几何变换，将带有标签的基准图像块中心从所述图像块中心移动(dx,dy)个像素，所述目标检测网络通过预测所述(dx,dy)各像素预测所述正例对象的中心位置。

24、优选地，预测所述正例对象的中心位置，包括：

25、利用所述第一置信度获取目标类别，若检测到的置信度大于预设阈值时，则推断对象为第一正例对象；

26、基于深度卷积神经网络增加辅助任务，对所述第一正例对象进行分类，其中，所述深度卷积神经网络的输出包括两个预测头：所述图像块中心到ground truth中心距离的主回归头和预测目标类别的辅助分类头，即所述主回归头为所述正例对象的中心位置，所述辅助分类头为所述正例对象的类别。

27、与现有技术相比，本发明具有如下优点和技术效果：

28、本发明在经典分类网络resnet50上加入eca注意力模块和特征金字塔，增强卷积神经网络对于不同尺度和不同语义信息的感知，有利于提升检测性能；通过在检测阶段之后加入窗口重定位模块，减少候选框边界周围的低质量预测，有利于产生更一致的检测结果。