一种基于深度学习的精子形态学分析方法与流程

本发明涉及计算机医疗图像处理领域，具体为一种基于深度学习的精子形态学分析方法。

背景技术：

1、对精液进行分析以及对精子质量进行评估是诊断男性不育的主要手段，目前临床上大多数使用的检测方法是上世纪80年代起由科研人员提出的计算机辅助精子形态学分析仪(casma)方法，该方法使用现代化的计算机技术，主要包括形态分割和形态识别，内部嵌入相关标准，进行精子分析时，对输入的精子图像测量并计算所需参数，再由内置标准得出最后的判断结果，克服了既往人工分析方法存在的主观性强、效率不高等问题。

2、精子形态学指标在精液分析的若干项目中至关重要，但由于形态学分析包括精子头部、中段、尾部、erc四种类别的异常，每一类异常又细分为多种不同的具体异常，具有一定的复杂性，现有的计算机辅助检测方法在该项目上的准确率较低，因此科研人员在该领域进行了大量的研究。然而，现有的公开研究普遍基于单个精子图像进行分析，对精子进行分类或分割，尽管准确率不断提升，但由于实际临床中经常存在精子的重叠以及杂质干扰等问题，专业医生在显微镜中提取单个精子的图像所花费的时间远超过其直接做出诊断的时间，在诊断准确率上也高于上述方法，因此实用价值不高。

3、提供一种直接使用人工评估时相同的显微图像来进行模型训练，自动检测存在的形态学异常并计数，直接输出最终的检测结果的方法能够真正提高实际临床检测中的效率，辅助医生进行快速诊断和治疗。

技术实现思路

1、发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于深度学习的精子形态学分析方法，采用了基于迁移学习和半监督学习的方法，利用模型在与精子数据集相似的细胞数据集上学习到的知识，应用到数据量较少的精子形态学率分析数据集上，同时有效利用数据集中的大量无标注数据。本发明提供的方法可以有效解决临床精子形态学分析过程中耗时长、准确率不高的问题，为计算机辅助精液分析算法研究以及工程应用提供新的思路。

2、技术方案：一种基于深度学习的精子形态学分析方法，包括以下步骤：

3、步骤1：采集精液标本、制备形态学分析涂片、使用显微镜集图像并依次进行精子形态学标注和精子头部空泡标注以构成数据集；

4、所述使用显微镜采集图像并依次进行精子形态学标注和精子头部空泡标注以构成数据集的具体步骤为：

5、步骤100，根据who人类精液实验室检验手册标准，采集男性的精液样本，进行洗涤并染色后在显微镜 1000 倍放大倍数的亮视野下有顺序、随机、不重复地选择若干区域拍摄图像；

6、步骤101，对于部分无标签的精子形态学分析图像，由多个专业医生对染色后的头部、中段、尾部以及erc进行目标检测标注，每个精子标注位置标签和相应的形态学类别标签；

7、步骤102，对于步骤101中标注完成的所有精子头部，直接裁剪得到新的无标注精子头部图像，再由多个专业医生对裁剪后的头部上所存在的空泡进行目标检测标注，每个空泡只标注位置标签；

8、步骤103，对于步骤101中标注完成的所有有标签精子形态学分析图像，按照7:1:2的比例随机分割训练集、验证集和测试集，并将步骤102中标注的所有精子头部图像分配到对应的集合中，同样划分为训练集、验证集和测试集，保留无标签数据用于后续半监督学习。

9、所述精子形态学标签包括整体正常和异常的二分类标签，头部异常、中段异常、尾部异常、erc四个大类异常标签，以及梨形头、锥形头、顶体过大、顶体过小、圆形头、不定形头、大头、小头、双头、无顶体、顶体后区空泡、顶体区空泡过多、顶体区空泡过大、中段粗、中段细、非对称插入、中段弯曲、中段断开、短尾、断尾、多尾、尾部卷曲、尾部弯曲、尾部环状的细分异常标签。

10、步骤2：对训练数据进行预处理；

11、所述对训练数据进行预处理的具体步骤为：

12、步骤200，对于训练集中的每一张有标签的精子形态学分析图像，将其分辨率从缩放至，并使用白色填充至，将对应的标签也进行等比例缩放；

13、步骤201，对于训练集中的每一张有标签的精子形态学分析图像和精子头部图像，对其进行包括随机裁剪、随机缩放、随机仿射变换、随机光度失真、马赛克增强以及图片混合的数据增强，以扩充实验数据。

14、步骤3：使用迁移学习和半监督学习结合的方式训练目标检测模型的步骤；

15、所述使用迁移学习和半监督学习的方式训练目标检测模型的具体步骤为：

16、步骤300，使用yolox-x在coco数据集上预训练后的官方权重对模型进行初始化，并在livecell细胞分割数据集上训练得到一个新的预训练权重；

17、步骤301，使用步骤300中得到的预训练权重，在步骤201得到的精子形态学分析数据集上进行训练，在训练过程中，不断使用验证集来对模型预测结果进行验证，以选择合适的超参数；

18、步骤302，使用步骤301中得到的初步训练模型，在无标签数据上进行预测，并将预测得到的伪标签和对应图像与原始训练集合并；

19、步骤303，重复步骤301得到最终的精子形态学分析模型。

20、步骤304，使用步骤300中得到的预训练权重，在步骤201得到的精子空泡检测数据集上进行训练，在训练过程中，不断使用验证集来对模型预测结果进行验证，以选择合适的超参数。

21、在训练过程中，定义模型的目标方程：

22、

23、其中、和分别表示模型优化目标，和用于对三项损失函数进行均衡；

24、定义如下：

25、

26、其中为实际的精子形态学类别标签，为模型预测的精子形态学类别标签，类别标签包括头部、中段、尾部、erc四种大类异常以及对应的细分异常；

27、定义如下：

28、

29、其中为实际的精子头部检测框，为模型预测的精子头部检测框；

30、定义如下：

31、

32、其中为实际的精子形态学类别标签，为模型预测的精子形态学类别标签；在训练的前半段，始终设置为0，后半段训练才加入这部分损失函数来防止模型过拟合。

33、步骤4：使用模型对临床数据进行分析的步骤。

34、所述使用模型对临床数据进行分析的具体步骤为：

35、步骤400，将需要分析的无标注临床样本同样按照步骤200所述的方式进行处理，即先将其分辨率从缩放至，并使用白色填充至；

36、步骤401，将填充后的图片进行旋转和翻转，得到8张不同朝向的新样本图片，使用步骤301训练得到的模型对其依次进行预测，将预测结果恢复到原始朝向并使用非极大值抑制进行合并，得到最终的精子形态学目标检测结果；

37、步骤402，将目标检测结果等比例缩放到原始尺寸，并在原始图像上裁剪对应位置的精子头部，再使用步骤305训练得到的模型对空泡进行检测，得到空泡检测的结果并判断是否存在空泡过多和过大的形态学异常；

38、步骤403，对步骤401和步骤402得到的结果进行对齐处理，对同一受检者的不同样本进行分析并进行计数，输出最终的各部位的异常比例和精子形态学整体的异常比例。

39、有益效果：与现有技术相比，本发明提供的基于深度学习的镜子形态学分析方法，利用了迁移学习和半监督学习方法，使得模型能够同时利用现有的有标签和无标签数据来提升模型分析的准确率，可以有效解决临床精子形态学分析过程中耗时长、准确率不高的问题，为计算机辅助精液分析算法研究以及工程应用提供新的思路。