一种基于深度学习的精液质量评估方法

本发明涉及精液质量评估，具体为一种基于深度学习的精液质量评估方法。

背景技术：

1、男性的生育能力取决于精子浓度，精子运动的方向及其形态(精子头部的形状和尾巴的大小)，基于这些生育因素，精子的运动分析对于确定男性生育能力非常重要，如更准确地检测和跟踪精子，或者直接对精子动态视频进行视频信息提取，从而更准确地诊断不孕症问题，分析精子的最常见方法是通过专家通过显微镜观察精子并报告它们的运动质量、数量和形态，这很困难，除了手动方式，计算机辅助精子分析(casa)系统也被用于精子分析，在过去的几十年里，casa系统得到了很大的改进，现在性能更快、更准确比人工观察，casa系统使用不同的算法从精子的图像或视频样本，检测精子的数量、形态，尤其是运动能力，casa系统主要使用经典的图像处理算法，成本高且精度不够，对样本的纯净度要求很高，在过去的几年里，深度学习已经成为计算机视觉领域的最新技术，人们开始将深度学习人工智能算法应用于精子目标检测与追踪，从而达到检测精子活性与运动指标的目的，一般步骤都是第一步通过深度学习算法检测精子细胞的静态坐标位置，第二部使用各种滤波器跟踪精子细胞，最后使用运动距离和时间计算细胞运动的速度。

2、80年代和90年代开始有一些关于精子追踪的早期研究，在一项研究中，提出了一种单精子跟踪算法，该算法通过以下方式跟踪精子：在它们周围创建一个区域，并使用修改后的四类阈值，然后执行碰撞后分析以确定图像中跟踪的精子，这种方法还使用速度检查功能来跟踪靠近他精子或颗粒的精子，还有一项研究旨在开发一种用于固定活动的精子的机器人系统(为了临床注射，人工授精)跟踪单个精子的头部，该研究提出了另一种使用改进的高斯混合滤波器(gm-phd)的方法，同时跟踪多个精子，还有研究使用高斯算子的拉普拉斯算子来检测精子的头部，然后，用粒子和卡尔曼滤波器的组合跟踪运动的精子，过去几十年中关于精子追踪的大多数工作都是基于单精子追踪，当精子相互碰撞时，效果不佳，会发送跟踪对象错误，或跟丢的情况，从而对后续精子运动指标的计算产生误差，尽管近年来也有对多精子跟踪进行的研究，但其中许多研究都只在一个小数据集上进行了评估，研究只停留在算法的精度改进上，没有应用到实际的精液样本指标检测中，随着人工智能算法的普及与应用，有研究提出了自动检测和跟踪精子的方法，通过应用词袋方法和svm分类在视频的第一帧中执行检测，然后通过使用平均移位方法，检测到的精子将在其他帧中跟踪，虽然这项研究取得了不错的结果，但它的缺点是使用了小的树数据集，模型泛化能力不足，在中密度或高密度细胞的样品中效果不佳，故而提出一种基于深度学习的精液质量评估方法来解决上述所提出的问题。

技术实现思路

1、(一)解决的技术问题

2、本发明的目的是为了解决上述的问题，而提出的一种基于深度学习的精液质量评估方法。

3、(二)技术方案

4、本发明解决上述技术问题的技术方案如下：

5、一种基于深度学习的精液质量评估方法，包括以下操作步骤：

6、s1、预处理数据集、选取85名18岁或以上男性参与者的数据，数据包含了每个参与者的活的精子样本的视频，将数据集的60％用于训练，20％作为验证集，20％作为测试集，对训练集视频进行预处理，截取连续的9帧作为一次样本输入；

7、s2、训练改进的卷积神经网络、使用轻量化卷积网络mobilenet作为主干网络，在最后的全连接层串联加入精子中几种脂肪酸的水平，磷脂脂肪酸的血清水平，之后使用改进的轻量化卷积网络对输入的连续图像帧进行信息提取，前向传播计算损失函数，反向传播使用梯度下降法调整卷积神经网络的参数，使损失函数的结果下降，当损失函数的在训练集和验证集上的计算结果趋于稳定，微调学习率，继续重复训练卷积网络，先前向传播计算损失函数，后反向传播使用梯度下降法调整卷积神经网络的参数，使损失函数的结果下降，直到训练集与验证集的损失趋于平稳，使用测试集测试网络训练的结果，并且给出评价卷积神经网络的评价指标；

8、s3、样本推理、包含前端设计和后端设计，前端设计为两个网页，分别为加载视频界面和结果展示界面，后端设计为将训练好的深度学习网络，以及训练好的权重参数打包，写入后端框架，加载任意的精液样本视频，调用训练好的卷积神经网络，预测精液的运动活性指标以及精子的形态指标，传递到前端页面。

9、在上述技术方案的基础上，本发明还可以做如下改进。

10、优选地，所述在步骤s1中其中的数据集还包括参与者精子中几种脂肪酸的水平，磷脂脂肪酸的血清水平，与者血液中测量的性激素血清水平，参与者的年龄，禁欲时间和体重指数。

11、优选地，所述在步骤s1中该数据集包含超过35gb的视频，每个视频持续两到七分钟，帧速率为每秒50帧，数据集有专业的医疗机构制作整理，具有效性。

12、优选地，所述在训练过程中的参数设置为：对训练集输入的视频图像进行预处理，调整为224×224×3大小，取连续的9帧图像作为改进的轻量化网络的输入，之后将输入的精子图像随机反转并且裁剪为16×112×112，以实现空间和时间抖动，选用adam作为优化器完成，0.0001为初始学习率为，当损失函数结果不再下降学习率除以2，预先在ucf101经典动作分类数据集进行预训练。

13、优选地，所述卷积神经网络参数设置为：整个网络有28层，首先是一个3x3的标准卷积，然后堆积深度卷积模块，深度卷积模块有两种，bottleneck_1是步长为1的深度卷积模块，不改变特征图的大小，bottleneck_2是步长为2的深度卷积模块，将输入的特征图下采样，减小输入的特征图的长与宽，网络由多个深度可分离卷积模块堆叠，提取视频图像的时间与空间信息，然后采用平均卷积层将特征图变成1x1，然后连接全连接层，将除视频信息以外的医学健康信息：脂肪酸的水平，磷脂脂肪酸的血清水平，血液中性激素血清水平，样本的年龄，禁欲时间和体重指数这些参数归一化，堆叠在全连接层，最后用softmax层输出预测结果。

14、(三)有益效果

15、与现有技术相比，本申请的技术方案具有以下有益技术效果：

16、本发明直接使用轻量化的mobilenet对精液视频直接进行视频信息提取，并且对卷积神经网络进行改进，加入除了视频信息以为的其他数据，增加网络预测的准确性，使用前后端分离的web端部署神经网络，解决预测的效率问题，使得整个系统更好操作，更好的展示预测结果。

技术特征：

1.一种基于深度学习的精液质量评估方法，其特征在于，包括以下操作步骤：

2.根据权利要求1所述的一种基于深度学习的精液质量评估方法，其特征在于，所述在步骤s1中其中的数据集还包括参与者精子中几种脂肪酸的水平，磷脂脂肪酸的血清水平，与者血液中测量的性激素血清水平，参与者的年龄，禁欲时间和体重指数。

3.根据权利要求1所述的一种基于深度学习的精液质量评估方法，其特征在于，所述在步骤s1中该数据集包含超过35gb的视频，每个视频持续两到七分钟，帧速率为每秒50帧，数据集有专业的医疗机构制作整理，具有效性。

4.根据权利要求1所述的一种基于深度学习的精液质量评估方法，其特征在于，所述在训练过程中的参数设置为：对训练集输入的视频图像进行预处理，调整为224×224×3大小，取连续的9帧图像作为改进的轻量化网络的输入，之后将输入的精子图像随机反转并且裁剪为16×112×112，以实现空间和时间抖动，选用adam作为优化器完成，0.0001为初始学习率为，当损失函数结果不再下降学习率除以2，预先在ucf101经典动作分类数据集进行预训练。

5.根据权利要求1所述的一种基于深度学习的精液质量评估方法，其特征在于，所述卷积神经网络参数设置为：整个网络有28层，首先是一个3x3的标准卷积，然后堆积深度卷积模块，深度卷积模块有两种，bottleneck_1是步长为1的深度卷积模块，不改变特征图的大小，bottleneck_2是步长为2的深度卷积模块，将输入的特征图下采样，减小输入的特征图的长与宽，网络由多个深度可分离卷积模块堆叠，提取视频图像的时间与空间信息，然后采用平均卷积层将特征图变成1x1，然后连接全连接层，将除视频信息以外的医学健康信息：脂肪酸的水平，磷脂脂肪酸的血清水平，血液中性激素血清水平，样本的年龄，禁欲时间和体重指数这些参数归一化，堆叠在全连接层，最后用softmax层输出预测结果。

技术总结
本发明涉及精液质量评估技术领域，且公开了一种基于深度学习的精液质量评估方法，包括以下操作步骤：S1、预处理数据集、选取85名18岁或以上男性参与者的数据，数据包含了每个参与者的活的精子样本的视频，将数据集的60％用于训练，20％作为验证集，20％作为测试集，对训练集视频进行预处理，截取连续的9帧作为一次样本输入。该基于深度学习的精液质量评估方法，使用轻量化的MobileNet对精液视频直接进行视频信息提取，并且对卷积神经网络进行改进，加入除了视频信息以为的其他数据，增加网络预测的准确性，使用前后端分离的Web端部署神经网络，解决预测的效率问题，使得整个系统更好操作，更好的展示预测结果。

技术研发人员：张崇明,虞汐
受保护的技术使用者：上海师范大学
技术研发日：
技术公布日：2024/1/13