一种原核期胚胎原核数量的评估方法与流程

[0001]
本公开属于胚胎培养领域，具体涉及一种原核期胚胎原核数量的评估方法。


背景技术：

[0002]
胚胎质量评估是ivf-et的重要工作，直接影响胚胎移植率和妊娠率。形态学方法在胚胎质量评估中被较多采用，即在体外培养的过程中，通过观察胚胎的关键形态学特征，判断其发育潜力。定点观察法在几个特定的时间点观察胚胎形态，以形态学为标准对胚胎质量进行评估和分级，选择分级最高的胚胎进行移植。然而胚胎发育是动态连续的过程，几个特定时间点的观察无法对胚胎质量进行全面评估。实时连续观察法采用时差成像系统，在培养箱内安装内置摄像装置，每间隔一定时间对胚胎进行自动摄像，实现了稳定可控环境中对胚胎实时连续观察，完成对胚胎质量的动态评估。
[0003]
基于形态评估胚胎发育潜力，按照胚胎发育过程分为三个阶段，原核期、卵裂期和囊胚期。原核的出现是受精完成的标志，2pn表示受精正常，0pn和3pn及以上的胚胎被认为是异常的，1pn则需要确认胚胎是否是二倍体。尤其是3pn及以上的胚胎，发生概率5％-8％，是绝对不应该被移植的胚胎，必须被准确判别出来。原核期胚胎的原核数量判断采用人工判断也存在一定的难度。原核在图像中较小，不易分辨，原核之间会产生重叠，容易发生计数错误的情况。时差成像系统产生了大量的胚胎图像数据及视频，传统人工的方法分析图像数据消耗大量时间，分析人员的水平和主观性对胚胎评估质量有不同程度的影响。
[0004]
近来，应用深度学习算法分析和判断胚胎发育潜力和临床结局，成为辅助生殖领域的研究热点之一。
[0005]
深度学习应用于原核期评估主要解决原核数量自动识别的问题。fukunaga等利用深度学习技术检测原核数量，该方法首先检测原核轮廓，然后基于原核轮廓识别原核数量，两个阶段都使用cnn作为轮廓检测器和原核数量分类器。该方法需要人工标注原核轮廓以及原核数量，而人工标注的代价很高。


技术实现要素：

[0006]
针对现有技术的不足，本公开的目的在于提供一种原核期胚胎原核数量的评估方法，解决了现有技术中需要人工标注原核的轮廓问题。
[0007]
本公开的目的可以通过以下技术方案实现：
[0008]
一种原核期胚胎原核数量的评估方法，包括以下步骤：
[0009]
s1、获取和/或识别胚胎图像中的每个胚胎；
[0010]
s2、通过卷积神经网络对胚胎图像的每个胚胎的原核数量进行识别，将原核数量识别问题作为分类问题处理，并将原核期胚胎的原核数量分为四类：0pn、1pn、2pn和3pn，分别代表0原核，1原核，2原核，3原核及以上；
[0011]
s3、以分类识别后的所述胚胎序列原核期时间序列对应的胚胎原核数量识别结果，判断所述胚胎的原核数量。
[0012]
在一些公开中，所述获取和/或识别胚胎图像中的每个胚胎,包括:
[0013]
s1.1、获取和/或识别胚胎图像中的每个胚胎的模糊胚胎区域，并对每个胚胎的模糊胚胎区域，制作模糊胚胎区域的掩膜；
[0014]
s1.2、根据模糊胚胎区域的掩膜，使用高斯滤波对图像进行平滑，然后使用霍夫圆环变换找到胚胎细胞边界，并基于所述胚胎细胞边界，制作有效胚胎区域的掩膜，获取每个胚胎的有效胚胎区域，以有效胚胎区域作为对应的胚胎标识，从而获取和/或识别胚胎图像中的每个胚胎。
[0015]
在一些公开中，所述s1.1,包括以下步骤：
[0016]
s1.1.1、对胚胎图片进行图像二值化，以及先膨胀再腐蚀的形态学处理；
[0017]
s1.1.2、获取经过图像二值化处理的图像中的所有轮廓并计算该轮廓面积，选择面积在80000-100000像素之间的轮廓，并以所述轮廓作为边界，制作模糊胚胎区域的掩膜。
[0018]
在一些公开中，将获取和/或识别胚胎图像中的每个胚胎进行缩放，形成224x224像素的图像。
[0019]
在一些公开中，呈224x224像素图像的所述胚胎作为卷积神经网络的训练集，卷积神经网络对呈224x224像素图像的所述胚胎中的原核数量识别，并将概率最大的类别作为呈224x224像素图像的所述胚胎的识别结果，卷积神经网络针对于呈224x224像素图像的所述胚胎中的原核数量的类别有0pn、1pn、2pn、3pn四类，分别代表0原核，1原核，2原核，3原核及以上。
[0020]
在一些公开中，所述卷积神经网络采用se-resnet-18卷积神经网络。
[0021]
在一些公开中，所述s3，包括以下步骤：
[0022]
1)根据分类识别后的所述胚胎，计算所述胚胎对应的胚胎序列原核期，以及出现的原核数量类别，得到集合c，胚胎序列原核期设定n帧；
[0023]
2)对集合c中的每个类别，计算集合c中最大的类别集合c的最大持续帧数n；
[0024]
3)计算n/n；
[0025]
4)若n/n>f，则判定为集合c类；否则将该类从集合c中去掉，并返回2)，直到找到所属类别。
[0026]
本公开的有益效果：
[0027]
本公开利用se-resnet-18卷积神经网络，利用少量标注，以较高准确率实现原核数量自动识别，同时提出了新的基于胚胎序列单帧图片的识别结果对胚胎的原核数量的判定方法。
附图说明
[0028]
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]
图1是本公开实施例的整体框架图；
[0030]
图2是本公开实施例的图片预处理过程示意图；
[0031]
图3是本公开实施例的处理完成的胚胎示意图；
[0032]
图4是本公开实施例的一个作用在56x56像素特征图的resnet的残差模块结构示
意图；
[0033]
图5是本公开实施例的se-resnet-18模块结构示意图；
[0034]
图6是本公开实施例的3pn胚胎在系统中的原核数量判别结果；
[0035]
图7是本公开实施例的2pn胚胎在系统中的原核数量判别结果。
具体实施方式
[0036]
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
[0037]
一种原核期胚胎原核数量的评估方法，包括：获取和/或识别胚胎图像中的每个胚胎；通过卷积神经网络对胚胎图像的每个胚胎的原核数量进行识别，将原核数量识别问题作为分类问题处理，并将原核期胚胎的原核数量分为四类：0pn、1pn、2pn和3pn，分别代表0原核，1原核，2原核，3原核及以上；以分类识别后的所述胚胎序列的胚胎原核数量识别结果，判断所述胚胎的原核数量；如图1所示，其中图1中(a)原始胚胎图像(b)检测胚胎细胞(c)提取每张胚胎图像(d)cnn分类器(e)原核数量判别结果。
[0038]
在一些公开中，所述评估方法采用如下方法：
[0039]
1、获取和/或识别胚胎图像中的每个胚胎，包括以下步骤：
[0040]
图像预处理，目的是将图片中胚胎所在区域提取出来，图像预处理过程分为两步，先制作模糊胚胎区域的掩膜然后提取单个胚胎的有效胚胎区域。
[0041]
1.1制作模糊胚胎区域的掩膜
[0042]
数据中一张图片含有多个胚胎，利用为每个胚胎制作掩膜的方法将每个胚胎提取出来，制作掩膜的过程是先将图像二值化，然后提取轮廓制作掩膜。首先，将图像转化为灰度图，然后使用灰度阈值变换将图像转换为二值图像，二值化后的图像存在一些噪点，这些噪点可能会对感兴趣的轮廓边界的提取造成干扰，故采用形态学方法对噪点进行处理，采用的是先膨胀再腐蚀的形态学操作。二值化图像时阈值设为10，腐蚀和膨胀的结构元素用的是3x3正方形结构。然后，进行轮廓检测，计算经过上述处理后的二值图像中的所有轮廓并计算轮廓面积，选择面积在80000-100000像素之间的轮廓，并以该轮廓作为边界制作模糊胚胎区域的掩膜，然后使用按位运算将掩膜和原始灰度图像结合，即可提取出每个胚胎所在的圆形独立区域，并制作模糊胚胎区域的掩膜。这里，制作模糊胚胎区域的掩膜的目的是使可以独立地对每个胚胎进行操作，防止图像其他部分的干扰，去除每个胚胎周围的噪声。
[0043]
在一些公开中，针对于培养皿中开设有微孔区域，胚胎放置于单个微孔区域内，此时可以以微孔区域的轮廓边界，进行制作模糊胚胎区域的掩膜。
[0044]
1.2提取单个胚胎的有效胚胎区域
[0045]
经过上述步骤处理的图片，可以得到每个胚胎所在的区域，然后使用霍夫圆环变换拟合细胞边界并制作掩膜的方法提取单个胚胎的有效胚胎区域。首先使用高斯滤波对图像进行平滑，然后使用霍夫圆环变换找到胚胎细胞边界，并以此边界制作掩膜。最后，通过找到上述霍夫圆环变换检测到的每个圆环轮廓的直边界矩形得到每个胚胎图片，如图2和
图3所示，其中图2中(a)原始图像；(b)二值化图像：将a二值化并进行形态学处理；(c)掩膜：根据b图的轮廓面积提取微孔轮廓制作的掩膜；(d)c和a按位运算，提取出每个胚胎所在的模糊胚胎区域；(e)对d进行霍夫圆环变换，拟合胚胎边界，并用于提取有效胚胎区域；
[0046]
图3中，(a)-(i)分别为原始图片经过图片预处理后得到的相应位置的9个胚胎，这些图片将输入cnn分类器。
[0047]
2、通过卷积神经网络对胚胎图像的每个胚胎的原核数量进行识别，将原核数量识别问题作为分类问题处理，并将原核期胚胎的原核数量分为四类：0pn、1pn、2pn和3pn，分别代表0原核，1原核，2原核，3原核及以上，包括以下步骤：胚胎图像经过预处理后，直接输入集合卷积神经网络识别原核数量。
[0048]
原核数量识别作为一个分类问题处理。经过预处理后的图片缩放为224x224像素后可以直接作为训练数据输入集合卷积神经网络对原核数量识别。集合卷积神经网络输出的分类结果有0pn、1pn、2pn、3pn四类，对于每一张图片，集合卷积神经网络将返回该图片属于某个类别的概率，如图6所示，并将概率最大的类别作为该图片的分类结果。使用se-resnet-18卷积神经网络作为分类器。
[0049]
se-resnet-18是在resnet结构中加入se(squeeze-and-excitation)模块[7]构成。resnet被称为深层残差网络，学习残差映射，并在网络部分层之间加入短连接，从而保证随着网络层数的增加，准确率可以不断提高。根据网络层数不同，resnet有resnet-18、resnet-34、resnet-50、resnet-101，resnet-152等多种变体。本文使用18层的resnet，即resnet-18，其结构如表1所示，表1中从conv2到conv5层，每层有两个残差模块。图4展示了一个作用在56x56像素特征图的残差模块。se模块可以执行特征校准，通过学习使用全局信息，选择性地强调有用的特征，抑制不太有用的特征。具体来说，先将全局空间信息压缩(squeeze)到一个通道描述符中，然后使用激励(excitation)操作完全捕获通道上的依赖关系，最后对特征图重新加权，输入后续层。在resnet残差模块中加入se模块即得到se-resnet-18，如图5所示，图5(a)是resnet残差模块，图5(b)是se模块，图5(c)是在resnet残差模块中加入se模块，得到的se-resnet-18模块。
[0050]
预处理得到的图像被缩放为224x224像素，输入到se-resnet-18-18进行训练。
[0051]
表1:resnet-18的基本结构
[0052][0053]
基于原核数量识别结果，对胚胎原核数量进行判断。判断方法如下：
[0054]
1)计算时差序列原核期(共n帧)各单帧图像的原核数量，不同计数结果构成集合c；
[0055]
2)对c中的最大计数值c，计算时差序列中c的最大连续帧数n；
[0056]
3)若n/n超过阈值f，则判定为c类；否则c从c中去掉，并返回第2)步。
[0057]
在本公开中，阀值f为10％，当然在其他一些公开中，也可以是其他的参数。
[0058]
上述判定方法中使用最大持续帧数作为部分衡量指标，这样做可以避免由于识别结果不稳定而产生的模型识别连续帧的结果在0pn、1pn、2pn、3pn之间震荡的情况造成的识别错误，从而得到稳健的识别结果。
[0059]
如图6所示，其中图中展示了一个胚胎完整的原核期的胚胎序列识别结果，横坐标按照时间拍摄的为每一帧，纵坐标为训练好的模型识别出的当前帧属于每一类别的概率；对于每一帧，模型将选择概率最大的类别作为分类结果。
[0060]
4实验
[0061]
4.1数据集
[0062]
图片是基于time-lapse系统拍摄的。原始图片大小为2004x2592像素，每张图片含有9个胚胎，经过第2部分的图片预处理过程，提取出每个胚胎。对于每个胚胎序列，仅使用原核期图片。最终，使用的数据集包含111个胚胎图片序列，一共12838张图片。将数据集按照原核数量分成四类，分别是0原核，1原核，2原核，3原核及以上，其中0原核的图片有2659张，1原核的图片有1813张，2原核的图片有7479张，3pn 887张。数据集按照5:2:3的比例随机分成训练集、验证集和测试集，分别有6424、2564、3850张，数据集分布情况如表2所示。
[0063]
表2:数据集分布
[0064][0065]
4.2评价指标
[0066]
对于分类问题，可以将样本根据其真实类别和分类器预测类别的组合划分为真正例、假正例、真反例、假反例四种情况，tp、fp、tn、fn分别表示其对应的样例数。分类结果混淆矩阵如表3所示。
[0067]
表3：分类结果混淆矩阵
[0068][0069]
本公开使用精确率、召回率、准确率作为模型评价指标。这些评价指标的计算公式如下：
[0070][0071][0072][0073]
4.3实验设置
[0074]
系统实现和实验程序采用python编程语言；图像处理算法使用opencv；cnn搭建和训练采用开源深度学习框架pytorch；损失函数使用交叉熵损失，使用adam算法优化模型，学习率设为0.01，batchsize设为72，迭代次数设为80。
[0075]
采用训练集中的6424张单帧图像对模型进行训练，保存训练过程中第15次以后迭代产生的模型，并选取在验证集上准确率最高的模型。该模型将经过测试集的测试评价，并应用于胚胎原核数量判别系统中。
[0076]
4.4.1实验结果
[0077]
4.4.1单帧图像的原核计数
[0078]
将验证集上选取的se-resnet-18-18模型在测试集的3850张胚胎图像上进行测试，实验结果总体准确率达到96.88％，详细结果如表4、表5所示。其中0pn、1pn、2pn、3pn每个类别的准确率分别为98.10％、98.21％、97.69％、99.77％，召回率分别是95.61％、
91.71％、98.35％、98.86％，精确率分别为95.25％、95.40％、97.70％、97.74％。从实验结果可以看出，se-resnet-18-18网络模型具有很强的学习能力，能出色的完成单帧图像的原核计数的任务。尤其是对于3pn的情况，模型计数的准确率、召回率和精确率都是最高，能有效辅助规避3pn及以上胚胎。
[0079]
表4：测试集分类结果混淆矩阵
[0080][0081]
表5：测试集分类结果各项评价指标
[0082][0083]
4.4.2时差图像的原核数量判别
[0084]
胚胎原核数量判别系统中将利用训练好的se-resnet-18-18网络，将胚胎原核期的时差图像序列作为系统输入，系统中的se-resnet-18-18对序列中每张单帧图像进行分类，得到每张单帧图像对应0pn、1pn、2pn、3pn的概率，系统综合时序上每帧图像的概率，给出时差图像中胚胎的最终原核数量判别结果。本次实验使用的阈值为10％，该阈值可以使系统将本次试验的全部胚胎序列判断正确。
[0085]
图6显示了3pn胚胎在系统中的判别结果。该胚胎在原核期的时差图像有128帧。横坐标为按照时间顺序拍摄的每帧图像，纵坐标为系统中se-resnet-18-18模型的识别结果，系统将选择概率最大的类别作为判别结果。图7显示了2pn胚胎在系统中的判别结果。该胚胎在原核期的时差图像有127帧。从图中可以看到，尽管第48帧识别为3pn，但是系统从总体结果曲线可以判别为2pn。可见，胚胎的原核数量判别系统利用时差图像中的总体评价，将se-resnet-18-18模型的判别误差忽略掉，从而该系统能够具有较强的稳定性和判别准确性。
[0086]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0087]
以上显示和描述了本公开的基本原理、主要特征和本公开的优点。本行业的技术人员应该了解，本公开不受上述实施例的限制，上述实施例和说明书中描述的只是说明本公开的原理，在不脱离本公开精神和范围的前提下，本公开还会有各种变化和改进，这些变化和改进都落入要求保护的本公开范围内。