一种胚胎发育潜能预测方法、系统、设备及存储介质

1.本发明涉及医疗人工智能技术领域，尤其涉及一种基于多焦段time
‑
lapse视频的胚胎发育潜能预测方法、系统、设备及存储介质。


背景技术：

2.近年来，由于生育年龄推迟、生活压力大等原因，中国育龄夫妇的不孕不育率攀升至12％
‑
15％，患者人数超过5000万，不孕不育已成为除肿瘤、心血管疾病外的第三大疾病。
3.随着辅助生育技术的发展，中国夫妇选择通过辅助生育治疗获得新生儿的比例逐年增加，其中，体外受精已经成为治疗不孕症的一项关键技术，体外受精技术采用人工方法让卵细胞和精子在体外受精，并进行早期胚胎发育，然后移植到母体子宫内妊娠发育，成熟后通过正常方式分娩，但是，在胚胎移植后的临床妊娠率预测方面，现有方法不仅需要医生对胚胎的形态变化进行大量标记，采用少量人工制作的形态学参数直接进行数据
‑
标签映射学习，而且仅使用患者少量的临床数据、和少量人工制定的胚胎动力学参数对单焦段胚胎 time
‑
lapse(延时摄影)视频进行分析，不能充分挖掘单焦段胚胎time
‑
lapse视频中胚胎发育的图像特征，也不能捕获单焦段胚胎time
‑
lapse视频在时间和空间的特性，导致妊娠率预测结果严重缺乏可解释性，而且实验结果高度依赖于数据的规模和平衡性。
4.另外，由于胚胎(受精卵)体外培养的存活率有限，一般要求在每个辅助生育治疗周期内培养多个胚胎，且只有发育到囊胚阶段的胚胎才会被考虑移植，因此，判断体外培养的胚胎是否形成囊胚是体外受精的关键步骤，也是后续胚胎选择移植的重要基础，但是，现有技术只能分析完整的单焦段胚胎time
‑
lapse 视频以及检测培养完成的胚胎，不能实时预测胚胎形成囊胚的概率，从而导致医生不能及时发现形成囊胚概率较低的胚胎，在早期就停止对低发育潜能的胚胎的培养。
5.同时，在预测囊胚是否为整倍体方面，现有通过观察单张图片预测胚胎是否为整倍体的方法，比如：利用预训练的resnet
‑
152模型预测囊胚是否为整倍体的方法，不能对单焦段胚胎time
‑
lapse视频进行时序性建模，导致整倍体预测准确度低且可解释性差，不能在实际的临床场景下使用。


技术实现要素：

6.本发明的目的是提供一种基于多焦段time
‑
lapse视频的胚胎发育潜能预测方法、系统、设备及存储介质，不仅可以充分利用多焦段信息，而且能够捕获 time
‑
lapse视频在时间和空间的特性，从而高效、准确地预测胚胎妊娠率。
7.为解决以上技术问题，本发明提供了一种胚胎发育潜能预测方法、系统、设备及存储介质。
8.第一方面，本发明提供了一种胚胎发育潜能预测方法，所述方法包括以下步骤：
9.对同一胚胎的多焦段的胚胎图像进行预处理，得到胚胎初始图像；
10.将所述胚胎初始图像输入囊胚预测模型，得到胚胎特征向量；
11.将所述胚胎特征向量输入双向长短期记忆网络，得到胚胎发育特征；
12.基于跨模态特征融合机制，根据临床数据及所述胚胎发育特征，得到融合特征；
13.将所述融合特征输入第一多层感知器，预测得到胚胎妊娠率；
14.所述囊胚预测模型的网络结构包括依次连接的卷积层、第一残差块、多焦段特征选择模型、第二残差块、第三残差块、第四残差块、第一全连接层和第二全连接层；其中，所述第一至第四残差块均嵌入了时间转移模块，所述多焦段特征选择模型包括通道注意力模块、深度非局部模块。
15.在进一步的实施方案中，所述第一残差块包括若干权重共享的残差单元；
16.所述深度非局部模块包括深度卷积层。
17.在进一步的实施方案中，所述基于跨模态特征融合机制，根据临床数据及所述胚胎发育特征，得到融合特征，具体为：
18.对采集到的临床数据进行预处理，得到初始临床特征向量；
19.将所述初始临床特征向量输入嵌入层，得到临床嵌入向量；
20.将所述临床嵌入向量进行融合，得到临床融合向量；
21.将所述临床融合向量输入第二多层感知器，得到临床数据特征；
22.将所述临床数据特征和所述胚胎发育特征输入跨模态特征融合机制，得到融合特征。
23.在进一步的实施方案中，所述对采集到的临床数据进行预处理，得到初始临床特征向量的步骤，包括：
24.将采集到的临床数据进行分类；
25.将各分类的临床数据进行编码；
26.将编码后的所有分类的临床数据进行拼接，得到初始临床特征向量。
27.在进一步的实施方案中，该方法还包括：
28.将不同胚胎的所述胚胎初始图像分别输入囊胚概率预测模型，得到各胚胎对应的囊胚形成概率；
29.其中，所述囊胚概率预测模型包括依次连接的所述卷积层、所述第一残差块、所述多焦段特征选择模型、所述第二残差块、所述第三残差块、所述第四残差块、所述第一全连接层和第三全连接层；其中，所述第一残差块、所述第二残差块、所述第三残差块、所述第四残差块均嵌入了时间转移模块，所述多焦段特征选择模型包括通道注意力模块、深度非局部模块。
30.在进一步的实施方案中，该方法还包括：
31.将形成囊胚的胚胎对应的胚胎初始图像依次输入所述囊胚预测模型、所述双向长短期记忆网络，得到所述胚胎发育特征；
32.将所述胚胎发育特征输入第三多层感知器，得到整倍体概率；
33.根据所述整倍体概率筛选出囊胚为整倍体的胚胎。
34.第二方面，本发明提供了一种胚胎发育潜能预测系统，所述系统包括：
35.初始特征提取单元，用于对同一胚胎的多焦段的胚胎图像进行预处理，得到胚胎初始图像，以及将所述胚胎初始图像输入囊胚预测模型，得到胚胎特征向量；
36.囊胚特征提取单元，用于将所述胚胎特征向量输入双向长短期记忆网络，得到胚
胎发育特征；
37.妊娠率预测单元，用于基于跨模态特征融合机制，根据临床数据及所述胚胎发育特征，得到融合特征，并将所述融合特征输入第一多层感知器，预测得到胚胎妊娠率。
38.在进一步的实施方案中，该系统还包括：
39.囊胚概率预测单元，用于将不同胚胎的所述胚胎初始图像分别输入囊胚概率预测模型，得到各胚胎对应的囊胚形成概率；
40.整倍体概率预测单元，用于将形成囊胚的胚胎对应的胚胎发育特征输入第三多层感知器，得到整倍体概率，并根据所述整倍体概率筛选出囊胚为整倍体的胚胎。
41.第三方面，本发明还提供了一种计算机设备，包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行实现上述方法的步骤。
42.第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
43.本发明提供了一种胚胎发育潜能预测方法、系统、设备及存储介质，通过所述方法，实现了对胚胎形成囊胚概率、胚胎整倍体概率以及胚胎妊娠率的预测。与现有技术相比，该方法借鉴计算机视觉领域早期动作预测任务的思想，通过分析早期胚胎培养的多焦段time
‑
lapse视频，实时预测胚胎妊娠率、胚胎形成囊胚概率以及胚胎整倍体概率，本发明通过多焦段特征选择模型的通道注意力模块和深度非局部模块选择性地融合多个焦段的图片特征，通过时间转移模块从帧序列中学习时空特征，从而对胚胎发育潜能进行可靠预测。
附图说明
44.图1是本发明实施例提供的一种胚胎发育潜能预测方法流程示意图；
45.图2是本发明实施例提供的多焦段特征选择模型结构示意图；
46.图3是本发明实施例提供的通道注意力模块结构示意图；
47.图4是本发明实施例提供的胚胎发育特征提取流程示意图；
48.图5是本发明实施例提供的时间转移模块结构图；
49.图6是本发明实施例提供的lstm模型结构图；
50.图7是本发明实施例提供的基于跨模态特征融合机制预测胚胎妊娠率的示意图；
51.图8是本发明实施例提供的跨模态特征融合机制结构图；
52.图9是本发明实施例提供的一种胚胎发育潜能预测系统示意图；
53.图10是本发明实施例提供的预测囊胚概率的结构示意图；
54.图11是本发明实施例提供的预测整倍体概率的结构示意图；
55.图12是本发明实施例提供的计算机设备的结构示意图。
具体实施方式
56.下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
57.针对现有的胚胎发育潜能预测方法主要针对单焦段胚胎time
‑
lapse视频进行分析，无法充分利用多焦段信息，且不能捕获time
‑
lapse视频在时间和空间的特性，导致不能高效、准确地预测胚胎妊娠率的问题，参见图1，图1是本发明一实施例提供的一种胚胎发育潜能预测方法流程示意图，该方法包括：
58.s1.对同一胚胎的多焦段的胚胎图像进行预处理，得到胚胎初始图像；
59.随着现代医学技术的发展，为提高胚胎移植后的妊娠率和活产率，胚胎的体外培养主要在time
‑
lapse培养箱中进行，time
‑
lapse培养箱依靠其培养箱内置的显微镜和相机可以连续观察胚胎的发育过程，并能记录特殊事件发生的具体时间，提供胚胎发育的形态动力学参数信息。
60.在一个实施例中，time
‑
lapse培养箱内置的摄像头每隔10或15分钟会对胚胎进行多焦段拍摄，得到多焦段胚胎time
‑
lapse视频，本实施例优先选取以下7 个焦段进行拍摄，分别是：f
‑
45、f
‑
30、f
‑
15、f0、f15、f30、f45；同时，本实施例从time
‑
lapse视频中采样t帧胚胎图像，即：其中，τ∈{1,2，...，t}；对于每一帧胚胎图像选取其中3个焦段拍摄的胚胎图像，得到胚胎图像本实施例优选焦段为f
‑
15、f0、f15的胚胎图像，所述胚胎图像的规格优选为500*500*3。
61.需要说明的是，胚胎体外培养的时间上限为7天，因此，本实施例根据培养满7天的胚胎图像帧数n以及采样帧数t，计算得到采样片段的长度s，即：
[0062][0063]
在本实施例中，当训练模型时，可从每个采样片段中随机采样一帧图像，当测试模型时，可固定采样每个采样片段中间位置的一帧图像；为固定所有胚胎的采样帧数，未培养满7天的胚胎仅采样一定的帧数，而剩余的胚胎采用纯黑灰度图作为填充，直至采样帧数等于t，从而保证了在测试模型时，胚胎图像的帧数表示特定的培养时间点。
[0064]
在本实施例中，未培养满7天的胚胎的采样帧数为：
[0065][0066]
其中，b表示未培养满7天的胚胎的采样帧数，n1表示未培养满7天的胚胎图像帧数。
[0067]
在进行胚胎观察评分时，本实施例采用的time
‑
lapse培养箱不需要将胚胎从培养箱中取出，能够维持一个稳定的培养条件，而且time
‑
lapse培养箱可以实时动态观察胚胎的发育过程，记录胚胎发育过程中的各种参数信息，通过这些参数可以有效地选择发育潜能好的胚胎进行移植；然而传统培养系统在进行胚胎形态学评分时，只是在相对固定的时间将胚胎从培养箱取出并观察，有很大的局限性，不能准确的反映胚胎的质量和种植潜能，而且频繁的开关培养箱且胚胎要在培养箱外观察，都是对胚胎发育过程的干扰。
[0068]
在一个实施例中，本实施例利用双线性插值法将所述胚胎图像的分辨率调整为256*256，并将所有胚胎图像转化为胚胎灰度图，在本实施例中，所述胚胎灰度图的规格为256*256*1。
[0069]
另外，为了提高模型性能，当训练模型时，本实施例以一定比例随机对所述胚胎灰
度图进行翻转或旋转，并对所述胚胎灰度图进行随机裁剪，得到多焦段的胚胎初始图像，即裁剪后得到的胚胎初始图像的分辨率为 224*224；当测试模型时，本实施例通过双线性插值法将胚胎灰度图的分辨率调整为224*224，得到多焦段的胚胎初始图像，即
[0070]
s2.将所述胚胎初始图像输入囊胚预测模型，得到胚胎特征向量。
[0071]
在一个实施例中，所述囊胚预测模型利用resnet
‑
50网络作为基础网络来提取图像的外观特征，其中，resnet
‑
50网络包括依次连接的一个卷积层、第一残差块(res
‑
1)、第二残差块(res
‑
2)、第三残差块(res
‑
3)、第四残差块(res
‑
4)、以及包含1000个神经元的第一全连接层(fc
‑
1)；需要说明的是，本实施例将resnet
‑
50网络中的卷积层输入通道数调整为1，保证其能够处理灰度图。
[0072]
所述囊胚预测模型的网络结构包括依次连接的卷积层、第一残差块、多焦段特征选择模型、第二残差块、第三残差块、第四残差块、第一全连接层和第二全连接层；其中，所述第一至第四残差块均嵌入了时间转移模块，所述多焦段特征选择模型包括通道注意力模块、深度非局部模块。
[0073]
所述囊胚预测模型与所述resnet
‑
50网络不同之处在于，本实施例将多焦段特征选择(mfs)模型加入第一残差块与第二残差块之间，其中，所述多焦段特征选择模型包括通道注意力模块和深度非局部模块；同时，本实施例在所述第一全连接层后增加了包含128个神经元的第二全连接层(fc
‑
2)，从而提取多焦段的胚胎初始图像的抽象特征。
[0074]
在本实施例中，多焦段的胚胎初始图像i
t
先经过所述囊胚预测模型中的卷积层，再经过res
‑
1提取图像的特征，得到胚胎特征图，需要说明的是，如图2 所示，在本实施例中，res
‑
1包含三个权重共享的残差单元，即：第一残差单元 res
‑11
、第二残差单元res
‑12
、第三残差单元res
‑13
，第一残差块包含的残差单元的个数对应选取的焦段个数，本领域技术人员可根据具体实施情况调整权重共享的残差单元的个数。
[0075]
然后，如图2所示，本实施例将通过三个并行的残差单元得到的胚胎特征图输入通道注意力模块(channel
‑
wise attention module)；然后，所述通道注意力模块将接收到的胚胎特征图进行拼接并逐通道增强特征，从而得到通道注意力模块输出的通道注意力图，其维度与输入的胚胎特征图a相同，本实施例利用道注意力模块学习通过全局信息有选择性的加强包含有用信息的特征并抑制无用特征。
[0076]
图3是本发明实施例提供的通道注意力模块结构示意图，第一残差块输入所述通道注意力模块的胚胎特征图a维度为h*w*(3*c)，其中，h和w分别表示特征图每个通道的长度与宽度，3*c表示胚胎特征图a的通道维度，c表示res
‑
1输出的通道数；在所述通道注意力模块中，首先，胚胎特征图a分别经过一个全局最大池化(maxpool)和一个全局平均池化(avgpool)，压缩输入的胚胎特征图的空间维数，得到两个维度为1*1*(3*c)的特征图，在本实施例中，全局最大池化和全局平均池化用于聚合特征映射的空间信息，平均值池化对特征图上的每一个像素点都有反馈，而最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈；然后，池化后的两个特征图输入一个共享网络，在本实施例中，所述共享网络为双层权重共享的第四多层感知器，所述第四多层感知器的第一层的神经元个数为c/r，并采用relu作为激活函数，其中，r为减少率；第二层神经元个数为c；最
后，将第四mlp输出的两个特征进行element
‑
wise相加，再经过激活函数sigmoid操作，生成通道注意力特征图m
c
；最后，m
c
与所述通道注意力模块输入的胚胎特征图a做 element
‑
wise乘法，并通过残差，将所得的结果与胚胎特征图a做element
‑
wise 相加，得到通道注意力模块输出的通道注意力图，其维度为h*w*(3*c)。
[0077]
接着，所述mfs模型通过降维操作将所述通道注意力图降维，即本实施例利用卷积核个数为c、卷积核大小为1*1的2d卷积，对通道注意力模块输出的通道注意力图进行降维，使其维度变为h*w*c。
[0078]
最后，本实施例利用深度非局部模块(depth
‑
wise non
‑
local module)对降维后的通道注意力图进行残差连接，进一步增强特征，从而得到多焦段融合特征；需要说明的是，虽然传统的非局部模块可用于构建特征的时空依赖关系，将卷积的感受野从邻域扩大至整个特征图，而不再局限于一个局部领域，但是，非局部模块的参数较多，容易过拟合，因此，本实施例将非局部模块中的卷积替换为深度(deep
‑
wise)卷积，即所述深度非局部模块利用其包含的深度卷积层，对输入的每个通道做独立的空间卷积，从而减少模型参数，降低过拟合风险。
[0079]
在本实施例中，所述深度非局部模块的卷积核个数与其输入的通道注意力图通道相同，即在所述深度非局部模块中，深度卷积的每个卷积核仅与其输入的特征图中对应的通道做卷积运算，本实施例通过深度非局部模块捕捉降维后的通道注意力图的空间相关性。
[0080]
本实施例利用通道注意力模块以及深度非局部模块，使囊胚预测模型可以处理多焦段的胚胎time
‑
lapse视频，并通过深度非局部模块在加入少量参数的情况下，增大模型卷积层的感受野。
[0081]
本实施例将经过所述第一残差块、所述通道注意力模块以及所述深度非局部模块后输出的多焦段融合特征依次输入第二残差块、第三残差块、第四残差块、第一全连接层以及第二全连接层，本实施例通过所述第二全连接层为每个胚胎初始图像输出一个128维的特征向量，得到胚胎特征向量。
[0082]
在一个实施例中，为了可靠提取胚胎特征向量，本实施例不仅需要从胚胎初始图像中学习胚胎的外观特征，还需要利用多焦段time
‑
lapse视频的时间维度对胚胎的发育状态进行建模，因此，如图4所示，所述囊胚预测模型还将时间转移模块(tsm)分别嵌入第一残差块、第二残差块、第三残差块以及第四残差块，以赋予所述囊胚预测模型的时序建模和记忆能力，使得每帧图像的特征都含有之前图像的特征，从而更有效地利用time
‑
lapse视频的时序信息；本实施例将tsm插入各残差块内，既保持了空间完整性，也增加了时序联系性。
[0083]
图5是本发明实施例提供的时间转移模块结构图，在所述囊胚预测模型的每个残差块中，tsm利用时间通道转移单元(temporal channel shift)，将τ
‑
1时刻的输入特征x
τ
‑1的部分特征通道转移到τ时刻的输入特征x
τ
，并进行卷积 (conv)操作，使每个时刻的特征都保存上一时刻的部分特征；然后，tsm通过残差操作，把包含x
τ
‑1部分特征的x
τ
经过卷积后得到的特征与最原始的输入特征x
τ
进行element
‑
wise相加，得到时序增强的输出特征y
τ
；也就是说，tsm 沿着时间维度向前或者向后移动通道，移动后相邻帧的信息与当前帧的信息混合。
[0084]
在本实施例中，所述囊胚预测模型采用交叉熵损失函数作为损失函数，计算每个
胚胎初始图像的预测结果与真实标签的误差，并通过mini
‑
batch sgd的反向传播算法更新囊胚预测模型的参数，需要说明的是，当胚胎未培养满7天时，采用纯黑灰度图作填充的胚胎图像在计算时会被忽略，即：使用纯黑灰度图作填充的胚胎图像不参与误差的计算。
[0085]
s3.将所述胚胎特征向量输入双向长短期记忆网络，得到胚胎发育特征；
[0086]
在图4中，本实施例将各所述胚胎初始图像对应的胚胎特征向量输入双向长短期记忆网络(bi
‑
lstm)，利用bi
‑
lstm在时序上对所述胚胎特征向量作进一步增强，经过bi
‑
lstm的向量连接后，得到胚胎发育特征q，在本实施例中，所述胚胎发育特征为最后一帧所述胚胎初始图像对应的胚胎特征向量通过bi
‑
lstm后输出的特征向量，其包含了整段time
‑
lapse视频的图像特征。
[0087]
bi
‑
lstm由两个隐藏状态传递方向不同的lstm构成，即bi
‑
lstm中一个 lstm的隐藏状态从t1传递到t
t
，而另一个lstm的隐藏状态从t
t
传递到t1，lstm 模型中包含三个门(遗忘门f、输入门i、输出门o)和一个记忆单元，单元状态 c表示记忆单元中存储的信息，单元状态类似一个传送带，可将信息传送给下个时刻；图6是本发明实施例提供的lstm模型结构图，lstm利用t时刻的输入 x
t
和t
‑
1时刻的隐藏状态h
t
‑1决定t三个门的操作，其中，遗忘门f的作用是选择性地遗忘上一时刻的单元状态中的信息，t时刻要遗忘的上一时刻单元状态的内容f
t
＝σ(w
f
·
[h
t
‑1，x
t
]+b
f
)，其中，σ表示sigmoid函数，w
f
表示遗忘门的权重矩阵，b
f
表示遗忘门的偏置向量；输入门i的作用是决定需要存放在记忆单元中的新信息，它的计算分为两部分：首先根据t时刻的输入x
t
和t
‑
1时刻的隐藏状态h
t
‑1计算t时刻的候选单元状态；随后选择t时刻要记录的信息内容i
t
＝σ(w
i
·
[h
t
‑1，x
t
]+b
i
)；t时刻记忆单元的单元状态c
t
由t
‑
1时刻的单元状态c
t
‑1和t时刻的候选单元状态共同决定，即其中， *表示哈达马积；输出门用于选择性地根据t时刻的单元状态c
t
计算要输出的隐藏状态，t时刻要输出的单元状态内容o
t
＝σ(w
o
·
[h
t
‑1，x
t
]+b
o
)，最终的输出和传递给下个时刻的隐藏状态h
t
＝o
t
*tanh(c
t
)。
[0088]
需要说明的是，传统的长短期记忆网络lstm只接收和学习未来方向的信息，这表示过去方向的信息有一定的缺失，而由传统模型衍生出的双向长短期记忆网络bi
‑
lstm由两层的长短期记忆网络lstm组成，分别用于学习未来方向和过去方向的信息，更全面地捕捉序列向量的特征信息，本实施例利用bi
‑
lstm从时序上建模所有焦段time
‑
lapse视频的抽象特征，对胚胎初始图像做时序上的增强。
[0089]
s4.基于跨模态特征融合机制，根据临床数据及所述胚胎发育特征，得到融合特征；
[0090]
由于除胚胎发育过程中的图像特征外，患者夫妇的临床数据与单胚胎移植后的临床妊娠率也存在重要关联，因此，本实施例还利用临床数据预测妊娠率，所述临床数据包括男女双方年龄、子宫内膜厚度、bmi、男女双方是否有染色体结构异常以及是否有不良孕育史；需要说明的是，在预测胚胎妊娠率方面，所述胚胎初始图像为发育至囊胚阶段且为整倍体胚胎的胚胎初始图像，在本实施例中，并不是所有整倍体胚胎都会被用来进行胚胎移植，若某个患者的整倍体胚胎有6个，但最终用于胚胎移植的胚胎可能只有1个或2个。
[0091]
在一个实施例中，为了能有效地利用临床数据，本实施例先对采集到的临床数据进行分类、预处理，再将预处理后的所有临床数据的编码进行拼接，得到患者的初始临床特
征向量，所述对临床数据的预处理具体包括：
[0092]
对于离散数值，比如：男女双方年龄，本实施例采用等间隔分段处理，并记录离散数值处于的分段范围，然后利用one
‑
hot向量对分段进行编码，比如：利用one
‑
hot向量对年龄分段编码，在年龄分段内的值为1，其余分段值为0。
[0093]
对于逻辑变量，本实施例使用长度为2的一维向量对其编码，比如：对于是否有染色体结构异常，当向量的第一个元素为1或第二个元素为1时，表示染色体结构异常。
[0094]
对于连续变量，比如：bmi、内膜厚度，本实施例使用长度为1的一维向量对其编码，元素值为其临床数据值。
[0095]
在一个实施例中，如图7所示，本实施例首先将初始临床特征向量输入嵌入层(embedding层)，得到临床数据对应的临床嵌入向量(embedding向量)，其中，所述embedding向量在模型训练过程中会被不断地学习并优化，其值表示某个临床数据的高维抽象特征；然后，本实施例将多个临床数据的embedding 向量v2、v4、v6进行融合(concatenation)，得到临床融合向量，将所述临床融合向量输入第二多层感知器(mlp)的各层，通过第二多层感知器学习临床数据之间复杂的非线性关系，生成非线性的临床数据特征；最后，本实施例将所述胚胎发育特征以及临床数据特征输入跨模态特征融合机制，得到融合特征。
[0096]
需要说明的是，虽然，传统的双线性融合模型利用γ操作，并根据胚胎发育特征q和临床数据特征v可计算得到融合特征y，即：y＝(γ
×1q)
×2v，其中
×
i
代表张量和向量的i模积(i
‑
mode product)，d
i
表示向量i的维度；但是，传统的双线性融合模型参数量大，导致计算量消耗巨大，模型容易过拟合，因此，本实施例利用mutan模型替换传统的双线性融合模型，以此降低模型参数量，图8是本实施例提供的跨模态特征融合机制结构图，在本实施例中，mutan模型将张量分解为3个因子矩阵：以及一个核心张量即γ＝((γ
c
×1w
q
)
×2w
v
)
×3w
o
，以保持输入、输出维度的灵活性，同时保持参数的数量易处理；然后，利用w
q
、w
v
、w
o
、γ
c
融合胚胎发育的图片特征q和患者的临床数据特征v，即患者的融合特征 y＝((γ
c
×1(q
t
w
q
))
×2(v
t
w
v
))
×3w
o
。
[0097]
s5.将所述融合特征输入第一多层感知器，预测得到胚胎妊娠率。
[0098]
本实施例通过分析早期胚胎培养的多焦段time
‑
lapse视频以及患者的临床数据预测整倍体囊胚植入人体后的妊娠率，从而辅助医生在若干个的整倍体囊胚中筛选继续发育潜能最高的整倍体囊胚，大大提升胚胎移植后的妊娠成功率。
[0099]
在另一个实施例中，该方法还包括将不同胚胎的所述胚胎初始图像输入嵌入时间转移模块的囊胚概率预测模型，预测得到囊胚形成概率。
[0100]
其中，所述囊胚概率预测模型包括依次连接的所述卷积层、所述第一残差块、多焦段特征选择模型、所述第二残差块、所述第三残差块、所述第四残差块、所述第一全连接层和包含两个神经元的第三全连接层；其中，所述时间转移模块分别嵌入所述第一残差块、所述第二残差块、所述第三残差块、所述第四残差块；所述多焦段特征选择模型包括通道注意力模块和深度非局部模块。
[0101]
在本实施例中，所述囊胚概率预测模型与所述囊胚预测模型的不同之处在于：本
实施例将所述囊胚预测模型中的第二全连接层替换为包含两个神经元的第三全连接层；本实施例对第三全连接层的输出进行softmax操作，使得每一帧胚胎初始图像都对应输出一个二维向量[p0，p1]，其中，p0表示不能形成囊胚的概率，p1表示形成囊胚的概率。
[0102]
需要说明的是，在预测形成囊胚概率方面，本实施例中的胚胎初始图像为早期培养的所有胚胎的胚胎初始图像，以辅助医生对早期发育的所有胚胎进行筛选评估。
[0103]
本实施例根据所述囊胚概率预测模型获取囊胚形成概率，可以辅助医生进行早期胚胎筛选，及时发现并停止培养形成囊胚概率较低的胚胎，从而减少医院的人力成本以及患者的经济成本；另外，为了实现对胚胎形成囊胚的可靠性预测，本实施例利用时间转移模块赋予囊胚概率预测模型时序建模和记忆能力，利用多焦段特征选择模型有效融合了多个焦段图像的特征，同时通过深度非局部模块在引入极少参数的情况下，阔大卷积层的感受野，提高模型预测准确度。
[0104]
在另一个实施例中，该方法还包括将已经培养完成并且形成囊胚的胚胎初始图像依次输入所述囊胚预测模型、所述双向长短期记忆网络，得到所述胚胎发育特征；然后，将所述胚胎发育特征输入第三多层感知器(mlp)，得到整倍体概率；最后，根据所述整倍体概率筛选出囊胚为整倍体的胚胎；在本实施例中，若整倍体概率大于整倍体阈值，则判定此胚胎为整倍体胚胎，若整倍体概率小于整倍体阈值，则判定此胚胎为非整倍体胚胎，本实施例优先将整倍体阈值设置为0.7。
[0105]
本实施例通过分析完整的多焦段time
‑
lapse视频，并利用bi
‑
lstm对胚胎特征向量进行时序上特征增强，将bi
‑
lstm中两个lstm最后一帧输出隐藏状态拼接起来输入第三多层感知器中预测囊胚为整倍体的概率，从而代替现有技术中对胚胎造成创伤而且费用昂贵的pgt检测，减轻患者的经济成本。
[0106]
需要说明的是，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0107]
在一个实施例中，如图9所示，提供了一种胚胎发育潜能预测系统，所述系统包括：
[0108]
图像处理单元101，用于对同一胚胎的多焦段的胚胎图像进行预处理，得到胚胎初始图像，并将所述胚胎初始图像输入初始特征提取单元；
[0109]
初始特征提取单元102，用于将所述胚胎初始图像输入囊胚预测模型，得到胚胎特征向量；
[0110]
囊胚特征提取单元103，用于将所述胚胎特征向量输入双向长短期记忆网络，得到胚胎发育特征；
[0111]
妊娠率预测单元104，用于基于跨模态特征融合机制，根据临床数据及所述胚胎发育特征，得到融合特征，并将所述融合特征输入第一多层感知器，预测得到胚胎妊娠率。
[0112]
在一个实施例中，如图10所示，一种胚胎发育潜能预测系统还包括：囊胚概率预测单元105，用于将不同胚胎的所述胚胎初始图像分别输入囊胚概率预测模型，得到各胚胎对应的囊胚形成概率。
[0113]
在一个实施例中，如图11所示，一种胚胎发育潜能预测系统还包括：整倍体概率预测单元106，用于将形成囊胚的胚胎对应的胚胎发育特征输入第三多层感知器，得到整倍体概率，并根据所述整倍体概率筛选出囊胚为整倍体的胚胎。
[0114]
本实施例利用bi
‑
lstm网络对每一帧的图像特征进行时序上的融合，得到 time
‑
lapse视频的胚胎发育特征，利用胚胎发育特征预测囊胚为整倍体的概率，从而进一步筛选优质的胚胎，提高妊娠成功率。
[0115]
关于一种胚胎发育潜能预测系统的具体限定可以参见上述对于一种胚胎发育潜能预测方法的限定，此处不再赘述。本领域普通技术人员可以意识到，结合本技术所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0116]
与现有技术相比，本实施例利用多焦段特征选择模型以及时间转移模块分析完整的多焦段time
‑
lapse视频，不仅赋予囊胚概率预测模型时序建模和记忆能力，而且在引入极少参数的情况下，扩大模型卷积层的感受野，提高模型预测准确度；另外，本实施例利用特征工程的方式提取患者的临床数据特征，并对临床数据特征以及胚胎发育特征进行跨模态融合，从而预测胚胎植入体内后的妊娠率；本实施例的胚胎预测过程无需人工干预，提升了妊娠预测的效率和准确度，可以帮助医生快速准确地对胚胎进行筛选以及妊娠预测结果。
[0117]
图12是本发明实施例提供的一种计算机设备，包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并可以将存储的数据传输给处理器，处理器可以执行存储器存储的程序指令，以执行上述方法的步骤。
[0118]
其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑或其任意组合。
[0119]
另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。
[0120]
本领域普通技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。
[0121]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
[0122]
本发明实施例提供的一种胚胎发育潜能预测方法、系统、设备及存储介质，充分利用了多焦段time
‑
lapse视频在时间和空间的特性以及临床数据，本实施例根据胚胎发育阶段的不同特征预测胚胎发育潜能，可以更高效、快捷的筛选优质胚胎，进一步确保妊娠成功率。
[0123]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如ssd)等。
[0124]
本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
[0125]
以上所述实施例仅表达了本技术的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本技术的保护范围。因此，本技术专利的保护范围应以所述权利要求的保护范围为准。