细胞跟踪方法、精子优选方法、电子设备和存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种细胞跟踪方法、精子优选方法、电子设备和存储介质。


背景技术：

2.人类精子优选技术是辅助生殖技术的产物，传统的精子优选依赖于显微操作装置并辅以熟练的手动操作，成本高，操作难度大且对操作人员的经验要求高，要求操作人员需经过长期培训，且具备良好的生理条件和稳定的心理素质，然而主观上仍无法避免操作过程中的心理波动和生理疲劳，从而导致操作人员用肉眼观察计数和凭借主观经验判断精子活力出现的无科学性的分析诊断，使受精成功率低。为克服人工操作带来的缺点，研究一种全自动的精子优选算法代替传统的手动精子优选操作，具有重大的研究意义，为人工受精样本的选取提供可靠的技术支持。
3.目前国内已经出现一些计算机辅助精子分析系统，但还存在一些缺陷，在精子检测部分多采用简单的阈值分割，阈值分割的核心在于阈值的选取，而一张图像帧会受到噪声，光照，纹理等影响，阈值选取受影响的因素太多，并且和提取的精子特性有关联，因此通过阈值分割进行精子识别和跟踪的误差性较大。由于现有的精子检测技术并不一定能在每一帧图像上将上一帧中的同个精子也检测出来，所以通过在每一帧图像上进行精子检测来代替精子跟踪的技术，存在一定的精子跟踪丢失率。此外，目前的精子分析系统上并不能将每个精子进行标识，即这一帧的精子在下一帧中就找不到在哪里了，或者说精子间不能进行区分，只能获取精子总数，精子浓度，存活率等指标，而难以对其中的某一个精子进行具体分析。


技术实现要素：

4.本发明的目的在于提供一种细胞跟踪方法、精子优选方法、电子设备和存储介质，可以弥补人工分析方法筛选精子的不足，有效降低操作人员的工作量，使精子的优选更具科学性和客观性，进而提高人工受精样本的质量和受精成功率。
5.为达到上述目的，本发明提供一种细胞跟踪方法，所述细胞跟踪方法包括：
6.获取当前帧细胞图像；
7.采用边缘检测算法对所述当前帧细胞图像进行检测，以获得所述当前帧细胞图像中的各细胞的检测结果；以及
8.根据上一帧细胞图像中的各细胞的跟踪结果或检测结果以及所述当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与所述当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果；
9.其中，若上一帧为起始帧，则根据上一帧细胞图像中的各细胞的检测结果以及所述当前帧细胞图像中的各细胞的检测结果；
10.若上一帧为非起始帧，则根据上一帧细胞图像中的各细胞的跟踪结果以及所述当
前帧细胞图像中的各细胞的检测结果。
11.可选的，所述检测结果用检测框表示，所述跟踪结果用跟踪框表示；
12.所述采用边缘检测算法对所述当前帧细胞图像进行检测，以获得当前帧细胞图像中的各细胞的检测结果，包括：
13.采用边缘检测算法对所述当前帧细胞图像进行检测，以获得当前帧细胞图像中的各细胞的位置信息，并将各所述细胞的位置信息作为各所述细胞的检测框；
14.所述根据上一帧细胞图像中的各细胞的跟踪结果或检测结果以及当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果，包括：
15.根据上一帧细胞图像中的各细胞的跟踪框或检测框以及当前帧细胞图像中的各细胞的检测框，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪框。
16.可选的，所述采用边缘检测算法对所述当前帧细胞图像进行检测，以获得当前帧细胞图像中的各细胞的位置信息，包括：
17.对所述当前帧细胞图像进行灰度化处理，以获得灰度图像；
18.采用边缘检测算法对所述灰度图像进行边缘检测，以获得边缘图像；
19.对所述边缘图像进行处理，以获得边缘连续的细胞图像；以及
20.对所述细胞图像中的各细胞的外轮廓进行最小外接矩形处理，以获得当前帧细胞图像中的各细胞的位置信息。
21.可选的，所述对所述边缘图像进行处理，以获得边缘连续的细胞图像，包括：
22.对所述边缘图像进行先膨胀后腐蚀的形态学操作，以获得边缘连续的边缘图像；以及
23.对所述边缘连续的边缘图像进行去噪处理，以获得边缘连续的细胞图像。
24.可选的，所述对所述边缘连续的边缘图像进行去噪处理，包括：
25.对所述边缘连续的边缘图像进行连通域分析；
26.分别计算每一连通域的面积；以及
27.根据预设的第一面积阈值和第二面积阈值，将所述边缘连续的边缘图像中的面积小于所述第一面积阈值的连通域，大于所述第二面积阈值的连通域去除，其中，所述第二面积阈值大于所述第一面积阈值。
28.可选的，通过以下过程获得当前帧细胞图像中的各细胞的跟踪框：
29.根据上一帧细胞图像中的各细胞的跟踪框或检测框，获取当前帧细胞图像中的各细胞的预测框；
30.计算当前帧细胞图像中的各细胞的检测框与各细胞的预测框之间的匹配度；
31.根据所述匹配度，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配；
32.针对匹配成功的细胞，将其在当前帧细胞图像中的检测框作为其在当前帧细胞图像中的跟踪框；以及
33.针对未匹配成功的细胞，将其在当前帧细胞图像中的预测框作为其在当前帧细胞图像中的跟踪框。
34.可选的，所述根据上一帧细胞图像中的各细胞的跟踪框或检测框，获取当前帧细胞图像中的各细胞的预测框，包括：
35.根据上一帧细胞图像中的各细胞的跟踪框或检测框，采用卡尔曼滤波进行预测，以获取当前帧细胞图像中的各细胞的预测框。
36.可选的，所述根据所述匹配度，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配，包括：
37.根据所述匹配度，采用匈牙利算法，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配。
38.为达到上述目的，本发明还提供一种精子优选方法，包括：
39.采用如上文所述的细胞跟踪方法，获得各精子在各帧精子图像中的位置坐标；
40.根据各所述精子在各帧精子图像中的位置坐标，获得各所述精子的运动轨迹；以及
41.根据各所述精子的运动轨迹，筛选出目标精子。
42.可选的，所述根据各所述精子的运动轨迹，筛选出目标精子，包括：
43.根据各所述精子的运动轨迹，计算各所述精子的起点位置与终点位置之间的距离；以及
44.根据各所述精子的起点位置与终点位置之间的距离，筛选出目标精子。
45.为达到上述目的，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的细胞跟踪方法或精子优选方法。
46.为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的细胞跟踪方法或精子优选方法。
47.与现有技术相比，本发明提供的细胞跟踪方法、精子优选方法、电子设备和存储介质具有以下优点：
48.(1)本发明提供的细胞跟踪方法、电子设备和存储介质，通过先获取当前帧细胞图像(例如精子图像)；再采用边缘检测算法对所述当前帧细胞图像进行检测，以获得当前帧细胞图像中的各细胞(例如精子)的检测结果；最后根据上一帧细胞图像中的各细胞的跟踪结果或检测检测(如果上一帧为起始帧，则根据上一帧细胞图像中的各细胞的检测结果，如果上一帧为非起始帧，则根据上一帧细胞图像中的各细胞的跟踪结果)以及所述当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与所述当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果。由此，本发明通过采用边缘检测算法进行细胞图像中的细胞的检测，以作为后续细胞跟踪的基础，检测算法复杂度低且通用性强；通过采用多目标跟踪算法基于前述的检测结果对每个细胞进行跟踪，细胞跟踪的丢失率低，实时跟踪的鲁棒性强。
49.(2)本发明提供的精子优选方法、电子设备和存储介质，通过采用上文所述的细胞跟踪方法获得各所述精子在各帧精子图像中的位置坐标；再根据各所述精子在各帧精子图像中的位置坐标，获得各所述精子的运动轨迹；最后根据各所述精子的运动轨迹，筛选出目标精子。由此，本发明提供的精子优选方法通过对精子运动轨迹进行分析，可以更好的辅助
操作人员筛选出高质量的精子，弥补人工分析方法筛选精子的不足，减少操作人员的工作量，使精子的优选结果更具科学性、客观性，有效提高人工受精样本的质量，提高受精成功率。
附图说明
50.图1为本发明一实施方式中的细胞跟踪方法的流程示意图；
51.图2为本发明一具体示例中的细胞图像中的各细胞的检测结果示意图；
52.图3为本发明中的采用线性插值计算梯度幅值的原理图；
53.图4为本发明中的采用canny边缘检测算法获得的边缘图像的一具体示例；
54.图5为本发明中的形态学膨胀操作后的边缘图形的一具体示例；
55.图6为本发明中的形态学腐蚀操作后的边缘图形的一具体示例；
56.图7为本发明一具体示例中的当前帧细胞图像中的各细胞的跟踪结果示意图；
57.图8为本发明一实施方式中的精子优选方法的流程示意图；
58.图9为本发明一具体示例中的各精子的运动轨迹示意图；
59.图10为本发明一具体示例中的精子优选结果示意图；
60.图11为本发明一实施方式中的电子设备的方框结构示意图。
61.其中，附图标记如下：
62.检测框-101；跟踪框-102；运动轨迹-103；处理器-201；通信接口-202；存储器-203；通信总线-204。
具体实施方式
63.以下结合附图1至11和具体实施方式对本发明提出的细胞跟踪方法、精子优选方法、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
64.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
65.本发明的主要目的在于提供一种细胞跟踪方法、精子优选方法、电子设备和存储介质，以弥补人工分析方法筛选精子的不足，有效降低操作人员的工作量，使精子的优选更
具科学性和客观性，进而提高人工受精样本的质量和受精成功率。需要说明的是，本发明实施方式的电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。此外，需要说明的是，虽然本实施方式是以精子作为细胞对象进行说明，但是如本领域技术人员所能理解的，本发明提供的细胞跟踪方法还可以用于除精子之外的其它类型的细胞的跟踪，本发明对此并不进行限制。
66.为实现上述目的，本发明提供一种细胞跟踪方法，请参考图1，其示意性地给出了本发明一实施方式提供的细胞跟踪方法的流程示意图。如图1所示，所述细胞跟踪方法包括如下步骤：
67.步骤s11、获取当前帧细胞图像。
68.具体的，在本步骤中，可以通过对显微镜下的细胞(例如精子)运动的图像视频帧进行提取，以获得当前帧细胞图像(例如精子图像)，并将所获取的当前帧细胞图像保存为图片格式，例如.bmp格式。当然，如本领域技术人员所能理解的，在其它一些实施方式中，也可以将所获取的当前帧细胞图像保存为其它的图片格式，本发明对此并不进行限定。此外，本领域人员应理解，所述当前帧细胞图像为动态变化的，即所述当前帧细胞图像随着时间而改变。
69.步骤s12、采用边缘检测算法对所述当前帧细胞图像进行检测，以获得所述当前帧细胞图像中的各细胞的检测结果。
70.由此，通过采用边缘检测算法对所述当前帧细胞图像进行检测，可以在所述当前帧细胞图像中检测出各细胞。
71.优选的，在步骤s12中，采用检测框101作为细胞的检测结果。具体的，可以采用边缘检测算法对所述当前帧细胞图像进行检测，以获得当前帧细胞图像中的各细胞的位置信息，并将各所述细胞的位置信息作为各所述细胞的检测框101，各所述细胞的检测框101即为各所述细胞的检测结果。请参考图2，其示意性地给出了当前帧细胞图像(精子图像)中的各细胞(精子)的检测结果示意图。如图2所示，通过采用检测框101表示细胞的检测结果，可以更加便于操作人员在所述当前帧图像中识别出各细胞的检测结果。
72.进一步的，在本步骤中，通过以下过程获取当前帧细胞图像中的各细胞的位置信息：
73.对所述当前帧细胞图像进行灰度化处理，以获得灰度图像；
74.采用边缘检测算法对所述灰度图像进行边缘检测，以获得边缘图像；
75.对所述边缘图像进行处理，以获得边缘连续的细胞图像；以及
76.对所述细胞图像中的各细胞的外轮廓进行最小外接矩形处理，以获得当前帧细胞图像中的各细胞的位置信息。
77.由于所获取的当前帧细胞图像为彩色图像，通过将所述当前帧细胞图像转化为灰度图像，可以减少后续边缘检测中的计算量；通过对边缘检测所获得的边缘图像进行处理，以获得边缘连续的细胞图像，可以为后续的获取每个细胞的位置信息提供良好的基础；通过对所述细胞图像中的每个细胞的外轮廓进行最小外接矩形处理，可以获得每个细胞的外接矩形的左上角坐标和右下角坐标，即获得每个细胞在当前帧细胞图像中的位置信息，也即获得每个细胞在当前帧细胞图像中的检测框101。
78.更进一步的，在本实施方式中，采用canny边缘检测算法对所述灰度图像进行边缘
检测，以获得边缘图像。
79.本实施方式中的所述采用canny边缘检测算法对所述灰度图像进行边缘检测，以获得边缘图像，包括如下步骤：
80.对所述灰度图像进行高斯滤波处理，以滤除所述灰度图像中的噪声并平滑所述灰度图像；
81.计算高斯滤波处理后的所述灰度图像中的每个像素点的梯度幅值与梯度方向；
82.采用线性插值对每个所述像素点的梯度幅值进行非极大值抑制处理，以获得潜在边缘像素点；
83.采用双阈值对所述潜在边缘像素点进行检测，以确定强边缘像素点和弱边缘像素点，并将所述强边缘像素点确定为真实边缘像素点；
84.判断所述弱边缘像素点的3
×
3邻域中，是否存在至少一个强边缘像素点，若是，则将所述弱边缘像素点确定为真实边缘像素点；以及
85.根据各所述真实边缘像素点，以获得边缘图像。
86.由于通过显微镜获取的图像帧可能会存在小颗粒灰尘等物质，通过高斯滤波器可以把当前帧细胞图像的灰度图像中的一些非细胞区域滤除，同时也可以平滑所述灰度图像，以提高后续的细胞检测的准确率。本实施方式中的高斯滤波是对高斯函数进行离散化，以离散点上的高斯函数值为权值，对获取的灰度图像中的每个像素点做一定范围邻域内的加权平均。
87.每个像素点的梯度幅值与梯度方向可以通过以下方法获得：边缘检测的算子(如roberts，prewitt，sobel等)返回水平g
x
和垂直gy方向的一阶导数值，由此便可以确定像素点的梯度幅值g和方向θ。
[0088][0089]
θ＝arctan(gy/g
x
)
ꢀꢀꢀ
(2)
[0090]
其中，g为梯度幅值，θ为梯度方向，arctan为反正切函数。
[0091]
下面以sobel算子为例讲述如何计算梯度幅值和方向。
[0092]
x方向和y方向的sobel算子分别为：
[0093][0094][0095]
其中，s
x
表示x方向的sobel算子，用于检测y方向的边缘；sy表示y方向的sobel算子，用于检测x方向的边缘(边缘方向和梯度方向垂直)。
[0096]
若图像中一个3
×
3的窗口为a，要计算梯度的像素点为e，则和sobel算子进行卷积之后，像素点e在x和y方向的梯度值分别为：
[0097][0098][0099]
其中，*为卷积符号，sum表示矩阵中所有元素相加求和。
[0100]
将像素点在x方向的梯度值g
x
和y方向的梯度值gy代入上述公式(1)、(2)中，即可获得所述像素点的梯度幅值g和梯度方向θ。
[0101]
由于仅仅得到全局的梯度并不足以确定边缘，为了确定边缘，必须保留的是局部梯度最大的点。非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊，非极大值抑制可以帮助将局部最大值之外的所有非局部极大值点的梯度值抑制为0，以得到细化的边缘。对梯度图像中每个像素点进行非极大值抑制的算法是：
[0102]
(1)将当前像素点的梯度幅值与沿正负梯度方向上的两个像素点的梯度幅值进行比较；
[0103]
(2)如果当前像素点的梯度幅值与另外两个像素点的梯度幅值相比最大，则该像素点被保留为边缘点，否则该像素点将被抑制，即将该像素点的像素值置为0。
[0104]
由于沿着当前像素点的梯度方向线两侧的像素点不一定是存在的，或者是亚像素点，通常为了更加精确的计算，在跨越梯度方向的两个相邻像素点之间使用线性插值来得到要比较的像素梯度。本实施方式使用3
×
3邻域组合，遍历梯度幅值图像上的每一点，插值计算邻域中心像素点在梯度方向上两个相邻点的梯度幅值，比较中心像素点与相邻两点的幅值大小。
[0105]
请参考图3，其示意性地给出了本发明中的采用线性插值计算梯度幅值的原理图。如图3所示，将梯度分为八个方向，分别为e、ne、n、nw、w、sw、s、se，其中0代表0～45
°
，1代表45～90
°
，2代表-90～-45
°
，3代表-45～0
°
。像素点p的梯度方向为θ，则像素点p1和p2的梯度幅值为：
[0106]
tanθ＝gy/g
x
ꢀꢀꢀ
(7)
[0107]gp1
＝(1-tanθ)
×
ge+tanθ
×gne
ꢀꢀꢀ
(8)
[0108]gp2
＝(1-tanθ)
×gw
+tanθ
×gsw
ꢀꢀꢀ
(9)
[0109]
其中，tanθ为正切函数，ge为像素点p在e方向上的相邻像素点的梯度幅值，g
ne
为像素点p在ne方向上的相邻像素点的梯度幅值，gw为像素点p在w方向上的相邻像素点的梯度幅值，g
sw
为像素点p在sw方向上的相邻像素点的梯度幅值，g
p1
为像素点p1的梯度幅值，g
p2
为像素点p2的梯度幅值。
[0110]
在施加非极大值抑制之后，剩余的潜在边缘像素点可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素点。为了解决这些杂散响应，必须过滤弱梯度幅值的边缘像素点，并保留具有高梯度幅值的边缘像素点，可以通过选择高低阈值来实现。如果边缘像素点的梯度值高于高阈值，则将其标记为强边缘像素点；如
果边缘像素点的梯度幅值小于高阈值且大于低阈值，则将其标记为弱边缘像素点；如果边缘像素点的梯度幅值小于低阈值，则该边缘像素点将被抑制。高低阈值的选取取决于给定输入图像的内容，例如，在本实施方式中高阈值为160，低阈值为80。
[0111]
被标记为强边缘的像素点即被确定为真实边缘像素点，因为它们是从图像中的真实边缘中提取出来的。而对于弱边缘像素点，由于这些弱边缘像素点可能是从真实边缘中提取的，也可能是因噪声或颜色变化引起的，为了获得准确的结果，应该抑制后者引起的弱边缘。通常，由真实边缘引起的弱边缘像素点将连接到强边缘像素点，而噪声响应应未连接。由此，本实施方式通过查看弱边缘像素点及其周围8个邻域像素点，只要其中一个为强边缘像素点，则该弱边缘像素点就可以被保留为真实边缘像素点。
[0112]
通过以上操作，即可完成基于canny算法的边缘提取。请参考图4，其示意性地给出了本发明中的采用canny边缘检测算法获得的边缘图像的一具体示例。如图4所示，通过采用canny边缘检测算法对所述当前帧细胞图像的灰度图像进行处理，可以获得边缘清晰、噪声较少的边缘图像。
[0113]
优选的，在本实施方式中通过对所述边缘图像进行以下处理，以获得边缘连续的细胞图像：
[0114]
对所述边缘图像进行先膨胀后腐蚀的形态学操作，以获得边缘连续的边缘图像；以及
[0115]
对所述边缘连续的边缘图像进行去噪处理，以获得边缘连续的细胞图像。
[0116]
由此，通过对所述边缘图像进行一定大小核(例如9
×
9)的膨胀操作，可以将所述边缘图像中的边缘进行连接，以形成连通域；再进行相同大小核(例如9
×
9)的腐蚀操作，用于将两个相近的区域进行分离，即可获取细胞检测的初步结果，也即获取细胞检测结果的轮廓集合。通过对所述边缘连续的边缘图像进行去噪处理，即对所获取的轮廓集合进行筛选，筛选出细胞，即可获取边缘连续的细胞图像。请参考图5和图6，其中图5示意性地给出了对图4所示的边缘图像进行膨胀操作后所获得的边缘图像的示意图；图6示意性地给出了对图5所示的边缘图像进行腐蚀操作后所获得的边缘图像的示意图。如图5和图6所示，通过对所述边缘图像进行先膨胀后腐蚀的形态学操作后，可以获取内部无孔洞且边缘连续的边缘图像，从而为后续的细胞跟踪提供良好的基础。
[0117]
进一步的，在本实施方式中，通过以下步骤对所述边缘连续的边缘图像进行去噪处理：
[0118]
对所述边缘连续的边缘图像进行连通域分析；
[0119]
分别计算每一连通域的面积；以及
[0120]
根据预设的第一面积阈值和第二面积阈值，将所述边缘连续的边缘图像中的面积小于所述第一面积阈值的连通域，大于所述第二面积阈值的连通域去除，其中，所述第二面积阈值大于所述第一面积阈值。
[0121]
本发明中的连通域是指图像中具有相同像素值且位置相邻的前景像素点(即白色的像素点)组成的图像区域，连通域的面积指的是连通域内像素点的个数。需要说明的是，所述第一面积阈值、所述第二面积阈值，可以根据具体情况进行设置，由此，通过对所述边缘连续的边缘图像进行连通域分析，并计算每一连通域的面积，从而可以根据预设的第一面积阈值和第二面积阈值，将小于所述第一面积阈值的连通域以及大于所述第二面积阈值
的连通域去除，从而可以有效去除边缘连续的边缘图像中的噪点。
[0122]
步骤s13、根据上一帧细胞图像中的各细胞的跟踪结果或检测结果以及所述当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与所述当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果。
[0123]
其中，若上一帧为起始帧，则本步骤s13为：
[0124]
根据上一帧细胞图像中的各细胞的检测结果以及所述当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与所述当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果。
[0125]
若上一帧为非起始帧，则本步骤s13为：
[0126]
根据上一帧细胞图像中的各细胞的跟踪结果以及所述当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与所述当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果。
[0127]
由此，本发明通过采用多目标跟踪算法基于前述的检测结果对每个细胞进行跟踪，细胞跟踪的丢失率低，实时跟踪的鲁棒性强。
[0128]
优选的，在本实施方式中，以跟踪框102表示细胞的跟踪结果。请参考图7，其示意性地给出了当前帧细胞图像(精子图像)中的各细胞(精子)的跟踪结果示意图。如图7所示，通过采用跟踪框102表示细胞的跟踪结果，可以更加便于操作人员在所述当前帧图像中识别出各细胞的跟踪结果。
[0129]
进一步的，在本步骤s13中，通过以下过程获得当前帧细胞图像中的各细胞的跟踪框102：
[0130]
根据上一帧细胞图像中的各细胞的跟踪框102或检测框101，获取当前帧细胞图像中的各细胞的预测框，其中，若上一帧为非起始帧，则根据上一帧细胞图像中的各细胞的跟踪框102，获取当前帧细胞图像中的各细胞的预测框；若上一帧为起始帧，则根据上一帧细胞图像中的各细胞的检测框101，获取当前帧细胞图像中的各细胞的预测框；
[0131]
计算当前帧细胞图像中的各细胞的检测框101与各细胞的预测框之间的匹配度；
[0132]
根据所述匹配度，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配；
[0133]
针对匹配成功的细胞，将其在当前帧细胞图像中的检测框101作为其在当前帧细胞图像中的跟踪框102；以及
[0134]
针对未匹配成功的细胞，将其在当前帧细胞图像中的预测框作为其在当前帧细胞图像中的跟踪框102。
[0135]
具体的，在本实施方式中，可以根据上一帧细胞图像中的各细胞的跟踪框102或检测框101，采用卡尔曼滤波进行预测，以获取当前帧细胞图像中的各细胞的预测框。其中，若上一帧为起始帧，则根据上一帧细胞图像中的各细胞的检测框101，采用卡尔曼滤波进行预测，以获取当前帧细胞图像中的各细胞的预测框；若上一帧为非起始帧，则根据上一帧细胞图像中的各细胞的跟踪框102，采用卡尔曼滤波进行预测，以获取当前帧细胞图像中的各细胞的预测框。计算当前帧细胞图像中的各细胞的检测框101与各细胞的预测框之间的匹配度，具体为：计算当前帧细胞图像中的各细胞的检测框101与各细胞的预测框之间的iou值
(检测框101的面积与预测框的面积的交集和并集的比值)。根据所述匹配度，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配，具体为：根据所述匹配度，采用匈牙利算法，将上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞进行匹配。由此，本实施方式通过采用sort多目标跟踪算法基于前述的检测结果对每个细胞进行跟踪，并输出每个细胞所在位置的坐标和id编码，细胞跟踪的丢失率低，实时跟踪的鲁棒性强。
[0136]
在具体操作时，第一帧图像(即带有检测框101的起始帧细胞图像)输入时，创建新的目标跟踪器并进行初始化，对检测到的每个细胞都创建新的卡尔曼滤波器对象，并设置对应的id编码，将每个创建的对象都加入到跟踪器列表中。第二帧图像(带有检测框101的第二帧细胞图像)输入时，利用卡尔曼滤波器根据起始帧细胞图像的检测框101所产生的状态预测和协方差预测，计算各精子在第二帧细胞图像中的预测框。后续帧的带有检测框101的细胞图像输入时，则利用卡尔曼滤波器根据由上一帧细胞图像的跟踪框102产生的状态预测和协方差预测，计算各精子在当前帧细胞图像中的预测框。
[0137]
计算由上一帧的跟踪框102产生的预测框与当前帧的检测框101的iou，通过匈牙利算法得到iou最大的唯一匹配，再去掉匹配值中小于预设阈值iou
t
的匹配对，即可获取上一帧细胞图像中的各细胞与当前帧细胞图像中的各细胞之间的匹配结果。由此可见，通过使用iou匹配，计数量小，速度快。
[0138]
对于当前帧中没有匹配到的细胞，则采用卡尔曼滤波器预测的预测框作为其在当前帧中的跟踪框102。如果连续3帧都没有匹配到细胞，则再连续跟踪3帧，如果连续5帧都没有匹配到细胞，则将该细胞从跟踪器列表中删除。当再次出现该细胞时，则认为其是一个新的目标，按照新目标进行处理，即对其创建新的卡尔曼滤波器对象，并设置新的id编码。由此，对于起始帧细胞图像，输出各细胞的检测框101的左上角和右下角的坐标，对于起始帧之后的细胞图像，输出各细胞的跟踪框102的左上角和右下角的坐标，由此以获取各细胞在各帧的位置坐标(对于起始帧，为检测框101的中心坐标，对于之后的帧，为跟踪框102的中心坐标)。由此可见，本发明通过使用sort多目标跟踪算法基于检测结果对每个细胞进行跟踪并输出各细胞所在位置的坐标和id编码，细胞跟踪的丢失率低，实时跟踪的鲁棒性强。
[0139]
基于同一发明构思，本发明还提供一种精子优选方法，请参考图8，其示意性地给出了本发明一实施方式提供的精子优选方法的流程示意图。如图8所示，所述精子优选方法包括以下步骤：
[0140]
步骤s21、获取各精子在各帧精子图像中的位置坐标。
[0141]
步骤s22、根据各所述精子在各帧精子图像中的位置坐标，获得各所述精子的运动轨迹。
[0142]
步骤s23、根据各所述精子的运动轨迹，筛选出目标精子。
[0143]
具体的，在步骤s21中，采用如上所述的细胞跟踪方法获取起始帧精子图像中的各精子的检测结果以及起始帧之后的各帧精子图像中的各精子的跟踪结果；由此根据各精子在起始帧精子图像中的检测结果以及在起始帧之后的各帧精子图像中的跟踪结果，可以获得各精子在各帧精子图像中的位置坐标；从起始帧图像开始算的第二帧图像开始，依次连接前后两帧图像中的对应精子的两点位置坐标之间的直线，即可形成每个精子的运动轨迹103。请参考图9，其示意性地给出了精子的运动轨迹示意图，如图9所示，通过绘制每个精子的运动轨迹103，可以为操作人员提供可视化分析，由此，根据每个精子的运动轨迹103，即
可筛选出高质量的精子(即目标精子)。可见，本发明提供的精子优选方法通过对精子运动轨迹103进行分析，可以更好的辅助操作人员筛选出高质量的精子，弥补人工分析方法筛选精子的不足，减少操作人员的工作量，使精子的优选结果更具科学性、客观性，有效提高人工受精样本的质量，提高受精成功率。
[0144]
由于在均匀溶液中，精子可能主动地呈直线或沿一大圆周运动，也可能以小圆周运动，甚至不运动，而原地运动或者做圆周运动的精子均被认为是不稳定的，可以认定为“鞭毛”不完整或功能不全，这样的精子在实际受精过程中受精率低，不会作为受精样本，所以需要一个精子质量评估的过程。目前认为运动轨迹呈向前运动的精子质量最高，所以本实施方式根据各所述精子的运动轨迹103，计算各所述精子的起点位置与终点位置之间的距离；并根据各所述精子的起点位置与终点位置之间的距离，筛选出目标精子。具体的，定义精子的起点位置为(xs，ys)，终点位置为(xe，ye)，则根据以下距离计算公式，得到距离d排名靠前的精子，并将其作为目标精子。
[0145][0146]
请参考图10，其示意性地给出了精子优选结果的示意图，如图10所示，在实际操作时，为了便于观察，可以对目标精子进行标记并高亮显示。由此可见，通过采用本发明提供的精子优选方法，可以弥补人工分析方法筛选精子的不足，降低操作人员的工作量，使精子的优选结果更具科学性、客观性，有效提高人工受精样本的质量，提高受精成功率。
[0147]
基于同一发明构思，本发明还提供一种电子设备，请参考图11，示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图11所示，所述电子设备包括处理器201和存储器203，所述存储器203上存储有计算机程序，所述计算机程序被所述处理器201执行时，实现上文所述的细胞跟踪方法或精子优选方法。由此，本发明提供的电子设备可以更好的辅助操作人员筛选出高质量的精子，弥补人工分析方法筛选精子的不足，减少操作人员的工作量，使精子的优选结果更具科学性、客观性，有效提高人工受精样本的质量，提高受精成功率。
[0148]
如图11所示，所述电子设备还包括通信接口202和通信总线204，其中所述处理器201、所述通信接口202、所述存储器203通过通信总线204完成相互间的通信。所述通信总线204可以是外设部件互连标准(peripheral componentinterconnect，pci)总线或扩展工业标准结构(extendedindustry standardarchitecture，eisa)总线等。该通信总线204可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口202用于上述电子设备与其他设备之间的通信。
[0149]
本发明中所称处理器201可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器201是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
[0150]
所述存储器203可用于存储所述计算机程序，所述处理器201通过运行或执行存储在所述存储器203内的计算机程序，以及调用存储在存储器203内的数据，实现所述电子设备的各种功能。
[0151]
所述存储器203可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0152]
本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的细胞跟踪方法或精子优选方法。由此，本发明提供的存储介质可以更好的辅助操作人员筛选出高质量的精子，弥补人工分析方法筛选精子的不足，减少操作人员的工作量，使精子的优选结果更具科学性、客观性，有效提高人工受精样本的质量，提高受精成功率。
[0153]
本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
[0154]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0155]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如java、smalltalk、c++，还包括常规的过程式程序设计语言-诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0156]
综上所述，与现有技术相比，本发明提供的细胞跟踪方法、精子优选方法、电子设备和存储介质具有以下优点：
[0157]
(1)本发明提供的细胞跟踪方法、电子设备和存储介质，通过先获取当前帧细胞图像(例如精子图像)；再采用边缘检测算法对所述当前帧细胞图像进行检测，以获得当前帧细胞图像中的各细胞(例如精子)的检测结果；最后根据上一帧细胞图像中的各细胞的跟踪结果或检测结果(如果上一帧为起始帧，则根据上一帧细胞图像中的各细胞的检测结果，如果上一帧为非起始帧，则根据上一帧细胞图像中的各细胞的跟踪结果)以及所述当前帧细胞图像中的各细胞的检测结果，采用多目标跟踪算法，将上一帧细胞图像中的各细胞与所述当前帧细胞图像中的各细胞进行匹配，以获得当前帧细胞图像中的各细胞的跟踪结果。由此，本发明通过采用边缘检测算法进行细胞图像中的细胞的检测，以作为后续细胞跟踪的基础，检测算法复杂度低且通用性强；通过采用多目标跟踪算法基于前述的检测结果对每个细胞进行跟踪，细胞跟踪的丢失率低，实时跟踪的鲁棒性强。
[0158]
(2)本发明提供的精子优选方法、电子设备和存储介质，通过采用上文所述的细胞跟踪方法获取各帧精子图像中的各精子的跟踪结果，即获取各精子在各帧精子图像中的跟踪结果，并根据所述跟踪结果，获得各所述精子在各帧精子图像中的位置坐标；再根据各所述精子在各帧精子图像中的位置坐标，获得各所述精子的运动轨迹；最后根据各所述精子的运动轨迹，筛选出目标精子。由此，本发明提供的精子优选方法通过对精子运动轨迹进行分析，可以更好的辅助操作人员筛选出高质量的精子，弥补人工分析方法筛选精子的不足，减少操作人员的工作量，使精子的优选结果更具科学性、客观性，有效提高人工受精样本的质量，提高受精成功率。
[0159]
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0160]
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0161]
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。