1.本发明涉及图像处理技术领域,具体而言,涉及一种基于图像处理的细胞识别方法及系统。
背景技术:2.对动植物的状态进行研究的过程中,对动植物的细胞进行分析是一个重要的环节,例如,可以通过对动植物细胞的分析,以确定细胞的质量,或者确定是否发生病变等情况。但是,在现有技术中,主要还是依赖于研究人员自身的观测判断,使得存在细胞质量识别的效率的问题。
技术实现要素:3.有鉴于此,本发明的目的在于提供一种基于图像处理的细胞识别方法及系统,以在一定程度上提高细胞质量识别的效率。
4.为实现上述目的,本发明采用如下技术方案:一种基于图像处理的细胞识别方法,应用于图像处理服务器,所述基于图像处理的细胞识别方法包括:对待识别细胞进行多角度的图像信息采集,以形成所述待识别细胞对应的细胞图像序列,所述细胞图像序列包括的多帧待识别细胞图像之间的序列先后关系与对应的多个角度之间的变化关系匹配;对所述细胞图像序列包括的所述多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成所述细胞图像序列对应的目标细胞图像序列,所述目标细胞图像序列包括至少一帧目标待识别细胞图像;利用目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出所述待识别细胞对应的细胞质量信息。
5.在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述对所述细胞图像序列包括的所述多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成所述细胞图像序列对应的目标细胞图像序列的步骤,包括:将所述细胞图像序列中的第一帧待识别细胞图像标记为目标待识别细胞图像,并将所述细胞图像序列中的最后一帧待识别细胞图像标记为目标待识别细胞图像,以形成至少两帧目标待识别细胞图像;对于所述细胞图像序列包括的第一帧待识别细胞图像和最后一帧待识别细胞图像以外的每一帧中间待识别细胞图像,对该中间待识别细胞图像和相邻的前一帧、后一帧待识别细胞图像分别进行图像相似度的计算;对于所述细胞图像序列包括的第一帧待识别细胞图像和最后一帧待识别细胞图像以外的每一帧中间待识别细胞图像,在该中间待识别细胞图像和相邻的前一帧待识别细胞图像之间的图像相似度不大于相似度参考值,和/或,该中间待识别细胞图像和相邻的后
一帧待识别细胞图像之间的图像相似度不大于所述相似度参考值的情况下,将该中间待识别细胞图像标记为目标待识别细胞图像,再依据每一帧目标待识别细胞图像,构建形成所述细胞图像序列对应的目标细胞图像序列。
6.在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述利用目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出所述待识别细胞对应的细胞质量信息的步骤,包括:提取到至少两个训练图像集合,所述至少两个训练图像集合中的每一个所述训练图像集合包括至少一帧训练用细胞图像;依据所述至少两个训练图像集合依次对初始神经网络进行训练,以形成所述初始神经网络对应的目标细胞识别神经网络;利用所述目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出待识别细胞对应的细胞质量信息。
7.在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述依据所述至少两个训练图像集合依次对初始神经网络进行训练,以形成所述初始神经网络对应的目标细胞识别神经网络的步骤,包括:从所述至少两个训练图像集合中,确定出初级训练图像集合,所述初级训练图像集合包括初级训练用细胞图像和所述初级训练用细胞图像对应的细胞轮廓标识信息,所述细胞轮廓标识信息用于反映细胞的轮廓形状;依据所述初级训练图像集合,对初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络,所述中间细胞识别神经网络用于依据加载的所述待识别细胞图像进行轮廓识别处理,以形成所述待识别细胞图像对应的细胞轮廓标识信息;从所述至少两个训练图像集合中,确定出晋级训练图像集合,所述晋级训练图像集合包括晋级训练用细胞图像和所述晋级训练用细胞图像对应的细胞质量标注信息,所述细胞质量标注信息用于反映细胞的细胞质量;依据所述晋级训练图像集合包括的晋级训练用细胞图像,对所述中间细胞识别神经网络进行更新,以形成所述中间细胞识别神经网络对应的目标细胞识别神经网络,所述目标细胞识别神经网络用于依据加载的待识别细胞图像进行质量分析,以形成所述待识别细胞图像对应的细胞质量信息。
8.在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述依据所述初级训练图像集合,对初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络的步骤,包括:利用所述初始神经网络包括的图像信息编码子网络对所述初级训练用细胞图像进行图像信息编码处理,以输出所述初级训练用细胞图像的待处理图像信息编码向量;利用所述初始神经网络包括的编码向量识别子网络对所述待处理图像信息编码向量进行识别处理,以输出所述初级训练用细胞图像对应的细胞轮廓估计标识信息;基于所述初级训练用细胞图像对应的细胞轮廓估计标识信息和所述初级训练用细胞图像对应的细胞轮廓标识信息,计算输出对应的网络收敛评估值,再依据所述网络收敛评估值对所述初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络。
9.在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述初级训练用细胞图像包括第一数量个细胞轮廓顶点和第二数量个细胞轮廓线段,所述初级训练图像集合包括所述初级训练用细胞图像、所述第一数量个细胞轮廓顶点对应的第一数量个轮廓顶点特征分布、所述第二数量个细胞轮廓线段对应的第二数量个轮廓线段特征分布和所述第一数量个细胞轮廓顶点对应的第一数量个细胞顶点标识信息,所述利用所述初始神经网络包括的图像信息编码子网络对所述初级训练用细胞图像进行图像信息编码处理,以输出所述初级训练用细胞图像的待处理图像信息编码向量的步骤,包括:利用所述初始神经网络包括的图像信息编码子网络,对所述第一数量个轮廓顶点特征分布和所述第二数量个轮廓线段特征分布进行图像信息编码处理,以形成所述初级训练用细胞图像中所述第一数量个细胞轮廓顶点对应的第一数量个轮廓顶点信息编码向量,所述第一数量个轮廓顶点信息编码向量构成所述初级训练用细胞图像的待处理图像信息编码向量;所述利用所述初始神经网络包括的编码向量识别子网络对所述待处理图像信息编码向量进行识别处理,以输出所述初级训练用细胞图像对应的细胞轮廓估计标识信息的步骤,包括:利用所述初始神经网络包括的编码向量识别子网络对第i个轮廓顶点信息编码向量进行识别处理,输出第i个细胞轮廓顶点对应的细胞轮廓顶点估计标识信息,i属于[1,第一数量];所述基于所述初级训练用细胞图像对应的细胞轮廓估计标识信息和所述初级训练用细胞图像对应的细胞轮廓标识信息,计算输出对应的网络收敛评估值,再依据所述网络收敛评估值对所述初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络的步骤,包括:基于所述第i个细胞轮廓顶点对应的细胞轮廓顶点估计标识信息和所述第i个细胞轮廓顶点的细胞轮廓顶点标识信息,计算输出对应的网络收敛评估值,再依据所述网络收敛评估值对所述初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络。
[0010]
在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述基于图像处理的细胞识别方法还包括:依据所述初级训练用细胞图像中第i个细胞轮廓顶点的顶点特征信息,确定出所述第i个细胞轮廓顶点的轮廓顶点特征分布;依据所述初级训练用细胞图像中第j个细胞轮廓线段的线段特征信息,确定出所述第j个细胞轮廓线段的轮廓线段特征分布,j属于[1,第二数量];依据所述第i个细胞轮廓顶点、所述第i个细胞轮廓顶点的直接连接细胞轮廓顶点、所述第i个细胞轮廓顶点与对应的直接连接细胞轮廓顶点之间的细胞轮廓线段,确定出第i个细胞轮廓顶点的细胞顶点标识信息。
[0011]
在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述依据所述晋级训练图像集合包括的晋级训练用细胞图像,对所述中间细胞识别神经网络进行更新,以形成所述中间细胞识别神经网络对应的目标细胞识别神经网络的步骤,包括:利用所述中间细胞识别神经网络包括的图像信息编码子网络,对所述晋级训练图
像集合包括的晋级训练用细胞图像进行图像信息编码处理,以输出所述晋级训练用细胞图像的待分析图像信息编码向量;利用所述中间细胞识别神经网络包括的编码向量分析子网络,对所述待分析图像信息编码向量进行分析处理,以输出所述晋级训练用细胞图像的细胞质量估计信息;基于所述晋级训练用细胞图像的所述细胞质量估计信息和所述晋级训练用细胞图像的所述细胞质量标注信息,计算输出对应的网络收敛评估值,再依据该网络收敛评估值,对所述中间细胞识别神经网络进行更新,以形成所述中间细胞识别神经网络对应的目标细胞识别神经网络。
[0012]
在一些优选的实施例中,在上述基于图像处理的细胞识别方法中,所述晋级训练用细胞图像包括第三数量个细胞轮廓顶点和第四数量个细胞轮廓线段,所述晋级训练图像集合还包括所述第三数量个细胞轮廓顶点对应的第三数量个轮廓顶点特征分布、所述第四数量个细胞轮廓线段对应的第四数量个轮廓线段特征分布,所述利用所述中间细胞识别神经网络包括的图像信息编码子网络,对所述晋级训练图像集合包括的晋级训练用细胞图像进行图像信息编码处理,以输出所述晋级训练用细胞图像的待分析图像信息编码向量的步骤,包括:利用所述中间细胞识别神经网络包括的图像信息编码子网络,对所述第三数量个轮廓顶点特征分布和所述第四数量个轮廓线段特征分布进行图像信息编码处理,以输出所述晋级训练用细胞图像中所述第三数量个细胞轮廓顶点对应的第三数量个轮廓顶点信息编码向量;利用所述中间细胞识别神经网络包括的编码向量融合子网络,对所述第三数量个轮廓顶点信息编码向量进行融合处理,以输出所述晋级训练用细胞图像对应的待分析图像信息编码向量。
[0013]
本发明还提供一种基于图像处理的细胞识别系统,应用于图像处理服务器,所述基于图像处理的细胞识别系统包括:细胞图像序列形成模块,用于对待识别细胞进行多角度的图像信息采集,以形成所述待识别细胞对应的细胞图像序列,所述细胞图像序列包括的多帧待识别细胞图像之间的序列先后关系与对应的多个角度之间的变化关系匹配;细胞图像序列筛选模块,用于对所述细胞图像序列包括的所述多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成所述细胞图像序列对应的目标细胞图像序列,所述目标细胞图像序列包括至少一帧目标待识别细胞图像;细胞图像识别模块,用于利用目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出所述待识别细胞对应的细胞质量信息。
[0014]
本发明提供的一种基于图像处理的细胞识别方法及系统,对待识别细胞进行多角度的图像信息采集,以形成待识别细胞对应的细胞图像序列。对细胞图像序列包括的多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成细胞图像序列对应的目标细胞图像序列。利用目标细胞识别神经网络,对目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出待识别细胞对应的细胞质量信息。通过执行前述的步骤,一方面通过进行筛选,可以减少进行识别处理的数据量,从而提高细胞质量识别的效率,另一方面,通过神经网络进行识别处理,也可以在一定程度上提高识别的效率,使得可
以在一定程度上改善现有技术中基于研究人员的观测判断所导致的细胞质量识别的效率不高的问题。
[0015]
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
[0016]
图1为本发明实施例提供的图像处理服务器的结构框图。
[0017]
图2为本发明实施例提供的基于图像处理的细胞识别方法包括的各步骤的流程示意图。
[0018]
图3为本发明实施例提供的基于图像处理的细胞识别系统包括的各模块的示意图。
具体实施方式
[0019]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例只是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0020]
参照图1所示,本发明实施例提供了一种图像处理服务器。其中,所述图像处理服务器可以包括存储器和处理器。
[0021]
应当说明的是,在一种可以实现的实施方式中,所述存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件(firmware)的形式,存在的软件功能模块(计算机程序)。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序,从而实现本发明实施例提供的基于图像处理的细胞识别方法。
[0022]
应当说明的是,在一种可以实现的实施方式中,所述存储器可以是,但不限于,随机存取存储器(random access memory,ram),只读存储器(read only memory,rom),可编程只读存储器(programmable read-only memory,prom),可擦除只读存储器(erasable programmable read-only memory,eprom),电可擦除只读存储器(electric erasable programmable read-only memory,eeprom)等。所述处理器可以是一种通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)、片上系统(system on chip,soc)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0023]
应当说明的是,在一种可以实现的实施方式中,图1所示的结构仅为示意,所述图像处理服务器还可包括比图1中所示更多或者更少的组件,或具有与图1所示不同的配置,例如,可以包括用于与其它设备(如摄像头等图像采集设备)进行信息交互的通信单元。
[0024]
结合图2,本发明实施例还提供一种基于图像处理的细胞识别方法,可应用于上述图像处理服务器。其中,所述基于图像处理的细胞识别方法有关的流程所定义的方法步骤,可以由所述图像处理服务器实现。
[0025]
下面将对图2所示的具体流程,进行详细阐述。
[0026]
步骤s110,对待识别细胞进行多角度的图像信息采集,以形成所述待识别细胞对应的细胞图像序列。
[0027]
在本发明实施例中,所述图像处理服务器可以对待识别细胞进行多角度的图像信息采集,以形成所述待识别细胞对应的细胞图像序列。所述细胞图像序列包括的多帧待识别细胞图像之间的序列先后关系与对应的多个角度之间的变化关系匹配(即先进行图像信息采集的角度对应的待识别细胞图像,在所述细胞图像序列中也具有在前的序列位置)。
[0028]
步骤s120,对所述细胞图像序列包括的所述多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成所述细胞图像序列对应的目标细胞图像序列。
[0029]
在本发明实施例中,所述图像处理服务器可以对所述细胞图像序列包括的所述多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成所述细胞图像序列对应的目标细胞图像序列。所述目标细胞图像序列包括至少一帧目标待识别细胞图像。
[0030]
步骤s130,利用目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出所述待识别细胞对应的细胞质量信息。
[0031]
在本发明实施例中,所述图像处理服务器可以利用(预先更新得到的)目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出所述待识别细胞对应的细胞质量信息。
[0032]
通过执行前述的步骤,一方面通过进行筛选,可以减少进行识别处理的数据量,从而提高细胞质量识别的效率,另一方面,通过神经网络进行识别处理,也可以在一定程度上提高识别的效率,使得可以在一定程度上改善现有技术中基于研究人员的观测判断所导致的细胞质量识别的效率不高的问题。另外,由于神经网络的识别精度一般较高,因而,还可以在一定程度上提高对细胞质量的识别精度。
[0033]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的步骤s110,可以进一步包括以下具体的内容:获取到待识别细胞的配置细胞质量信息,所述配置细胞质量信息通过响应对应的配置用户进行的细胞质量配置操作生成(如示例性地,所述配置细胞质量信息可以是配置用户粗略估计的值);依据所述配置细胞质量信息确定出多个信息采集角度,所述配置细胞质量信息与所述多个信息采集角度的数量之间负相关(也就是说,所述配置细胞质量信息表征的细胞质量越高,所述信息采集角度的数量就越少),所述多个信息采集角度中的每两个相邻信息采集角度之间的差值相同(如0度、10度、20度、30度、40度、50度等);依据确定出的所述多个信息采集角度,依次对所述待识别细胞进行图像信息采集,以形成所述待识别细胞对应的细胞图像序列。
[0034]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的步骤s120,可以进一步包括以下具体的内容:
将所述细胞图像序列中的第一帧待识别细胞图像标记为目标待识别细胞图像,并将所述细胞图像序列中的最后一帧待识别细胞图像标记为目标待识别细胞图像,以形成至少两帧目标待识别细胞图像;对于所述细胞图像序列包括的第一帧待识别细胞图像和最后一帧待识别细胞图像以外的每一帧中间待识别细胞图像,对该中间待识别细胞图像和相邻的前一帧、后一帧待识别细胞图像分别进行图像相似度的计算;对于所述细胞图像序列包括的第一帧待识别细胞图像和最后一帧待识别细胞图像以外的每一帧中间待识别细胞图像,在该中间待识别细胞图像和相邻的前一帧待识别细胞图像之间的图像相似度不大于相似度参考值,和/或,该中间待识别细胞图像和相邻的后一帧待识别细胞图像之间的图像相似度不大于所述相似度参考值的情况下,将该中间待识别细胞图像标记为目标待识别细胞图像(也就是说,只要该中间待识别细胞图像和相邻的前后各一帧待识别细胞图像之间的图像相似度不大于所述相似度参考值满足其一,就可以标记为目标待识别细胞图像),再依据每一帧目标待识别细胞图像,构建形成所述细胞图像序列对应的目标细胞图像序列。
[0035]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的所述对于所述细胞图像序列包括的第一帧待识别细胞图像和最后一帧待识别细胞图像以外的每一帧中间待识别细胞图像,对该中间待识别细胞图像和相邻的前一帧、后一帧待识别细胞图像分别进行图像相似度的计算的步骤,可以进一步包括以下具体的内容:对所述中间待识别细胞图像进行线段识别处理(可以参照现有的线段识别技术),以输出所述中间待识别细胞图像对应的第一线段集合,再对所述第一线段集合包括的每一条细胞识别线段的线段端点进行确定,以形成所述中间待识别细胞图像对应的第一端点集合,所述第一线段集合包括的每一条细胞识别线段属于直线线段或曲线线段;对所述后一帧待识别细胞图像进行线段识别处理(可以参照现有的线段识别技术),以输出所述后一帧待识别细胞图像对应的第二线段集合,再对所述第二线段集合包括的每一条细胞识别线段的线段端点进行确定,以形成所述后一帧待识别细胞图像对应的第二端点集合,所述第二线段集合包括的每一条细胞识别线段属于直线线段或曲线线段;对于所述第一端点集合包括的每两个第一端点,依据连接在该两个第一端点之间的细胞识别线段的长度值、该两个第一端点之间的像素差异值、该两个第一端点之间的像素位置距离值,对该两个第一端点之间的端点相关度进行计算,以输出该两个第一端点之间的第一端点相关度,在该两个第一端点之间不具有细胞识别线段时(即该两个第一端点不属于一条细胞识别线段的两个端点),将该两个第一端点之间的细胞识别线段的长度值赋值为目标长度值,所述目标长度值大于任意两个目标第一端点之间的细胞识别线段的长度值,任意两个目标第一端点之间具有细胞识别线段,所述两个第一端点之间的细胞识别线段的长度值与所述第一端点相关度之间具有负相关的对应关系,所述两个第一端点之间的像素差异值与所述第一端点相关度之间具有负相关的对应关系,所述两个第一端点之间的像素位置距离值与所述第一端点相关度之间具有负相关的对应关系;对于所述第二端点集合包括的每两个第二端点,依据连接在该两个第二端点之间的细胞识别线段的长度值、该两个第二端点之间的像素差异值、该两个第二端点之间的像素位置距离值,对该两个第二端点之间的端点相关度进行计算,以输出该两个第二端点之
间的第二端点相关度,在该两个第二端点之间不具有细胞识别线段时(即该两个第二端点不属于一条细胞识别线段的两个端点),将该两个第二端点之间的细胞识别线段的长度值赋值为所述目标长度值,所述目标长度值大于任意两个目标第二端点之间的细胞识别线段的长度值,任意两个目标第二端点之间具有细胞识别线段,所述两个第二端点之间的细胞识别线段的长度值与所述第二端点相关度之间具有负相关的对应关系,所述两个第二端点之间的像素差异值与所述第二端点相关度之间具有负相关的对应关系,所述两个第二端点之间的像素位置距离值与所述第二端点相关度之间具有负相关的对应关系;依据所述第一端点集合包括的每一个第一端点和每两个第一端点之间的第一端点相关度,构建形成对应的至少一个第一端点网络,在每一个所述第一端点网络中,任意一个第一端点通过至少一条网络连接线与任意的另一个第一端点连接,且通过一条网络连接线连接的两个第一端点之间的第一端点相关度大于预设相关度;依据所述第二端点集合包括的每一个第二端点和每两个第二端点之间的第二端点相关度,构建形成对应的至少一个第二端点网络,在每一个所述第二端点网络中,任意一个第二端点通过至少一条网络连接线与任意的另一个第二端点连接,且通过一条网络连接线连接的两个第二端点之间的第二端点相关度大于所述预设相关度;分别计算每一个所述第一端点网络和每一个所述第二端点网络之间的网络相似度(例如,可以将所述第一端点网络投射至目标空间,再将所述第二端点网络也投射至所述目标空间,再对所述第二端点网络进行多次位移或旋转等调整处理,以形成多个调整后的第二端点网络,所述调整后的第二端点网络和所述第二端点网络形状完全相同,再分别计算每一个调整后的第二端点网络和所述第一端点网络之间的重合度,该重合度可以是指重合的网络连接线的长度比值,再将具有最大值的重合度作为所述网络相似度),再融合(例如,可以依据所述第一端点网络和所述第二端点网络包括的端点数量的和值确定出正相关的加权系数,以对网络相似度进行加权求和计算)每一个所述第一端点网络和每一个所述第二端点网络之间的网络相似度,输出所述中间待识别细胞图像和所述后一帧待识别细胞图像之间的图像相似度(所述中间待识别细胞图像和前一帧待识别细胞图像之间的图像相似度可以参照上述的计算方式,即先进行线段识别,再确定出端点,再确定端点之间的端点相关度,再依据端点相关度构建出端点网络,再计算出端点网络之间的相似度,再依据该相似度确定出图像相似度)。
[0036]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的步骤s130,可以进一步包括以下具体的内容:提取到至少两个训练图像集合,所述至少两个训练图像集合中的每一个所述训练图像集合包括至少一帧训练用细胞图像;依据所述至少两个训练图像集合依次对初始神经网络进行训练,以形成所述初始神经网络对应的目标细胞识别神经网络;利用所述目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出待识别细胞对应的细胞质量信息。
[0037]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的所述依据所述至少两个训练图像集合依次对初始神经网络进行训练,以形成所述初始神经网络对应的目标细胞识别神经网络的步骤,可以进一步包括以下具体的内容:
从所述至少两个训练图像集合中,确定出初级训练图像集合(示例性地,所述初级训练图像集合可以是任意一个训练图像集合),所述初级训练图像集合包括初级训练用细胞图像和所述初级训练用细胞图像对应的细胞轮廓标识信息,所述细胞轮廓标识信息用于反映细胞的轮廓形状;依据所述初级训练图像集合,对初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络,所述中间细胞识别神经网络用于依据加载的所述待识别细胞图像进行轮廓识别处理,以形成所述待识别细胞图像对应的细胞轮廓标识信息(由于细胞的细胞轮廓标识信息相比于细胞质量标注信息要更容易确定,更为直观,因而,可以使用大量的初级训练图像集合来训练得到中间细胞识别神经网络,使中间细胞识别神经网络能够准确地对细胞的细胞轮廓标识信息进行估计);从所述至少两个训练图像集合中,确定出晋级训练图像集合(示例性地,所述晋级训练图像集合可以是所述初级训练图像集合以外的任意一个训练图像集合),所述晋级训练图像集合包括晋级训练用细胞图像和所述晋级训练用细胞图像对应的细胞质量标注信息,所述细胞质量标注信息用于反映细胞的细胞质量;依据所述晋级训练图像集合包括的晋级训练用细胞图像,对所述中间细胞识别神经网络进行更新,以形成所述中间细胞识别神经网络对应的目标细胞识别神经网络,所述目标细胞识别神经网络用于依据加载的待识别细胞图像进行质量分析,以形成所述待识别细胞图像对应的细胞质量信息(示例性地,一方面,可以采用全部的中间细胞识别神经网络的网络结构,以使用晋级训练图像集合对中间细胞识别神经网络进行再次更新形成目标细胞识别神经网络;另一方面,也可以采用中间细胞识别神经网络的部分网络结构,即依据中间细胞识别神经网络的部分网络组建新的神经网络,再使用晋级训练图像集合训练新的神经网络形成目标细胞识别神经网络)。
[0038]
基于前述的步骤,可以先使用细胞的细胞轮廓标识信息,训练得到能够输出细胞的细胞轮廓标识信息的中间细胞识别神经网络,然后,在中间细胞识别神经网络的基础上,使用带有细胞质量标注信息的晋级训练用细胞图像对中间细胞识别神经网络进行更新,得到能够进行细胞质量估计的目标细胞识别神经网络。其中,由于细胞的质量在很大程度上与细胞的形状(即轮廓)相关,而细胞的轮廓相对直观且容易确定,因此,可以先根据数据量较多的初级训练图像集合(包含细胞轮廓标识信息)来更新形成中间细胞识别神经网络,使之能够学习到细胞的轮廓特征。然后,在中间细胞识别神经网络学习到细胞的轮廓特征之后,使用晋级训练图像集合(包含细胞质量标注信息),对中间细胞识别神经网络进行更新,使得可以学习到细胞的质量特征。基于此,只需要使用少量的晋级训练图像集合对中间细胞识别神经网络进行更新,就可以得到能够准确对细胞质量进行估计的目标细胞识别神经网络,在降低目标细胞识别神经网络在更新中对细胞质量标注信息的数据量要求的同时,还可以保证目标细胞识别神经网络的精度。
[0039]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的所述依据所述初级训练图像集合,对初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络的步骤,可以包括以下具体的内容:利用所述初始神经网络包括的图像信息编码子网络(可以是一种卷积网络)对所述初级训练用细胞图像进行图像信息编码处理,以输出所述初级训练用细胞图像的待处理
图像信息编码向量;利用所述初始神经网络包括的编码向量识别子网络对所述待处理图像信息编码向量进行识别处理(示例性地,所述编码向量识别子网络可以基于包括的softmax 函数对所述待处理图像信息编码向量进行识别),以输出所述初级训练用细胞图像对应的细胞轮廓估计标识信息;基于所述初级训练用细胞图像对应的细胞轮廓估计标识信息和所述初级训练用细胞图像对应的细胞轮廓标识信息,计算输出对应的网络收敛评估值(示例性地,可以依据对数损失函数、平方损失函数等函数来计算网络收敛评估值),再依据所述网络收敛评估值对所述初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络。
[0040]
应当说明的是,在一种可以实现的实施方式中,所述初级训练用细胞图像可以包括第一数量个细胞轮廓顶点和第二数量个细胞轮廓线段,所述初级训练图像集合可以包括所述初级训练用细胞图像、所述第一数量个细胞轮廓顶点对应的第一数量个轮廓顶点特征分布、所述第二数量个细胞轮廓线段对应的第二数量个轮廓线段特征分布和所述第一数量个细胞轮廓顶点对应的第一数量个细胞顶点标识信息。
[0041]
基于此,在上文中描述的所述利用所述初始神经网络包括的图像信息编码子网络对所述初级训练用细胞图像进行图像信息编码处理,以输出所述初级训练用细胞图像的待处理图像信息编码向量的步骤,可以进一步包括以下具体的内容:利用所述初始神经网络包括的图像信息编码子网络,对所述第一数量个轮廓顶点特征分布和所述第二数量个轮廓线段特征分布进行图像信息编码处理,以形成所述初级训练用细胞图像中所述第一数量个细胞轮廓顶点对应的第一数量个轮廓顶点信息编码向量,所述第一数量个轮廓顶点信息编码向量构成所述初级训练用细胞图像的待处理图像信息编码向量。
[0042]
基于此,在上文中描述的所述利用所述初始神经网络包括的编码向量识别子网络对所述待处理图像信息编码向量进行识别处理,以输出所述初级训练用细胞图像对应的细胞轮廓估计标识信息的步骤,可以进一步包括以下具体的内容:利用所述初始神经网络包括的编码向量识别子网络对第i个轮廓顶点信息编码向量进行识别处理,输出第i个细胞轮廓顶点对应的细胞轮廓顶点估计标识信息,i属于[1,第一数量]。
[0043]
基于此,在上文中描述的所述基于所述初级训练用细胞图像对应的细胞轮廓估计标识信息和所述初级训练用细胞图像对应的细胞轮廓标识信息,计算输出对应的网络收敛评估值,再依据所述网络收敛评估值对所述初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络的步骤,可以进一步包括以下具体的内容:基于所述第i个细胞轮廓顶点对应的细胞轮廓顶点估计标识信息和所述第i个细胞轮廓顶点的细胞轮廓顶点标识信息,计算输出对应的网络收敛评估值,再依据所述网络收敛评估值对所述初始神经网络进行更新,以形成所述初始神经网络对应的中间细胞识别神经网络。
[0044]
应当说明的是,在一种可以实现的实施方式中,在前述内容的基础上,所述基于图像处理的细胞识别方法还可以进一步包括以下具体的内容:依据所述初级训练用细胞图像中第i个细胞轮廓顶点的顶点特征信息,确定出所
述第i个细胞轮廓顶点的轮廓顶点特征分布(例如,所述顶点特征信息可以包括顶点的像素位置信息、顶点的相邻顶点数量、顶点与每一个其它顶点之间的像素位置距离信息等,所述轮廓顶点特征分布可以是对顶点的像素位置信息、顶点的相邻顶点的像素位置信息和顶点与每一个其它顶点之间的像素位置距离信息进行拼接以形成);依据所述初级训练用细胞图像中第j个细胞轮廓线段的线段特征信息,确定出所述第j个细胞轮廓线段的轮廓线段特征分布(同样地,可以将线段特征信息包括的多种信息进行拼接,以形成所述轮廓线段特征分布,该多种信息可以包括线段的像素位置信息等),j属于[1,第二数量];依据所述第i个细胞轮廓顶点、所述第i个细胞轮廓顶点的直接连接细胞轮廓顶点、所述第i个细胞轮廓顶点与对应的直接连接细胞轮廓顶点之间的细胞轮廓线段,确定出第i个细胞轮廓顶点的细胞顶点标识信息(例如,可以将对应的顶点特征信息和线段特征信息进行拼接,以形成对应的拼接特征信息,再利用该拼接特征信息来作为细胞顶点标识信息)。
[0045]
应当说明的是,在一种可以实现的实施方式中,在上文中描述的所述依据所述晋级训练图像集合包括的晋级训练用细胞图像,对所述中间细胞识别神经网络进行更新,以形成所述中间细胞识别神经网络对应的目标细胞识别神经网络的步骤,可以进一步包括以下具体的内容:利用所述中间细胞识别神经网络包括的图像信息编码子网络,对所述晋级训练图像集合包括的晋级训练用细胞图像进行图像信息编码处理,以输出所述晋级训练用细胞图像的待分析图像信息编码向量;利用所述中间细胞识别神经网络包括的编码向量分析子网络,对所述待分析图像信息编码向量进行分析处理,以输出所述晋级训练用细胞图像的细胞质量估计信息(示例性地,所述编码向量分析子网络也可以基于包括的softmax 函数对所述待分析图像信息编码向量进行分析);基于所述晋级训练用细胞图像的所述细胞质量估计信息和所述晋级训练用细胞图像的所述细胞质量标注信息,计算输出对应的网络收敛评估值,再依据该网络收敛评估值,对所述中间细胞识别神经网络进行更新,以形成所述中间细胞识别神经网络对应的目标细胞识别神经网络。
[0046]
应当说明的是,在一种可以实现的实施方式中,在所述晋级训练用细胞图像包括第三数量个细胞轮廓顶点和第四数量个细胞轮廓线段,且所述晋级训练图像集合还包括所述第三数量个细胞轮廓顶点对应的第三数量个轮廓顶点特征分布、所述第四数量个细胞轮廓线段对应的第四数量个轮廓线段特征分布的基础上,在上文中描述的所述利用所述中间细胞识别神经网络包括的图像信息编码子网络,对所述晋级训练图像集合包括的晋级训练用细胞图像进行图像信息编码处理,以输出所述晋级训练用细胞图像的待分析图像信息编码向量的步骤,可以进一步包括以下具体的内容:利用所述中间细胞识别神经网络包括的图像信息编码子网络,对所述第三数量个轮廓顶点特征分布和所述第四数量个轮廓线段特征分布进行图像信息编码处理,以输出所述晋级训练用细胞图像中所述第三数量个细胞轮廓顶点对应的第三数量个轮廓顶点信息编码向量;
利用所述中间细胞识别神经网络包括的编码向量融合子网络,对所述第三数量个轮廓顶点信息编码向量进行融合处理(所述编码向量融合子网络可以通过包括的求和函数或自注意力函数,对对所述第三数量个轮廓顶点信息编码向量进行融合处理,即加和处理等),以输出所述晋级训练用细胞图像对应的待分析图像信息编码向量。
[0047]
结合图3,本发明实施例还提供一种基于图像处理的细胞识别系统,可应用于上述图像处理服务器。其中,所述细胞识别系统可以包括细胞图像序列形成模块、细胞图像序列筛选模块和细胞图像识别模块。
[0048]
应当说明的是,在一种可以实现的实施方式中,所述细胞图像序列形成模块,用于对待识别细胞进行多角度的图像信息采集,以形成所述待识别细胞对应的细胞图像序列,所述细胞图像序列包括的多帧待识别细胞图像之间的序列先后关系与对应的多个角度之间的变化关系匹配;所述细胞图像序列筛选模块,用于对所述细胞图像序列包括的所述多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成所述细胞图像序列对应的目标细胞图像序列,所述目标细胞图像序列包括至少一帧目标待识别细胞图像;所述细胞图像识别模块,用于利用目标细胞识别神经网络,对所述目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出所述待识别细胞对应的细胞质量信息。
[0049]
综上所述,本发明提供的一种基于图像处理的细胞识别方法及系统,对待识别细胞进行多角度的图像信息采集,以形成待识别细胞对应的细胞图像序列。对细胞图像序列包括的多帧待识别细胞图像进行筛选,以基于筛选出的目标待识别细胞图像构建形成细胞图像序列对应的目标细胞图像序列。利用目标细胞识别神经网络,对目标细胞图像序列包括的目标待识别细胞图像进行识别处理,以输出待识别细胞对应的细胞质量信息。通过执行前述的步骤,一方面通过进行筛选,可以减少进行识别处理的数据量,从而提高细胞质量识别的效率,另一方面,通过神经网络进行识别处理,也可以在一定程度上提高识别的效率,使得可以在一定程度上改善现有技术中基于研究人员的观测判断所导致的细胞质量识别的效率不高的问题。
[0050]
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。