体外三维器官模型的自动识别方法及相关设备与流程

本技术涉及生物模型的自动识别领域，具体而言，涉及一种对体外三维器官模型进行自动识别的方法及相关设备。

背景技术：

1、体外三维器官模型近几年来正蓬勃发展，例如在芯片上构肺、肾、肠、肝、心脏、血管、皮肤、大脑、等模型，通过与细胞生物学、工程学和生物材料等多种学科的方法相结合，在体外模拟多种活体细胞、组织器官微环境，反映人体组织器官的主要结构和功能特征。例如从组织提取构建的类器官或ips干细胞分化的类器官，是体外三维器官模型的一种。

2、体外三维器官模型，在药物评价、再生医学、发育生物学和疾病建模等诸多领域具有广阔的应用前景。三维器官模型包括孔板、芯片上构建的类器官模型，以及其他体外三维器官模型。

3、以类器官为例，在孔板或生物芯片中中培养类器官的数量通常都比较多，且由于类器官处于三维环境下，因此常常出现类器官密集、伪影、重叠、遮挡、光照影响等问题。能够识别到每个类器官并且能准确的定位每个类器官的位置是非常重要的。但仅凭人工筛选是费时费力，且存在主观误差。因此，需要计算机代替人类去处理大量的物理信息，解决人类无法识别或者识别率特别低的问题。

4、随着计算机视觉的发展，基于计算机视觉的图像识别技术得到了大量的研究。但传统的图像识别算法需要复杂的特征工程导致计算复杂度较高，但其灵敏度不够高，导致准确率较低。

技术实现思路

1、本技术的实施例提供了一种体外三维器官模型的自动识别方法及相关设备，进而至少在一定程度上可以克服现有技术的图像识别算法复杂度高但准确率不高的问题。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、根据本技术实施例的一个方面，提供了一种体外三维器官模型的自动识别方法，包括：对器官模型图像进行预处理，得到预处理图像；将所述预处理图像输入图像识别模型，得到识别结果，所述识别结果包括标记于所述器官模型图像上的识别框；其中，所述图像识别模型包括主干网络、颈部网络以及预测层，所述将所述预处理图像输入图像识别模型，得到识别结果，具体包括：通过所述主干网络，对所述预处理图像进行特征提取，得到多张不同分辨率的第一特征图像；通过所述颈部网络，对所述第一特征图像进行特征层处理，得到第二特征图像，所述第二特征图像上标记有建议区域；通过所述预测层，根据所述建议区域对第二特征图像进行预测处理，得到识别结果，所述识别结果包括标记于所述器官模型图像上的识别框。

4、三维器官模型处于三维环境下生长在不同的z轴焦平面上。所述器官模型图像，例如包括相机镜头在不同焦平面对三维器官模型进行二维成像的图像集合，或者对图像集合进行处理后的图像。

5、在本技术的实施例中，所述通过所述预测层，根据所述建议区域对第二特征图像进行预测处理，得到识别结果，具体包括：通过所述预测层，根据所述建议区域，在所述第二特征图像上生成预测框，并得到所述预测框的预测框信息；根据所述预测框信息，对所述预测框进行分析筛选，得到目标框；对所述目标框进行非极大抑制，得到识别框，生成所述识别结果。

6、在本技术的实施例中，所述预测框信息包括置信度和边框坐标；所述根据所述预测框信息，对所述预测框进行分析筛选，得到目标框，具体包括：过滤掉置信度低于预定置信度阈值的所述预测框，得到初选框；根据所述边框坐标，确定各所述初选框之间的重合程度；根据各所述初选框之间的重合程度，得到目标框。

7、在本技术的实施例中，所述通过所述颈部网络，对所述第一特征图像进行特征层处理，得到第二特征图像，所述第二特征图像上标记有建议区域，具体包括：通过所述颈部网络，提取各不同分辨率的第一特征图像的特征层；对所述特征层进行聚合融合，得到第二特征图像。

8、在本技术的实施例中，对于类器官等体外三维器官模型，所述主干网络包括多个卷积核模块和botnet模块，兼顾类器官等体外三维器官模型的局部特征和较远距离或全局特征，所述第一特征图像包括分层特征图像以及大感受野特征图像，所述通过所述主干网络，对所述预处理图像进行特征提取，得到多张不同分辨率的第一特征图像，具体包括：通过所述多个卷积核模块对所述预处理图像进行多次卷积，分离不同层次的特征图，得到分层特征图像；通过botnet模块对所述分层特征图像进行多尺度融合，得到大感受野特征图像。

9、在本技术的实施例中，所述体外三维器官模型的自动识别方法还包括：获取细胞图像识别样本集，对所述图像识别模型进行预训练，得到预训练模型；获取器官模型图像样本集，对所述预训练模型进行训练，得到训练好的图像识别模型。

10、在本技术的实施例中，所述获取器官模型图像样本集，对所述预训练模型进行训练，得到训练好的图像识别模型，具体包括：获取所述器官模型图像样本集，所述器官模型图像样本集包含有多个器官模型图像样本，每个三维器官模型样本均标记有对应的识别框标签；将所述器官模型图像样本逐个输入到所述预训练模型中，得到识别结果；根据所述输出的识别结果和所述识别框标签，对所述预训练模型进行参数更新，直至达到预定结束条件，结束训练，得到训练好的图像识别模型。

11、根据本技术实施例的一个方面，提供了一种图像识别装置，所述图像识别装置包括：图像预处理模块，用于对器官模型图像进行预处理，得到预处理图像；图像识别模块，用于将所述预处理图像输入图像识别模型，得到识别结果，所述识别结果包括标记于所述器官模型图像上的识别框；其中，所述图像识别模型包括主干网络、颈部网络以及预测层，所述图像识别模块具体包括：主干网络子模块，用于通过所述主干网络，对所述预处理图像进行特征提取，得到多张不同分辨率的第一特征图像；颈部网络子模块，用于通过所述颈部网络，对所述第一特征图像进行特征层处理，得到第二特征图像，所述第二特征图像上标记有建议区域；预测层子模块，用于通过所述预测层，根据所述建议区域对第二特征图像进行预测处理，得到识别结果，所述识别结果包括标记于所述器官模型图像上的识别框。

12、在本技术的实施例中，所述预测层子模块具体包括：预测框确定单元，用于通过所述预测层，根据所述建议区域，在所述第二特征图像上生成预测框，并得到所述预测框的预测框信息；目标框确定单元，用于根据所述预测框信息，对所述预测框进行分析筛选，得到目标框；非极大抑制单元，用于对所述目标框进行非极大抑制，得到识别框，生成所述识别结果。

13、在本技术的实施例中，所述预测框信息包括置信度和边框坐标；所述目标框确定单元具体用于执行：过滤掉置信度低于预定置信度阈值的所述预测框，得到初选框；根据所述边框坐标，确定各所述初选框之间的重合程度；根据各所述初选框之间的重合程度，得到目标框。

14、在本技术的实施例中，所述颈部网络子模块具体包括：特征层提取单元，用于通过所述颈部网络，提取各不同分辨率的第一特征图像的特征层；第二特征图像单元，用于对所述特征层进行聚合融合，得到第二特征图像。

15、在本技术的实施例中，对于例如类器官模型，或者其他相似的体外三维器官模型，优选，所述主干网络包括多个卷积核模块和botnet模块，所述第一特征图像包括分层特征图像以及大感受野特征图像，所述主干网络子模块具体包括：特征分层单元，用于通过所述多个卷积核模块对所述预处理图像进行多次卷积，分离不同层次的特征图，得到分层特征图像；botnet单元，用于通过botnet模块对所述分层特征图像进行多尺度融合，得到大感受野特征图像。

16、在本技术的实施例中，所述图像识别装置还包括：图像识别预训练模块，用于获取细胞图像识别样本集，对所述图像识别模型进行预训练，得到预训练模型；图像识别训练模块，用于获取器官模型图像样本集，对所述预训练模型进行训练，得到训练好的图像识别模型。

17、在本技术的实施例中，所述图像识别训练模块具体包括：样本获取模块，用于获取所述器官模型图像样本集，所述器官模型图像样本集包含有多个器官模型图像样本，每个三维器官模型样本均标记有对应的识别框标签；样本输入模块，用于将所述器官模型图像样本逐个输入到所述预训练模型中，得到识别结果；参数更新模块，用于根据所述输出的识别结果和所述识别框标签，对所述预训练模型进行参数更新，直至达到预定结束条件，结束训练，得到训练好的图像识别模型。

18、根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的体外三维器官模型的自动识别方法。

19、根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的体外三维器官模型的自动识别方法。

20、在本技术的一些实施例所提供的技术方案中，通过图像识别模型进行器官模型图像的识别，该图像识别模型包括主干网络、颈部网络以及预测层，通过主干网络对器官模型图像进行特征提取，对低层次的特征图进行分离，降低了网络模型中不必要的参数，减少了需要的特征，降低了计算发复杂度，得到的第一特征图像具有大感受野，有助于提取关键特征；通过颈部网络对第一特征图像进行特征层处理，即对不同阶段提取的特征图进行再处理，可以有效的利用主干网络提取的特征，提高模型对细节特征的灵敏度，进而提高识别的准确率；通过预测层对第二特征图像进行预测处理，筛选出第二特征图像中各建议区域中适合的识别框，完成三维器官模型的识别。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。