基于合成图像的细胞分割方法及系统

本发明涉及的是一种医学图像处理领域的技术，具体是一种基于合成图像的细胞分割方法及系统。

背景技术：

1、现有医疗图像分割任务中，缺少大量准确标注的数据，常用的生成式模型生成图像的过程非常耗时，且需要进行针对性设计。现有基于深度学习的细胞核图像分割技术以使用生成式模型生成大量分割伪样本加入分割训练集，使用对抗生成模型生成训练集的过程需要针对特定任务进行设计，训练任务的可迁移性较弱。同时在预训练过程中需要人工进行标注，训练启动较慢。而采用对抗生成模型作为训练模式，整体对训练资源要求较高，且训练效率相对较低。

技术实现思路

1、本发明针对现有技术存在的上述不足，提出一种基于合成图像的细胞分割方法及系统。采取使用数字引擎合成图像的方式构建预训练数据集；采用合成的自然图像作为医学图像分割任务中的预训练数据集；使用基于轮廓的图像分割技术模型解决细胞分割问题；通过注意力模块提高训练效果；通过优化传参逻辑节省空间占用，达到了速度和精度的平衡。

2、本发明是通过以下技术发明实现的：

3、本发明涉及一种基于合成图像的细胞分割方法，在离线阶段利用生成大量自然图像，然后构建并预训练变形的图像分割模型，经测试后从中提取出骨干网络并进一步构造下游任务模型；在在线阶段通过训练后的下游任务模型在基于轮廓的图像分割任务上进行实时图像分割。

4、本发明涉及一种实现上述方法的系统，包括：图像合成单元、骨干网络预训练单元以及分割任务执行单元，其中：图像合成单元基于公开的素材库，通过blender引擎合成的自然图像信息以及与自然图像中各个元素部分匹配的元素图像信息；骨干网络预训练单元构造并训练具有掩码分支的mask rcnn模型；分割任务执行单元根据训练后的mask rcnn模型对下游任务中的数据进行分割处理，得到最终的掩码分割结果。

5、技术效果

6、本发明使用用计算机图像引擎合成的图像而非使用生成式模型生成的图像，用作图像分割预训练的辅助。不针对特定的图像分割任务进行图像合成的针对性设计，使用自然图像辅助医学图像分割任务。在下游的图像分割模型中，选用基于轮廓的图像分割模型解决医学图像任务；在网络结构上做出优化和调整。

7、相比现有技术，本发明获得了更优的分割效果并达到了速度精度平衡。

技术特征：

1.一种基于合成图像的细胞分割方法，其特征在于，在离线阶段利用生成大量自然图像，然后构建并预训练变形的图像分割模型，经测试后从中提取出骨干网络并进一步构造下游任务模型；在在线阶段通过训练后的下游任务模型在基于轮廓的图像分割任务上进行实时图像分割。

2.根据权利要求1所述的基于合成图像的细胞分割方法，其特征是，所述的预训练，具体包括：通过blender软件生成一系列3d的图像以及准确的标注，作为预训练的数据集输入变形的图像分割模型进行训练，以实例检测的形式，以给出一个描述指定物体的查询图像为训练目标，在目标图像中找到所有相同的实例；训练得到由合成图像训练出的骨干网络；

3.根据权利要求2所述的基于合成图像的细胞分割方法，其特征是，在生成的过程中，为了使生成出来的图像质量尽可能高，对生成图像的质量进行量化并对相机的位置和光源的情况进行设定。

4.根据权利要求1所述的基于合成图像的细胞分割方法，其特征是，所述的变形的图像分割模型为改良版的掩模区域卷积神经网络，其通过两个不同的分支分别提取查询图像和目标图像的特征，该网络具体包括：目标图像处理单元、查询图像处理单元以及记忆库单元，其中：目标图像处理单元根据输入目标图像，通过区域提案网络提出可能存在物体的区域，分别进行计算，得到每个区域中物体的嵌入向量；查询图像处理单元处理输入的查询图像，得到每个查询图像的嵌入向量；记忆库单元通过计算查询图像的嵌入向量和目标图像的不同嵌入向量的相似度，判断是否有相同的图案出现。

5.根据权利要求4所述的基于合成图像的细胞分割方法，其特征是，所述的目标图像处理单元和查询图像处理单元均包括各自的分类器、roi池化层、区域提取网络和卷积层，其中：区域提取网络提取出可能存在检测物体的提案框，卷积层通过对平铺到指定尺寸的输入图像提取得到特征图，roi池化层对提取得到的区域提案进行尺寸规范化处理，分类器通过提案框和网络学习的特征向量，输出256通道的分类头输出嵌入向量和对应的边界框回归器。

6.根据权利要求4所述的基于合成图像的细胞分割方法，其特征是，所述的记忆库单元使用对比学习的方式，将所得的嵌入向量存在记忆库中以进行对比，其损失函数为对比损失函数其中：m，n分别为总提案区域的个数和总物体的个数，k和q为目标和查询对象，τ为设置的温度参数。

7.根据权利要求1所述的基于合成图像的细胞分割方法，其特征是，所述的下游任务模型为基于轮廓的分割模型，具体包括：特征提取单元、边界框预测单元以及轮廓回归单元，其中：特征提取单元通过预训练后的骨干网络和特征金字塔，提取出输入图像的特征；边界框预测单元对图像的特征进行卷积处理，单阶段地预测图像中元素的边界框；轮廓回归单元根据特征提取单元提取的特征以及边界框预测单元预测的边界框，确定图像中元素所在位置，并通过基于轮廓的算法初始化物体轮廓，通过一系列卷积网络进行形变，得到最终掩码的分类结果。

8.根据权利要求1或7所述的基于合成图像的细胞分割方法，其特征是，所述的下游任务模型，通过以下方式进行训练：

9.根据权利要求1所述的基于合成图像的细胞分割方法，其特征是，所述的实时图像分割，将训练后的下游任务模型整体迁移到mmdetection框架下进行优化，采用优化后的模型对实时输入的图像进行分割。

10.一种实现权利要求1-9中任一所述方法的基于合成图像的细胞分割系统，其特征在于，包括：图像合成单元、骨干网络预训练单元以及分割任务执行单元，其中：图像合成单元基于公开的素材库，通过blender引擎合成的自然图像信息以及与自然图像中各个元素部分匹配的元素图像信息；骨干网络预训练单元构造并训练具有掩码分支的maskrcnn模型；分割任务执行单元根据训练后的maskrcnn模型对下游任务中的数据进行分割处理，得到最终的掩码分割结果。

技术总结
一种基于合成图像的细胞分割方法及系统，在离线阶段利用生成大量自然图像，然后构建并预训练变形的图像分割模型，经测试后从中提取出骨干网络并进一步构造下游任务模型；在在线阶段通过训练后的下游任务模型在基于轮廓的图像分割任务上进行实时图像分割。本发明采取使用数字引擎合成图像的方式构建预训练数据集；采用合成的自然图像作为医学图像分割任务中的预训练数据集；使用基于轮廓的图像分割技术模型解决细胞分割问题；通过注意力模块提高训练效果；通过优化传参逻辑节省空间占用，达到了速度和精度的平衡。

技术研发人员：康劭寅,王德泉
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/3/24