一种水平集演化驱动的掩码评分实例分割方法

本发明涉及实例分割领域，特别是一种水平集演化驱动的掩码评分实例分割方法。

背景技术：

1、实例分割任务是计算机视觉研究需要检测并定位图像中的多个实例，同时预测每个检测到的实例的类别，最后预测各个实例掩码。实例分割任务被广泛应用在机器人、自动驾驶、医学影像等领域。

2、在过去几年，研究者提出了大量的基于深度学习的实例分割模型，其可以被大致分为两类：基于候选区域的实例分割模型以及无候选区域的实例分割模型。基于候选区域的实例分割模型会先检测实例并获得实例的候选区域，随后对候选区域内的实例进行预测任务，其中he等人提出的掩码区域卷积神经网络mask r-cnn是最经典的方法之一，其将实例分割预测任务解耦为类别预测、包围盒预测以及掩码预测三个子任务，性能优秀，可扩展性强。随后huang等人在该模型的基础上添加了掩码评分预测模块，改善了检测质量高但是实例掩码预测质量低的问题。无候选区域的实例分割模型会先使用网络获取辅助信息，并且根据这些信息对像素聚类从而完成实例分割任务。其中比较具有代表性的有wang等人提出的solov2模型，该模型将实例分割任务解耦为像素类别分类以及像素掩码分类任务。

3、大部分深度学习实例分割模型在掩码预测的过程中使用交叉熵损失函数或者二元交叉熵损失函数，该损失函数对每个掩码预测的像素进行独立的比较，不能从全局空间信息上优化最终的分割结果。传统的分割模型比如水平集分割模型，则会根据图像的全局能量信息对分割结果进行演化和约束，从而得到分割结果，因此将水平集模型引入深度学习模型中可以有效的解决使用交叉熵损失函数带来的问题。hu等人就将水平集引入显著性检测任务中，该模型将水平集作为损失函数从全局信息上改善了显著性目标检测的检测结果。kim等人则将水平集损失函数引入了fcn网络中，改善了语义分割的分割结果。但是以上的模型都没有使用水平集模型改善实例分割的分割结果。

技术实现思路

1、本发明的目的在于提供一种用于水平集演化驱动的掩码评分实例分割方法，将水平集模型引入实例分割任务中，作为掩码预测网络的损失损失函数之一，能够从全局信息上优化实例分割效果，在不同分辨率和含有不同复杂语义信息的图片的实例分割任务上均有较优秀的表现。

2、实现本发明目的的技术解决方案为：第一方面，本发明提供一种水平集演化驱动的掩码评分实例分割方法，包括：

3、第一步、采用目标检测网络，通过骨干网络和特征金字塔进行特征提取与特征融合，利用区域提议网络检测各个实例的感兴趣区域，并由感兴趣区域特征对齐模块实现各实例的区域大小对齐；

4、第二步、采用分割网络，将各个实例的分割任务解耦为四个子任务，分别执行包围盒预测、类别预测、掩码特征概率图预测和掩码交并比评分预测，包含区域卷积子网络、掩码预测子网络和掩码交并比评分预测子网络；

5、第三步、建立四个子任务预测输出的网络表达，分别得到包围盒预测、类别预测、掩码交并比评分预测和掩码特征概率图预测的网络参数化表达；

6、第四步、构造网络模型的损失函数，包含包围盒损失项、类别损失项、掩码水平集损失项和掩码交并比评分损失项；

7、第五步、对网络进行端对端训练，模型训练后即可部署并对测试图像进行实例分割。

8、第二方面，本发明提供一种水平集演化驱动的掩码评分实例分割系统，用于实现第一方面所述的方法，系统包括：

9、第一模块，采用目标检测网络，首先通过骨干网络和特征金字塔进行特征提取与特征融合，利用区域提议网络检测各个实例的感兴趣区域，并由感兴趣区域特征对齐模块实现各实例的区域大小对齐；

10、第二模块，采用分割网络，将各个实例的分割任务解耦为四个子任务，分别执行包围盒预测、类别预测、掩码特征概率图预测和掩码交并比评分预测，包含区域卷积子网络、掩码预测子网络和掩码交并比评分预测子网络；

11、第三模块，用于建立四个子任务预测输出的网络表达，分别得到包围盒预测、类别预测、掩码交并比评分预测和掩码特征概率图预测的网络参数化表达；

12、第四模块，用于构造网络模型的损失函数，包含包围盒损失项、类别损失项、掩码水平集损失项和掩码交并比评分损失项；

13、第五模块，用于对网络进行端对端训练，模型训练后即可部署并对测试图像进行实例分割。

14、第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。

15、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。

16、第五方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。

17、本发明方法与现有技术相比，其显著特点在于：(1)使用两阶段法进行实例分割，第一阶段采用目标检测网络提供各个实例的目标区域，第二阶段对目标区域进行分割，可以有效的提高最终的分割精度。(2)解耦分割任务为类别预测、包围盒预测、掩码预测、掩码交并比评分预测四个子任务，其中掩码交并比评分预测可以有效的解决实例分类精确但掩码预测结果差的问题。(3)采用水平集模型作为掩码预测的损失项，有效的提高最终的分割区域的完整性和平滑性。(4)网络模型为端到端训练模型，各学习模块统一训练和推理，无需额外的监督训练流程。

18、下面结合附图对本发明作进一步详细描述。

技术特征：

1.一种水平集演化驱动的掩码评分实例分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的水平集演化驱动的掩码评分实例分割方法，其特征在于，第一步，采用目标检测网络，首先通过骨干网络和特征金字塔进行特征提取与特征融合，利用区域提议网络检测各个实例的感兴趣区域，并由感兴趣区域特征对齐模块实现各实例的区域大小对齐，具体如下：

3.根据权利要求1所述的水平集演化驱动的掩码评分实例分割方法，其特征在于，第二步，采用分割网络，将各个实例的分割任务解耦为四个子任务，分别执行包围盒预测、类别预测、掩码特征概率图预测和掩码交并比评分预测，包含区域卷积子网络、掩码预测子网络和掩码交并比评分预测子网络，具体为：

4.根据权利要求1所述的水平集演化驱动的掩码评分实例分割方法，其特征在于，第三步，建立四个子任务预测输出的网络表达，分别得到包围盒预测、类别预测、掩码交并比评分预测和掩码特征概率图预测的网络参数化表达，具体为：

5.根据权利要求1所述的水平集演化驱动的掩码评分实例分割方法，其特征在于，第四步，构造网络模型的损失函数，包含包围盒损失项、类别损失项、掩码水平集损失项和掩码交并比评分损失项，具体为：

6.根据权利要求1所述的水平集演化驱动的掩码评分实例分割方法与系统，其特征在于，第五步，对网络进行端对端训练，模型训练后即可部署并对测试图像进行实例分割，具体为：

7.一种水平集演化驱动的掩码评分实例分割系统，其特征在于，用于实现权利要求1-6任一所述的方法，系统包括：

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。

技术总结
本发明公开了一种水平集演化驱动的掩码评分实例分割方法，包括：1)采用目标检测网络、区域提议网络检测进行各实例的特征提取；2)采用分割网络，将各个实例的分割任务解耦为四个子任务，由四个子网络分别执行包围盒预测、类别预测、掩码特征概率图预测和掩码交并比评分预测；3)建立四个子任务预测输出的网络参数化表达；4)构造网络模型的损失函数，包含包围盒损失项、类别损失项、掩码水平集损失项和掩码交并比评分损失项；5)对网络进行端对端训练并可进行部署测试。本方法通过引入数据驱动神经网络和水平集模型的联合表达机制，能改善实例目标的分割区域完整性和边缘的光滑性，可广泛应用于自然场景、医学影像等目标的精准分割任务中。

技术研发人员：肖亮,赵国懿
受保护的技术使用者：南京理工大学
技术研发日：
技术公布日：2024/2/6