一种基于图像实例分割的后处理优化方法及装置与流程

本发明属于图像处理，具体涉及一种基于图像实例分割的后处理优化方法及装置。

背景技术：

1、近年来，随着自动驾驶感知技术的迅速发展，图像实例分割在感知任务中的应用越来越广泛。由于图像噪点的引入、分割模型的误差等原因使得分割后出现多类别分割掩码图(以下统称“mask”)重合(以下统称“重合”)、单类别出现多个像素噪点(以下统称“孤岛”)以及分割掩码图实例内部存在孔洞(以下统称“孔洞”)等问题，使得图像分割后的精度低。传统的图像实例分割方法不做后处理直接输出分割结果，很难解决以上三种问题，导致分割后出现实例边缘像素类别混淆与错误的问题。

技术实现思路

1、为解决图像实例分割后存在的重合、孤岛、孔洞等问题，提高实例轮廓的分割精度，在本发明的第一方面提供了一种基于图像实例分割的后处理优化方法，包括：获取基于图像实例分割后的一幅或多幅分割图像，其中，每幅分割图像包括分割后的多个mask、置信度图和mask分割图像；提取每幅分割图像中离散mask的一条或多条轮廓分割线，并根据每条轮廓分割线内的像素差异，判断每个离散mask的孔洞属性；对每个带有孔洞属性的离散mask进行填充；基于每幅分割图像的mask分割图像与其对应的带有孔洞属性的分割图像，计算各个mask之间的面积和长度关系；根据所述各个mask之间的面积和长度关系的计算结果，识别各个mask之间是否重合，并过滤其中重合区域；根据所述各个mask之间的面积和长度关系的计算结果，识别并过滤每幅分割图像的孤岛区域。

2、在本发明的一些实施例中，所述提取每幅分割图像中离散mask的一条或多条轮廓分割线，并根据每条轮廓分割线内的像素差异，判断每个离散mask的孔洞属性包括：统计每条轮廓分割线内的像素灰度最大值和像素灰度最大值的数量，并根据两者的数量之差判断每个离散mask的孔洞属性。

3、进一步的，所述计算各个mask之间的面积和长度关系包括：通过离散二值图得到多个单类别的mask，将每个单类别的mask与其他类别的mask取交集；计算每两个单类别的mask之间的重合面积与面积最小的mask比例，以及每个单类别的mask的长宽比；计算每个单类别的离散mask的面积、每个mask的面积与最大mask面积的比例。

4、在本发明的一些实施例中，所述根据所述各个mask之间的面积和长度关系的计算结果，识别mask之间是否重合包括：根据每两个单类别的mask之间的重合面积与面积最小的mask比例，或每个单类别的mask的长宽比是否高于阈值，识别各个mask之间是否重合。

5、进一步的，所述根据所述各个mask之间的面积和长度关系的计算结果，识别并过滤每幅分割图像的孤岛区域包括：每个单类别的离散mask的面积，或每个mask的面积与最大mask面积的比例是否低于阈值，识别并过滤每幅分割图像的孤岛区域。

6、在上述的实施例中，所述获取基于图像实例分割后的一幅或多幅分割图像包括：通过实例分割模型对一幅或多幅图像进行实例分割，得到每幅图像的实例分割后的分割图像。

7、本发明的第二方面，提供了一种基于图像实例分割的后处理优化装置，包括：获取模块，用于获取基于图像实例分割后的一幅或多幅分割图像，其中，每幅分割图像包括分割后的多个mask、置信度图和mask分割图像；孔洞模块，用于根据每幅分割图像中离散mask的一条或多条轮廓分割线，并根据每条轮廓分割线内的像素差异，判断每个离散mask的孔洞属性；对每个带有孔洞属性的离散mask进行填充；重合模块，用于基于每幅分割图像的mask分割图像与其对应的带有孔洞属性的分割图像，计算各个mask之间的面积和长度关系；根据所述各个mask之间的面积和长度关系的计算结果，识别各个mask之间是否重合，并过滤其中重合区域；孤岛模块，用于根据所述各个mask之间的面积和长度关系的计算结果，识别并过滤每幅分割图像的孤岛区域。

8、本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的基于图像实例分割的后处理优化方法。

9、本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的基于图像实例分割的后处理优化方法。

10、本发明的有益效果是：

11、本发明涉及一种基于图像实例分割的后处理优化方法及装置，其方法包括：获取基于图像实例分割后的一幅或多幅分割图像；提取每幅分割图像中离散mask的一条或多条轮廓分割线，并根据每条轮廓分割线内的像素差异，判断每个离散mask的孔洞属性；对每个带有孔洞属性的离散mask进行填充；基于每幅分割图像的mask分割图像与带有孔洞属性的分割图像，计算各个mask之间的面积和长度关系，并根据其识别各个mask之间是否重合，并过滤其中重合区域，以及识别并过滤每幅分割图像的孤岛区域。可见，本发明通过对孔洞、重合、孤岛的依次识别和过滤，后一步的判断复用了前一步的判断结果，因此，提高了解决图像实例分割洞、重合、孤岛问题的效率和精度。同时，能过滤同一像素属于不同类别属性的问题，解决了因重合输出多个实例轮廓的问题。

技术特征：

1.一种基于图像实例分割的后处理优化方法，其特征在于，包括：

2.根据权利要求1所述的基于图像实例分割的后处理优化方法，其特征在于，所述提取每幅分割图像中离散mask的一条或多条轮廓分割线，并根据每条轮廓分割线内的像素差异，判断每个离散mask的孔洞属性包括：

3.根据权利要求1所述的基于图像实例分割的后处理优化方法，其特征在于，所述计算各个mask之间的面积和长度关系包括：

4.根据权利要求3所述的基于图像实例分割的后处理优化方法，其特征在于，所述根据所述各个mask之间的面积和长度关系的计算结果，识别mask之间是否重合包括：

5.根据权利要求3所述的基于图像实例分割的后处理优化方法，其特征在于，所述根据所述各个mask之间的面积和长度关系的计算结果，识别并过滤每幅分割图像的孤岛区域包括：

6.根据权利要求1至5任一项所述的基于图像实例分割的后处理优化方法，其特征在于，所述获取基于图像实例分割后的一幅或多幅分割图像包括：

7.一种基于图像实例分割的后处理优化装置，其特征在于，包括：

8.根据权利要求7所述的基于图像实例分割的后处理优化装置，其特征在于，所述重合模块包括：

9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6任一项所述的基于图像实例分割的后处理优化方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于图像实例分割的后处理优化方法。

技术总结
本发明涉及一种基于图像实例分割的后处理优化方法及装置，其方法包括：获取基于图像实例分割后的一幅或多幅分割图像；提取每幅分割图像中离散mask的一条或多条轮廓分割线，并根据每条轮廓分割线内的像素差异，判断每个离散mask的孔洞属性；对每个带有孔洞属性的离散mask进行填充；基于每幅分割图像的mask分割图像与带有孔洞属性的分割图像，计算各个mask之间的面积和长度关系，并根据其识别各个mask之间是否重合，并过滤其中重合区域，以及识别并过滤每幅分割图像的孤岛区域。本发明通过mask的重合面积和长度关系，对图像实例分割后存在的重合、孤岛、孔洞进行识别和过滤，从而提高了实例轮廓的分割精度。

技术研发人员：张龙,余雄风,陈治,胡文冲
受保护的技术使用者：武汉光庭信息技术股份有限公司
技术研发日：
技术公布日：2024/1/14