基于SAM模型的语义分割方法、装置、设备及存储介质与流程

本申请涉及图像处理领域及数字医疗领域，尤其涉及一种基于sam模型的语义分割方法、装置、设备及存储介质。

背景技术：

1、在数字医疗领域中，语义分割可以用于医学影像中的器官分割，例如心脏、肺部、肝脏等，通过精确的分割出器官区域，可以帮助医生进行疾病的诊断、手术规划和治疗方案的指定。通用的分割大模型由于强大的泛化性还可以用于一般数字金融领域的图像分析，如信用卡欺诈检测中的信用卡图像分割、支票识别中的支票图像分割等，通过准确地分割出感兴趣的区域提取关键的图像特征和信息，用于风险评估和欺诈检测。

2、语义分割(semant i c segmentat i on)语义分割结合了图像分类、目标检测和图像分割，具体任务是要求给图像上的每一个像素赋予一个带有语义的标签，属于同一类的像素要归为一类，因此语义分割是从像素级别来理解图像的。视频语义分割任务是要求给视频中的每一帧图像上的每一个像素赋予一个带有语义的标签。

3、sam(segment anyth i ng mode l)是一种高度可泛化的对象分割算法，可以提供精确的掩码。且sam使用的数据集sa-1b是迄今为止最大的图像分割数据集，提供精细的掩模分割注释。但sam和sa-1b都没有为每个掩码(mask)提供类别预测或注释。这使得研究人员很难使用强大的sam算法直接解决语义分割任务或利用sa-1b来训练自己的模型。而其他语义分割模型(如segformer、maskformer等)、或图像标题方法(如bl ip)可以提供丰富的语义注释。然而，它们的掩码分割预测结果不如sam生成的预测那么全面和准确，sam生成的mask(掩码)边缘更准确。因此，如何通过sam模型对图像进行语义分割，提高语义分割数据集准确率成为了目前亟待解决的技术问题。

技术实现思路

1、本申请提供了一种基于sam模型的语义分割方法、装置、设备及存储介质，以提高语义分割数据集准确率。

2、第一方面，本申请提供了一种基于sam模型的语义分割方法，所述方法包括：

3、基于预设语义分割模型和初始图像，生成至少一组语义标签图像；

4、通过预设图像分割模型sam模型和所述初始图像，确定所述初始图像的至少一个图像分割掩码；

5、基于对各所述图像分割掩码和各所述语义标签图像，确定所述初始图像的目标语义特征。

6、第二方面，本申请还提供了一种基于sam模型的语义分割装置，所述装置包括：

7、获取训练集数据和验证集数据，其中，所述训练集数据包括训练图像以及训练标签，所述验证集数据包括验证图像以及验证标签；

8、通过各所述训练图像和各训练标签对初始sam模型进行训练，并通过各所述验证图像和各所述验证标签对所述初始sam模型进行迭代验证，确定所述预设sam模型。

9、第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的基于sam模型的语义分割方法。

10、第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的基于sam模型的语义分割方法。

11、本申请公开了一种基于sam模型的语义分割方法、装置、设备及存储介质，所述基于sam模型的语义分割方法包括基于预设语义分割模型和初始图像，生成至少一组语义标签图像；通过预设图像分割模型sam模型和所述初始图像，确定所述初始图像的至少一个图像分割掩码；基于对各所述图像分割掩码和各所述语义标签图像，确定所述初始图像的目标语义特征。通过上述方式，本申请通过使用sam模型，生成的语义标签图像不仅为图像中的每个像素提供了类别标签，实现对图像中每个像素的精确分类，为图像分析提供了高分辨率的语义信息。通过自动确定图像分割掩码和语义特征，减少了手动特征工程的需求，提高了语义分割数据集准确率。

技术特征：

1.一种基于sam模型的语义分割方法，其特征在于，包括：

2.根据权利要求1所述的基于sam模型的语义分割方法，其特征在于，所述基于对各所述图像分割掩码和各所述语义标签图像，确定所述初始图像的目标语义特征，包括：

3.根据权利要求2所述的基于sam模型的语义分割方法，其特征在于，所述计算各所述图像语义融合特征的权重得分，根据各所述权重得分确定所述目标语义特征，包括：

4.根据权利要求1所述的基于sam模型的语义分割方法，其特征在于，所述预设sam模型包括图像编码器、提示编码器和轻量级掩码解码器，所述通过预设图像分割模型sam模型和所述初始图像，确定所述初始图像的至少一个图像分割掩码，包括：

5.根据权利要求1所述的基于sam模型的语义分割方法，其特征在于，所述基于预设语义分割模型和初始图像，生成至少一组语义标签图像，包括：

6.根据权利要求5所述的基于sam模型的语义分割方法，其特征在于，所述通过所述预设语义分割模型中的图像与标签之间的预设映射关系和所述初始图像，确定与所述初始图像相匹配的至少一组所述语义标签图像之前，包括：

7.根据权利要求1至6中任一项所述的基于sam模型的语义分割方法，其特征在于，所述通过预设图像分割模型sam模型和所述初始图像，确定所述初始图像的至少一个图像分割掩码之前，包括：

8.一种基于sam模型的语义分割装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的基于sam模型的语义分割方法。

技术总结
本申请涉及图像处理领域及数字医疗领域，公开了一种基于SAM模型的语义分割方法、装置、设备及存储介质，所述方法包括基于预设语义分割模型和初始图像，生成至少一组语义标签图像；通过SAM模型和所述初始图像，确定初始图像的至少一个图像分割掩码；基于对各图像分割掩码和各语义标签图像，确定初始图像的目标语义特征。通过上述方式，本申请通过使用SAM模型，生成的语义标签图像不仅为图像中的每个像素提供了类别标签，实现对图像中每个像素的精确分类，为图像分析提供了高分辨率的语义信息。通过自动确定图像分割掩码和语义特征，减少了手动特征工程的需求，提高了语义分割数据集准确率。

技术研发人员：唐小初,陈柯,舒畅,陈又新
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/12/30