一种抠图方法、装置及电子设备

本技术涉及计算机视觉和深度学习的，具体而言，涉及一种抠图方法、装置及电子设备。

背景技术：

1、目前，在使用深度学习算法进行抠图的过程中，在处理已知目标对象的同一尺度或相近尺度的图像时效果较好，例如：深度学习抠图算法在composition-1k测试集中的效果很好。然而，在具体实践过程中发现，在对未知目标对象的不同尺度的图像进行抠图的准确率较低。

技术实现思路

1、本技术实施例的目的在于提供一种抠图方法、装置及电子设备，用于改善对未知目标对象的不同尺度的图像进行抠图的准确率较低的问题。

2、本技术实施例提供了一种抠图方法，包括：获取待处理图像和训练数据集，训练数据集包括多个用于训练抠图网络模型的前景图像；根据待处理图像与前景图像之间的特征相似度从训练数据集中匹配出训练前景图像；对训练前景图像和待处理图像进行尺度估计，获得相对尺度比值；通过抠图网络模型根据相对尺度比值对待处理图像进行抠图，获得抠图结果。在上述方案的实现过程中，通过根据待处理图像与前景图像之间的特征相似度从训练数据集中匹配出训练前景图像，并动态地对训练前景图像和待处理图像进行尺度估计出相对尺度比值，改善了抠图网络模型容易对前景某尺度产生过拟合导致无法适配其它尺度图像的情况，即使待处理图像中的未知目标对象的尺度是未知的，也能够有效地通过动态估计出的相对尺度比值来提高不同尺度的图像抠图效果，从而提高了对未知目标对象的不同尺度的图像进行抠图的准确率。

3、可选地，在本技术实施例中，根据待处理图像与前景图像之间的特征相似度从训练数据集中匹配出训练前景图像，包括：使用尺度适配模型中的编码器分别对训练数据集中的前景图像进行特征编码，获得多个训练前景的尺度特征，以及对待处理图像进行特征编码，获得待处理前景特征；使用尺度适配模型中的特征匹配筛选模块从多个训练前景的尺度特征中筛选出与待处理前景特征匹配的尺度特征，获得多个尺度特征；计算多个尺度特征中的最高分辨率特征与待处理前景特征之间的余弦相似度，并根据余弦相似度从训练数据集中匹配出训练前景图像。在上述方案的实现过程中，通过使用尺度适配模型的编码器对前景图像进行特征编码，并从编码后的多个训练前景的尺度特征中筛选出与待处理前景特征匹配的尺度特征，训练前景的尺度特征使得模型能够学习到更加抽象和鲁棒的特征表示，即使待处理图像在尺度变化较大的情况下，也能找到与之相似的训练前景图像作为参考，且特征匹配策略使得模型不仅仅依赖于精确的尺度匹配，而是能够捕捉到不同尺度图像间的内在相似性，有效地提高了模型在不同尺度下的泛化能力。

4、可选地，在本技术实施例中，特征匹配筛选模块，包括：第一卷积层、transformer注意力层、卷积融合层和第一平均池化层；对训练前景图像和待处理图像进行尺度估计，包括：使用第一卷积层对训练前景的尺度特征进行卷积处理，获得局部卷积特征；使用transformer注意力层对局部卷积特征和预设全局匹配令牌进行特征提取，获得全局参考特征；使用卷积融合层对全局参考特征和待处理前景特征进行卷积融合，获得卷积融合特征；获取待处理图像的原始三分图，并使用第一平均池化层对卷积融合特征和原始三分图进行平均池化，获得相对尺度比值。在上述方案的实现过程中，通过结合第一卷积层的卷积操作和transformer架构的特性，使用第一卷积层对训练前景的尺度特征进行卷积处理，获得了局部卷积特征，这有助于捕捉前景对象的细节信息，且transformer的注意力层能够根据输入特征的重要性自动分配注意力权重，这意味着它能够动态地突出那些对于尺度匹配最为关键的特征部分，从而在不同尺度间实现对前景图像特征的尺度适配，增强模型的尺度适应性。进一步地，结合transformer的注意力机制处理局部卷积特征和预设的全局匹配令牌，实现了细粒度特征与全局上下文信息的融合，提高了模型对不同尺度下前景对象结构的理解能力。

5、可选地，在本技术实施例中，对训练前景图像和待处理图像进行尺度估计，包括：使用尺度适配模型中的编码器对训练前景图像进行特征编码，获得训练前景的尺度特征；使用尺度适配模型中的前景特征比值模块对训练前景的尺度特征和待处理前景特征进行尺度估计，获得相对尺度比值。在上述方案的实现过程中，通过结合尺度适配模型的编码器和前景特征比值模块，特征比值模块直接从特征空间估计尺度比值，而非基于像素级的直接比较，可以减少因图像分辨率、噪声、光照等因素变化对尺度估计的影响，增强模型的尺度不变性，且利用特征层面分析来估计训练前景图像与待处理前景图像之间的相对尺度比值，进而提高了对前景对象尺度的自动适应性。

6、可选地，在本技术实施例中，前景特征比值模块，包括：第二卷积层、归一化层、gelu激活层、第二平均池化层、第三平均池化层和多层感知机；使用尺度适配模型中的前景特征比值模块对训练前景的尺度特征和待处理前景特征进行尺度估计，包括：使用第二卷积层对训练前景的尺度特征进行卷积操作，获得卷积前景特征，以及使用第二卷积层对待处理前景特征进行卷积操作，获得卷积多尺度特征；使用归一化层对卷积前景特征进行组归一化处理，获得归一化前景特征，以及使用归一化层对卷积多尺度特征进行组归一化处理，获得归一化多尺度特征；使用gelu激活层对卷积前景特征进行激活处理，获得激活前景特征，以及使用gelu激活层对归一化多尺度特征进行激活处理，获得激活多尺度特征；获取待处理图像的原始三分图，并使用第二平均池化层对激活多尺度特征和原始三分图进行平均池化处理，获得原始平均池化结果；获取训练前景图像的训练三分图，并使用第三平均池化层对激活前景特征和训练三分图进行平均池化处理，获得训练平均池化结果；使用多层感知机对原始平均池化结果和训练平均池化结果进行尺度估计，获得相对尺度比值。在上述方案的实现过程中，通过使用第二卷积层分别对训练和待处理前景特征进行卷积操作，并结合gelu激活函数，模型能够提取并强调与尺度变化相对不敏感的特征，增强对不同尺度图像的适应性，且提取的多尺度特征有助于模型理解不同尺度下的结构信息，提高抠图的准确性和鲁棒性。进一步地，组归一化层的引入有助于减少内部协变量偏移，使模型在不同批次或不同尺度的输入之间保持稳定的表现，同时增强了特征的表达能力，这对于尺度估计尤为重要，能够使模型更好地泛化到未见过的尺度变化上，有效地提高了模型针对未知尺度的泛化性。

7、可选地，在本技术实施例中，通过抠图网络模型根据相对尺度比值对待处理图像进行抠图，包括：通过相对尺度比值对待处理图像进行尺度归一化，获得归一化后的图像；使用抠图网络模型对归一化后的图像进行抠图，获得抠图后的图像；通过相对尺度比值对抠图后的图像进行尺度还原，获得抠图结果。在上述方案的实现过程中，通过对待处理图像的尺度归一化和抠图结果的尺度还原，尺度归一化使得图像中的前景对象在进入抠图网络前，其尺度与模型训练时的期望输入尺度更加一致，有助于模型更好地识别和分割前景，从而提高抠图的准确性和边缘细节的处理质量，进而让模型能够在统一的尺度框架下进行处理和恢复，有效改善了不同尺度图像对抠图精度的影响，增强了模型在处理不同尺寸前景对象时的适应性和稳定性。

8、本技术实施例还提供了一种抠图装置，包括：图像数据获取单元，用于获取待处理图像和训练数据集，训练数据集包括多个用于训练抠图网络模型的前景图像；前景图像匹配单元，用于根据待处理图像与前景图像之间的特征相似度从训练数据集中匹配出训练前景图像；图像尺度估计单元，用于对训练前景图像和待处理图像进行尺度估计，获得相对尺度比值；抠图结果获得单元，用于通过抠图网络模型根据相对尺度比值对待处理图像进行抠图，获得抠图结果。

9、可选地，在本技术实施例中，前景图像匹配单元，包括：前景特征获得子单元，用于使用尺度适配模型中的编码器分别对训练数据集中的前景图像进行特征编码，获得多个训练前景的尺度特征，以及对待处理图像进行特征编码，获得待处理前景特征；特征匹配筛选子单元，用于使用尺度适配模型中的特征匹配筛选模块从多个训练前景的尺度特征中筛选出与待处理前景特征匹配的尺度特征，获得多个尺度特征；前景图像匹配子单元，用于计算多个尺度特征中的最高分辨率特征与待处理前景特征之间的余弦相似度，并根据余弦相似度从训练数据集中匹配出训练前景图像。训练前景的尺度特征

10、可选地，在本技术实施例中，特征匹配筛选模块，包括：第一卷积层、transformer注意力层、卷积融合层和第一平均池化层；图像尺度估计单元，包括：局部特征获得子单元，用于使用第一卷积层对训练前景的尺度特征进行卷积处理，获得局部卷积特征；全局特征获得子单元，用于使用transformer注意力层对局部卷积特征和预设全局匹配令牌进行特征提取，获得全局参考特征；融合特征获得子单元，用于使用卷积融合层对全局参考特征和待处理前景特征进行卷积融合，获得卷积融合特征；特征相似度获得子单元，用于获取待处理图像的原始三分图，并使用第一平均池化层对卷积融合特征和原始三分图进行平均池化，获得相对尺度比值。

11、可选地，在本技术实施例中，图像尺度估计单元，包括：前景图像编码子单元，用于使用尺度适配模型中的编码器对训练前景图像进行特征编码，获得训练前景的尺度特征；特征尺度估计子单元，用于使用尺度适配模型中的前景特征比值模块对训练前景的尺度特征和待处理前景特征进行尺度估计。

12、可选地，在本技术实施例中，前景特征比值模块，包括：第二卷积层、归一化层、gelu激活层、第二平均池化层、第三平均池化层和多层感知机；特征尺度估计子单元，包括：卷积特征获得子单元，用于使用第二卷积层对训练前景的尺度特征进行卷积操作，获得卷积前景特征，以及使用第二卷积层对待处理前景特征进行卷积操作，获得卷积多尺度特征；特征归一化处理子单元，用于使用归一化层对卷积前景特征进行组归一化处理，获得归一化前景特征，以及使用归一化层对卷积多尺度特征进行组归一化处理，获得归一化多尺度特征；特征激活处理子单元，用于使用gelu激活层对卷积前景特征进行激活处理，获得激活前景特征，以及使用gelu激活层对归一化多尺度特征进行激活处理，获得激活多尺度特征；第一池化处理子单元，用于获取待处理图像的原始三分图，并使用第二平均池化层对激活多尺度特征和原始三分图进行平均池化处理，获得原始平均池化结果；第二池化处理子单元，用于获取训练前景图像的训练三分图，并使用第三平均池化层对激活前景特征和训练三分图进行平均池化处理，获得训练平均池化结果；尺度比值获得子单元，用于使用多层感知机对原始平均池化结果和训练平均池化结果进行尺度估计，获得相对尺度比值。

13、可选地，在本技术实施例中，抠图结果获得单元，包括：归一化图像获得子单元，用于通过相对尺度比值对待处理图像进行尺度归一化，获得归一化后的图像；归一化图像抠图子单元，用于使用抠图网络模型对归一化后的图像进行抠图，获得抠图后的图像；图像尺度还原子单元，用于通过相对尺度比值对抠图后的图像进行尺度还原，获得抠图结果。

14、本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器运行时执行上面描述的方法。

15、本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上面描述的方法。

16、本技术实施例还提供了一种计算机程序产品，包括：计算机程序或者计算机指令，计算机程序或者计算机指令被处理器运行时执行上面描述的方法。