模型的训练方法、图像背景处理方法、装置、设备及介质与流程

本公开涉及图像处理，尤其涉及一种背景处理模型的训练方法、图像背景处理方法、装置、设备及介质。

背景技术：

1、图像作为信息的重要载体，有着生动、直观等特点。示例性的，在汽车资讯领域，为了更加直观的展示汽车的外观，通常需要对拍摄图像的背景进行去除或者替换等处理。

2、目前，图像的背景处理通常采用语义分割方法和抠图(matting)方法，但是语义分割方法在边缘精度上无法达到要求，而抠图方法依赖于大量的精细样本，标注成本高，并且在处理复杂背景的图像时效果不佳。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种背景处理模型的训练方法、图像背景处理方法、装置、设备及介质。

2、本公开实施例提供了一种背景处理模型的训练方法，所述方法包括：

3、获取背景处理训练数据，所述背景处理训练数据包括预训练样本数据和整体样本数据；

4、基于所述预训练样本数据对初始神经网络中的编码器和全局解码器进行预训练；

5、基于所述整体样本数据对所述初始神经网络中的本地解码器进行训练，生成背景处理模型；

6、所述背景处理模型包括所述编码器、所述全局解码器和所述本地解码器，所述全局解码器包括可变形卷积模块，用于捕获全局上下文信息。

7、本公开实施例提供了一种图像背景处理方法，所述方法包括：

8、获取待处理图像；

9、将所述待处理图像输入背景处理模型中，得到alpha通道图像，所述背景处理模型采用本公开任意实施例所提供的背景处理模型的训练方法得到；

10、将所述alpha通道图像与所述待处理图像合并，得到背景透明的目标图像。

11、本公开实施例还提供了一种背景处理模型的训练装置，所述装置包括：

12、数据获取模块，用于获取背景处理训练数据，所述背景处理训练数据包括预训练样本数据和整体样本数据；

13、第一训练模块，用于基于所述预训练样本数据对初始神经网络中的编码器和全局解码器进行预训练；

14、第二训练模块，用于基于所述整体样本数据对所述初始神经网络中的本地解码器进行训练，生成背景处理模型；

15、所述背景处理模型包括所述编码器、所述全局解码器和所述本地解码器，所述全局解码器包括可变形卷积模块，用于捕获全局上下文信息。

16、本公开实施例还提供了一种图像背景处理装置，所述装置包括：

17、图像获取模块，用于获取待处理图像；

18、处理模块，用于将所述待处理图像输入背景处理模型中，得到alpha通道图像，所述背景处理模型采用本公开任意实施例所提供的背景处理模型的训练方法得到；

19、合并模块，用于将所述alpha通道图像与所述待处理图像合并，得到背景透明的目标图像。

20、本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的背景处理模型的训练方法或图像背景处理方法。

21、本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的方法背景处理模型的训练方法或图像背景处理方法。

22、本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的方案，获取背景处理训练数据，背景处理训练数据包括预训练样本数据和整体样本数据；基于预训练样本数据对初始神经网络中的编码器和全局解码器进行预训练；基于整体样本数据对初始神经网络中的本地解码器进行训练，生成背景处理模型；背景处理模型包括编码器、全局解码器和本地解码器，全局解码器包括可变形卷积模块，用于捕获多尺度特征。本公开实施例通过在背景处理模型的全局解码器中增加可变形卷积模块，能够提升模型对复杂背景的处理能力，进而提升图像背景处理的精度，并且在模型的训练过程中将模型的训练过程拆分为预训练和整体训练，分别对模型中的不同模块进行训练，使得模型不需要依赖大量的训练样本，降低了标注成本，能够有效提升模型收敛速度和泛化能力。

技术特征：

1.一种背景处理模型的训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取背景处理训练数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述整体样本数据包括从所述初始样本数据中提取的目标样本数据以及所述目标样本数据的alpha通道值标签。

4.根据权利要求1所述的方法，其特征在于，所述可变形卷积模块包括卷积层、可变形卷积层、图像池化层和特征融合层；

5.根据权利要求4所述的方法，其特征在于，所述全局解码器还包括上采样模块，所述上采样模块用于对所述融合特征进行解码，得到预测三分图；

6.根据权利要求1所述的方法，其特征在于，所述编码器用于进行特征编码，所述本地解码器用于确定边缘信息并进行边缘细化之后得到前景边缘图。

7.根据权利要求1或3所述的方法，其特征在于，在基于所述整体样本数据对所述初始神经网络中的本地解码器进行训练，生成背景处理模型之前，所述方法还包括：

8.一种图像背景处理方法，其特征在于，包括：

9.根据权利要求8所述的方法，其特征在于，所述背景处理模型包括编码器、全局解码器和本地解码器；

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

11.一种背景处理模型的训练装置，其特征在于，包括：

12.一种图像背景处理装置，其特征在于，包括：

13.一种电子设备，其特征在于，所述电子设备包括：

14.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-10中任一所述的方法。

技术总结
本公开实施例涉及一种背景处理模型的训练方法、图像背景处理方法、装置、设备及介质，其中背景处理模型的训练方法包括：获取背景处理训练数据，背景处理训练数据包括预训练样本数据和整体样本数据；基于预训练样本数据对初始神经网络中的编码器和全局解码器进行预训练；基于整体样本数据对初始神经网络中的本地解码器进行训练，生成背景处理模型；背景处理模型包括编码器、全局解码器和本地解码器，全局解码器包括可变形卷积模块，用于捕获全局上下文信息。本公开实施例能够提升模型对复杂背景的处理能力，进而提升图像背景处理的精度，并且模型不需要依赖大量的训练样本，降低了标注成本，能够有效提升模型收敛速度和泛化能力。

技术研发人员：毛永波,韦晓全
受保护的技术使用者：北京有竹居网络技术有限公司
技术研发日：
技术公布日：2024/1/13