模型训练方法、图像处理方法及装置、介质、设备与流程

本公开涉及计算机，具体而言，涉及一种模型训练方法及装置、图像处理方法及装置、计算机可读存储介质以及电子设备。

背景技术：

1、用于处理数据的模型的性能通常需要足够多的训练数据迭代训练，但是实际应用中，训练数据的数据质量难以保证，因此需要提高生成的数据的准确性。

2、相关技术中，可以将生产式网络以及分割网络应用于数据工厂链路中，以基于图像生成大量需要的图像数据。上述方式中，提供的原图和分割数据的准确性较低，使得训练得到的模型的准确性较低，从而导致生成的图像的丰富程度具有一定的局限性，准确性较低且质量较差。

技术实现思路

1、本公开的目的在于提供一种模型训练方法及装置、图像处理方法及装置、存储介质、电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的模型准确性较低的问题。

2、根据本公开的第一方面，提供一种模型训练方法，包括：获取样本图像以及所述样本图像对应的样本掩码图像；获取所述样本图像对应的样本边缘图像，并将所述样本边缘图像与所述样本掩码图像进行融合得到样本引导图像；利用所述样本图像、所述样本引导图像以及所述样本图像对应的样本描述文本对图像编辑模型进行训练，得到训练后的图像编辑模型。

3、根据本公开的第二方面，提供一种图像处理方法，包括：获取待处理图像以及所述待处理图像对应的掩码图像；获取所述待处理图像对应的边缘图像，并将所述边缘图像与所述掩码图像进行融合得到引导图像；将所述待处理图像、所述引导图像以及所述待处理图像对应的描述文本输入至训练后的图像编辑模型，得到目标图像；其中，所述训练后的图像编辑模型根据上述任意一项所述的模型训练方法训练得到。

4、根据本公开的第三方面，提供一种模型训练装置，包括：图像获取模块，用于获取样本图像以及所述样本图像对应的样本掩码图像；样本引导图像生成模块，用于获取所述样本图像对应的样本边缘图像，并将所述样本边缘图像与所述样本掩码图像进行融合得到样本引导图像；引导训练模块，用于利用所述样本图像、所述样本引导图像以及所述样本图像对应的样本描述文本对图像编辑模型进行训练，得到训练后的图像编辑模型。

5、根据本公开的第四方面，提供一种图像处理装置，包括：图像获取模块，用于获取待处理图像以及所述待处理图像对应的掩码图像；引导图像确定模块，用于获取所述待处理图像对应的边缘图像，并将所述边缘图像与所述掩码图像进行融合得到引导图像；图像生成模块，用于将所述待处理图像、所述引导图像以及所述待处理图像对应的描述文本输入至训练后的图像编辑模型，得到目标图像；其中，所述训练后的图像编辑模型根据上述任意一项所述的模型训练方法训练得到。

6、根据本公开的第五方面，提供一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述第一方面的模型训练方法以及第二方面的图像处理方法及其可能的实现方式。

7、根据本公开的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面的模型训练方法以及第二方面的图像处理方法及其可能的实现方式。

8、本公开实施例中提供的技术方案中，一方面，通过将样本边缘图像以及样本掩码图像进行融合得到样本引导图像，能够实现对图像的细节的提取和融合，增强图像的细节程度；由于在模型训练过程中，考虑到了具有细节信息的样本引导图像，通过利用样本图像、样本引导图像以及样本图像对应的样本描述文本对图像编辑模型进行训练，使用了内部结构更加丰富的图像来实现模型训练，因此在模型训练过程中提高了全面性和准确性，提高了模型训练效果。另一方面，由于根据样本描述文本以及样本引导图像共同来训练模型，避免了相关技术中每个应用场景都需要重新训练模型的问题，提高了模型的通用性和灵活性，增加了应用范围。再一方面，基于训练后的图像编辑模型进行图像处理的过程中，能够提高图像处理的准确性，提高图像处理质量。

9、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的模型训练方法，其特征在于，所述将所述样本边缘图像与所述样本掩码图像进行融合得到样本引导图像，包括：

3.根据权利要求2所述的模型训练方法，其特征在于，所述根据所述样本融合图像确定所述样本引导图像，包括：

4.根据权利要求3所述的模型训练方法，其特征在于，所述根据所述三分图像中未知区域包含的先验标记，确定所述未知区域的像素点的灰度值，以得到调整后的样本融合图像，包括：

5.根据权利要求1所述的模型训练方法，其特征在于，所述利用所述样本图像、所述样本引导图像以及所述样本图像对应的样本描述文本对图像编辑模型进行训练，得到训练后的图像编辑模型，包括：

6.根据权利要求5所述的模型训练方法，其特征在于，所述基于所述样本图像、所述样本引导图像以及所述样本描述文本对参考图像编辑模型进行训练，得到训练后的参考图像编辑模型，包括：

7.根据权利要求5所述的模型训练方法，其特征在于，所述图像编辑模型包括固定模型和非固定模型；

8.一种图像处理方法，其特征在于，包括：

9.根据权利要求8所述的图像处理方法，其特征在于，所述将所述待处理图像、所述引导图像以及所述待处理图像对应的描述文本输入至训练后的图像编辑模型，得到目标图像，包括：

10.根据权利要求9所述的图像处理方法，其特征在于，所述将所述待处理图像、所述引导图像以及所述描述文本输入至所述训练后的图像编辑模型进行图像生成，得到多个生成图像，包括：

11.根据权利要求9所述的图像处理方法，其特征在于，确定所述生成图像与所述待处理图像之间的差异性，包括：

12.根据权利要求8所述的图像处理方法，其特征在于，在得到目标图像之后，所述方法还包括：

13.一种模型训练装置，其特征在于，包括：

14.一种图像处理装置，其特征在于，包括：

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述的模型训练方法或权利要求8-12任意一项所述的图像处理方法。

16.一种电子设备，其特征在于，包括：

技术总结
本公开实施例是关于一种模型训练方法及装置、图像处理方法及装置、电子设备、存储介质，涉及计算机技术领域，该模型训练方法包括：获取样本图像以及所述样本图像对应的样本掩码图像；获取所述样本图像对应的样本边缘图像，并将所述样本边缘图像与所述样本掩码图像进行融合得到样本引导图像；利用所述样本图像、所述样本引导图像以及所述样本图像对应的样本描述文本对图像编辑模型进行训练，得到训练后的图像编辑模型。本公开实施例中的技术方案，能够提高模型的准确性。

技术研发人员：张严浩,刘鹏,王凡祎
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/15