图像处理方法、装置和计算机可读存储介质与流程

本技术涉及互联网，具体涉及一种图像处理方法、装置和计算机可读存储介质。

背景技术：

1、随着互联网技术的快速发展，图像处理方法也得到快速发展，例如，将人工智能(ai)技术应用在图像生成中，可以采用扩散模型等人工智能模型，基于用户输入的图像生成特定风格的图像，从而提高了图像处理效率。

2、在对现有技术的研究和实践过程中发现，现有的基于扩散模型的图像处理方法生成的图像中，极易在脸部等较小的细节区域中出现模糊、失真等问题，使得图像生成质量较差，从而导致图像处理效率较低。

技术实现思路

1、本技术实施例提供一种图像处理方法、装置和计算机可读存储介质，可以修复风格转换后图像中效果较差的细小区域，提升图像生成质量，进而提升了图像处理效率。

2、本技术实施例提供一种图像处理方法，包括：

3、获取对象图像，对所述对象图像进行目标部位检测，得到所述对象图像中目标部位所在的目标检测框，以及基于所述目标检测框在所述目标部位中识别出的目标部位特征信息；

4、对所述对象图像进行风格转换，得到在目标风格下的第一对象图像；

5、基于所述目标检测框在所述第一对象图像中提取出目标区域图像输入图像修复模型，标记所述目标区域图像中所述目标部位所在目标区域，得到目标区域信息输入至所述图像修复模型；

6、通过修复控制模型对所述目标部位特征信息进行特征提取，得到控制特征输入至所述图像修复模型；

7、通过所述图像修复模型基于所述控制特征，所述目标区域图像和所述目标区域信息，对所述目标区域图像中的目标区域进行目标部位的修复处理，得到修复后的目标区域图像；

8、将所述修复后的目标区域图像和所述第一对象图像进行图像融合，得到修复后的目标对象图像。

9、相应的，本技术实施例提供一种图像处理装置，包括：

10、信息获取单元，用于获取对象图像，对所述对象图像进行目标部位检测，得到所述对象图像中目标部位所在的目标检测框，以及基于所述目标检测框在所述目标部位中识别出的目标部位特征信息；

11、风格转换单元，用于对所述对象图像进行风格转换，得到在目标风格下的第一对象图像；

12、图像提取单元，用于基于所述目标检测框在所述第一对象图像中提取出目标区域图像输入图像修复模型，标记所述目标区域图像中所述目标部位所在目标区域，得到目标区域信息输入至所述图像修复模型；

13、特征提取单元，用于通过修复控制模型对所述目标部位特征信息进行特征提取，得到控制特征输入至所述图像修复模型；

14、图像修复单元，用于通过所述图像修复模型基于所述控制特征，所述目标区域图像和所述目标区域信息，对所述目标区域图像中的目标区域进行目标部位的修复处理，得到修复后的目标区域图像；

15、图像融合单元，用于将所述修复后的目标区域图像和所述第一对象图像进行图像融合，得到修复后的目标对象图像。

16、在一实施例中，所述目标部位为人脸部位，所述目标部位特征信息包括脸部关键点信息和脸部图像，所述特征提取单元，包括：

17、第一特征提取子单元，用于对所述脸部图像进行特征提取，得到脸部图像特征输入至修复控制模型；

18、第二特征提取子单元，用于通过所述修复控制模型对所述脸部关键点信息和所述脸部图像特征进行特征提取。

19、在一实施例中，所述第二特征提取子单元，包括：

20、图像获取模块，用于获取目标图像尺寸的预设图像；

21、关键点绘制模块，用于基于所述脸部关键点信息在所述预设图像中进行关键点绘制，得到指示所述目标部位中脸部关键点的位置分布的关键点图像；

22、特征提取模块，用于通过修复控制模型对所述关键点图像和所述脸部图像特征进行特征提取。

23、在一实施例中，所述图像提取单元，包括：

24、裁剪子单元，用于基于所述目标检测框在所述第一对象图像中裁剪出所述目标部位对应的初始区域图像；

25、图像缩放子单元，用于获取预设的目标图像尺寸，根据所述目标图像尺寸对所述初始区域图像进行图像缩放处理，得到目标区域图像，将所述目标区域图像输入图像修复模型。

26、在一实施例中，所述裁剪子单元，用于：

27、基于所述目标检测框在所述第一对象图像中确定出所述目标部位所在的第一目标区域；

28、获取所述第一目标区域对应的外扩参数，根据所述外扩参数在所述第一对象图像中对所述第一目标区域进行区域外扩，得到初始区域；

29、对所述第一对象图像中的所述初始区域进行裁剪，得到初始区域图像；

30、所述关键点绘制模块，用于：

31、基于所述脸部关键点信息、所述外扩参数以及所述目标图像尺寸在所述预设图像中进行关键点绘制。

32、在一实施例中，所述图像融合单元，用于：

33、基于所述初始区域图像的尺寸信息对所述修复后的目标区域图像进行缩放处理，得到目标部位修复图像；

34、根据所述初始区域图像在所述第一对象图像中的位置信息，将所述目标部位修复图像粘贴至所述第一对象图像，得到修复后的目标对象图像。

35、在一实施例中，所述目标部位特征信息还包括对象属性信息，所述图像修复单元，用于：

36、获取所述目标风格对应的风格描述信息；

37、将所述风格描述信息和所述对象属性信息进行合并，得到目标描述信息；

38、通过所述图像修复模型基于所述控制特征，所述目标区域图像，所述目标区域信息以及所述目标描述信息，对所述目标区域图像中的目标区域进行目标部位的修复处理。

39、此外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本技术实施例所提供的任一种图像处理方法中的步骤。

40、此外，本技术实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序实现本技术实施例提供的图像处理方法。

41、本技术实施例还提供一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行本技术实施例提供的图像处理方法中的步骤。

42、本技术实施例通过获取对象图像，对对象图像进行目标部位检测，得到对象图像中目标部位所在的目标检测框，以及基于目标检测框在目标部位中识别出的目标部位特征信息；对对象图像进行风格转换，得到在目标风格下的第一对象图像；基于目标检测框在第一对象图像中提取出目标区域图像输入图像修复模型，标记目标区域图像中目标部位所在目标区域，得到目标区域信息输入至图像修复模型；通过修复控制模型对目标部位特征信息进行特征提取，得到控制特征输入至图像修复模型；通过图像修复模型基于控制特征，目标区域图像和目标区域信息，对目标区域图像中的目标区域进行目标部位的修复处理，得到修复后的目标区域图像；将修复后的目标区域图像和第一对象图像进行图像融合，得到修复后的目标对象图像。以此，通过在对象图像中识别出目标部位所在的目标检测框以及目标部位特征信息，并根据目标检测框在基于对象图像风格转换得到的第一对象图像中提取出目标区域图像，以及指示待修复的目标区域的目标区域信息，从而通过修复控制模型在目标部位特征信息中提取出控制特征，同时采用图像修复模型基于控制特征，目标区域图像和目标区域信息，对目标区域图像中的目标区域进行目标部位的修复处理，从而将修复后的目标区域图像和第一对象图像进行图像融合，得到修复后的目标对象图像，实现对风格转换后的图像中效果较差的细小区域进行修复，提升了图像生成质量，进而提升了图像处理效率。