多人合照合成方法及装置与流程

本申请涉及图像处理，尤其涉及一种多人合照合成方法、装置、电子设备和存储介质。

背景技术：

1、随着人工智能(artificial intelligence，ai)绘图技术迅速发展，基于扩散模型的图像技术层出不穷。其中最具代表性的就是ai风格化头像合成，相关技术中，个性化图像技术只局限于单人，双人乃至多人的个性化合照一直没有好的解决方案。扩散模型可以生成多人合照，但无法有效控制图片内人物的容貌。简单把单人图像的方案扩展到多人场景，会出现不同人物容貌相互融合现象，导致人物图像相似度大幅下降，丢失个性化，故亟需一种更可靠的多人合照合成方法。

技术实现思路

1、本申请提出一种多人合照合成方法、装置、电子设备和存储介质。

2、本申请第一方面实施例提出了一种多人合照合成方法，包括以下步骤：获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型；通过扩散模型、控制合照人物信息的作图模型、检测目标合照照片中人物姿势的检测模型、以及目标合照照片中各个人物对应的人物描述提示词，生成多人合照模板图；通过各个人物区域的目标扩散模型对所述多人合照模板图中的各个人物区域进行重绘，以得到各个人物区域的重绘人像图；通过各个人物区域的目标扩散模型对各个所述重绘人像图中的人脸区域进行重绘，以得到各个所述重绘人像图的重绘人脸图；将各个所述重绘人像图和重绘人脸图填充到所述多人合照模板图中，以得到重绘多人合照图。。

3、作为本申请第一方面实施例的第一种可能的实现方式，所述获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型，包括：获取多张包含有多人物的目标合照照片；通过各张所述目标合照照片中的各个人物区域特征，对扩散模型进行训练，以得到各个所述目标合照照片中填补各个人物区域的目标扩散模型。

4、作为本申请第一方面实施例的第二种可能的实现方式，其中，多人合照模板图中确定了目标合照照片中的人物数量。

5、作为本申请第一方面实施例的第三种可能的实现方式，所述通过各个人物区域的目标扩散模型对所述多人合照模板图中的各个人物区域进行重绘，以得到各个人物区域的重绘人像图，包括：通过ai图像检测技术对所述多人合照模板图进行分割，以得到多人合照模板图中的各个人物区域；通过各个人物区域的目标扩散模型对所述各个人物区域进行重绘，以得到各个人物区域的重绘人像图。

6、作为本申请第一方面实施例的第四种可能的实现方式，所述通过各个人物区域的目标扩散模型对各个所述重绘人像图中的人脸区域进行重绘，以得到各个所述重绘人像图的重绘人脸图，包括：通过ai图像检测技术对各个所述重绘人像图进行分割，以得到各个所述重绘人像图中的人脸区域；通过各个人物区域的目标扩散模型对各个所述人脸区域进行重绘，以得到各个所述重绘人像图的重绘人脸图。

7、本申请提出一种多人合照合成方法，获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型；通过扩散模型、控制合照人物信息的作图模型、检测人物姿势的检测模型、以及目标合照照片中各个人物对应的人物描述提示词，生成多人合照模板图；通过各个目标扩散模型对多人合照模板图中的各个人物区域进行重绘，得到各个人物区域的重绘人像图；通过各个目标扩散模型对各个重绘人像图中的人脸区域进行重绘，得到各个重绘人像图的重绘人脸图；将各个重绘人像图和重绘人脸图填充到多人合照模板图中，得到重绘多人合照图，由此，基于目标扩散模型在多人合照模板图上多次重绘，解决了人物人像融合问题，提高多人合照质量。

8、本申请第二方面实施例提出了一种多人合照合成装置，包括以下装置：获取模块，用于获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型；第一生成模块，用于通过扩散模型、控制合照人物信息的作图模型、检测目标合照照片中人物姿势的检测模型、以及目标合照照片中各个人物对应的人物描述提示词，生成多人合照模板图；第一重绘模块，用于通过各个人物区域的目标扩散模型对所述多人合照模板图中的各个人物区域进行重绘，以得到各个人物区域的重绘人像图；第二重绘模块，用于通过各个人物区域的目标扩散模型对各个所述重绘人像图中的人脸区域进行重绘，以得到各个所述重绘人像图的重绘人脸图；第二生成模块，用于将各个所述重绘人像图和重绘人脸图填充到所述多人合照模板图中，以得到重绘多人合照图。

9、作为本申请第二方面实施例的第一种可能的实现方式，所述获取模块，具体用于：获取多张包含有多人物的目标合照照片；通过各张所述目标合照照片中的各个人物区域特征，对扩散模型进行训练，以得到各个所述目标合照照片中填补各个人物区域的目标扩散模型。

10、作为本申请第二方面实施例的第二种可能的实现方式，其中，多人合照模板图中确定了目标合照照片中的人物数量。

11、作为本申请第二方面实施例的第三种可能的实现方式，所述第一重绘模块，具体用于：通过ai图像检测技术对所述多人合照模板图进行分割，以得到多人合照模板图中的各个人物区域；通过各个人物区域的目标扩散模型对所述各个人物区域进行重绘，以得到各个人物区域的重绘人像图。

12、作为本申请第二方面实施例的第四种可能的实现方式，所述第二重绘模块，具体用于：通过ai图像检测技术对各个所述重绘人像图进行分割，以得到各个所述重绘人像图中的人脸区域；通过各个人物区域的目标扩散模型对各个所述人脸区域进行重绘，以得到各个所述重绘人像图的重绘人脸图。

13、本申请提出一种多人合照合成装置，获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型；通过扩散模型、控制合照人物信息的作图模型、检测人物姿势的检测模型、以及目标合照照片中各个人物对应的人物描述提示词，生成多人合照模板图；通过各个目标扩散模型对多人合照模板图中的各个人物区域进行重绘，得到各个人物区域的重绘人像图；通过各个目标扩散模型对各个重绘人像图中的人脸区域进行重绘，得到各个重绘人像图的重绘人脸图；将各个重绘人像图和重绘人脸图填充到多人合照模板图中，得到重绘多人合照图，由此，基于目标扩散模型在多人合照模板图上多次重绘，解决了人物人像融合问题，提高多人合照质量。

14、本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，执行如本申请前述第一方面实施例提出的多人合照合成方法。

15、本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述第一方面实施例提出的多人合照合成方法。

16、本申请第五方面实施例提出了一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本申请上述第一方面实施例提出的多人合照合成方法。

17、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种多人合照合成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型，包括：

3.根据权利要求1所述的方法，其特征在于，其中，多人合照模板图中确定了目标合照照片中的人物数量。

4.根据权利要求1所述的方法，其特征在于，所述通过各个人物区域的目标扩散模型对所述多人合照模板图中的各个人物区域进行重绘，以得到各个人物区域的重绘人像图，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过各个人物区域的目标扩散模型对各个所述重绘人像图中的人脸区域进行重绘，以得到各个所述重绘人像图的重绘人脸图，包括：

6.一种多人合照合成装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：

8.根据权利要求6所述的装置，其特征在于，其中，多人合照模板图中确定了目标合照照片中的人物数量。

9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，执行如权利要求1-5任一项所述的多人合照合成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的多人合照合成方法。

技术总结
本申请提出一种多人合照合成方法及装置，方法包括：获取填补包含多人物的目标合照照片中各个人物区域的目标扩散模型；通过扩散模型、控制合照人物信息的作图模型、检测人物姿势的检测模型、以及目标合照照片中各个人物对应的人物描述提示词，生成多人合照模板图；通过各个目标扩散模型对多人合照模板图中的各个人物区域进行重绘，得到各个人物区域的重绘人像图；通过各个目标扩散模型对各个重绘人像图中的人脸区域进行重绘，得到各个重绘人像图的重绘人脸图；将各个重绘人像图和重绘人脸图填充到多人合照模板图中，得到重绘多人合照图，由此，基于目标扩散模型在多人合照模板图上多次重绘，解决了人物人像融合问题，提高多人合照质量。

技术研发人员：戴硕,单强
受保护的技术使用者：卓米私人有限公司
技术研发日：
技术公布日：2024/1/15