一种数字人口型推理图像修复方法及系统与流程

本发明属于图像修复的，具体地涉及一种数字人口型推理图像修复方法及系统。

背景技术：

1、数字人口型推理是实现播报数字人必要的技术之一，为了能快速完成推理，通常需要通过人脸识别将鼻孔至下巴的矩形位置切割出来，再进行口型推理，推理前数字人是闭嘴的，而推理后是说话的过程，那么切割的矩形框就有可能由于说话的幅度过大导致下巴出到矩形框外面，从而导致下巴缺失。

2、数字人口型推理由于硬件和算力的限制，推理后会出现局部模糊不清并且图片偏色，导致切割出来的矩形块在贴回去的时候出现与原图的接洽处出现明显的分割线；

3、综上，现有技术中数字人口型推理后的图像或视频存在偏色局部模糊不清且下巴部分缺失的问题

技术实现思路

1、为了解决上述技术问题，本发明提供了一种数字人口型推理图像修复方法及系统，用于解决现有技术中提出的技术问题，以减少用户的时间成本，并保证用户能够在最短时间内寻找到目标终端。

2、第一方面，本发明实施例提供以下技术方案，一种数字人口型推理图像修复方法，包括：

3、获取原始模板视频，采用推理工具对所述原始模板视频进行数字人口型推理，以得到推理视频；

4、对所述原始模板视频与所述推理视频进行预处理，以得到原始视频帧与推理视频帧；

5、对所述推理视频帧进行预设超分处理，以得到超分图像帧；

6、采用预设识别算法提取所述原始视频帧的第一人脸标记点与所述超分图像帧的第二人脸标记点，基于所述第一人脸标记点对所述超分图像帧的第二人脸标记点进行调整，以得到调整图像帧；

7、基于所述调整图像帧确定目标区域的遮罩图，基于所述遮罩图、所述调整图像帧与所述原始视频帧确定修复图像。

8、相比现有技术，本申请的有益效果为：本发明首先获取原始模板视频，采用推理工具对原始模板视频进行数字人口型推理，以得到推理视频；然后对原始模板视频与推理视频进行预处理，以得到原始视频帧与推理视频帧；然后对推理视频帧进行预设超分处理，以得到超分图像帧；然后采用预设识别算法提取原始视频帧的第一人脸标记点与超分图像帧的第二人脸标记点，基于第一人脸标记点对超分图像帧的第二人脸标记点进行调整，以得到调整图像帧；然后基于调整图像帧确定目标区域的遮罩图，基于遮罩图、调整图像帧与原始视频帧确定修复图像，本发明通过确定遮罩图并将调整图像帧与原始视频帧进行叠加，即可得到清晰并且下巴没有问题的数字人人脸图像，即修复图像。

9、较佳的，所述推理工具为wav2lip开源库。

10、较佳的，所述对所述原始模板视频与所述推理视频进行预处理，以得到原始视频帧与推理视频帧的步骤具体为：

11、对所述原始模板视频与所述推理视频依次进行裁剪、旋转、归一化、平滑去噪、逐帧拆分处理，以得到原始视频帧与推理视频帧。

12、较佳的，在所述对所述推理视频帧进行预设超分处理，以得到超分图像帧的步骤中，预设超分处理具体为gfpgan等分辨率超分处理。

13、较佳的，所述预设识别算法具体为shape_predictor_68_face_landmarks.dat算法。

14、较佳的，所述基于所述第一人脸标记点对所述超分图像帧的第二人脸标记点进行调整，以得到调整图像帧的步骤包括：

15、计算所有所述第一人脸标记点的中心点vc：

16、

17、式中，表示第i个第一人脸标记点，n表示第一人脸标记点的数量；

18、基于所述中心点vc确定第一向量与第二向量

19、

20、式中，vcf、vo分别表示所有第二人脸标记点组成的集合、所有第一人脸标记点组成的集合；

21、基于所述第一向量与所述第二向量确定延伸率rate：

22、

23、基于所述延伸率rate对所述第二人脸标记点进行调整，以得到调整点基于所述调整点确定调整图像帧：

24、

25、较佳的，所述基于所述调整图像帧确定目标区域的遮罩图，基于所述遮罩图、所述调整图像帧与所述原始视频帧确定修复图像的步骤包括：

26、提取所述调整图像帧的目标区域的目标图像，所述目标区域包括嘴部区域与下巴区域；

27、对所述目标图像进行高斯模糊、多边形填充处理与二值化处理，以得到遮罩图；

28、以所述遮罩图为透明通道将所述调整图像帧与所述原始视频帧进行叠加处理，以得到修复图像result：

29、result＝imgcf×mask+imgoriginal×(1―mask)；

30、式中，imgcf、imgoriginal分别表示调整图像帧、原始视频帧，mask表示遮罩图。

31、第二方面，本发明实施例提供以下技术方案，一种数字人口型推理图像修复系统，所述系统包括：

32、推理模块，用于获取原始模板视频，采用推理工具对所述原始模板视频进行数字人口型推理，以得到推理视频；

33、处理模块，用于对所述原始模板视频与所述推理视频进行预处理，以得到原始视频帧与推理视频帧；

34、超分模块，用于对所述推理视频帧进行预设超分处理，以得到超分图像帧；

35、调整模块，用于采用预设识别算法提取所述原始视频帧的第一人脸标记点与所述超分图像帧的第二人脸标记点，基于所述第一人脸标记点对所述超分图像帧的第二人脸标记点进行调整，以得到调整图像帧；

36、修复模块，用于基于所述调整图像帧确定目标区域的遮罩图，基于所述遮罩图、所述调整图像帧与所述原始视频帧确定修复图像。

37、第三方面，本发明实施例提供以下技术方案，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数字人口型推理图像修复方法。

38、第四方面，本发明实施例提供以下技术方案，一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的数字人口型推理图像修复方法。

技术特征：

1.一种数字人口型推理图像修复方法，其特征在于，包括：

2.根据权利要求1所述的数字人口型推理图像修复方法，其特征在于，所述推理工具为wav2lip开源库。

3.根据权利要求1所述的数字人口型推理图像修复方法，其特征在于，所述对所述原始模板视频与所述推理视频进行预处理，以得到原始视频帧与推理视频帧的步骤具体为：

4.根据权利要求1所述的数字人口型推理图像修复方法，其特征在于，在所述对所述推理视频帧进行预设超分处理，以得到超分图像帧的步骤中，预设超分处理具体为gfpgan等分辨率超分处理。

5.根据权利要求1所述的数字人口型推理图像修复方法，其特征在于，所述预设识别算法具体为shape_predictor_68_face_landmarks.dat算法。

6.根据权利要求1所述的数字人口型推理图像修复方法，其特征在于，所述基于所述第一人脸标记点对所述超分图像帧的第二人脸标记点进行调整，以得到调整图像帧的步骤包括：

7.根据权利要求1所述的数字人口型推理图像修复方法，其特征在于，所述基于所述调整图像帧确定目标区域的遮罩图，基于所述遮罩图、所述调整图像帧与所述原始视频帧确定修复图像的步骤包括：

8.一种数字人口型推理图像修复系统，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数字人口型推理图像修复方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数字人口型推理图像修复方法。

技术总结
本发明提供了一种数字人口型推理图像修复方法及系统，所述方法包括：获取原始模板视频，采用推理工具对原始模板视频进行数字人口型推理，以得到推理视频；对原始模板视频与推理视频进行预处理，以得到原始视频帧与推理视频帧；对推理视频帧进行预设超分处理，以得到超分图像帧；采用预设识别算法提取原始视频帧的第一人脸标记点与超分图像帧的第二人脸标记点，基于第一人脸标记点对超分图像帧的第二人脸标记点进行调整，以得到调整图像帧；基于调整图像帧确定目标区域的遮罩图，基于遮罩图、调整图像帧与原始视频帧确定修复图像，本发明通过确定遮罩图并将调整图像帧与原始视频帧进行叠加，即可得到清晰并且下巴没有问题的修复图像。

技术研发人员：李楚发,徐佳圳,胡冠锵,邝健辉
受保护的技术使用者：广东金赋科技股份有限公司
技术研发日：
技术公布日：2025/3/18