一种基于人脸特征的自动化图像处理方法及系统与流程

本发明涉及人脸特征识别，特别是一种基于人脸特征的自动化图像处理方法及系统。

背景技术：

1、随着数字图像和视频内容的快速增长，人脸图像处理技术在安全监控、社交媒体、娱乐、身份认证等多个领域变得日益重要。传统的人脸图像处理方法主要依赖于手动编辑或简单的图像处理算法，这些方法存在效率低、一致性差、无法处理大量数据等问题。

2、基于深度学习的方法能够自动从大量数据中学习复杂的特征表示，实现高精度的人脸检测、识别和编辑。然而，现有技术中的人脸图像处理系统仍存在以下不足：首先，现有技术中的人脸检测算法在处理复杂背景或姿态变化时，准确度不足，导致后续处理步骤的准确性下降；其次，面部关键点的自动检测和标定技术尚未成熟，尤其是在处理遮挡、表情变化等复杂情况时，难以达到理想的精度；再次，现有技术中的人脸图像融合和美化处理往往需要大量的手动调整，缺乏自动化和个性化的处理能力。

技术实现思路

1、鉴于上述或现有技术中存在的问题，提出了本发明。

2、因此，本发明的目的是提供一种基于人脸特征的自动化图像处理方法。

3、为解决上述技术问题，本发明提供如下技术方案：包括以下步骤，

4、输入待处理的图像；

5、利用人脸检测模块对图像进行人脸区域的自动检测和定位；

6、利用面部关键点检测模块自动标定人脸的68个关键点；

7、利用人脸贴图重建模块根据参考人脸和目标人脸的mesh信息合成新的人脸贴图；

8、利用人脸清晰化处理模块对合成的人脸贴图进行高清化处理；

9、利用人脸融合模块对高清化处理后的人脸贴图进行自然融合；

10、利用人脸美颜模块和人脸美肤模块对融合后的人脸进行美颜和美肤处理；

11、输出经过上述步骤处理后的图像。

12、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述人脸检测模块采用基于深度学习的人脸检测算法，通过以下步骤实现；输入一张包含未知数量和位置人脸的图像；利用卷积神经网络对输入图像进行特征提取，其中所述卷积神经网络包括多个卷积层和池化层，用于逐层提取图像特征；在卷积神经网络的基础上，使用区域建议网络(region proposal network,rpn)生成候选的人脸区域，rpn通过滑动窗口在不同尺度上搜索潜在的人脸区域；对rpn生成的候选区域应用全连接层，以进行人脸分类和边界框回归；应用非极大值抑制算法去除重叠的人脸检测框，保留最佳的检测结果；输出最终确定的人脸位置和大小信息。

13、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述卷积神经网络包括但不限于以下层；多个卷积层，用于应用卷积核进行特征提取；激活层，如relu层，用于引入非线性并增强网络的表达能力；池化层，用于降低特征的空间维度，同时增加对图像位移的不变性。

14、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述边界框回归采用以下公式，

15、[x,y,w,h]＝[xp,yp,wp,hp]+[dx,dy][dw,dh]

16、其中，[x,y,w,h]指的是经过变换后得到的预测框，[xp,yp,wp,hp]指的是初始提议的人脸候选区域，[dx,dy]指的是边界框中心点的偏移量，[dw,dh]指的是边界框宽度、高度的缩放因子。

17、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述边界框回归公式还包括，

18、x＝xp+dx；

19、y＝yp+dy；

20、w＝wp*edw；

21、h＝hp*edh；；

22、其中，e是自然对数的底数，用于表示缩放因子的指数形式。

23、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述非极大值抑制算法，步骤如下；

24、步骤一，对于每个类别，根据检测框的置信度分数进行排序。

25、步骤二，选择置信度最高的检测框作为参考框。

26、步骤三，计算其他检测框与参考框的交并比(iou)。

27、步骤四，如果检测框与参考框的iou高于预设阈值，则抑制该检测框(即从候选列表中移除)；

28、步骤五，继续选择下一个置信度最高的未被抑制的检测框作为新的参考框，重复步骤三和四，直到所有检测框都被考虑过。

29、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述iou的计算公式为，

30、

31、其中，aoi指的是area of intersection也即两个边界框重叠区域的面积，aou指的是area of union是两个边界框的并集面积，等于它们各自的面积之和减去重叠区域的面积。

32、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述iou的计算如下，

33、如果有两个边界框a和b，它们的坐标分别为(xa，ya，wa，ha)和(xb，yb，wb，hb)，其中w和h分别表示边界框的宽度和高度，

34、首先计算两个边界框的相交区域的坐标：

35、左上角坐标，xmin＝max(xa，xb)；

36、右下角坐标，ymin＝min(ya+ha,yb+hb)；

37、宽度wintersect＝max(0，ymin-xmin)；

38、高度hintersect＝max(0，xmin-ymin)；

39、然后计算相交区域面积，aoi＝wintersec*hintersect；

40、再计算两个边界框各自的面积，

41、sa＝wa*ha；

42、sb＝wb*hb；

43、随后计算并集区域的面积，aou＝sa+sb-aoi；

44、最后计算iou，

45、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：在实际应用中，如果wintersect或hintersect为负数，也即两个边界框没有重叠，iou将为零，表示两个边界框没有或仅有很小的重叠。

46、作为本发明基于人脸特征的自动化图像处理方法的一种优选方案，其中：所述处理器执行所述计算机程序时实现上述基于人脸特征的自动化图像处理方法的步骤。

47、本发明的基于人脸特征的自动化图像处理方法的有益效果：通过人脸检测算法，显著提高了在复杂环境中人脸检测的准确性和鲁棒性，其次，面部关键点的自动检测和标定技术更为精准，即使在面对遮挡和表情变化等复杂场景下也能保持高准确度，此外，系统通过自动化的人脸图像融合和美化处理，不仅减少了手动调整的需求，还提升了处理的效率和个性化程度，整体系统的处理速度和实时性得到了优化，能够满足大规模图像处理的效率需求。

技术特征：

1.一种基于人脸特征的自动化图像处理方法，其特征在于：包括以下步骤，

2.如权利要求1所述的基于人脸特征的自动化图像处理方法，其特征在于：所述人脸检测模块采用基于深度学习的人脸检测算法，通过以下步骤实现；

3.如权利要求2所述的基于人脸特征的自动化图像处理方法，其特征在于：所述卷积神经网络包括但不限于以下层；

4.如权利要求3所述的基于人脸特征的自动化图像处理方法，其特征在于：所述边界框回归采用以下公式，

5.如权利要求4所述的基于人脸特征的自动化图像处理方法，其特征在于：所述边界框回归公式还包括，

6.如权利要求4或5所述的基于人脸特征的自动化图像处理方法，其特征在于：所述非极大值抑制算法，步骤如下；

7.如权利要求6所述的基于人脸特征的自动化图像处理方法，其特征在于：所述iou的计算公式为，

8.如权利要求所述的基于人脸特征的自动化图像处理方法，其特征在于：所述iou的计算如下，

9.如权利要求8所述的基于人脸特征的自动化图像处理方法，其特征在于：在实际应用中，如果wintersect或hintersect为负数，也即两个边界框没有重叠，iou将为零，表示两个边界框没有或仅有很小的重叠。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～9任一所述基于人脸特征的自动化图像处理方法的步骤。

技术总结
本发明涉及人脸特征识别技术领域，尤其是一种基于人脸特征的自动化图像处理方法及系统，包括输入待处理的图像；利用人脸检测模块对图像进行人脸区域的自动检测和定位；利用面部关键点检测模块自动标定人脸的68个关键点；利用人脸贴图重建模块根据参考人脸和目标人脸的mesh信息合成新的人脸贴图，通过人脸检测算法，显著提高了在复杂环境中人脸检测的准确性和鲁棒性，面部关键点的自动检测和标定技术更为精准，即使在面对遮挡和表情变化等复杂场景下也能保持高准确度，系统通过自动化的人脸图像融合和美化处理，不仅减少了手动调整的需求，还提升了处理的效率，整体系统的处理速度和实时性得到了优化，能够满足大规模图像处理的效率需求。

技术研发人员：来新璐,汤伯榕,谢高峰
受保护的技术使用者：上海万笔千墨科技有限公司
技术研发日：
技术公布日：2024/11/21