对人脸侧面美颜的方法及装置与流程

本发明属于图像处理，具体涉及一种对人脸侧面美颜的方法及装置。

背景技术：

1、人像图片的美颜需求由来已久，其中对于侧脸图片的美化编辑，人们也有明确的修凸嘴、修下巴、修双下巴、增加下颌线的需求。但由于这些功能主要涉及嘴巴、下巴、颈部区域，可识别出并利用的关键点较少，且当侧脸角度较大时，会出现关键点重合或丢失的情况。

2、相关技术中，现有应用的五官重塑美颜功能基本没有针对侧面人脸图片进行特殊处理，这导致原本针对正脸设计的功能用到侧脸图片上时，功能应用区域和角度往往没有按理想状态生效，会导致侧脸畸变和鼻子嘴巴等超出轮廓部分出现锯齿或断层问题，无法处理出用户想要的效果。

3、另外，由于视频中人脸角度每时每刻都在变化，存在正脸和侧脸的时间点，现有应用无法在提供侧脸编辑功能的同时，保证这些功能应用在正脸时不产生奇怪的畸变，因此现有应用都没有支持对视频的修凸嘴、修下巴、修双下巴、增加下颌线编辑功能，用户满意度较低。

技术实现思路

1、有鉴于此，本发明的目的在于克服现有技术的不足，提供一种对人脸侧面美颜的方法及装置，以解决现有技术中对人脸侧脸进行编辑时，功能少导致用户满意度低的问题。

2、为实现以上目的，本发明采用如下技术方案：一种对人脸侧面美颜的方法，包括：

3、获取原始图像，确定所述原始图像中的人脸关键点；其中，所述原始图像为单帧图像；

4、根据所述人脸关键点估算人脸在三维空间中的人脸朝向，得到人脸朝向向量；

5、对所述原始图像进行皮肤分割，得到皮肤分割纹理；

6、结合所述原始图像、人脸关键点、人脸朝向向量、皮肤分割纹理以及预设的下颚线阴影纹理，得到第一纹理；

7、结合所述第一纹理、人脸关键点、人脸朝向向量、皮肤分割纹理以及预设的凸嘴美颜值，得到第二纹理；

8、结合所述第二纹理、人脸关键点、人脸朝向向量以及预设的双下巴修正值，得到第三纹理；

9、结合所述第三纹理、人脸关键点、人脸朝向向量以及预设的下巴修正值，得到第四纹理并输出。

10、进一步的，根据所述人脸关键点估算人脸在三维空间中的人脸朝向，得到人脸朝向向量，包括：

11、预设正对原始图像的右方向为x轴正方向，向上方向为y轴正方向，正对观察者方向为z轴正方向；

12、将所述人脸关键点输入预构建的三维头模型，得到三维坐标与二维坐标的对应点，通过对应点得到相机外参；

13、提取所述相机外参中的旋转向量作用于向量(0，0，1)，得到人脸朝向向量。

14、进一步的，结合所述原始图像、人脸关键点、人脸朝向向量、皮肤分割纹理以及预设的下颚线阴影纹理，得到第一纹理，包括：

15、筛选所述人脸关键点中涉及脸部轮廓的点，得到点序列；

16、通过所述点序列计算脸部轮廓的中心点及第一步长；

17、将点序列以靠近所述中心点方向内扩第一预设层，然后将所述点序列以远离所述中心点方向外扩第二预设层，然后所有的点组成第一点集合；其中，每层的间距为1第一步长；

18、利用带边约束的三角剖分法，将所述第一点集合构建为第一网格，并对第一网格上的每个顶点给予预设强度值；

19、根据人脸朝向向量计算左侧下颌线的第一阴影强度以及右侧下颌线的第二阴影强度；

20、将所述第一网格中左侧顶点的强度值乘以第一阴影强度，将所述第一网格中右侧顶点的强度值乘以第二阴影强度，得到阴影纹理；

21、根据所述第一网格，采用叠底的混合方式将所述阴影纹理贴合所述原始图像中，得到第一纹理。

22、进一步的，结合所述第一纹理、人脸关键点、人脸朝向向量、皮肤分割纹理以及预设的凸嘴美颜值，得到第二纹理，包括：

23、根据所述人脸关键点，计算原始图像中鼻尖到上嘴唇之间的距离；

24、根据人脸朝向向量、距离以及凸嘴美颜值计算得到偏移量；所述偏移量用于表示嘴巴区域偏移的方向和大小；

25、根据所述人脸关键点确定嘴巴区域的关键点，根据所述嘴巴区域的关键点确定凸包；

26、确定所述凸包的中心点，通过所述中心点将所述凸包外扩预设层数，得到第二点集合；

27、利用带边约束的三角剖分法，将所述第二点集合构建为第二网格；

28、对于第二网格中的每一层，根据相应的偏移量进行偏移，得到第三网格；

29、根据所述第三网络对所述第一纹理进行网格形变，得到第二纹理。

30、进一步的，结合所述第二纹理、人脸关键点、人脸朝向向量以及预设的双下巴修正值，得到第三纹理，包括：

31、筛选所述人脸关键点中涉及脸部轮廓的点，得到点序列；

32、通过所述点序列计算脸部轮廓的中心点；

33、根据所述人脸关键点，计算下嘴唇到下巴尖的距离，得到第二步长；

34、将所述点序列以靠近所述中心点方向内扩第三预设层，再将所述点序列以远离所述中心点方向外扩第四预设层，将所有点集合得到第三点集合；

35、利用带边约束的三角剖分法，将所述第三点集合构建为第四网格；

36、根据鼻子关键点，计算鼻子在二维空间中的方向向量；

37、根据所述方向向量、第二补偿及双下巴修正值，计算得到偏移量；

38、根据人脸朝向向量，计算得到第一强度系数和第二强度系数；

39、计算每一层轮廓的形变权值；

40、根据所述形变权值和偏移量，遍历次内层至次外层的轮廓，将每一层的轮廓点偏移相应距离，得到第四点集合；

41、根据所述第四点集合，构建第五网格；

42、根据第四网格和第五网格对所述第二纹理进行形变，得到第三纹理。

43、进一步的，结合所述第三纹理、人脸关键点、人脸朝向向量以及预设的下巴修正值，得到第四纹理并输出，包括：

44、根据所述人脸关键点，计算下嘴唇到下巴尖的距离，得到液化半径；

45、根据所述下巴修正值、人脸朝向向量以及液化半径计算第三步长；

46、根据人脸朝向向量，计算二维拉伸方向；

47、根据所述二维拉伸方向和第三步长计算得到液化点；其中，所述液化点包括多个元素；

48、遍历每个元素对原始图像中每个像素点的影响，得到偏移后的新坐标，将所述新坐标的像素颜色幅值给原始像素点，得到第四纹理。

49、进一步的，在确定所述原始图像中的人脸关键点之后，还包括：

50、采用卡尔曼滤波器对人脸关键点进行平滑处理。

51、进一步的，所述人脸关键点包括五官、脸部轮廓在图像中的二维坐标。

52、本技术实施例提供一种对人脸侧面美颜的装置，包括：

53、人脸关键点检测模块，用于获取原始图像，确定所述原始图像中的人脸关键点；其中，所述原始图像为单帧图像；

54、人脸朝向侦测模块，用于根据所述人脸关键点估算人脸在三维空间中的人脸朝向，得到人脸朝向向量；

55、皮肤分割模块，用于对所述原始图像进行皮肤分割，得到皮肤分割纹理；

56、下颌线美颜模块，用于结合所述原始图像、人脸关键点、人脸朝向向量、皮肤分割纹理以及预设的下颚线阴影纹理，得到第一纹理；

57、修凸嘴美颜模块，用于结合所述第一纹理、人脸关键点、人脸朝向向量、皮肤分割纹理以及预设的凸嘴美颜值，得到第二纹理；

58、双下巴美颜模块，用于结合所述第二纹理、人脸关键点、人脸朝向向量以及预设的双下巴修正值，得到第三纹理；

59、修下巴美颜模块，用于结合所述第三纹理、人脸关键点、人脸朝向向量以及预设的下巴修正值，得到第四纹理并输出。

60、本发明采用以上技术方案，能够达到的有益效果包括：

61、本发明提供一种对人脸侧面美颜的方法及装置，本技术提供的技术方案能够支持对视频的修凸嘴、修下巴、修双下巴、增加下颌线编辑功能。本技术能够根据大众对于侧脸的需求，重新设计了凸嘴、双下巴、下颌线的功能效果，并补充了下巴尖拉长功能，使得用户可以实现鼻头、嘴唇、下巴三点一线的完美侧脸效果；同时能够根据编辑需求重新划定了凸嘴、双下巴、下颌线、下巴尖的功能处理范围，使得这几个功能叠加更为自然；除此之外，还能够支持视频的侧脸编辑，能准确识别侧脸角度并进行处理，同时不会导致正脸角度的人脸畸变。