面部数据采集方法、系统及存储介质与流程

本技术涉及计算机视觉，特别涉及一种面部数据采集方法、系统及存储介质。

背景技术：

1、随着计算机视觉领域技术的发展，各种通过检测面部特征来实现智能化功能的应用越来越多，例如，基于面部特征检测的驾驶员疲劳监测系统。通过将采集到的驾驶员面部信息输入神经网络，可以对驾驶员的表情、头部姿态等进行识别，检测驾驶员是否疲劳驾驶。而神经网络的识别需要将面部信息处理为包含人脸关键点、头部姿态、视线角度和表情等各种面部数据。

2、由于上述面部数据的获取涉及从多个角度对目标对象进行多次图像采集和数据处理，整个采集过程耗时耗力，面部数据的采集过程耗时耗力，效率较低。亟需一种方法，能够直接对目标对象的面部进行高精度重建，高效地从多个角度采集类型丰富的面部数据。

技术实现思路

1、本技术提供了一种面部数据采集方法、系统及存储介质，能够直接对目标对象的面部进行高精度重建，高效地从多个角度采集类型丰富的面部数据。

2、为了实现上述目的，第一方面，本技术提供了面部数据采集方法，适用于面部数据采集系统，所述系统包括数据处理设备、显示器和按照不同采集角度部署的多个摄像机，所述多个摄像机包括基准摄像机和非基准摄像机，所述非基准摄像机分别部署在所述基准摄像机的左右两侧，所述基准摄像机对应基准相机坐标系；该方法包括由数据处理设备执行的如下步骤：

3、s1、从所述基准摄像机和所述基准摄像机左侧的任一非基准摄像机，获取目标对象的左侧面部点云，从基准摄像机和所述基准摄像机右侧的任一非基准摄像机，获取所述目标对象的右侧面部点云；

4、s2、根据所述左侧面部点云和所述右侧面部点云，对人脸三维可变模型进行拟合，得到所述目标对象在所述基准相机坐标系下的人脸三维模型；

5、s3、在所述显示器显示屏幕的随机位置显示视觉刺激点，且当所述目标对象在注视所述视觉刺激点时触发所述多个摄像机的采集指令，获得所述多个摄像机采集的所述目标对象的多个第二面部图像；

6、s4、根据所述人脸三维模型和多个所述第二面部图像，生成所述目标对象在所述基准相机坐标系下的面部数据，所述面部数据包括头部姿态数据和视线数据中的至少一种；

7、s5、根据所述基准相机坐标系与各个所述非基准摄像机的相机坐标系之间的变换关系，将所述面部数据变换到各个非基准摄像机的相机坐标系中，得到所述目标对象在所述不同采集角度下的面部数据。

8、在一种可能实施方式中，所述步骤s4包括：

9、采用迭代最近点算法，将所述人脸三维模型与多个所述第二面部图像对应的面部点云进行匹配，得到所述基准相机坐标系下的头部姿态；

10、所述步骤s5包括：基于所述变换关系，将所述头部姿态变换到所述各个非基准摄像机的相机坐标系下，得到所述目标对象在所述多个采集角度下的头部姿态数据；

11、根据所述目标对象在所述多个采集角度下的头部姿态，对所述目标对象的人脸三维模型进行变换，得到所述多个采集角度下的人脸三维模型；根据人脸关键点的模型索引，从所述多个采集角度下的人脸三维模型中，获取所述目标对象人脸关键点的三维坐标；根据各个所述摄像机的内参，将所述三维坐标投影到摄像机的图像坐标系中，得到所述目标对象的人脸关键点数据。

12、在一种可能实施方式中，所述步骤s1之前，所述方法还包括：

13、采用正交约束的镜面标定法，确定所述基准相机坐标系和显示器坐标系之间的第一变换关系，所述显示器坐标系根据所述显示器的显示平面确定；

14、根据所述基准摄像机和各个非基准摄像机之间的位置关系，采用张友正标定法，确定所述基准相机坐标系与各个非基准摄像机的相机坐标系之间的第二变换关系。

15、在一种可能实施方式中，所述步骤s4包括：

16、根据所述第一变换关系以及所述多个摄像机采集的多个所述第二面部图像，确定所述视觉刺激点在所述基准相机坐标系下的刺激点坐标；从所述基准相机坐标系下的人脸三维模型中，获取所述基准相机坐标系下所述目标对象的左眼中点坐标和右眼中点坐标；

17、根据所述刺激点坐标和所述左眼中点坐标的差以及所述刺激点坐标和所述右眼中点坐标的差，确定在所述目标对象在所述基准相机坐标系下的视线向量；

18、所述步骤s5包括：根据所述视线向量和所述第二变换关系，确定所述目标对象在各个非基准摄像机的相机坐标系下的视线向量，得到所述多个采集角度下的视线数据。

19、在一种可能实施方式中，在所述步骤s2之后，所述方法还包括：

20、保持所述人脸三维模型的脸型参数不变，将所述人脸三维模型的表情参数调整为目标表情的参数值，得到目标表情对应的人脸三维模型；

21、将所述目标表情对应的人脸三维模型投影到给定的图像平面，得到带有所述目标表情的面部表情图像，并对所述面部表情图像进行渲染。

22、在一种可能实施方式中，所述面部数据采集系统中，所述多个摄像机部署在显示器的显示平面的不同位置，且所述多个摄像机各自以不同的采集角度部署，以使所述多个摄像机的光轴均通过所述显示平面的垂直平面。

23、在一种可能实施方式中，所述面部数据采集系统还包括可升降座椅，在步骤s1之前，所述方法还包括：

24、根据所述基准摄像机采集的所述目标对象的面部图像，调整所述可升降座椅的水平位置和垂直高度，以使所述目标对象的面部中心点位于所述基准摄像机图像采集范围的中心。

25、在一种可能实施方式中，所述s2包括：

26、s21、根据基准摄像机和所述基准摄像机左侧的任一非基准摄像机采集的左侧面部图像进行双目立体匹配，生成所述目标对象在所述基准相机坐标系下的左侧面部点云，根据基准摄像机和所述基准摄像机右侧的任一非基准摄像机采集的右侧面部图像进行双目立体匹配，生成所述目标对象在所述基准相机坐标系下的右侧面部点云；

27、s22、根据所述左侧面部点云和右侧面部点云对人脸三维可变模型进行拟合，得到所述目标对象在所述基准相机坐标系下的人脸三维模型。

28、第二方面，提供一种面部数据采集系统，该系统包括显示器、按照不同采集角度部署的多个摄像机和数据处理设备，所述多个摄像机包括基准摄像机和非基准摄像机，所述非基准摄像机分别部署在所述基准摄像机的左右两侧，所述数据处理设备被配置为执行如第一方面所提供的面部数据采集方法。

29、第三方面，提供一种计算设备，该计算设备包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如第一方面提供的面部数据采集方法。

30、第四方面，提供一种计算机可读存储介质，该存储介质中存储有至少一段程序，该至少一段程序由处理器执行以实现如第一方面提供的面部数据采集方法。

31、本技术提供的技术方案至少包括如下技术效果：

32、提供了一种面部数据采集装方法和系统，设计了一种面部数据采集装置，能够高精度地还原面部数据，从多个角度采集类型丰富的面部数据，面部数据可直接用于满足各种智能化应用的需求。