一种用于多目人脸活体检测系统的测试装置与测试方法与流程

1.本发明涉及人脸活体检测技术领域，尤其是一种用于多目人脸活体检测系统的测试装置与测试方法。


背景技术：

2.人脸活体检测、识别技术在身份认证领域已经得到了广泛应用，如门禁、支付、过闸等场景，其中，人脸活体检测技术是杜绝假冒、安全认证的重要防线。不断提升人脸活体检测的安全性，也是人脸识别解决方案提供商持续需要提升的目标。
3.目前活体检测方案也在不断扩展，常见的手段有双目、结构光等，即用人脸的三维信息进行活体检测，可有效提升活体检测的安全性。
4.常用的三维活体检测技术是使用两个或两个以上的相机模组来获取多目信息，针对该多目人脸活体检测系统即多目系统，常使用3d人脸模型或面具等来测试三维活体检测技术的有效性，但这种测试方式存在以下缺陷：多目人脸活体检测系统测试所需的3d人脸模型，通常需要先使用高精度的第三方扫描仪，获取高精度的3d人脸数据，再使用高精度3d打印等方法制作3d人脸面具或模型，制作过程繁琐。这种逼真度较高的3d人脸面具或模型，制作成本通常在几千元甚至数十万，价格昂贵。由于这种3d人脸面具或模型制作过程繁琐，价格昂贵，测试集很难扩大，使用该方法往往很难进行充分测试。


技术实现要素：

5.为了克服上述现有技术中的缺陷，本发明提供一种用于多目人脸活体检测系统的测试装置，易于实现，成本低廉，有利于扩大测试集进行充分测试。
6.为实现上述目的，本发明采用以下技术方案，包括：一种多目人脸活体检测系统的测试装置，多目人脸活体检测系统包括多个相机；各个相机分别拍摄位于人脸检测位置处的待测人员的真实人脸图像；测试装置包括：分别与此多个相机相对应的多个投影仪，用于投影仪投影图像的背景屏，分光单元；所述投影仪在背景屏上进行投影；各个相机同时且分别拍摄对应投影仪在背景屏上的投影图像即获得接收图像，且使得各个相机的接收图像与该相机所拍摄的真实人脸图像相同；相对应的一个投影仪和一个相机构成一组测试单元；所述分光单元用于将各组测试单元的传播光线隔开，保证各组测试单元中的相机仅拍摄对应投影仪在背景屏上的投影图像。
7.多目人脸活体检测系统为双目系统，包括：分别用于拍摄真实人脸图像的两个相机，即第一相机和第二相机；所述测试装置包括：分别与此两个相机相对应的两个投影仪，即第一投影仪和第
二投影仪；所述分光单元包括：放置于第一相机前端的第一偏振片，放置于第一投影仪前端的第二偏振片，放置于第二相机前端的第三偏振片，放置于第二投影仪前端的第四偏振片；其中，第一偏振片与第二偏振片的偏振方向相同，第三偏振片与第四偏振片的偏振方向相同，且第一偏振片与第四偏振片的偏振方向正交。
8.每组测试单元中，相机的成像波段与对应投影仪投影所用的光学波段保持一致。
9.所述背景屏布置于人脸检测位置处；各个投影仪的投射视场与对应相机的相机视场均能覆盖人脸检测位置。
10.本发明还提供了一种用于多目人脸活体检测系统的测试方法，使得各个相机的接收图像与该相机所拍摄的真实人脸图像相同，从而实现从图像层面对多目人脸活体检测系统进行测试。
11.为实现上述目的，本发明采用以下技术方案，包括：一种用于多目人脸活体检测系统的测试方法，包括以下步骤：s1，针对多目人脸活体检测系统中各个相机所拍摄的真实人脸图像分别进行重构，得到与各个相机相对应的重构图像；s2，分别对各个相机的重构图像进行投影，投影出与各个相机相对应的投影图像；s3，各个相机同时且分别拍摄对应的投影图像即获得接收图像，且使得各个相机的接收图像与该相机所拍摄的真实人脸图像相同；s4，多目人脸活体检测系统基于各个相机的接收图像进行人脸活体检测，根据人脸活体检测结果实现多目人脸活体检测系统的测试。
12.步骤s1～s2具体包括以下处理步骤：s11，分别对各组测试单元中的相机和投影仪进行标定，得到各组测试单元的内外参，包括：相机的内参矩阵，投影仪的内参矩阵，相机坐标系与投影仪坐标系之间的旋转矩阵和平移矩阵；s12，分别标定背景屏在各个相机的相机坐标系中的三维位置，得到背景屏在各个相机坐标系中的平面方程；s13，根据步骤s11和步骤s12的标定结果，并基于各个相机所拍摄的真实人脸图像，分别计算各个相机的重构图像数据，各个投影仪根据对应相机的重构图像数据分别向背景屏进行投影，投影出与各个相机相对应的投影图像。
13.步骤s13中，重构图像数据的计算方法，具体如下所示：s131，相机拍摄的真实人脸图像上的某个人脸像素点q的坐标为(uq,vq)，像素值为sq，该人脸像素点q记为(uq,vq;sq)，真实人脸图像上的人脸像素点q对应的人脸三维物点为q；s132，相机点位o和人脸三维物点q的延长线与背景屏的交点为qo，交点qo在相机坐标系中的三维坐标(xo,yo,zo)通过如下方程组求解：
其中，式(1)为背景屏在相机坐标系中的平面方程，a、b、c均为背景屏在相机坐标系中的平面参数；式(2)为相机的成像模型，r2为中间变量，k2为相机的内参矩阵；交点qo的像素值与人脸像素点q的像素值相同，均为sq，该交点qo记为(xo,yo,zo;sq)；s133，针对真实人脸图像上的各个人脸像素点，均按照步骤s131～s132的方式进行处理，在背景屏上分别得到与各个人脸像素点相对应的各个交点，构成在背景屏上附带像素值信息的点云纹理集合；s134，将点云纹理集合转换到投影仪坐标系下，计算重构图像数据；其中，点云纹理集合中的交点qo在重构图像中对应的重构像素点为p，重构像素点p的坐标为(up,vp)，像素值为sp，转换公式如下所示：其中，式(3)为投影仪的成像模型，r1为中间变量，k1为投影仪的内参矩阵，r为相机坐标系和投影仪坐标系之间的旋转矩阵，t为相机坐标系和投影仪坐标系之间的平移矩阵；(xo,yo,zo)为交点qo在相机坐标系中的三维坐标。
14.本发明的优点在于：（1）本发明使用多个投影仪分别投射针对多个相机设计的重构图像，对多目系统进行测试；同时，使用分光单元保证多目系统中的各个相机分别接收对应投影仪的投影图像，不受彼此干扰。本发明具有结构简单，操作方便，易于实现，可复制性强的特点。此外，本发明的重复实验成本低廉，针对于不同人的人脸活体检测，只需多目人脸活体检测系统拍摄不同人的真实人脸图像即可，而不用重复制作3d人脸模型，有利于对多目系统的人脸活体检测性能进行充分测试。
15.（2）本发明使得各个相机的接收图像与该相机所拍摄的真实人脸图像相同，直接从图像层面对多目系统进行测试，而非利用3d人脸模型等3d实体对多目系统进行测试，从而代替3d人脸模型，同时，本发明不影响多目系统从图像中计算获取人脸的三维信息，本发明为多目系统的人脸活体检测提供了另外一种测试思路。
16.（3）本发明提供了一种更加简单、便捷、有效的测试方案，有助于进一步提升多目人脸活体检测系统的安全性，相比3d人脸模型的测试方案，本发明的测试方案很容易扩大
测试集进行充分测试。
附图说明
17.图1为本发明的一种用于多目人脸活体检测系统的测试方法的流程图。
18.图2为本实施例的一种用于双目人脸活体检测系统的测试装置的示意图。
19.图3为本发明的一种用于多目人脸活体检测系统的测试装置的处理流程图。
20.图4为本发明的计算投影图像数据的转换示意图。
21.图5为待测试的3d人脸模型。
22.图6a为双目人脸活体检测系统中第一相机所拍摄的真实人脸图像。
23.图6b为双目人脸活体检测系统中第二相机所拍摄的真实人脸图像。
24.图7a为经分光单元分光后第一相机的接收图像。
25.图7b为经分光单元分光后第二相机的接收图像。
26.图8为未经分光单元分光第一相机的接收图像。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.多目人脸活体检测系统包括多个相机；待测人员的人脸位于多目人脸活体检测系统前方的人脸检测位置，各个相机分别拍摄位于人脸检测位置处的待测人员的真实人脸图像。
29.本发明的一种用于多目人脸活体检测系统的测试装置，包括：分别与此多个相机相对应的多个投影仪，用于投影仪投影图像的背景屏3，分光单元；其中，所述投影仪在背景屏3上进行投影，各个相机同时且分别拍摄对应投影仪在背景屏3上的投影图像即获得接收图像，且使得各个相机的接收图像与该相机所拍摄的真实人脸图像相同；相对应的一个投影仪和一个相机构成一组测试单元；所述分光单元用于将各组测试单元的传播光线隔开，保证各组测试单元中的相机仅接收对应投影仪在背景屏3上的投影图像。例如，针对由不同类型的相机构成多目系统，可以采用不同波段、利用布鲁斯特角的全反射特性、正交偏振的分光方式。
30.测试装置的每组测试单元中，相机的成像波段与对应投影仪投影所用的光学波段保持一致。例如，使用红外相机搭建的多目系统，则投影仪也需要使用对应波段的红外投影仪；另外，多目系统中的多个相机也可以是不同波段的成像相机，其在多光谱活体检测手段中较为常见，则各个投影仪投影所用光学波段与其对应相机的成像波段保持一致即可。
31.待测人员的人脸位于多目人脸活体检测系统的相机前方合适的人脸检测位置，多目人脸活体检测系统中的各个相机分别拍摄位于人脸检测位置处的待测人员的真实人脸图像，拍摄完成后待测人员离开，从而得到各个相机所拍摄的真实人脸图像。背景屏3布置于在多目人脸活体检测系统的人脸检测位置附近处；分别布置各个投影仪，调整各个投影
仪的位置，使得各个投影仪的投射视场与对应相机的相机视场均能覆盖人脸检测位置，即覆盖对应测试单元在背景屏上的人脸投影区域。
32.本实施例中，还提供了一种用于双目人脸活体检测系统的测试装置，由图2所示，双目人脸活体检测系统包括：分别用于拍摄真实人脸图像的两个相机，即第一相机11和第二相机12；本实施例中，所述第一相机11和第二相机12为相同波段的两个成像相机；测试装置包括：分别与此两个相机相对应的两个投影仪，即第一投影仪21和第二投影仪22；所述第一投影仪21和第一相机11构成第一组测试单元51；所述第二投影仪22和第二相机12构成第二组测试单元52；第一投影仪21和第二投影仪22所用光学波段与其对应相机的成像波段保持一致。
33.测试装置中的分光单元包括：放置于第一相机11前端的第一偏振片41，放置于第一投影仪21前端的第二偏振片42，放置于第二相机12前端的第三偏振片43，放置于第二投影仪22前端的第四偏振片44；其中，第一偏振片41与第二偏振片42的偏振方向相同，第三偏振片43与第四偏振片44的偏振方向相同，且第一偏振片41与第四偏振片44的偏振方向正交，保证各组测试单元中的相机仅接收对应投影仪的投影图像，不会发生相互干扰。本实施例中，第一偏振片41与第二偏振片42仅透过水平偏振光，第三偏振片43与第四偏振片44仅透过数值偏振光。
34.由图1所示，一种用于多目人脸活体检测系统的测试方法，包括以下步骤：s1，针对多目人脸活体检测系统中的各个相机所拍摄的真实人脸图像分别进行重构，得到与各个相机相对应的重构图像；s2，分别对各个重构图像进行投影，在背景屏3上投影出与各个相机相对应的投影图像；s3，各个相机同时且分别拍摄对应的投影图像即获得接收图像，且各个相机的接收图像与该相机所拍摄的真实人脸图像相同；s4，多目人脸活体检测系统基于各个相机的接收图像进行人脸活体检测，根据人脸活体检测结果实现多目人脸活体检测系统的测试。
35.由图3所示，步骤s1～s2具体包括以下处理步骤：s11，分别对各组测试单元中的相机和投影仪进行标定，得到各组测试单元的内外参，包括：相机的内参矩阵，投影仪的内参矩阵，相机坐标系与投影仪坐标系之间的旋转矩阵和平移矩阵。
36.步骤s11中，所述标定可使用投影仪投射类似于黑白棋盘、圆点矩阵等标定图案，之后由各组测试单元中的相机采集该标定图案。该标定算法与普通标定算法方案类似，且该类标定方法在现有技术中较为成熟的，具体可参见现有技术。
37.s12，分别标定背景屏3在各个相机的相机坐标系中的三维位置，得到背景屏3在各个相机坐标系中的平面方程。
38.步骤s12中，分别标定背景屏3在各个相机的相机坐标系中的三维位置，即求解背景屏3所在的三维平面在各个相机的相机坐标系中的平面方程，可使用黑白棋盘或圆点矩阵等标定板紧贴背景屏，之后由各组测试单元中的相机采集该标定板，可采用机器视觉中的pnp算法方案（pespective-v-point），标定板的厚度应小于测试距离的1%，可有效避免背景屏标定位置误差，该标定方法同样在现有技术中较为成熟的，具体可参见现有技术。
39.s13，根据步骤s11和步骤s12的标定结果，并基于各个相机所拍摄的真实人脸图像，分别计算各个相机的重构图像数据即各个投影仪所投影的重构图像数据，各个投影仪根据对应的重构图像数据分别向背景屏3进行投影。
40.步骤s13中，重构图像数据的计算方法，具体如下所示：s131，由图4所示，相机拍摄的真实人脸图像上的某个人脸像素点q的坐标为(uq,vq)，像素值为sq，该人脸像素点q记为(uq,vq;sq)，真实人脸图像上的人脸像素点q对应的人脸三维物点为q；s132，由图4所示，相机点位o和人脸三维物点q的延长线与背景屏3的交点为qo，交点qo在相机坐标系中的三维坐标(xo,yo,zo)通过如下方程组求解：其中，式(1)为背景屏3在相机坐标系中的平面方程，a、b、c均为背景屏3在相机坐标系中的平面参数；式(2)为相机的成像模型，r2为中间变量，r2的取值针对不同人脸像素点是不同的，k2为相机的内参矩阵；交点qo的像素值与人脸像素点q的像素值相同，均为sq，该交点qo记为(xo,yo,zo;sq)；s133，针对真实人脸图像上的各个人脸像素点，均按照步骤s131～s132的方式进行处理，在背景屏3上分别得到与各个人脸像素点相对应的各个交点，构成在背景屏3上附带像素值信息的点云纹理集合；s134，将点云纹理集合转换到投影仪坐标系下，计算重构图像数据，生成重构图像；其中，点云纹理集合中的交点qo在重构图像中对应的重构像素点为p，重构像素点p的坐标为(up,vp)，像素值为sp，转换公式如下所示：其中，式(3)为投影仪的成像模型，r1为中间变量，r1的取值针对不同重构像素点是不同的，k1为投影仪的内参矩阵，r为相机坐标系和投影仪坐标系之间的旋转矩阵，t为相机坐标系和投影仪坐标系之间的平移矩阵；(xo,yo,zo)为交点qo在相机坐标系中的三维坐标；
用于计算交点qo在投影仪坐标系中的三维坐标.基于上述测试方法，本实施例的一种用于双目人脸活体检测系统的测试装置的测试结果由图5～图8所示，其中，图5为待测试的3d人脸模型；图6a为双目人脸活体检测系统中放置于左侧的第一相机11所拍摄的真实人脸图像；图6b为双目人脸活体检测系统中放置于右侧的第二相机11所拍摄的真实人脸图像；图7a为经分光单元分光后第一相机11的接收图像；图7b为经分光单元分光后第二相机12的接收图像；图8为未经分光单元分光第一相机11的接收图像。根据图6a和图7a的对比可知，第一相机11所拍摄的真实人脸图像与第一相机11的接收图像相同；根据图6b和图7b的对比可知，第二相机12所拍摄的真实人脸图像与第一相机11的接收图像相同；根据图7a和图8的对比可知，采用分光单元能够保证各组测试单元中的相机仅接收对应投影仪的投影图像，不发生相互干扰。因此，采用本发明的测试装置和测试方法能够代替3d人脸模型，直接从图像层面对多目系统进行测试，无需采用3d人脸模型等3d实体，就可以实现人脸活体检测系统的测试，并且无需制作大量3d人脸模型等3d实体，就可以实现扩大测试集进行充分测试。本发明结构简单，操作方便，易于实现，成本低廉。
41.以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。