光源的量化设计方法及立体视觉系统与流程

本发明涉及视觉图像处理技术领域，尤其涉及一种光源的量化设计方法及立体视觉系统。

背景技术：

双目立体视觉(binocularstereovision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取视觉场景的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉融合两只“眼睛”获得的原始图像并观察它们之间的差别，可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，通过计算这个差别可以得到视差(disparity)图像。

双目立体视觉根据光源的不同可以分为主动立体视觉(主动提供光源)及被动立体视觉(借助环境光)，其中主动立体视觉通过增加伪随机模式的光源(发出点阵光斑)对场景进行纹理化，相对于被动立体视觉来说，可以弥补在重复纹理或者弱纹理场景的不足，伪随机模式的光源增强了场景的纹理，降低了立体匹配算法的复杂度，提高了深度图像的精度。

目前已有的伪随机模式的光源是点亮度均匀和点密度均匀的点阵激光器，适合应用在不确定场景中为主动立体匹配测距时提供纹理信息，此时点阵激光器需要发出伪随机模式的光源，能耗较大，但是在人脸识别的应用中，尤其是移动端设备的人脸识别应用中，点阵激光器的功率或者说是点阵光斑的点密度应该量化设计，以达到点阵激光器能耗和人脸识别精度的平衡。

技术实现要素：

本发明的目的在于提供一种光源的量化设计方法及立体视觉系统，在降低立体视觉系统能耗的同时能够提高人脸识别的精度。

为了达到上述目的，本发明提供了一种光源的量化设计方法，用于量化设计一立体视觉系统的光源，所述光源用于发出点阵光斑以照明一人脸，并通过多个所述摄像模块拍摄被所述光源主动照明的人脸，以获得一组对应所述人脸的不同拍摄角度的人脸图像，包括：

提供n组人脸图像并分别计算出对应n组人脸图像的n个深度图像，其中，n≥1，且每组人脸图像中包括对应同一人脸的至少两个人脸图像；

将n个所述深度图像中的人脸对齐以得到平均深度图像；

根据所述平均深度图像得到深度梯度图像；

根据所述深度梯度图像量化设计所述光源发出的所述点阵光斑的分布密度。

可选的，所述点阵光斑的分布密度与所述深度梯度图中的梯度值正相关。

可选的，将n个所述深度图像的人脸对齐的步骤包括：

从每组人脸图像中拍摄角度相同的一个所述人脸图像记为待变换图像，并标记出每个所述待变换图像的k个关键像素，其中k大于等于4；

根据每个所述待变换图像的k个关键像素得到对应每个所述待变换图像的归一化参数；

利用所述归一化参数对n个所述深度图像进行归一化，以使每个所述深度图像中的人脸对齐。

可选的，k个所述关键像素分别为人脸的两只眼睛、鼻子及嘴巴的轮廓所在的像素。

可选的，所述归一化参数包括缩放系数、平移系数及旋转系数中的一种或多种。

可选的，所述平均深度图像上每个像素的深度值为n个所述深度图像进行归一化后在对应像素上的深度平均值。

可选的，对所述平均深度图像采用梯度算子进行卷积以得到所述深度梯度图像。

可选的，在量化设计所述光源发出的点阵光斑的分布密度之后，还根据所述平均深度图像的尺寸约束所述光源发出的点阵光斑的照明范围。

本发明还提供了一种立体视觉系统，包括光源及多个摄像模块，所述光源用于发出点阵光斑以照明一人脸，多个所述摄像模块用于拍摄被所述光源主动照明的所述人脸，以获得一组对应所述人脸的不同拍摄角度的人脸图像，其中，所述点阵光斑的分布密度采用所述光源的量化设计方法来量化设计。

可选的，所述点阵光斑的分布密度与一深度梯度图中的梯度值正相关。

在本发明提供的光源的量化设计方法及立体视觉系统中，首先根据n组人脸图像分别计算出对应n组人脸图像的n个深度图像，然后将n个人脸图像的人脸对齐以得到归一化参数，并使用该归一化参数获取n个所述深度图像的人脸的平均深度图像，接着根据所述平均深度图像得到深度梯度图像，再根据所述深度梯度图像约束所述光源发出的点阵光斑的分布密度，使所述点阵光斑的分布密度能够更适用于人脸，从而提高立体视觉系统的人脸深度的测量精度，还通过平均深度图像的尺寸约束点阵光斑的照明范围，可以减少人脸外区域的点阵光斑的分布密度，从而降低了能耗。

附图说明

图1为本发明实施例提供的光源的量化设计方法的流程图；

图2为本发明实施例提供的深度梯度图像的示意图。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

如图1所示，本发明提供了一种光源的量化设计方法，用于量化设计一立体视觉系统的光源，所述光源用于发出点阵光斑以照明一人脸，并通过多个所述摄像模块拍摄被所述光源主动照明的人脸，以获得一组对应所述人脸的不同拍摄角度的人脸图像，包括：

s1：提供n组人脸图像并分别计算出n组人脸图像所对应的n个深度图像，其中，n≥1，且每组人脸图像中包括对应同一人脸的至少两个人脸图像；

s2：将n个所述深度图像的人脸对齐以得到平均脸，并获取所述平均脸的平均深度图像；

s3：根据所述平均深度图像得到深度梯度图像；

s4：根据所述深度梯度图像量化设计所述光源发出的点阵光斑的分布密度。

本实施例中，所述立体视觉系统为双目主动立体视觉系统，且应用于移动设备(如手机、平板电脑)的人脸识别功能中，所述立体视觉系统具有多个摄像模块以分别拍摄同一人脸以得到一组对应所述人脸的不同拍摄角度的人脸图像，在拍摄时人脸被所述立体视觉系统的光源主动照明。可选的，所述立体视觉系统的光源可以是点阵激光器，用于形成点阵光斑，所述点阵光斑可以是红外点阵光斑，所述摄像模块可以均为红外摄像模块。

基于双目主动立体视觉系统，首先执行步骤s1，在人脸样本库(由立体视觉系统拍摄)中采集n(n≥1)组人脸图像，本实施例中，每组人脸图像中包括由不同视角拍摄到的对应同一人脸的两个人脸图像，即每组人脸图像中包括一对对应同一人脸的人脸图像，然后分别计算出每组人脸图像对应的深度图像，一共得到n个所述深度图像。

进一步，由于人脸样本库中不同组别的人脸图像的尺寸可能是大小不一的，人脸大小也不相同，人脸的五官分布位置也不同，因此为了消除不同组别的人脸图像中人脸区域的位置、大小、方向的差异，所以要通过坐标变换，对人脸图像进行归一化操作使每组中所有人脸图像都归一到一个统一的标准上，这个统一标准即为平均脸。

具体的，执行步骤s2，将n个所述深度图像的人脸对齐以得到平均脸，即平均深度图像。具体的，选取每组人脸图像中拍摄角度相同的一个所述人脸图像记为待变换图像，例如，选取每组人脸图像中的左视角拍摄的人脸图像或者选取每组人脸图像中的右视角拍摄的人脸图像记为待变换图像，此时所述待变换图像也有n个。接着标记出每个所述待变换图像的k个关键像素，其中k大于等于4，k个关键像素分别为所述待变换图像中人脸的两只眼睛、鼻子及嘴巴的轮廓所在的像素，即人脸的五官中除了耳朵以外，每个器官的轮廓至少应该有一个关键像素，当然，每个器官的轮廓上分布的关键像素可以有多个，以提高对准的精度。

可选的，本实施例通过如下方法将n个所述待变换图像对齐：首先，获取每个所述待变换图像的k个关键像素中横坐标的最大值和最小值及纵坐标的最大值和最小值，以得到沿横坐标方向的缩放系数及沿纵坐标方向的缩放系数；然后获取每个所述待变换图像的k个关键像素中横坐标的均值及纵坐标的均值，以得到沿横坐标方向的平移系数及沿纵坐标方向的平移系数；沿横坐标方向的缩放系数和平移系数及沿纵坐标方向的缩放系数和平移系数构成归一化参数；最后利用所述归一化参数对n个所述深度图像进行归一化，以使每个所述深度图像中的人脸对齐，通过上述对齐步骤之后，每个所述深度图像的尺寸相同，且每个所述深度图像上k个关键像素的位置均与平均脸上的k个关键像素的位置相同。当然，所述归一化参数还可以包括旋转系数，归一化的方法可以是刚性变换、仿射变换等，本发明不作限制。

进一步，将n个所述深度图像上各对应像素进行平均即可以得到平均脸。本实施例中，将n个所述待变换图像上各对应像素的深度值进行平均以得到所述平均脸的平均深度图像，即所述平均深度图像上每个像素的深度值为n个所述深度图像在对应像素上的深度平均值，所述平均深度图像的计算可以采用以下公式表示：

其中，为所述平均深度图像的深度分布，is(p)为每个深度图像的深度分布。

获取所述平均深度图像之后，执行步骤s3，可以利用梯度算子进行卷积以得到平均脸的深度梯度图像，具体如图2所示，然后执行步骤s4，根据所述深度梯度图像量化设计所述光源发出的点阵光斑的分布密度，本实施例中，所述点阵光斑的分布密度与所述深度梯度图中的梯度值正相关，即所述深度梯度图像中梯度值越高的位置，将点阵光斑的密度设置的更大，而所述深度梯度图像中梯度值越低的位置，将点阵光斑的分布密度设置的更小，通过减少梯度值低的区域的点阵光斑的分布密度，从而降低了能耗，而在梯度值较高的区域增加点阵光斑的分布密度，从而提高了识别精度。

可选的，本实施例还通过计算得到的平均深度图像可以确定有效识别区域，在量化设计所述立体视觉系统的光源发出的点阵光斑的分布密度之后，还可以根据所述有效识别区域(人脸所占的区域)量化设计所述光源发出的点阵光斑的照明范围，防止光源发出点阵光斑成为无效光斑。

基于此，本实施例还提供了一种立体视觉系统，包括光源及多个摄像模块，所述光源用于发出点阵光斑照明一人脸，多个所述摄像模块用于拍摄被所述光源主动照明的所述人脸，以获得一组对应所述人脸的不同拍摄角度的人脸图像，其中，所述点阵光斑的分布密度采用所述的光源的量化设计方法来量化设计。本实施例中，所述点阵光斑的分布密度与所述深度梯度图中的梯度值正相关，并且，所述光源的照明范围也可以通过所述平均深度图像来确定，即可以使所述光源发出的点阵光斑照射的区域尽量在所述平均脸的范围内(使点阵光斑照射在有效识别区域内)，避免所述立体视觉系统在使用时，光源发出的点阵光斑照射至人脸以外的区域成为无效光斑，既浪费能量，也不能提高识别的精度。

综上，在本发明实施例提供的光源的量化设计方法及立体视觉系统，首先根据n组人脸图像分别计算出对应n组人脸图像的n个深度图像，然后将n个人脸图像的人脸对齐以得到归一化参数，并使用该归一化参数获取n个所述深度图像的人脸的平均深度图像，接着根据所述平均深度图像得到深度梯度图像，再根据所述深度梯度图像约束所述光源发出的点阵光斑的分布密度，使所述点阵光斑的分布密度能够更适用于人脸，从而提高立体视觉系统的人脸深度的测量精度，还通过平均深度图像的尺寸约束点阵光斑的照明范围，可以减少人脸外区域的点阵光斑的分布密度，从而降低了能耗。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。