专利名称：无光照人脸图像重建方法和系统的制作方法
技术领域：
本发明属于图像重建领域，尤其涉及一种具有较强的光照适应性的无光照人脸图 像重建方法和系统。
背景技术：
由于具有非接触式、直观友好等技术优势，基于生物特征的人脸识别技术在安防、 金融安全、考勤等领域得到了广泛的应用。人脸识别的过程大致为捕获待识别原始人脸图像，之后再进行人脸检测并进行 人脸特征提取，将提取的人脸特征与参考图像中的人脸特征进行比对，从而完成整个人脸 识别的过程。在二维图像表示下，待识别原始人脸图像表现为人脸光照模板图像和人脸反 射率图像的叠加。其中，人脸光照模板图像是光照沿着人脸法向的投影，人脸反射率图像为 人脸光照不变量图像。在频域中，人脸光照模板图像可以近似为低频分量，人脸反射率图 像近似为高频分量，所以，现有技术试图从待识别原始人脸图像中分离出人脸反射率图像， 基于该人脸反射率图像进行人脸识别。现有技术之一是采用LTV (logarithmic total variation，简称log全变差)法对待识别原始人脸图像进行滤波和去噪处理，获得人脸光 照模板图像，继而在LOG域下对待识别原始人脸图像进行差分，得到人脸反射率图像。直接 基于该人脸反射率图像完成人脸识别。但是，在进行差分时，消除了大量的人脸结构特征和 纹理信息，使得人脸反射率图像丢失了大量的图像特征。所以，现有技术之一的技术方案难 以应对恶劣的光照条件，对光照条件的适应性较差。现有技术之二对上述现有技术之一进行了改进简称RLS法。现有技术之二中，首 先采用LTV从待识别原始人脸图像中差分出人脸光照模板图像和人脸反射率图像。然后分 别对人脸光照模板图像和人脸反射率图像进行滤波和校正，将人脸光照模板图像转化为正 常光照下的人脸模板图像。在对正常光照下的人脸模板图像和滤波、校正后的人脸反射率 图像进行合成，从而获得正常光照下的待识别原始人脸图像。但是，差分过程中获得的人脸 光照模板图像的纹理信息较少，校正的准确度较低，合成得到的正常光照下的待识别原始 人脸图像出现不均勻的光斑或暗斑，降低了人脸识别的准确率。
发明内容
本发明所要解决的技术问题是提供一种无光照人脸图像重建方法和系统，以避免 现有技术差分过程中纹理信息的缺少导致重建的图像与待识别原始人脸图像误差较大，从 而提高了人脸识别的准确率。为解决上述技术问题，本发明提供了一种无光照人脸图像重建方法，该方法包括 步骤1、从待识别原始人脸图像中获取人脸反射率图像；步骤2、根据不同光照条件下的人脸参考图像建立光照子空间，并将待识别原始人脸图 像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像；
步骤3、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹 理子空间，将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率 纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图 像；
步骤4、根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建 无光照人脸图像。为解决上述技术问题，本发明还提供了一种无光照人脸图像重建系统，该系统包 括
反射率图像获取单元用于从待识别原始人脸图像中获取人脸反射率图像； 光照子空间投影单元用于根据不同光照条件下的人脸参考图像建立光照子空间以及 将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像 和无光照参考图像；
纹理子空间投影单元用于根据原始光照参考图像、无光照参考图像分别建立原始纹理 子空间、反射率纹理子空间，以及将待识别原始人脸图像、人脸反射率图像分别投影到原始 纹理子空间、反射率纹理子空间分别获得原始纹理子空间基图像的投影系数以及反射率纹 理子空间中的基图像；
图像重建单元用于根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的 基图像重建无光照人脸图像。本发明中，分别将待识别人脸图像和人脸反射率图像投影到光照子空间得到对应 的原始光照参考图像和无光照参考图像，并以此分别建立对应的原始纹理子空间、反射率 纹理子空间，根据待识别原始人脸图像、人脸反射率图像投影到对应的原始纹理子空间、反 射率纹理子空间计算出原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基 图像，根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像得到重建的 无光照人脸图像，区别于现有技术中利用LTV方法重建得到人脸反射率图像，以及利用RLS 方法对对正常光照下的人脸模板图像和滤波、校正后的人脸反射率图像进行合成得到重建 的待识别原始人脸图像，避免了差分过程中纹理信息的缺少导致重建的图像与待识别原始 人脸图像误差较大，从而提高了人脸识别的准确率。而且，本发明的技术方案不依赖于高分 辨的待识别原始人脸图像；不需要固定光照的人脸图像训练集；不需要恢复人脸结构；仅 从单张待识别原始人脸图像可以得到重建的无光照人脸图像，重建的无光照人脸图像包含 有丰富的纹理信息和图像特征。
图1为本发明无光照人脸图像重建方法实施例一的流程图； 图2为针对一个个体建立的光照子空间示意图3为本发明某种光照下的原始纹理子空间和反射率纹理子空间示意图； 图4为本发明无光照人脸图像重建方法实施例二的流程图；图5为本发明无光照人脸图像重建方法实施例二中重建的无光照人脸图像； 图6为本发明在Yale B数据库中无光照图像重建误差与现有方法的比较示意图； 图7为本发明在Yale B数据库中重建的图像效果与现有技术之二的比较示意图； 图8为基于本发明方法与现有技术其他方法的人脸识别率比较示意图； 图9为基于本发明方法与Nishino方法在CMU PIE数据库中的人脸识别率比较示意
图10为本发明无光照人脸图像重建系统实施例的结构示意图。
具体实施例方式下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。图1为本发明无光照人脸图像重建方法实施例一的流程图。如图1所示，本实施 例中的无光照人脸图像重建方法包括
S101、对待识别原始人脸图像进行亮度调节。在光照条件比较恶劣的环境中，由于待识别原始人脸图像的某些区域呈现为亮斑 或者黑斑，容易给重建增加误差，因此，在获取人脸反射图像之前对待识别原始人脸图像进 行亮度调节。可以采用对对应于待识别原始人脸图像的图像直方图进行拉伸的方式进行亮 度调节。S102、从亮度调节后的待识别原始人脸图像中获取人脸反射率图像。待识别原始人脸图像可以为任意光照条件下捕获的人脸图像。本实施例中，步骤 S102可以具体包括
S112、对待识别原始人脸图像进行平滑滤波获得人脸光照模板图像。如公式(1)所示，待识别原始人脸图像可以表示为人脸光照模板图像和人脸 反射率图像乘积。由于人脸光照模板图像L近似为图像低频信号，而人脸反射率图像 々近似为图像高频信号，所以对待识别原始人脸图像进行平滑滤波处理后即可获得人脸光 照模板图像L。I= P· L(1)
公式(1)中J表示待识别原始人脸图像I表示为人脸光照模板图像，P表示人脸反
射率图像。S122、根据log全变差法以及人脸光照模板图像对待识别原始人脸图像进行差分 得到人脸反射率图像。在LOG域下，如公式(2)所示，待识别原始人脸图像为人脸光照模板图像和人脸反 射率图像的log值之和。在LOG域下对待识别原始人脸图像进行LTV法，即可获得人脸反 射率图像。Iog(I) = Iog(P) + Iog(L)(2)
公式(2)中J表示待识别原始人脸图像I表亍为人脸光照模板图像η表亍人脸反 射率图像。除了采用上述LTV法可以获得人脸反射率图像，也可以采用DCT变换方法获得人脸反射率图像。S103、根据不同光照条件下的人脸参考图像建立光照子空间，并将待识别原始人 脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像。光照子空间由同一个体在不同的光照条件下的人脸参考图像组成，这些人脸参考 图像预先存储在人脸参考图像库中。图2为针对一个个体建立的光照子空间示意图。如图 2所示，该光照子空间由同一个体在不同的光照图像下的18幅人脸参考图像组成。如果有 η个个体，就会有η个对应的待识别原始人脸图像，因此就需要建立η组光照子空间。由于人脸光照模板图像为光照沿着人脸法向的投影，因此，如公式(3)所示，人脸 光照模板图像可以分解为光照与人脸法向的矢量积。因此，根据上述公式(1)和公式(3)， 将待识别原始人脸图像分解为人脸反射率图像、人脸法向和光照三者之间的矢量积，如公 式(4)所示。L = I ·η(3)
公式(3)中，I表示人脸光照模板图像，I表示光照，η表示人脸法向。I = ρ·η ·1(4)
公式(4)中，J表示待识别原始人脸图像，P表示人脸反射率图像，I表示光照，fJ表示 人脸法向。由于人脸发射率图像、人脸法向与光照均没有关系，所以上述公式(4)中沪
为常数，该常数定义为光照不变量，用^表示，即2= P ■ 。因此，公式(4)进一步表示为 I=Sml。对于光照子空间组中的每个光照子空间，构成该光照子空间所有人脸参考图像 具有相同的光照不变量』。本实施例中，基于郎博平面的假设，投影得到原始光照参考图像和无光照参考图像。在郎博平面的假设下，由于任意的光照可以表示为光照子空间中的光照线性拟 合，如公式(5)所示。Lm = Σ^' mli(5)
I
公式(5)中，^ra表示拟合后的任意光照，％表示第 个光照投影系数元素，Ii表示光 照子空间中的第 个光照。因此,根据Ι = ·3··/以及公式(5)得到公式(6)。
I =^e =〉 · s ·1《=〉—3(6)
B1 -S^L
1 S1
公式(6)中，Bh表示光照子空间基图像马中的第，个基图像元素，基图像元素马，是 光照子空间中互不相关的人脸参考图像的像素点构成的向量，光照子空间基图像马是这些向量性质的基图像元素构成的矩阵。将待识别原始人脸图像和人脸反射率图像分别投影到光两子芏间时，由于该光照 子空间中所有人脸参考图像的光照不变量^相同，人脸光照模板图像I不同，所以，待识别 原始人脸图像和人脸反射率图像与光照子空间中的任意人脸参考图像Z间的差异仅在于 光照不同。此处，当光照子空间中的某幅人脸参考图像分别与待识别原始人脸图像和人脸 反射率图像差异最小时，两者之间的光照一致。因此，可以通过最小化公式(7)中的能量函 数得到投影系数。Om = π η{α\E =\\ Iin-aBs\\}^am = (B17* B,)'1 * B,T *Iin(7)
公式(7)中，^表示原始光照参考图像或无光照参考图像在光照子空间中的投影系
数，α表示原始光照参考图像或无光照参考图像在光照子空间中的投影系数向量，马表示
光照子空间中的基图像，4表示待识别原始人脸图像或人脸反射率图像，ι表示待识别原 始人脸图像或者人脸反射率图像的能量函数。在根据公式(7)计算得到投影系数后，再结合公式(6)即可分别得到原始光照参 考图像和无光照参考图像，原始光照参考图像的光照与待识别原始人脸图像的光照一致， 无光照参考图像的光照与人脸反射率图像的光照一致。S104、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率 纹理子空间，将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射 率纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间的基图像。纹理子空间由步骤S103中投影得到的参考图像构成。具体地，原始纹理子空间由 原始光照参考图像构成，反射率纹理子空间由无光照参考图像构成。图3为本发明某种光 照下的原始纹理子空间和反射率纹理子空间示意图。如图3所示，第一行为原始纹理子空 间，该原始纹理子空间由8幅原始光照参考图像构成；第二行为反射率纹理子空间，该反射 率纹理子空间同样由8幅无光照参考图像构成。从反射率纹理子空间选取互不相关的无光照参考图像作为反射率纹理子空间的 基图像Bfi。从原始纹理子空间选取互不相关的原始光照参考图像作为原始纹理子空间的
基图像易。以待识别原始人脸图像在原始纹理子空间中的投影为例，反射率图像在反射率纹 理子空间中的投影与之相同。根据= minC I^w=H Iln - ·巧丨|)计算待识别原始人
脸图像在原始纹理子空间基图像的投影系数 / , Sj表示原始纹理子空间的基图像，如表
示原始纹理子空间基图像的投影权重，Iw表示待识别原始人脸图像的能量函数，Ia表示 待识别原始人脸图像。上述步骤103、104中的待识别原始人脸图像是指经过亮度调节后的待识别原始 人脸图像。S105、根据原始纹理子空间基图像的投影系数和反射率纹理子空间的基图像重建无光照人脸图像。本实施例中，根据公式(8)，对原始纹理子空间基图像的投影系数和反射率纹理子 空间的基图像交叉运算,得到重建的无光照人脸图像。In^1 = m bP(8)
公式(8)中，< 表示原始纹理子空间基图像的投影系数，^ff表示反射率纹理子空间的 基图像。图4为本发明无光照人脸图像重建方法实施例二的流程图。如图4所示，本实施 例中的无光照人脸图像重建方法包括
5401、从待识别原始人脸图像中获取人脸反射率图像；
5402、对待识别原始人脸图像和人脸反射率图像分别进行亮度调节；
本实施例与上述实施例一不同之处在于，从待识别原始人脸图像中获取人脸反射率图 像之后，分别对待识别原始人脸图像和人脸反射率图像进行亮度调节，具体亮度调节的方 式可以类似于实施例一所述的利用对直方图进行拉伸的方式。S403、根据不同光照条件下的人脸参考图像建立光照子空间，并将亮度调节后的 待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和 无光照参考图像。S404、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率 纹理子空间，分别从原始纹理子空间和反射率纹理子空间中选取互不相关的原始光照参考 图像、无光照参考图像作为原始纹理子空间中的基图像、反射率纹理子空间中的基图像。从原始纹理子空间中选取互不相关的原始光照参考图像作为原始纹理子空间中 的基图像；从反射率纹理子空间中选取互不相关的无光照参考图像作为反射率纹理子空间 中的基图像。原始纹理子空间中的基图像和反射率纹理子空间中的基图像均是矩阵式基图 像。这些矩阵式基图像由若干个原始光照参考图像或者无光照参考图像对应一个基图像向 量构成。S405、按照预定的规则对亮度调节后的待识别原始人脸图像和人脸反射率图像进 行分块分别得到待识别原始人脸图像块和人脸反射率图像块。S406、按照预定的规则分别对原始纹理子空间和反射率纹理子空间的基图像进行 分块得到对应的基图像块。即对原始纹理子空间的每一个基图像进行分块，对反射率纹理子空间的每一个基 图像进行分块。由于通常情况下，待识别原始人脸图像块、人脸反射率图像、原始光照参考图像和 无光照参考图像等的图像像素数目要远远大于原始纹理子空间中的原始光照参考图像、反 射率纹理子空间中的无光照参考图像的数目，所以，为了防止利用能量最小函数计算得到 的原始纹理图像各块的投影系数误差过大，对待识别原始人脸图像、人脸反射率图像进行 分块得到待识别原始人脸图像块和人脸反射率图像块，分别对原始纹理子空间和反射率纹 理子空间的基图像进行分块得到原始纹理子空间基图像块、反射率纹理子空间基图像块。 换言之，原始纹理子空间和反射率纹理子空间的中的每一幅基图像均由若干个基图像块构 成。
对待识别原始人脸图像、人脸反射率图像、原始纹理子空间和反射率纹理子空间 的基图像进行分块按照预定的规则进行。该预定的规则可以为使每一幅待识别原始人脸 图像包含的图像块、人脸反射率图像包含的图像块的数目分别与原始纹理子空间和反射率 纹理子空间的每一幅基图像包含的基图像块数目相等。本实施例中，为了消除图像块之间的边界效应，采用重叠分块。此处，以反射率纹 理子空间的基图像分块来说明如何进行重叠分块。假如反射率纹理子空间的基图像大小 为(高*宽)，基于预定的规则使反射率纹理子空间的每一幅基图像包含的基图像块
的像素数目分别与反射率纹理子空间中的无光照参考图像数目相当，计算出重叠的步长 5
，所以，每一个基图像块大小为~ #W{(高*宽)，反射率纹理子空间的每一幅基图像就包含
(h — /],) . (w —w,)
J* f a个基图像块。原始纹理子空间的基图像、待识别原始人脸图像、人脸
反射率图像的分块与此处描述的反射率纹理子空间的基图像分块方法类似。S407、根据待识别人脸图像块的能量函数最小计算原始纹理图像各块的投影系数。对于待识别原始人脸图像块来说，根据其在原始纹理子空间下对应的原始纹理子 空间基图像块以及能量函数最小可以计算出该原始纹理图像块的投影系数，详细计算方法 如公式(9)所示。C^p = min(ftf | EJ =|| IJ -Iif · 5/||)(9)
表示待识别人脸图像在原始纹理子空间的基图像中第块基图像块投影系数，
i；/表示待识别人脸图像中第P块图像块，af表示原始纹理子空间的基图像中第ρ块基
图像块的投影权重，5/表示原始纹理子空间的基图像中第τ块基图像块，S/表示待识 别人脸图像中第^块图像块的能量函数。步骤408、根据原始纹理图像各块的投影系数和反射率纹理子空间的基图像块重 建无光照人脸图像。将上述公式(9)遍历每一幅原始纹理子空间的基图像块得到原始纹理图像各块的 投影系数，这些图像块的投影系数构成投影系数向量"I^1,-2,...,与反射率纹理子空
间的基图像块构成的基图像向量{sy, s/,...，^^/}交叉合成得到重建无光照人脸图像， 如公式( ο)所示。
I^n = G^m Bp = Yi^i B；(10)
公式(10)中表示重建的无光照人脸图像，其中，表示由原始纹理图像块投影系数ffl^组成的原始纹理子空间基图像的投影系数；Sjff表示由反射率纹理图像的基图
像块^组成的反射率纹理子空间中的基图像表示每一幅基图像中包含的基图像块数 目。图5为本发明无光照人脸图像重建方法实施例二中重建的无光照人脸图像。如图 5所示，左边第一幅为表出图像分块策略的待识别原始人脸图像，从中可看出，在待人别人 脸图像的左上角有三个图像块，右下角同样有三个图像块。开始从左到右按列依次为不同 光照条件下的待识别原始人脸图像、按照不同分块重建的无光照人脸图像，具体地，从左到 有右依次为待识别原始人脸图像，块大小为2*2、步长为1重建的无光照人脸图像，块大小 为8*8、步长为4重建的无光照人脸图像，块大小为32*32、步长为16重建的无光照人脸图 像，块大小为2*2、步长为2重建的无光照人脸图像。从图中可看出，块大小为32*32、步长 为16重建的无光照人脸图像效果较好，即待识别人脸图像被分为32*32块时，分块数目越 多，分块越细，重建的效果愈好。图6为本发明在Yale B数据库中无光照图像重建误差与现有方法的比较示意图。 如图6所示，从上到下依次为现有技术之一 LTV法的重建误差、现有技术之二 RLS法的重建 误差、本发明的重建误差。从图6中可看出，本发明的重建误差最小，均小于现有技术之一 LTV法的重建误差和现有技术之二 RLS法的重建误差。图7为本发明在Yale B数据库中重建的图像效果与现有技术之二的比较示意图。 按行依次为待识别原始人脸图像、亮度调整后的待识别原始人脸图像、人脸反射率图像、现 有技术之二重建的图像以及本发明重建的图像。从图可看出，在图像的视觉表现上，本发明 重建的无光照人脸图像纹理特征比较丰富和真实。图8为基于本发明方法与现有技术其他方法的人脸识别率比较示意图。如图8所 示，在Yale B数据库中，光照被分为5个子集，试验中，以其中一个子集为模板，其他四个子 集作为测试对象，其中每一组分别对应利用待识别原始人脸图像、亮度调整后的待识别原 始人脸图像，人脸反射率图像，现有技术之二重建图像、本发明重建图像的人脸识别率。从 图7中可看出，利用本发明的重建图像得到的人脸图像识别率均是5种方法中最高的。图9为基于本发明方法与Nishino方法在CMU PIE数据库中的人脸识别率比较示 意图。如图9所示，f8-f 17表示不同的光照，每组数据的第一个表示利用Nishino方法得 到的人脸识别率，第二个数据表示用本发明方法的人脸识别率。从表中可看出，本发明的人 脸识别率总体上要优于Nishino方法。图10为本发明无光照人脸图像重建系统实施例的结构示意图。如图10所示，本 实施例中的无光照人脸图像重建系统包括反射率图像获取单元901、光照子空间投影单元 902、纹理子空间投影单元903、图像重建单元904。其中，反射率图像获取单元901用于从待 识别原始人脸图像中获取人脸反射率图像。光照子空间投影单元902用于根据不同光照条 件下的人脸参考图像建立光照子空间以及将待识别原始人脸图像和人脸反射率图像分别 投影到光照子空间得到原始光照参考图像和无光照参考图像。纹理子空间投影单元903用 于根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间， 以及将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子 空间分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像。图像重建单元904用于根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图 像重建无光照人脸图像。 本发明的上述实施例中，分别将待识别人脸图像和人脸反射率图像投影到光照子 空间得到对应的原始光照参考图像和无光照参考图像，并以此分别建立对应的原始纹理子 空间、反射率纹理子空间，根据待识别原始人脸图像、人脸反射率图像投影到对应的原始纹 理子空间、反射率纹理子空间计算出原始纹理子空间基图像的投影系数以及反射率纹理子 空间中的基图像，根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像 得到重建的无光照人脸图像，区别于现有技术中利用LTV方法重建得到人脸反射率图像， 以及利用RLS方法对对正常光照下的人脸模板图像和滤波、校正后的人脸反射率图像进行 合成得到重建的待识别原始人脸图像，避免了差分过程中纹理信息的缺少导致重建的图像 与待识别原始人脸图像误差较大，从而提高了人脸识别的准确率。而且，本发明的技术方案 不依赖于高分辨的待识别原始人脸图像；不需要固定光照的人脸图像训练集；不需要恢复 人脸结构；仅从单张待识别原始人脸图像可以得到重建的无光照人脸图像，重建的无光照 人脸图像包含有丰富的纹理信息和图像特征。
权利要求
一种无光照人脸图像重建方法，其特征在于，包括步骤1、从待识别原始人脸图像中获取人脸反射率图像；步骤2、根据不同光照条件下的人脸参考图像建立光照子空间，并将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像和无光照参考图像；步骤3、根据原始光照参考图像、无光照参考图像分别建立原始纹理子空间、反射率纹理子空间，将待识别原始人脸图像投影到原始纹理子空间、人脸反射率图像投影到反射率纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像；步骤4、根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。
2.根据权利要求1所述的方法，其特征在于，步骤1包括 对待识别原始人脸图像进行平滑滤波获得人脸光照模板图像；根据log全变差法以及人脸光照模板图像对待识别原始人脸图像进行差分得到人脸 反射率图像。
3.根据权利要求1或2所述的方法，其特征在于，步骤2包括从光照子空间选取互不 相关的人脸参考图像作为基图像，根据基图像以及原始光照参考图像和无光照参考图像在 光照子空间中的投影系数得到原始光照参考图像和无光照参考图像。
4.根据权利要求3所述的方法，其特征在于，步骤2包括根据光照子空间中的人脸参 考图像分别与原始光照参考图像、无光照参考图像在光照上的差异，计算原始光照参考图 像或无光照参考图像在光照子空间中的投影系数。
5.根据权利要求4所述的方法，其特征在于，根据光照子空间中的人脸参考图像分别 与原始光照参考图像、无光照参考图像在光照上的差异，计算原始光照参考图像或无光照 参考图像在光照子空间中的投影系数包括根据计算原始光照参考图像或无光照参考图像在光照子空间中的投影系数 ,ω表示原始光照参考图像或无光照参考图像在光照子空间中的投影系数向量，马表示光照子空间中的基图像，4表示待识别原始人脸图像或人脸反射率图像，孖表示待识别原始人脸图像的能量函数。
6.根据权利要求1或2或5所述的方法，其特征在于，步骤3包括根据计算待识别原 始人脸图像在原始纹理子空间基图像的投影系数，表示原始纹理子空间的基图像，表示原始纹理子空间基图像的投影权重，Ew表示待识别原始人脸图像的能量函数，Ife表示待识别原始人脸图像。
7.根据权利要求6所述的方法，其特征在于，步骤3还包括按照预定的规则对待识别 原始人脸图像和人脸反射率图像进行分块，分别得到待识别原始人脸图像块和人脸反射率 图像块，以及对原始纹理子空间和反射率纹理子空间中的基图像进行分块得到基图像块。
8.根据权利要求7所述的方法，其特征在于，步骤3还包括根据Gfjp =I E/ =II Iinp-ef · B/ ||)计算待识别人脸图像在原始纹理子空间的基图像中第ρ块基图像块投影系数fflf ,其中，IJ表示待识别人脸图像中第 块图像块，Gf 表示原始纹理子空间的基图像中第块基图像块的投影权重，S/表示原始纹理子空间的 基图像中第块基图像块，表示待识别人脸图像中第块图像块的能量函数。
9.根据权利要求8所述的方法，其特征在于，步骤4包括根据=辦Θ^得到重 建的无光照人脸图像Ι _,其中， 々表示由原始纹理子空间中图像块的投影系数ffl^组成的原始纹理子空间基图像的投影系数；Sif表示由反射率纹理图像的基图像块S-组成的反射率纹理子空间中的基图像。
10.根据权利要求9所述的方法，其特征在于，步骤4之后包括根据重建的无光照人脸图像中的重叠的图像块对重建的无光照人脸图像进行加权校正。
11.根据权利要求1或10所述的方法，其特征在于，还包括对待识别原始人脸图像进 行亮度调节；或者，对待识别原始人脸图像和反射率人脸图像进行亮度调节。
12.一种无光照人脸图像重建系统，其特征在于，包括反射率图像获取单元，用于从待识别原始人脸图像中获取人脸反射率图像； 光照子空间投影单元，用于根据不同光照条件下的人脸参考图像建立光照子空间以及 将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到原始光照参考图像 和无光照参考图像；纹理子空间投影单元，用于根据原始光照参考图像、无光照参考图像分别建立原始纹 理子空间、反射率纹理子空间，以及将待识别原始人脸图像投影到原始纹理子空间、人脸反 射率图像投影到反射率纹理子空间分别获得原始纹理子空间基图像的投影系数以及反射 率纹理子空间中的基图像；图像重建单元，用于根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的 基图像重建无光照人脸图像。
全文摘要
本发明公开了一种无光照人脸图像重建方法和系统，属于图像重建领域。方法包括从待识别原始人脸图像中获取人脸反射率图像；根据不同光照条件下的人脸参考图像建立光照子空间并将待识别原始人脸图像和人脸反射率图像分别投影到光照子空间得到对应的参考图像；根据对应的参考图像分别建立对应的纹理子空间并将待识别原始人脸图像、人脸反射率图像分别投影到对应的纹理子空间，分别获得原始纹理子空间基图像的投影系数以及反射率纹理子空间中的基图像、根据原始纹理子空间基图像的投影系数和反射率纹理子空间中的基图像重建无光照人脸图像。本发明主要用于无光照人脸图像重建。
文档编号G06T7/00GK101923721SQ201010267258
公开日2010年12月22日 申请日期2010年8月31日 优先权日2010年8月31日
发明者刘昌平, 熊鹏飞, 黄磊 申请人:汉王科技股份有限公司