专利名称：基于双流形对齐的人脸超分图像处理方法
技术领域：
本发明涉及一种图像处理方法，特别涉及一种基于双流形对齐的 人脸超分图像处理方法。
背景技术：
目前，人脸超分辨率研究存在诸多的困难，现阶段仍未形成实用 性的方法和理论框架，主要的难点表现在如何利用一组训练图像来构 造相应的知识库，并基于知识库重建低分辨率测试图像的高分辨率
图像超分辨率的目标，在于用一幅或多幅低分辨率的图像重构出 高分辨率的图像。目前主要的超分辨率算法有基于插值的，基于重构 的和基于学习的。
人脸超分辨率是图像超分辨率里的一个特殊领域，主要原因在于 人脸具有一些相似的拓扑结构，这些典型的结构特征可以视为一种强 的先验信息，有利于縮小超分求解的搜索空间。在基于学习的超分算
法中，可将低分辨率(LR)图像和高分辨率(HR)图像视为两个异构 的流形，因为HR/LR图像对反映了相同的内容，然而却是在不同的分 辨率空间表达该内容。因此，我们可以推断，它们在所张成的子空间 中具有相似的拓扑结构。所以，如果找到生成HR/LR图像的共同空间， 使得拓扑相似性最大化，并能对齐异构的HR/LR的结构，再在此基础 上，通过学习算法，得到高维流形(HR图像)与低维流形(LR图像) 之间的对应关系或映射系数等，对提高图像超分辨率效果势必有很大帮助。
目前，超分辨率研究涉及到的技术领域主要有图像处理、机器 学习等。
发明内容
本发明根据上述难点，提出一种基于双流形对齐的技术用于人脸 超分，将训练集中的高分辨率图像和低分辨率图像这两个异构的流形 对齐后再进行超分算法。从实验看出该方法在重构高分辨率图像上优 于其他己有的方法，能够推进超分辨率技术的进一步发展。
本发明欲解决人脸超分变率领域的一个问题，即如何将异构的
HR/LR(高分/低分)流形对齐。
在人脸超分辨率研究中， 一个较普遍的基于学习的方法，是使用 局部线性嵌入法。其基本思想是构建两个数据集， 一个是低分辨率的， 一个是高分辨率的。对于测试的低分辨率图像，首先求解其在低分辨 率数据集上的表示系数，再利用低分辨率图像块和高分辨率图像块的 流形一致性假设，使用低分辨率数据集上的表示系数重构出高分辨率 的图像块。然而，流形的一致性假设在很多情况下都是不成立的，即 两个高分辨率和低分辨率两个数据集并不是同构数据集，而是异构数 据集。
本发明提供了一种基于双流形对齐的人脸超分图像处理方法，
其特征在于该方法包括以下的步骤
①对两个训练集HR和LR进行主成分分析PCA,使之降到相同 的维数设原HR数据为^,X2"，…,x^，通过主成分分析PCA降维后， 得到HR数据的均值7，以及由一组正交向量组成的变换矩阵"，数 据点的PCA系数为讨-尸《(i二l，2，…,N);同理，对于LR数据
5x,，X2,…,Xw，通过主成分分析PCA，同样可以得到7， P'，以及乂 (i二l，2，…N);
② 对第①步得到的两个数据点PCA系数矩阵
和r"[7(乂…，"r做普洛克路斯忒斯
Procrustes对齐，即对矩阵^ =,"做奇异值分解，得」=^5^，然 后计算2-"^以及h加ce(S)〃^ce("y);再对W做变换，得到
③ 对于在LR空间的某个测试样本。首先对它按照进行主成 分分析PCA降维，得到《=(,,-7)卞，再进行普洛克路斯忒斯 Procrustes对齐，得到g'= :2 ;然后在P中找到^'的m个近邻 H…，&，算出权重系数wp^,…，气,，然后找到LR空间的这些近邻 点对应的HR空间的数据点乂,乂，...，乂，计算0,=|>乂；最后通过第 一步计算出的变换矩阵以及数据点均值，得到高^辨率全局脸输出 0,' = ^ '-0 + 7;
以上三个步骤得到全局脸O,';
对LR训练集的每一个样本，按照前三个步骤做，得到输入
的全局服脸Op02,…，Ow ，然后用HR训练集的样本减去全局HR脸， 得到残差HR训练集么《,…,《，然后对残差HR训练集进行降采样， 得到残差LR训练集《,…,《；
⑤对于LR空间的某个测试样本(，将其减去第三步算出的LR 全局脸"，得到残差脸《-《；
◎对《按照前三个步骤进行计算和变换，得到残差HR训练集 和残差LR训练集，得到残差脸《；
⑦得到最终的SR图像C,^0,'+《。 本发明的优越功效在于能够将高分辨率图像和低分辨率图像这两个异构的流形运用普洛克路斯忒斯Procrustes分析在全局脸和残 差脸两部分进行双流形对齐，通过学习算法，提高图像超分辩率效果。
图l为本发明的方法流程图2 (包括图2A、图2B、图2C和图2D)为本发明超分结果图； 图3 (包括图3A、图3B、图3C和图3D)为本发明与其他方法在 超分结果的比较具体实施例方式
请参阅附图所示，对本发明作进一步的描述。
首先，对该发明所涉及的各个细节进行说明-1、普洛克路斯忒斯Procrustes分析
对于两个流形数据矩阵X和Y，普洛克路斯忒斯Procrustes对齐
的目标是，求得参数k和正交变换矩阵Q，使得IIH^I^最小。其 中l卜llf表示Frobenius范数，其定义为|| = 。
对矢巨阵"x^做奇异值分解(Singular Value Decomposition, SVD)，得到,义="5^，令^ = ")^， A: = frace(S)〃race(j7)。
下面通过上面两个式子计算出的Q和k能使得IIX-W^II,—最小。 易知，minll义-A:r^||f=min||%- ^ll^ ，对于ll ^||-;，通过简 单计算得到
因为/m"(r^)是定值，所以只需要考虑后面部分对(l.l)式求导并令其等于零，可得
由(1.2)式得到，Ar = /mce(^rn)/ race(rr:r) (1.3) 将(1. 3)式代入(1. 1)式，得到-(/廳(^n》2 〃廳(J^r) (1.4) 因为^cf y)是定值，(1.1)式与(1.4)式等价，所以要最小化 (1.1)式，也就是要最大化(/mce(^r7))2，艮p
下面分两种情况证明前面定义的Q和k能够最大化 0race(^,义))2 。
情况1) : ,mce(^r7) 2 0 ，则化为0印,=maxe /mce(^"幻 通过SVD，得知rX^WS以，其中S为对角矩阵，其对角线上的 值为矩阵,义的正特征值，而U和V为正交矩阵。于是得到
maxe /race(2^7^) = maxe fmce(grL^rr)， 因为 /race(/^) = /race(A4)，所以max。 ) = max。 frace(rr^rOS)，令
Z = ^^f/，因为V， Q， U均为正交矩阵，所以Z为正交矩阵，由此 可得，矩阵Z中的每一个元素的范围为[-1, 1](否则无法满足Z、Z为 单位矩阵的要求)，所以我们有
f認e(ZS") = ZutS,+ Z2 2S2 2 +... + H S Sj + S2 2 + .. + S" 所以要最大化加"(ZS)，则需Z〃， /为单位矩阵，即^^"为单位 矩阵，得到2 = ^/^。
情况2) : /mce(^:T义)〈0，则化为2。p, =minCaCe(^:K^O。
参照情况l时的分析，可以得到frace(ZS)-Z,j5;, +Z22lS22十…+ Z""5;"》一《,—S2 2…一5",'"，所以， 要使^ce(^"义)最小，则需2 = -/，则2 = -"^。
无论2 = ^^'还是2 = -"r7，将其代入(1.9)式，计算得到的都是 同样的结果，所以无论加ce(^"X)》0还是加ce(^^X) < 0 ， 2 二 "K 总是(1.5)式的最优解。最后，再化简(1.3)式，得到
A: =/:r)。
从上面的介绍可以看出，普洛克路斯忒斯分析Procrustes Analysis方法也具有闭式解，所求出的解并非近似解，没有局部最优 问题，不需要迭代计算，只需要求出一个变换矩阵，并且计算过程只 需要做一次奇异值分解，计算过程简单，实现容易。 2、局部线性嵌入超分法
局部线性嵌入超分法需要有两组训练集， 一组是服图像，另一组 是与其对应的LR图像。局部线性嵌入法LLE是基于流形在全局空间上 是非线性的，但是在局部空间上仍保持线性关系，运用到图像超分上， 假设ffi^图像和LR图像在空间上的有着相近的构型，那么对于LR图像空 间的某个点A，基于局部线性的假设，该点可以通过与之近邻的k个 点的线性组合表示出来。设A的k个近邻点为x,w,A^，…,x,-w，用
这些近邻点来近似A，得二=2>,，,,{7,，其目标是使ll;c,—;||2达到
)=1
最小，同时对系数进行限制^ =1。这个求解系数的问题是一个有
乂 = 1
约束条件的最小二乘解问题，通过计算，得到系数^=[气,，,,2,...，,,] 尚—,T，其中2 = [、-~一,^,. 州]，
T = [l，l...l]7 。因为基于服图像和LR图像具有相近的空间构型的假设，
所以该系数也可以运用到服图像上，这样就可以解决SR问题对于一 个在LR空间测试样本/,，先在LR训练集上找到/,的k个近邻，然后求出 用这k个近邻表示/,的系数^ ，然后找到这k个在LR训练集上的点对应
的HR训练集上的点；^，:^2,，…，兀w ，将W运用到少,川，A2"…，X.w上，
得到输出的服图像少,=^>,，;>^}。
3、图像向量的降维
图像，这里指灰度图，在计算机存储中是以两维矩阵形式存在， 但是在处理图像数据时，往往会将图像的每一列接到前一列的后面 (第一列除外)，组成一个一维的列向量，这个列向量的维数是相当 高的，因为即使是一幅100X100大小的图，所得的列向量都将有 10000维，所以在对这些图像数据进行处理时，往往需要先对其进行 降维。利用主成分分析PCA对图像数据进行降维是一种常用且有效的 方法，它能在既定的维数内，最大限度的保留图像所包含的信息。
主成分分析PCA对图像数据进行降维的过程为假设有N幅图 组成的样本矩阵^^[x,，X2…^]e7T"。首先，将每个列向量减去
均值"ii1^1^ ，得到g-[;c,-;,;c2-;...,;c -S]，对g计算其协方差
■/V
矩阵Q-^""^，然后对协方差矩阵进行特征值分解，得到0^ =义,《， 其中;i,为Q的特征值，《为其所对应的特征向量。将这些特征值按照
从大到小的顺序排序，得到人2\ l入以及每个特征值对应的特征向量A，/^，...,/^。若要将数据点从n维空间降至m维空间，则取前m 个特征向量组成变换矩阵尸=[^,《2,，则对于原来n维的数据;c, 降维后的新的基下的坐标为X 这样，便可以将n维的数
据降至m维。若要将数据恢复到n维，则恢复出来的结果为 ;=PX.+;，可以证明，压縮后的数据能使恢复结果与原始数据之间
的误差，即^,=41>,-"2达到最小。
2 /=1
如图1所示，实现该方法的具体步骤为
①对两个训练集服和LR进行主成分分析PCA，使之降到相同
的维数设原服数据为^,^,…，4，通过主成分分析PCA降维后，
得到服数据的均值7，以及由一组正交向量组成的变换矩阵w，数
据点的PCA系数为乂=尸《(i二l，2，…，N);同理，对于LR数据 xf,x!,…，4，通过主成分分析PCA，同样可以得到7， P'，以及乂 (i二l，2，…N);
②对第①步得到的两个数据点PCA系数矩阵"-[乂,乂,…,^r和 ^ =[乂，乂,.,.,乂广做普洛克路斯忒斯Procrustes对齐，即对矩阵 ^ = }^"做奇异值分解，得^ = ^^,然后计算0 = "^以及
/t:raceOS)〃race(r'Y);再对^做变换，得到？' = 1}^2; (D对于在LR空间的某个测试样本。首先对它按照进行主成分分析 PCA降维，得到,,'=(,,-7).P'，再进行普洛克路斯忒斯Procrustes对
齐，得到8' = ",'.2;然后在P'中找到？'的m个近邻9(，ft,…，兄，算 出权重系数w,>vm ，然后找到LR空间的这些近邻点对应的HR空
间的数据点乂，乂，…,乂，计算0,=|>乂；最后通过第一步计算出的 变换矩阵以及数据点均值，得到高S辨率全局脸输出0,' = ,'"+7; 以上三个步骤得到全局脸O,'; 对LR训练集的每一个样本，按照前三个步骤做，得到输入 的全局HR脸o,，02，…,o入.，然后用HR训练集的样本减去全局服脸， 得到残差服训练集^，《，…，《，然后对残差服训练集进行降采样， 得到残差LR训练集r/^，…,"；
⑤ 对于LR空间的某个测试样本(，将其减去第三步算出的LR 全局脸《，得到残差脸《=-";
⑥ 对(按照前三个步骤进行计算和变换，得到残差HR训练集 和残差LR训练集，得到残差脸《；
得到最终的SR图像C, = O,'+《。
本发明采用CAS_PEAL大规模人脸数据库，该数据库的人脸图是 不受其他因素影响的正面人脸图像。通过手工标定的方式将两只眼睛 的中心对齐，截取主要感兴趣的人脸区域，得到统一大小的128X128 的高分辨率人脸图像，然后对这些图像进行4倍降采样，得到32X32 的低分辨率人脸图像。该数据库一共1040幅图，随机选取其中的1000 幅图(每幅图对应有一个高分辨率图像和一个低分辨率图像)做训练 集，另外的40幅图(只用其低分辨率图像)做测试集。
如图2所示，图2A为低分辩率图像；图2B为全局信息脸；图 2C为残差补偿后，即全局信息脸+残差脸的人脸；图2D为高分辩率 图像。
如图3所示，图3A为低分辩率图像；图3B为最近邻差值超分 结果；图3C为双线性插值超分结果；图3D为本发明的超分结果。
由图2和图3得知，本发明在视觉上与其他方法相比较，超分 图像有较好的结果。
权利要求
1、一种基于双流形对齐的人脸超分图像处理方法，其特征在于该方法包括以下的步骤①对两个训练集HR和LR进行主成分分析PCA，使之降到相同的维数设原HR数据为x1h，x2h，...，xNh，通过主成分分析PCA降维后，得到HR数据的均值<overscore>xh</overscore>，以及由一组正交向量组成的变换矩阵Ph，数据点的PCA系数为<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msubsup> <mi>y</mi> <mi>i</mi> <mi>h</mi></msubsup><mo>=</mo><msubsup> <mi>Px</mi> <mi>i</mi> <mi>h</mi></msubsup> </mrow>]]></math> id="icf0001" file="A2009100549120002C1.tif" wi="18" he="5" top= "73" left = "70" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>(i＝1，2，…，N)；同理，对于LR数据x1l，x2l，...，xNl，通过主成分分析PCA，同样可以得到<overscore>xl</overscore>，Pl，以及yil(i＝1，2，…N)；②对第①步得到的两个数据点PCA系数矩阵<maths id="math0002" num="0002" ><math><![CDATA[ <mrow><msup> <mi>Y</mi> <mi>h</mi></msup><mo>=</mo><msup> <mrow><mo>[</mo><msubsup> <mi>y</mi> <mn>1</mn> <mi>h</mi></msubsup><mo>,</mo><msubsup> <mi>y</mi> <mn>2</mn> <mi>h</mi></msubsup><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msubsup> <mi>y</mi> <mi>N</mi> <mi>h</mi></msubsup><mo>]</mo> </mrow> <mi>T</mi></msup> </mrow>]]></math> id="icf0002" file="A2009100549120002C2.tif" wi="41" he="5" top= "111" left = "32" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>和<maths id="math0003" num="0003" ><math><![CDATA[ <mrow><msup> <mi>Y</mi> <mi>l</mi></msup><mo>=</mo><msup> <mrow><mo>[</mo><msubsup> <mi>y</mi> <mn>1</mn> <mi>l</mi></msubsup><mo>,</mo><msubsup> <mi>y</mi> <mn>2</mn> <mi>l</mi></msubsup><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><msubsup> <mi>y</mi> <mn>3</mn> <mi>l</mi></msubsup><mo>]</mo> </mrow> <mi>T</mi></msup> </mrow>]]></math> id="icf0003" file="A2009100549120002C3.tif" wi="37" he="6" top= "111" left = "83" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>做普洛克路斯忒斯Procrustes对齐，即对矩阵A＝YlTYh做奇异值分解，得A＝USVT，然后计算Q＝UVT以及k＝trace(S)/trace(YlTYl)；再对Yl做变换，得到 id="icf0004" file="A2009100549120002C4.tif" wi="26" he="6" top= "140" left = "42" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>③对于在LR空间的某个测试样本ti，首先对它按照进行主成分分析PCA降维，得到ti′＝(ti-<overscore>xl</overscore>)·Pl，再进行普洛克路斯忒斯Procrustes对齐，得到 id="icf0005" file="A2009100549120002C5.tif" wi="24" he="6" top= "169" left = "78" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>然后在 id="icf0006" file="A2009100549120002C6.tif" wi="3" he="5" top= "169" left = "121" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>中找到 id="icf0007" file="A2009100549120002C7.tif" wi="3" he="5" top= "169" left = "142" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>的m个近邻 id="icf0008" file="A2009100549120002C8.tif" wi="23" he="6" top= "178" left = "25" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>算出权重系数w1，w2，...，wm，然后找到LR空间的这些近邻点对应的HR空间的数据点y1h，y2h，...，ymh，计算<maths id="math0004" num="0004" ><math><![CDATA[ <mrow><msub> <mi>O</mi> <mi>i</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>j</mi><mo>=</mo><mn>1</mn> </mrow> <mi>m</mi></munderover><msub> <mi>w</mi> <mi>j</mi></msub><msubsup> <mi>y</mi> <mi>j</mi> <mi>h</mi></msubsup><mo>;</mo> </mrow>]]></math> id="icf0009" file="A2009100549120002C9.tif" wi="24" he="10" top= "187" left = "121" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>最后通过第一步计算出的变换矩阵以及数据点均值，得到最后的高分辨率人脸输出Oi′＝Ph′·O+<overscore>xh</overscore>；以上三个步骤得到全局脸Oi′；④对LR训练集的每一个样本，按照前三个步骤做，得到输入的全局HR脸o1，o2，...，oN，然后用HR训练集的样本减去全局HR脸，得到残差HR训练集r1h，r2h，...，rNh，然后对残差HR训练集进行降采样，得到残差LR训练集r1l，r2l，...，rNl；⑤对于LR空间的某个测试样本ti，将其减去第三步算出的LR全局脸Oil，得到残差脸<maths id="math0005" num="0005" ><math><![CDATA[ <mrow><msubsup> <mi>t</mi> <mi>i</mi> <mi>r</mi></msubsup><mo>=</mo><msub> <mi>t</mi> <mi>i</mi></msub><mo>-</mo><msubsup> <mi>O</mi> <mi>i</mi> <mi>l</mi></msubsup><mo>;</mo> </mrow>]]></math> id="icf0010" file="A2009100549120003C1.tif" wi="23" he="5" top= "47" left = "77" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>⑥对tir按照前三个步骤进行计算和变换，得到残差HR训练集和残差LR训练集，得到残差脸Oir；⑦得到最终的SR图像<maths id="math0006" num="0006" ><math><![CDATA[ <mrow><msub> <mi>C</mi> <mi>i</mi></msub><mo>=</mo><msup> <msub><mi>O</mi><mi>i</mi> </msub> <mo>′</mo></msup><mo>+</mo><msubsup> <mi>O</mi> <mi>i</mi> <mi>r</mi></msubsup><mo>.</mo> </mrow>]]></math> id="icf0011" file="A2009100549120003C2.tif" wi="23" he="4" top= "77" left = "91" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/></maths>
全文摘要
本发明提供了一种基于双流形对齐的人脸超分图像处理方法，将训练集中的高分辨率图像和低分辨率图像这两个异构的流形在全局脸和残差脸空间进行双流形对齐后再进行超分算法。本发明的优点是能够将高分辨率图像和低分辨率图像这两个异构的流形运用普洛克路斯忒斯Procrustes分析对齐，通过学习算法，提高图像超分辨率效果。
文档编号G06K9/00GK101609503SQ20091005491
公开日2009年12月23日 申请日期2009年7月16日 优先权日2009年7月16日
发明者张军平, 想 李 申请人:复旦大学