融合多特征降维和迁移学习的红外目标稳健性识别方法与流程

本发明涉及一种红外场景下的人体目标识别技术，对红外场景下的人体目标进行有效的识别，属于红外图像处理和模式识别技术领域。

背景技术：

红外人体目标识别是红外图像处理和模式识别领域的一个重要研究分支。由于在红外图像中，人体目标受成像噪声的干扰，对比度一般较低；其次，目标所处的背景较为复杂，目标容易被背景所干扰；最后，人体目标姿态多变，且容易被其他物体遮挡，因此，红外人体目标的有效和稳健性识别目前仍是一项富有挑战性的课题，对其深入研究有着重要的理论意义和实用价值。

为了有效地在红外图像中识别出人体目标，首先需要对红外人体目标图像进行特征提取。为此，研究学者提出了众多的红外图像目标特征提取方法，包括hog特征，局部强度差异直方图(histogramsoflocalintensitydifferences,hlid)特征以及梯度位置-方向直方图(gradientlocation-orientationhistogram,gloh)特征等，通过提取红外人体目标的某单一特征对目标进行表示和描述，虽然取得了一定的识别效果，但是特征提取不全面，导致识别精度不够高。为此，又有学者提出对红外人体目标图像进行多特征提取和融合，改善了识别的性能，比如采用hog和haar-like提取图像的形状和纹理特征，采用了hog和lbp描述子分别提取图像的形状和纹理等特征并融合等，虽然目前有很多方法提出提取红外人体目标的多种特征，但是有些方法提取的特征是同类的(即非异构特征)，如形状、纹理、轮廓特征反映的实际都是目标的结构信息，因此，它们未能从多角度、全方位提取目标不同类型的特征，识别性能也就无法得到更满意的提升。

红外人体目标识别的第二个关键环节是分类器的设计。目前，针对红外人体目标的识别，常见的分类器有基于支持向量机的分类器、基于adaboost的分类器、基于稀疏表示(sparserepresentation,sr)的分类器等。这些分类器虽然都取得了一定的效果，但是它们为了保证训练得到的分类模型具有准确性和高可靠性，在进行训练时它们都基于两个基本的假设：(1)用于学习的训练样本与新的测试样本需要满足独立同分布的条件；(2)必须有足够多可利用的训练样本才能学习得到一个较好的分类模型。然而，在红外人体目标图像的实际应用中可以发现，这两个条件往往很难满足。首先，原先可利用的带标签的样本数据可能变得不可用：由于红外图像特殊的成像原理，即使是同一目标，不同外部环境仍然可能会造成成像结果的巨大差异，导致训练样本与新的测试样本的分布及语义产生较大的偏差。此外，可利用的带标签的红外图像样本数据比较匮乏。因此，如何利用少量的带标签训练样本或源领域数据，建立一个可靠的模型对目标领域数据进行预测(源领域数据和目标领域数据可以不具有相同的数据分布)变得非常重要。

公开号为cn104778453a的一种基于红外行人亮度统计特征的夜间行人检测方法，它通过对样本库中的正负样本图像统计亮度直方图特征信息和梯度直方图特征信息，联合构成特征描述符，然后用adaboost结合决策树方法进行训练，得到一个性能较好的分类器。该方法使用了多特征提取和融合方法，图像特征的完备性得到了一定的保证。但是高维特征的计算严重降低了时间效率，影响了应用的实时性，且分类器的训练仍然需要大量的带标签红外样本，不易实现。

linyc等人(linyc,chanym,chuanglc,etal.near-infraredbasednighttimepedestriandetectionbycombiningmultiplefeatures[c]//intelligenttransportationsystems(itsc),201114thinternationalieeeconferenceon.ieee,2011:1549-1554.)充分利用了人体目标图像的轮廓特征信息和梯度直方图特征信息来进行特征的提取，在一定程度上丰富了图像的特征表示。但是轮廓特征和梯度形状特征反映的实际都是目标的结构信息，并未从多角度提取不同类型的特征，特征的完备性仍然可以增强。

对于现有的基于特征提取和分类器训练的红外人体目标识别方法，其存在的局限性主要表现在：

(1)单一的特征提取可以对图像某一方面的信息进行准确的表达，并可以取得一定的识别效果，但是涵盖信息不全面影响了特征提取的准确性和全面性，从而导致后续识别精度不够高；

(2)多特征提取方法增强了图像特征描述的完备性，但是很多方法在提取红外人体目标的多种特征时，提取的特征仍然是同类型的，如形状、纹理、轮廓特征反映的实际都是目标的结构信息，因此，它们同样未能从多角度提取目标不同类型的特征，识别性能还可以进一步提升；

(3)多特征提取方法提取出的特征向量往往维数很高，且内部有着大量的相关性信息，这对于后续的分类识别是极为不利的。简洁有效的特征表示更有助于识别性能的提升；

(4)很多成熟的分类器虽然在目标分类识别问题上取得了一定的效果，但是它们为了保证训练得到的分类模型具有优良的性能，使用训练样本进行训练时都基于以下两个条件：一是用于学习的训练样本与新的测试样本需要满足独立同分布的条件；二是必须有足够多可利用的训练样本才能学习得到一个较好的分类模型。然而，在红外人体目标图像的实际应用中这两个条件往往很难满足。如何利用少量的带标签红外样本，得到一个可靠的模型仍然是一个难点问题。

技术实现要素：

发明目的：针对红外人体目标识别问题，本发明提出了一种融合多特征降维和迁移学习的红外目标稳健性识别方法。首先，针对传统的红外人体目标特征提取方法提取某单一特征时存在涵盖信息不全面的问题，从形状和亮度两个不同的角度，提出提取目标不同种类的异构特征，从而充分挖掘出红外人体目标的特点。其次，为了向后续识别分析提供有效且紧凑的特征描述，提出采用主成分分析方法对融合后的异构特征进行降维。最后，针对带标签的红外人体目标样本数据匮乏、训练样本和测试样本的分布及语义存在偏差而带来的泛化性能差等问题，提出了一种有效的基于迁移学习的红外人体目标分类器，可最大程度地提高泛化性能和目标识别准确度。

技术方案：一种融合多特征降维和迁移学习的红外目标稳健性识别方法，包括如下步骤：

步骤1，分别采用红外及可见光图像分别构建源训练样本集和辅助训练样本集，其操作过程如下：

在训练模块中，首先分别采用lsifarinfraredpedestriandataset和inriapersondataset这两个公共图像数据集构建源训练样本集和辅助训练样本集。其中，源训练样本集和测试集中的红外图像均来自于lsifarinfraredpedestriandataset中的classificationdataset，该图像库中的红外图像包含人体目标和非人体目标，且目标形态各异，满足了构建样本集的多样性需求，而辅助训练样本集中的可见光图像来源于inria数据集，且辅助训练样本的数量远多于源训练样本的数量，inria行人数据集中包含人体目标的图像中行人姿态丰富，背景复杂；而非人体目标的图像包含街道、建筑物、自然风景等不同的形式，同样满足了构建样本集所需的样本的多样性。构建的源训练样本集和辅助训练样本集分别记为其中m和n分别表示源训练样本和辅助训练样本的个数；

然后，将s¹和s²进行合并(拼接)，得到完整的训练样本数据集：

s＝[s1,s2,...,sm,...,sm+n]

第三，对所有的样本图像添加类别标签，则总的类标集为：

l＝[label1,label2,...,labelm,...,labelm+n]

其中，labeli∈{0,1}为第i个训练样本图像的类标。源训练样本辅助训练样本类标集分别对应为ls＝[label1,label2,...,labelm]，la＝[labelm+1,labelm+2,...,labelm+n]。

步骤2，对不同集合里面的图像分别采用hog(histogramoforientedgradient)方法提取形状特征以及采用iss(亮度自相似，intensityselfsimilarity,iss)方法提取亮度特征，其操作过程如下：

基于hog的形状特征提取方法提取出的特征对目标局部形状的变化以及光照变化具有鲁棒性，因此被广泛应用于目标的识别等领域。在提取hog特征时，对于给定的一幅待处理的目标样本图像si(1≤i≤m+n)，首先利用梯度算子求取每个像素点的横向梯度和纵向梯度，分别设为h(x,y)和v(x,y)，每个像素点的梯度幅度和方向计算公式分别为：

θ(x,y)＝tan^-1[v(x,y)/h(x,y)]

然后，将图像分成若干单元，每一单元划分为9个梯度方向，得到一个9维的向量。把相邻的4块单元组成一个块，得到一个36维的特征向量。最后将所有向量连在一起就得到了样本图像的hog特征向量hogi(1≤i≤m+n)。

最终，可以得到所有训练样本图像的hog特征集：

hog_set＝[hog1,…,hogm+n]^t

而iss特征提取方法通过计算红外人体目标图像中不同块之间的灰度相似度，来表征人体目标的亮度信息，在提取iss特征时，对于给定的待处理的目标样本图像si(1≤i≤m+n)，对其进行不重叠分块，设分为了t块。统计每一块的灰度直方图信息hp(1≤p≤t)。

然后，针对图像中的任意两块，我们计算它们灰度直方图hp,hq的余弦值，用来衡量它们的相似度iss^p,q，公式如下：

将所有相似度的值连在一起(将所有相似度的值依次排列，构造一个行向量。)就得到了样本图像si的基于iss的亮度特征issi。

最终，可以得到所有训练样本图像的iss特征集：

iss_set＝[iss1,…,issm+n]^t

步骤3，将两种异构特征进行融合并采用pca(主成分分析法，principalcomponentanalysis,pca)方法对其进行降维。具体操作步骤如下：

针对已经提取出的hog特征集和iss特征集，分别反映了图像的形状信息和亮度信息，两者可以形成互补，形成有效的特征描述。将两组特征集进行串联融合，得到所有样本图像的融合特征集feat：feat＝[hog_set,iss_set]。

pca降维方法能够保持特征数据的内在信息，去除特征数据之间可能存在的相关性，从而使得特征表达有效紧凑。在对特征集进行pca降维时，首先，针对计算融合后的特征向量集feat,求解其协方差矩阵c并计算其特征值。将特征值按从大到小的顺序进行排列，得到λ1,λ2,...,λp，并得到特征值对应的特征向量v1,v2,...,vp；

其次，计算累计方差贡献率g(k)：

根据设定的累计方差贡献率阈值，求出主成分的个数k；

第三，选取λ1,λ2,...,λp中前k个特征值λ1,λ2,...,λk所对应的特征向量v1,v2,...,vk构成投影矩阵v，利用投影矩阵v对原特征矩阵feat进行投影，即可得到降维后的特征矩阵feat_p：

feat_p＝feat×v^t

其中，源训练样本降维后的特征向量集表示为ts＝[feat_p1,feat_p2,...,feat_pm]^t，辅助训练样本降维后的特征向量集则表示为ta＝[feat_pm+1,feat_pm+2,...,feat_pm+n]^t。

步骤4.基于降维后的特征，训练迁移学习分类器，具体实现步骤如下：

首先，选取svm分类器作为红外人体目标识别的基本分类器，后续将利用tradaboost算法对其进行训练。对训练数据集中的样本设置初始权重wi：

第二，权重归一化：

其中，pi(i＝1,2,...,m+n)为归一化后的权值；

第三，基于训练数据集ts和ta、类标ls和la、及权重pi(i＝1,2,...,m+n)，对svm分类器进行训练，得到分类映射

第四，计算h在ts上的分类错误率：

其中，h(feat_pi)(i＝1,...,m)表示第i个训练样本的分类结果，labeli(i＝1,...,m)表示第i个训练样本的真实类标；

第五，根据计算得到的分类错误率，调整权重：

其中，参数时，设置为0.499；e＝0时，调整为0.001；参数其中n表示迭代次数；

第六，重复上述步骤二至步骤五n次。最终可以得到训练后的红外人体目标分类器：

其中，h(x)表示第t次迭代时，待识别目标x的分类结果。

步骤5，在识别模块中，给定一幅待识别红外图像，同样首先提取其hog特征和iss特征，然后对融合特征进行降维，最后基于降维后的特征，利用已经训练好的分类器进行分类识别，即可得到最终识别结果。其具体步骤为：

首先，输入待识别的红外图像i，采用hog特征提取方法，计算其hog特征向量i_hog；

第二，采用iss特征提取方法，得到其iss特征向量i_iss。将两个特征向量进行融合，得到融合后的特征向量i_feature＝[i_hog,i_iss]；

然后，根据训练阶段计算所得的投影矩阵v，对i_feature进行pca降维，得到降维后的特征feature；

最后，然后利用训练好的分类器hf(x)计算i最终分类识别的结果：

本发明采用上述技术方案，具有以下有益效果：

(1)采用多特征提取和融合的方法对样本图像进行特征的提取，提取出样本图像的形状信息和亮度信息这两种异构特征，从多角度对目标进行描述，有效解决了单一的特征提取方法涵盖信息不全面的问题，有利于提高后续的识别精度；

(2)对于融合后出现的高维数特征，采用了pca方法进行降维，去除了特征向量之间可能大量存在着的冗余信息，使特征表示更为有效紧凑，提高了计算的效率，同时有助于提高识别的准确性。

(3)利用少量的带标签源领域红外训练样本图像，通过迁移学习建立了一个可靠的模型来对目标领域的数据进行预测，较好地解决了传统的分类器方法由于带标签的红外人体目标样本数据匮乏、训练样本和测试样本的分布及语义存在偏差而带来的泛化性能差等问题，提高了识别性能和目标识别的准确度。

附图说明

图1为本发明实施例的框架图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，融合多特征降维和迁移学习的红外目标稳健性识别方法，包括如下步骤：

第一步，在训练模块中，分别采用红外和可见光图像构建源训练样本集(源训练样本集中含有红外人体目标图像和红外非人体目标图像)和辅助训练样本集(辅助训练样本集中含有可见光人体目标图像和可见光非人体目标图像)，其操作过程如下：

采用lsifarinfraredpedestriandataset和inriapersondataset这两个公共图像数据集构建源训练样本集和辅助训练样本集，分别记为其中m和n分别表示源训练样本和辅助训练样本的个数；

其次，将s¹和s²进行合并，得到完整的训练样本数据集：

s＝[s1,s2,...,sm,...,sm+n]

然后，对所有的样本图像添加类别标签，则总的类标集为：

l＝[label1,label2,...,labelm,...,labelm+n]

其中，labeli∈{0,1}为第i个训练样本图像的类标。源训练样本类标集和辅助训练样本类标集分别为ls＝[label1,label2,...,labelm]，la＝[labelm+1,labelm+2,...,labelm+n]。

第二步，对不同集合里面的图像分别采用hog方法提取形状特征，并采用iss方法提取亮度特征，具体实现过程如下：

在使用hog方法提取形状特征时，对于给定的一幅待处理的样本图像si(1≤i≤m+n)，首先利用梯度算子求取每个像素点的横向梯度和纵向梯度，分别设为h(x,y)和v(x,y)，每个像素点的梯度幅度和方向计算公式分别为：

θ(x,y)＝tan^-1[v(x,y)/h(x,y)]

然后，将图像分成若干单元，每一单元划分为9个梯度方向，得到一个9维的向量。把相邻的4块单元组成一个块，得到一个36维的特征向量。最后将所有向量连在一起就得到了样本图像的hog特征向量hogi(1≤i≤m+n)。

最终，可以得到所有训练样本图像的hog特征集：

hog_set＝[hog1,…,hogm+n]^t

而在使用iss方法提取形状特征时，对于给定的待处理的目标样本图像si(1≤i≤m+n)，对其进行不重叠分块，设分为了t块。统计每一块的灰度直方图信息hp(1≤p≤t)。

然后，针对图像中的任意两块，我们计算它们灰度直方图hp,hq的余弦值，用来衡量它们的相似度iss^p,q，公式如下：

将所有相似度的值连在一起就得到了样本图像si的基于iss的亮度特征issi。

最终，可以得到所有训练样本图像的iss特征集：

iss_set＝[iss1,…,issm+n]^t

第三步，将两种异构特征进行融合并采用主成分分析法对其进行降维，其实现过程如下：

针对已经提取出的hog特征集和iss特征集，将它们进行串联融合，得到所有样本图像的融合特征集feat：feat＝[hog_set,iss_set]。

在对特征集进行降维时，首先，针对计算融合后的特征向量集feat,求解其协方差矩阵c并计算其特征值。将特征值按从大到小的顺序进行排列，得到λ1,λ2,...,λp，并得到特征值对应的特征向量v1,v2,...,vp；

然后，计算累计方差贡献率g(k)：

根据设定的累计方差贡献率阈值，求出主成分的个数k。

第三，选取λ1,λ2,...,λp中前k个特征值λ1,λ2,...,λk所对应的特征向量v1,v2,...,vk构成投影矩阵v，利用投影矩阵v对原特征矩阵feat进行投影，即可得到降维后的特征矩阵feat_p：

feat_p＝feat×v^t

其中，源训练样本降维后的特征向量集表示为ts＝[feat_p1,feat_p2,...,feat_pm]^t，辅助训练样本降维后的特征向量集则表示为ta＝[feat_pm+1,feat_pm+2,...,feat_pm+n]^t。

第四步，基于降维后的特征，训练迁移学习分类器；其具体实现步骤如下：

(1)选取svm分类器作为红外人体目标识别的基本分类器，利用tradaboost框架对其进行训练。对训练数据集中的样本数据赋予初始权重wi：

(2)权重归一化：

其中，pi(i＝1,2,...,m+n)为归一化后的权值；

(3)基于训练数据集ts和ta、类标ls和la、及权重pi(i＝1,2,...,m+n)，对svm分类器进行训练，得到分类映射

(4)计算h在ts上的分类错误率：

其中，h(feat_pi)(i＝1,...,m)表示第i个训练样本的分类结果，labeli(i＝1,...,m)表示第i个训练样本的真实类标；

(5)根据计算得到的分类错误率，调整权重：

其中，参数时，设置为0.499；e＝0时，调整为0.001；参数其中n表示迭代次数；

(6)重复上述步骤(2)至步骤(5)n次，最终可以得到训练后的红外人体目标识别分类器：

其中，h(x)表示进行第t次迭代时，待识别目标x的分类结果。

第五步，在识别模块中，给定一幅待识别红外图像，同样首先提取其hog特征和iss特征，然后对融合特征进行降维，最后基于降维后的特征，利用已经训练好的分类器进行分类识别，即可得到最终识别结果。其具体步骤为：

首先，输入待识别的红外图像i，采用hog特征提取方法，计算其hog特征向量i_hog；

第二，采用iss特征提取方法，得到其iss特征向量i_iss。将两个特征向量进行融合，得到融合后的特征向量i_feature＝[i_hog,i_iss]；

然后，根据训练阶段计算所得的投影矩阵v，对i_feature进行pca降维，得到降维后的特征feature；

最后，然后利用训练好的分类器hf(x)计算i最终分类识别的结果：