一种基于学习跨数据域子空间的图像内容识别的分类方法及装置制造方法
【专利摘要】本发明公开了一种基于学习跨数据域子空间的图像内容识别的分类方法及其装置，其包括：对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；输入各目标图像数据域和辅助数据域的数据特征，以及对应辅助域数据的类属标签数据，建立谱图邻接图；对图像数据、标签信息和邻接图，建立数学模型；根据数学模型，更新子空间中基向量的构建系数、数据在子空间中新的表示特征、分类器系数和在目标域图像数据上预测的拟类标签；预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。相比于现有的迁移学习分类技术，本发明提出的分类方法在准确率和稳定性上都有了很大的提高。
【专利说明】—种基于学习跨数据域子空间的图像内容识别的分类方法及装置
【技术领域】
[0001]本发明属于迁移学习和分类【技术领域】，特别涉及一种基于学习跨数据域子空间的图像内容识别的分类方法及装置。
【背景技术】
[0002]随着大数据时代的到来，各种形式的数据以几何级数增长。如何从这些海量的数据中提取有用的知识和信息，已成为工业界和学术界数据挖掘和机器学习研究人员关注的热点。在众多的数据挖掘、机器学习技术中，分类技术有着很重要的应用价值。比如视频数据中的异常检测、垃圾邮件的分类、图像中的目标识别都需要性能良好的分类器。值得注意的是分类器的训练需要标注数据，然而人们经常会碰到标注数据不够用的问题。比如学习分类器用于网上图片内容识别的应用中，研究人员一般都是用线下的图片进行标注，作为训练训练数据。但是这样人为标注的数据相对于互联网上的海量数据还是远远不够的，而且网上的数据特征在分布上也不同于线下采集的数据集，即存在差异性。又比如，军事探测中，用于探测目标的分类器是在当时的环境下用采集的图像数据训练的。但是，随着时间的推移，同一地区会随着气候的变化、地貌特征的变化(如，沙漠化的推进)、人为的改建等因素而变得不同，因此传感器采集的图像数据和几年前的数据就存在很大差异性。以前得到的训练用的标注数据已经大大满足不了新的需要。在用户垃圾邮件过滤的应用中，之前定义的垃圾邮件敏感词随着社会的发展慢慢地很少被使用，而垃圾邮件中又会出现新的词语。之前定义的标注数据就满足不了训练的需要，而重新标注数据又要耗费大量的人力、物力。因此，在实际应用中，普遍存在模型学习过程中缺乏标注信息的问题。
[0003]另一方面，研究人员也注意到尽管所研究的实际问题缺乏标注信息，其它相关数据集中的标注信息还是可以用来辅助学习的。比如上述的几个例子中，以前的训练数据并不是一无是处；把这些数据作为相关数据集，其中还是有很多值得挖掘的信息可以被利用。相关数据集里的标注数据包含的一些有用的监督信息，可以继续作为模型训练的参考。基于这些考虑，研究人员提出了迁移学习的分类方法来利用相关的数据集帮助目标问题中的分类器学习。在迁移学习技术中，目标问题研究的数据集称为目标数据域，而用于辅助的相关数据集被称为辅助数据域。而迁移学习的目标就是要从辅助数据域中挖掘出有用的标注信息，帮助目标数据域中模型的训练。
[0004]在传统的技术中，分类器模型都只针对数据的原始特征进行分类。而在辅助域到目标域的知识迁移学习问题中，辅助数据域和目标数据域的数据在特征分布上有着差异性，传统的分类技术往往都会失效。因此，不同于传统的方法，本发明通过学习一个不同数据域共享的子空间来学习数据新的特征表示，从而减少各个域之间特征上的差异性。此夕卜，本发明的技术用一个分类器作用在子空间中的数据新的特征表示上进行跨数据的模型训练和预测。不同于现有的迁移学习技术，本发明提出的技术在目标域中甚至可以不需要任何标注数据，并且能够同时学习得到子空间中数据新的表示特征以及跨数据域的分类模型。在跨数据域分类性能上，相比于现有的迁移学习分类技术，本发明提出的分类方法在准确率和稳定性上都有了很大的提闻。
【发明内容】
[0005]本发明提供了一种基于学习跨数据域子空间的迁移学习分类技术，此分类技术可应用于图像内容识别等领域。在我们的目标数据域缺乏训练数据的情况下，我们利用相关的辅助数据域的训练数据进行学习，以得到所需的分类器，并且在分类性能上达到满意的效果。
[0006]为实现上述目的，本发明的技术方案为:
[0007]—种基于学习跨数据域子空间的图像内容识别的分类方法，包括如下步骤:
[0008]S10:对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；
[0009]S20:输入各目标图像数据域和辅助数据域的数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图；
[0010]S30:对步骤S20中输入的图像数据、标签信息和建立的邻接图，建立数学模型；
[0011]S40:根据S30中建立的数学模型，根据推导的各个变量的更新公式，以交替迭代的方式更新子空间中基向量的构建系数、数据在子空间中新的表示特征、分类器系数和在目标域图像数据上预测的拟类标签；
[0012]S50:利用S40中得到的拟类标签矩阵，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。
[0013]进一步的，步骤S20包括:
[0014]S201:输入辅助数据域和目标数据域的用图像特征表示的训练样本数据，包括:辅助数据域SIFT (Scale-1nvariant feature transform,尺度不变特征转换)特征表示的图像数据，对应的标签信息矩阵，拟类标签矩阵，以及目标域SIFT特征表示的图像数据；
[0015]S202:构建目标数据域的图像数据的邻接图。
[0016]进一步的，步骤S30包括:
[0017]S301:建立跨数据域子空间学习模型；
[0018]S302:在学习得到的子空间中建立分类模型；
[0019]S303:对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节；
[0020]S304:将步骤S301得到的学习跨数据域子空间的模型和步骤S302的分类模型，S303中得到的正则项整合起来，得到统一的数学模型。
[0021]进一步的，步骤S40包括:
[0022]S401:更新跨数据域子空间的基向量的构建系数；
[0023]S402:更新数据在子空间中新的表示特征；
[0024]S403:更新分类器系数；
[0025]S404:更新目标域数据的拟类标签矩阵。
[0026]本发明的另一目的还在于提供一种基于学习跨数据域子空间的图像内容识别的分类装置，包括:[0027]图像预处理模块:对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据；
[0028]数据输入处理模块:从图像预处理模块中输入各目标图像数据域和辅助数据域的各数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图；
[0029]建模模块:根据数据输入处理模块中输出的数据、标签信息和建立的邻接图，建立数学模型:结合跨数据域子空间学习模型、作用在子空间数据表示特征上的分类模型、目标域数据局部流形的几何结构调节，建立统一的数学模型并输出；
[0030]参数迭代更新模块:根据建模模块输出的数学模型，推导各个变量的更新公式，以交替迭代的方式更新跨数据域子空间基向量的构建系数、数据在子空间中新的表示特征、分类器系数和在目标域图像数据上预测的拟类标签；
[0031]图像数据分类模块:利用参数迭代更新模块中得到的拟类标签，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。
[0032]进一步的，所述数据输入处理模块用于包括:
[0033]输入辅助数据域和目标数据域的图像特征表示的训练样本数据，包括:辅助数据域用图像特征表示的数据，对应的标签信息矩阵，拟类标签矩阵，以及目标域用图像特征表示的数据；
[0034]构建目标数据域的数据邻接图。
[0035]进一步的，所述建模模块用于包括:
[0036]建立学习跨数据域子空间的模型；
[0037]在学习得到的子空间中建立分类模型；
[0038]对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节；
[0039]将得到学习跨数据域子空间的模型、子空间中的分类模型和预测标签上的正则项整合起来，得到统一的数学模型。
[0040]本发明构思及优点:在算法中，利用各个数据域中有稳定特征的代表性数据构建低维子空间的基向量；而原始数据则可以通过子空间的基向量来线性重构，并在子空间中得到新的表达。为了减少数据新的表示特征上的域间差异性，本发明在数据新的特征表示上施加了使域间差异性最小化的正则项约束，从而进一步优化学习得到的子空间。为了增加目标域的预测标签上的准确性和稳定性，算法在预测标签上引入正交性结构约束，并且通过施加数据谱图上的图调节正则项，使预测的标签结果保持了目标域数据集内在的流形结构。相比于现有的迁移学习分类技术，本发明提出的分类方法在准确率和稳定性上都有了很大的提闻。
【专利附图】
【附图说明】
[0041 ] 图1为本发明实施例的方法流程图。
【具体实施方式】
[0042]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0043]相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
[0044]参考图1，所示本发明实施例的基于学习跨数据域子空间的图像内容识别的分类方法的流程图，其包括以下步骤:
[0045]SlO:对待分类的各目标图像进行特征抽取，以提取图像的SIFT特征为例，将图像数据转化成可用于分类的数值型数据；
[0046]S20:输入各目标图像数据域和辅助数据域的图像数据的SIFT特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图。具体包括步骤S201至S202: [0047]S201，输入辅助数据域Ds和目标数据域Dt的图像数据SIFT特征表示的训练样本数据，包括:
[0048]辅助数据域SIFT特征描述的数据矩阵Y=|Χ,Χ〗，...,Χ:]επ—，其中上标s用
于表示辅助数据域，ns表示辅助数据域的数据个数，d表示第一个视角SIFT特征的数据维度，Hd'表示dXns维的实数域空间；
[0049]对应辅助域数据的标签信息矩阵F= [fpf2，…fi e {O, 1}εΧ1，其中c是分类标签的类数，{0,1卩0'表示元素值只能取O和I的nsX C维的矩阵，如果数据<属于第k个类，则标签向量A的第k个元素取I ;否则，取O。
[0050]拟类标签矩阵￥= [&,..、] =F(FrF)-172 ；
[0051]以及目标数据域的SIFT特征描述的数据矩阵K=[χΚ.._θπ~,其中上
标t用于表示目标数据域、nt表示目标数据域的数据个数，Xi =[x丨，Xi2，…，表示dXnt维的实数域空间；
[0052]S202，对于SIFT特征表示的图像数据，构建目标域的数据邻接图S。邻接图的点之间的边权重如下:
[0053]
?if, Xi e Nk (Xj )，or, Xj e Nk (x;-)
其它
[0054]其中，Nk(Xi)表示数据Xi的最近k个数据组成的邻域。k 一般可设为5。
[0055]S30:对S20输入的图像数据、标签信息和建立的邻接图，建立数学模型，具体包括步骤S301至S305:
[0056]S301:建立跨数据域子空间学习模型:
[0057]<V,U%Uf >=argminvuIiji>o ^ Il Xz-AVXfI P+Il 丄 -丄 112
’ ’ —Z={s,t\ns i=l nt J=I[0058]其中，Ve7^+?#是用于构建子空间基向量的组合系数，矩阵
【权利要求】
1.一种基于学习跨数据域子空间的图像内容识别的分类方法，其特征在于，包括如下步骤: SlO:对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据； S20:输入各目标图像数据域和辅助数据域的数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图； S30:对步骤S20中输入的图像数据、标签信息和建立的邻接图，建立数学模型； S40:根据S30中建立的数学模型，根据推导的各个变量的更新公式，以交替迭代的方式更新子空间中 向量的构建系数、数据在子空间中新的表示特征、分类器系数和在目标域图像数据上预测的拟类标签； S50:利用S40中得到的拟类标签矩阵，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。
2.根据权利要求1所述的基于学习跨数据域子空间的图像内容识别的分类方法，其特征在于，步骤S20包括: 5201:输入辅助数据域和目标数据域的用图像特征表示的训练样本数据，包括:辅助数据域SIFT特征表示的图像数据，对应的标签信息矩阵，拟类标签矩阵，以及目标域SIFT特征表示的图像数据； 5202:构建目标数据域的图像数据的邻接图。
3.根据权利要求1所述的基于学习跨数据域子空间的图像内容识别的分类方法，其特征在于，步骤S30包括: 5301:建立跨数据域子空间学习模型； 5302:在学习得到的子空间中建立分类模型； S303:对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节； S304:将步骤S301得到的学习跨数据域子空间的模型和步骤S302的分类模型，S303中得到的正则项整合起来，得到统一的数学模型。
4.一种基于学习跨数据域子空间的图像内容识别的分类装置，其特征在于包括: 图像预处理模块:对待分类的各目标图像进行特征抽取，将图像数据转化成可用于分类的数值型数据； 数据输入处理模块:从图像预处理模块中输入各目标图像数据域和辅助数据域的各数据特征，以及对应辅助域数据的用于训练的类属标签数据，对数据建立用于几何调节的谱图邻接图； 建模模块:根据数据输入处理模块中输出的数据、标签信息和建立的邻接图，建立数学模型:结合跨数据域子空间学习模型、作用在子空间数据表示特征上的分类模型、目标域数据局部流形的几何结构调节，建立统一的数学模型并输出； 参数迭代更新模块:根据建模模块输出的数学模型，推导各个变量的更新公式，以交替迭代的方式更新跨数据域子空间基向量的构建系数、数据在子空间中新的表示特征、分类器系数和在目标域图像数据上预测的拟类标签； 图像数据分类模块:利用参数迭代更新模块中得到的拟类标签，预测目标域图像数据的分类标签，以此分类标签对目标图像数据进行分类。
5.根据权利要求4所述的基于学习跨数据域子空间的图像内容识别的分类装置，其特征在于，所述数据输入处理模块用于包括: 输入辅助数据域和目标数据域的图像特征表示的训练样本数据，包括:辅助数据域用图像特征表示的数据，对应的标签信息矩阵，拟类标签矩阵，以及目标域用图像特征表示的数据； 构建目标数据域的数据邻接图。
6.根据权利要求4所述的基于学习跨数据域子空间的图像内容识别的分类装置，其特征在于，所述建模模块用于包括: 建立学习跨数据域子空间的模型； 在学习得到的子空间中建立分类模型； 对目标域图像数据的预测标签进行局部流形结构化约束，在预测标签上添加正则项进行调节； 将得到学习跨数据 域子空间的模型、子空间中的分类模型和预测标签上的正则项整合起来，得到统一的数学模型。
【文档编号】G06K9/66GK103971129SQ201410228632
【公开日】2014年8月6日 申请日期:2014年5月27日 优先权日:2014年5月27日
【发明者】方正, 张仲非 申请人:浙江大学