基于相对属性随机森林的零样本图像分类方法
【专利摘要】本发明提出一种基于相对属性随机森林的零样本图像分类方法，根据图像类别与图像属性之间的相对关系为未知类别的图像建立属性排序得分模型，将所有图像的属性排序得分模型作为训练样本来训练随机森林分类器，最后根据测试图像的属性排序得分以及训练得到的随机森林分类器对测试图像的标签进行预测。本发明的方法能够实现零样本图像分类，并且具有分类识别率高、模型稳定性强等优点。
【专利说明】基于相对属性随机森林的零样本图像分类方法
[0001 ] 技术零域
[0002] 本发明属于模式识别零域，尤其是一种基于相对属性随机森林的零样本图像分类 方法。
【背景技术】
[0003] 1.1零样本图像分类
[0004] 零样本图像分类是目前模式识别领域的研究热点之一，与传统的图像分类问题不 同，零样本图像分类在测试阶段所分类和识别的图像未参与分类器模型的训练。如图1所 示，训练阶段已标记图像涵盖了 "Lion"，"Athletic shoes"和"Polar bear"三个类别（即已 知类别），而测试阶段的图像中却出现了 "Stiletto"类别（即未知类别），由于"Stiletto"类 别并没有参与分类器的训练，因此分类器将无法预测其标签。训练数据和测试数据的分布 不同使得零样本图像分类成为一个非常困难的学习任务，但这种问题场景广泛存在于计算 机视觉、图像分类、人脸和语音识别等领域。在零样本图像分类问题中，为了实现从已知类 别到未知类别的知识迀移，分类模型就需要通过视觉属性来搭建一座从底层特征到类别标 签的桥梁。
[0005] 1.2相对属性学习
[0006] 视觉属性（也称属性）是指可以通过人工标注并且能在图像中观察到的特性（例 如，有翅膀、黑头发），属性主要分为二值属性和相对属性，其中相对属性表示某一幅图像与 其他图像相比较含有某一属性的多少。由于从人类的认知角度出发，认识和理解事物往往 是以比较的方式去看待，因此利用相对属性能够更加准确地表达语义属性信息。例如，从图 2中可以直观地看出，（a)表现出明显的"young"的属性，（c)不具有"young"这一属性，对于 (b)而言，则不能简单地用"young"或者"not young"来描述，而可以用比较的方式准确描述 为："(b)is more young than(c)and less young than(a)"。因此，相对属性能够更加准确 地表达语义信息，具有较强的图像描述能力和人机交互能力，能够有效缩小图像底层特征 与高层语义特征之间的语义鸿沟。
[0007] 相对属性除了上述的可以被应用于描述属性强度的大小之外，还能够通过人工有 监督给分类器提供一个反馈[以及交互式地选取图像检索的结果，从而提高主动学习的学 习能力。有研究将二值属性与相对属性混合提出了一种Spoken属性分类器，使得属性能以 一种更加自然的方式来描述图像。还有研究将深度神经卷积网络与相对属性学习框架相结 合，以增加属性排序的精度。在最近的研究中，相对属性被用于解决文本描述和零样本学习 等问题，如:首先，为所有的已知类别建立高斯分布模型;然后，通过人工选择已知类别来建 立未知类别的高斯分布模型;最后，利用最大似然估计的方法对测试图像进行标签预测。然 而，这种方法存在一定的缺点：（1)假设所有已知类图像和未知类图像均服从高斯分布是不 合理的；（2)由于在模型建立的过程中需要人工有监督地选择已经类别，因此会受到人为主 观因素的影响从而导致模型的准确性不高；（3)最大似然估计方法存在较大的误差，这也将 对图像分类的准确性造成影响。
【发明内容】
[0008] 本发明所解决的技术问题在于提供一种基于相对属性随机森林的零样本图像分 类方法，根据图像类别与图像属性之间的相对关系为未知类别的图像建立属性排序得分模 型，将所有图像的属性排序得分模型作为训练样本来训练随机森林分类器，最后根据测试 图像的属性排序得分以及训练得到的随机森林分类器对测试图像的标签进行预测。本方法 能够实现零样本图像分类，且分类识别率高、模型稳定性强。
[0009] 实现本发明目的的技术解决方案为：
[0010] 基于相对属性随机森林的零样本图像分类方法，包括以下步骤：
[0011] 步骤1:给定已知类图像的底层特征及类别标签集{X1，X2, . . .，XS;yi，y2, . . .，ys}、 未知类图像的底层特征集{Z1，Z2, . . .，ZLl}、已知类图像的有序属性对集{Ol·，. . .，〇M}、已知类 图像的相似属性对集{Si，...，SM}、随机树的棵数T和采样百分率II，建立优化函数，其中，S、 U、M、T均为正整数，ne(o，i);
[0012]步骤2:利用已知类图像的底层特征及类别标签集{X1，X2, . . .，xs;yi，y2, . . .，ys}、 有序属性对集{〇ι，. . .，〇m}和相似属性对集{Si,. . .，Sm}求解优化函数，得到Μ个属性排序函 数 rm(.Y) = ，其中 Wm为投影向直，ιι'," 为 Wm 的转置，i = l，2，· · ·，s，m=l，2，· · ·，Μ;
[0013] 步骤3:建立已知类图像的属性排序得分模型#.,和未知类图像的属性排 序得分模型并组成训练样本集Ω，将所有图像在属性空间中定位，其中， 分别表示已知类图像对应底层特征XI，Χ2，. . .，xs的属性排序得分， 分别表示未知类图像对应底层特征Z1，Z2,...，211的属性排序分；
[0014] 步骤4:对训练样本集Ω进行采样百分率为η的τ次Bootstrap随机采样，得到采样 样本集 Ω t = Boots trapSampling ( Ω)，?=1，2，···，Τ;
[0015] 步骤5:生成随机树分类器：
[0016] 步骤5-1:若Ω *中所有样本的类别相同，则把当前节点作为叶节点返回，并根据样 本的类别标签来标记该节点类别；否则，转到步骤5-2;
[0017] 步骤5-2:随机选择参数空间子集：rs!rf!(Q;)c：r(Q;)，Γ ( Ω〇为完整参数空间，rsub (Ω t)为Γ ( Ω t)的子集，对于每一个参数空间子集Γ sub( Ω t)，计算信息增益IGA | Ω t)，得
到弱分类器的最优参数： ，j = 1，2，. . .，| Γ sub |，0」表示子集Γ sub( Ω t) 中的第j个类别；
[0018] 步骤5-3:令左、右子节点的当前数据集为空d，<-0、
[0019] 步骤5-4:根据最优参数A十算弱分类器Μη|θ，的值，若h(ri|0，= ljl^(ri， yi)添加到左子节点的数据集：Ω left= Ω leftU {(ri，yi)};若h(ri| θ*)=0,则将(ri，yi)添加 到右子节点的数据集：Qright = QrightU {(ri，yi)}，其中，ri表示属性排序得分，yi表示类别 标签；
[0020] 步骤5-5:数据集Ω lef4P Ω right成为该节点的子节点，对于这些子节点分别重复步 骤5-1至5-4，得到第t个随机树分类器；
[0021] 步骤6:重复步骤4至步骤5,得到基于相对属性随机森林的零样本图像分类器 TreeRooti，· ··，TreeRootT;
[0022] 步骤7:利用属性排序函数?,(Λ·,) = ^^ν,计算测试图像的属性排序得
[0023] 步骤8:将r(u)代入分类器TreeRooti，· · · JreeRootT中，得到r(u)属于类别C的概率， 计算并输出测试图像的类别标签。
[0024] 进一步的，本发明的基于相对属性随机森林的零样本图像分类方法，步骤1中的优 化函数为：
[0027]其中，lij是有序属性对{0i,. ..，0m}的非负松弛因子，γ ij是相似属性对{Si,...， Sm}的非负松弛因子，参数C用于权衡最大化边缘距离和满足属性对相对关系。
[0028] 进一步的，本发明的基于相对属性随机森林的零样本图像分类方法，步骤2中求解 优化函数采用将排序边缘i/||wm| I最大化、非负松弛因子和γυ最小化，从而得到最优投 影向量。
[0029] 进一步的，本发明的基于相对属性随机森林的零样本图像分类方法，步骤3中建立 已知类图像的属性排序得分模型包括以下步骤：
[0030] 步骤3-1:将已知类的各类别之间的关系类比到属于该类的图像属性之间的关系；
[0031] 步骤3-2:计算所有已知类图像的属性排序得分f n(s)的每一维表示图像对应属性的排序得分；
[0032] 步骤3-3:所有已知类图像的属性排序得分组成属性排序得分模型
[0033] 进一步的，本发明的基于相对属性随机森林的零样本图像分类方法，步骤3中未知 类图像通过属性之间的关系与已知类建立相对关系，以此来建立未知类图像的属性排序得 分模型，具体包括以下三种情况：
[0034] (1)若存在已知类f、4'1的第m个属性<)、与未知类#的第m个属性〇同时 满足:C，且已知类4 1和#是与未知类 < 相对属性排序最近的两已知类，则图 像模型的第m个属性排序得分为：
[0036] 其中，i = l，2, · · ·，I，k=l，2, · · ·，K，j = l，2, · · ·，Ι · K，I和K分别是已知类和 #的图像总数，^、〇分别为已知类#、#的第m个属性排序得分；
[0037] (2)若未知类<处于边界且存在已知类cT的第m个属性满足，则图像模型 的第m个属性排序得分为：
[0038]
[0039] 其中，i = 1，2，. . .，I，j = 1，2，. . .，I，<!表示训练类图像的属性排序得分之间的
[0040] (3)若未知类if处于边界且存在已知类c;'1的第m个属性满足，则图像模型 的第m个属性排序得分为：
[0043]进一步的，本发明的基于相对属性随机森林的零样本图像分类方法，步骤8中r(u) 属于类别c的概率为：
[0045] 其中，T为森林中随机树的棵数，pt(c|r(u))为叶节点的类别分布。
[0046] 进一步的，本发明的基于相对属性随机森林的零样本图像分类方法，步骤8中测试 图像的类别标签为：
[0048]本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0049] 1、本发明的基于相对属性随机森林的零样本图像分类方法为每一个图像单独建 立一个属性排序得分模型，使得参与分类器训练的模型更为合理及准确；
[0050] 2、本发明的基于相对属性随机森林的零样本图像分类方法自动选择已知类别来 为未知类别建立模型，避免了人工选择已知类别所带来的主观影响；
[0051] 3、本发明的基于相对属性随机森林的零样本图像分类方法采用随机森林分类器 降低了分类误差，从而提高了零样本图像分类的准确度；
[0052] 4、本发明的基于相对属性随机森林的零样本图像分类方法分类识别率高、模型稳 定性强。
【附图说明】
[0053]图1是零样本图像分类示意图；
[0054]图2是相对属性示意图；
[0055]图3是基于相对属性随机森林的零样本图像分类方法结构框图；
[0056]图4是学习属性排序函数的流程图；
[0057]图5是有序属性对和相似属性对示意图；
[0058]图6是属性排序函数不意图；
[0059] 图7是建立AR模型的流程图；
[0060] 图8是训练随机森林分类器的流程图；
[0061 ]图9是预测测试图像类别标签的流程图。
【具体实施方式】
[0062] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始 至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参 考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0063] 基于相对属性随机森林的零样本图像分类方法，如图3所示，包括以下步骤：
[0064]步骤1:如图4中（1)，给定已知类图像的底层特征及类别标签集{X1，X2，...， XS;yi， y2, . . .，ys}、未知类图像的底层特征集{zi，Z2, . . .，zu}、已知类图像的有序属性对集 {(h，...，0M}、已知类图像的相似属性对集{Si，...，S M}、随机树的棵数T和采样百分率II，其 中，S、U、M、T均为正整数，qe (0,1)，建立如下优化函数：
[0067]其中，lij是有序属性对{Oi,. ..，0m}的非负松弛因子，γ ij是相似属性对{Si,...， Sm}的非负松弛因子，参数C用于权衡最大化边缘距离和满足属性对相对关系。
[0068] 具体原理如下：
[0069] 给定训练图像集1 = {i}，每个图像用特征向量XieRd表示;给定具有Μ个属性的属 性集』=;对于每一属性am，给定一系列有序属性对Om= { ( i，j ) }和相似属性对Sm = {(i，j)}，其中，(U_) e > >，表示图像i含有属性多于图像j ; e人j i? j'，表示图像i 含有属性与图像j相似。图5是以"笑"这个属性为例的有序属性对和相似属性对示意图，其 中有序属性对中的图像属性强度大小不一样，存在一定的强弱关系，而相似属性对中的图 像属性强度差不多，不存在属性强弱关系。学习属性排序函数的目的是为了得到Μ个属性排 序函数：
[0070] /;"(~）= w:.v,
[0071] 对于m=l，. . .，M，最大可能地满足下列限制：
[0072] V(2.y) e Om : wlx, >
[0073] V(/,;) e Sm : wjnxi = wlxj
[0074] 其中，wm是投影向量，因此，学习属性排序函数旨在底层特征空间中找到最优的投 影方向，使得所有图像在该方向上的投影拥有正确的排序。为解决上述问题，引入非负松弛 变量和γ 得到如下优化函数：
[0077]其中，ξυ是有序属性对0m= {(i，j)}的非负松弛因子，γ ij是相似属性对Sm= {(i， j)}的非负松弛因子，参数C用于权衡最大化边缘距离和满足属性对相对关系。
[0078]步骤2:利用已知类图像的底层特征及类别标签集{xi，X2, . . .，xs;yi，y2, . . .，ys}、 有序属性对集{〇i，. . .，〇m}和相似属性对集{Si,. . .，Sm}求解优化函数，将排序边缘1/1 Iwm| 最大化、非负松弛因子k和γυ最小化，得到最优投影向量，从而得到Μ个属性排序函数 = ，其中Wm为投影向量，<为w m的转置，i = l，2,. . .，s，m=l，2,. . .，Μ。建立属性排 序函数实际上就是学习一个能够准确地将训练图像排序的函数，如图4(2)，排序的边缘限 制就是让整个排序中最近的两个图像之间的距离最大。如图6所示，排序的目的是将数据点 (分别用1、2、3、4、5、6表示）更好地排序，让队列中两个最近的数据点（2、3)之间的边缘最 大，因此排序函数能够更好地表示属性强度的相对关系。
[0079] 步骤3:建立已知类图像的属性排序得分模型和未知类图像的属性排 序得分模型{/f >，.., /jf}，并组成训练样本集Ω，将所有图像在属性空间中定位，其中， 分别表示已知类图像对应底层特征X1，X2, . . .，xs的属性排序得分， /-/'々，...，/-/广分别表示未知类图像对应底层特征^^^…以的属性排序分^帽？。)* 不。
[0080] 假设有S类图像是已知类别的，有U类图像是未知类别的，由零样本图像分类的概 念可知，S类已知类别的图像可以直接参与分类器的训练，而U类未知类别的图像不能直接 参与分类器的训练，只能出现在零样本图像分类的测试阶段，因此在建立图像的属性排序 得分模型时，已知类别的图像和未知类别的图像所采用的方法是不一样的，本发明提出采 用以下方法建立图像的属性排序得分模型：
[0081] 首先建立已知类图像的属性排序得分模型，包括以下步骤，如图7(1):
[0082]步骤3-1:将已知类的各类别之间的关系类比到属于该类的图像属性之间的关系， 艮P :对于任意的属性已》及已知类4s和4，< > 4 4 i >力Vi_ e <，Vj· € C;;
[0083] 步骤3-2:计算所有已知类图像的属性排序得分f =(?.··，）， + 1的每一维表示图像对应属性的排序得分；
[0084] 步骤3-3:所有已知类图像的属性排序得分组成属性排序得分模型
[0085] 这样就将原本用d维特征向量表示的已知类图像^用11维的属性排序得分Γι表示： xieRd-rieRM，其中，a = ，η的每一维表示图像对应属性的排序 得分。
[0086] 由于未知类别不能直接参与分类器的训练过程，因此不能用同样的方法对未知类 的图像进行建模，但是，未知类图像通过属性之间的关系与已知类建立相对关系，例如"熊" (未知类别）比"长颈鹿"（已知类别)毛多，但不如"兔子"（已知类别)毛多。如图7(2)，具体来 说，对于属性am，未知类#可以用已知类#和#分以下三种情况进行相关描述：
[0087] (1)若存在已知类^、4'1的第m个属性<>、〇与未知类<>的第 m个属性同时 满足:〇 > C. > d，且已知类f和#是与未知类#相对属性排序最近的两已知类，则图 像模型的第m个属性排序得分为：
[0089] 其中，i = l，2, · · ·，I，k=l，2, · · ·，K，j = l，2, · · ·，Ι · K，I和K分别是已知类f 和 #的图像总数，#、C分别为已知类#的第m个属性排序得分；
[0090] (2)若未知类彳1处于边界且存在已知类#的第m个属性满足，则图像模型 的第m个属性排序得分为：
[0091]
[0092] 其中，1 = 1，2，...，1，」=1，2，...，1，413表示训练类图像的属性排序得分之间的
[0093] (3)若未知类彳1处于边界且存在已知类<'的第m个属性满足则图像模型 的第m个属性排序得分为： _ ⑵
[0096] 本发明采用如下策略自动地选择合适的已知类来建立未知类的属性排序得分模 型:优先选择满足f 的已知类和C，且沪和是与未知类相对属性排序最 近的两类;如果45处于边界，没有满足4i：l >的已知类ef >和，则选择相对属性排序 最高的4s或最低的对未知类建模。
[0097] 步骤4:对训练样本集Ω进行采样百分率为η的τ次Bootstrap随机采样，得到采样 样本集Ω t = BootstrapSampling( Ω )，t=l，2, · · ·，T〇
[0098] 步骤5:生成随机树分类器，如图8所示，在随机森林分类器中，每棵树中的每个节 点都可以看作是一个弱分类器，对到达该节点的训练样本集Ω (包括已知类样本集 Ω⑷和未知类样本集Ω⑷=^),0，...,^)计算得到一个分类准则11(幻0) = {0，l}，reRM表示一个训练样本，θ={φ，φ}为这个弱分类器的参数，其中φ( ·)为筛选 函数，Φ为一个参数矩阵。
[0099] 步骤5-1:若Ω *中所有样本的类别相同，则把当前节点作为叶节点返回，并根据样 本的类别标签来标记该节点类别；否则，转到步骤5-2;
[0100] 步骤5-2:随机选择参数空间子集：rsiA(f\)c=r(i\)，Γ ( Qt)为完整参数空间，rsub (Ω t)为Γ ( Ω t)的子集，对于每个节点Γ sub都是从Γ中随机选择的，这体现了在节点分裂过 程中的随机性，对每一个参数空间子集r sub( Ω t)，计算信息增益IG(0j I Ω t)，信息增益衡量 了分裂后训练样本不纯度的下降幅度，可以定义为：
[0103] 其中，Nc表示训练样本的类别个数，p(c| Ω )表示训练样本集Ω中类别c所占的比 例，0 = {(/丨,％；)€1表示落入该节点的所有训练样本的集合，71表示第：1个样本的标签，〇1(^ 1; (Θ)和Qright(0)分别表示在参数Θ下落入左、右子节点的样本集，|Ω卜及表示集合Ω中的元 素个数，Η( Ω )表示落入一个节点的样本集的不纯度，用信息熵来描述。
[0104] 然后得到弱分类器的最优参数： 」=1，2, . . .，| rsub|，0」表 示子集Γ sub( Ω t)中的第j个类别。
[0105] 由此可知，每个节点的"最优"参数#应使节点在分裂后不纯度下降幅度最大。
[0106] 步骤5-3:令左、右子节点的当前数据集为空
[0107] 步骤5-4:根据最优参数Θ1 十算弱分类器Μη|θ。的值，若h(ri|0l = ljl^(ri， yi)添加到左子节点的数据集：Ω left= Ω leftU {(ri，yi)};若h(ri| θ*)=0,则将(ri，yi)添加 到右子节点的数据集：Qright = QrightU {(ri，yi)}，其中，ri表示属性排序得分，yi表示类别 标签；
[0108] 步骤5-5:数据集Ω lef4P Ω right成为该节点的子节点，对于这些子节点分别重复步 骤5-1至5-5,得到第t个随机树分类器，即：在每个叶节点处，通过统计训练样本集中到达此 叶节点的分类标签的直方图，可以估计此叶节点上的类分布。这样的迭代训练过程一直执 行到不能通过继续分裂获取更大的信息增益为止。
[0109] 步骤6:重复步骤4至步骤5,得到基于相对属性随机森林的零样本图像分类器 TreeRooti，·…，TreeRootT〇
[0110] 步骤7:如图9,利用属性排序函数= 计算测试图像的属性排序得分rW， 此处所有测试图像均是未知类别的图像，并未参与随机森林分类器的训练。。
[0111] 步骤8:如图9,将r(u)代入分类器TreeRooti, · · ·，TreeRootT中，迭代地在各个随机 树中进行或左或右的分支，直到到达各个随机树的叶节点，各个叶节点上的分类分布也即 是这棵树做出的分类结果。将各棵树叶节点上的分类分布进行平均，即可得到r (u)属于类别
，其中，T为森林中随机树的棵数，pt(c | r(u))为叶节点的类 别分布。然后计算并输出测试图像的类别标签：
[0112] 以上所述仅是本发明的部分实施方式，应当指出，对于本技术零域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保 护范围。
【主权项】
1. 基于相对属性随机森林的零样本图像分类方法，其特征在于，包括W下步骤： 步骤1:给定已知类图像的底层特征及类别标签集{xi，x2,. . .，xs;yi，y2,. . .，ys}、未知 类图像的底层特征集{Z1，Z2, . . .，zu}、已知类图像的有序属性对集{〇1，. . .，0m}、已知类图像 的相似属性对集{Si，. . .，Sm}、随机树的棵数T和采样百分率II，建立优化函数，其中，S、U、M、T 均为正整数，ne(o，i); 步骤2:利用已知类图像的底层特征及类别标签集{xi，X2,. . .，xs;yi，y2, . . .，ys}、有序 属性对集{〇1，. . .，〇m}和相似属性对集{Si，. . .，Sm}求解优化函数，得到Μ个属性排序函数 ，其中Wm为投景多向量，"克为Wm的转置，i = l，2,...，s，m=l，2,...，Μ; 步骤3:建立已知类图像的属性排序得分模型if,护)，...，皆啦日未知类图像的属性排序得 分模型，尽。\...，皆i，并组成训练样本集Ω，将所有图像在属性空间中定位，其中， 产，;fi，...，;沪分别表示已知类图像对应底层特征X1，X2, ...，xs的属性排序得分， 皆>分别表示未知类图像对应底层特征Z1，Z2, . . .，ZU的属性排序分； 步骤4:对训练样本集Ω进行采样百分率为η的T次Bootstrap随机采样，得到采样样本 集 Ω t = BootstrapSampling( Q)，t=l，2，...，T; 步骤5:生成随机树分类器： 步骤5-1:若Ω t中所有样本的类别相同，则把当前节点作为叶节点返回，并根据样本的 类别标签来标记该节点类别；否则，转到步骤5-2; 步骤5-2:随机选择参数空间子集:Γ(Ω,)，Γ ( Ω 0为完整参数空间，Γ sub( Ω 0 为Γ ( Ω 0的子集，对于每一个参数空间子集Γ sub( Ω 0，计算信息增益/G(0^ Ω 0，得到弱 分类器的最优参数j = 1，2，. . .，I Γ sub I，ΘJ表示子集Γ sub( Ω t)中的 第j个类别； 步骤5-3:令左、右子节点的当前数据集为空：，Ω,姆 步骤5-4:根据最优参数巧十算弱分类器h(ri|9^的值，若Κη|θ^ = 1，则将(n，yi)添加 至化子节点的数据集：〇^*=〇16:山{(^，71)};若}1(^|0^=〇，则将^1，71)添加到右子节 点的数据集：〇,邮=〇,础山佔1，71)}，其中而表示属性排序得分，7康示类别标签； 步骤5-5 :数据集Ω left和Ω right成为该节点的子节点，对于运些子节点分别重复步骤5- 1至5-4，得到第t个随机树分类器； 步骤6:重复步骤4至步骤5,得到基于相对属性随机森林的零样本图像分类器 TreeRooti，...，TreeRootT; 步骤7:利用属性排序函数和(?) = w枯，计算测试图像的属性排序得分rful; 步骤8:将r(u>代入分类器化eeRooti，...，化eeRootT中，得到r(u>属于类别C的概率，计算 并输出测试图像的类别标签。2. 根据权利要求1所述的基于相对属性随机森林的零样本图像分类方法，其特征在于， 步骤1中的优化函数为：其中，Cij是有序属性对{〇1，. . .，〇m}的非负松弛因子，丫 ij是相似属性对{Sl，. . .，Sm}的 非负松弛因子，参数C用于权衡最大化边缘距离和满足属性对相对关系。3. 根据权利要求1所述的基于相对属性随机森林的零样本图像分类方法，其特征在于， 步骤2中求解优化函数采用将排序边缘1/II Wmll最大化、非负松弛因子ξυ和丫 U最小化，从 而得到最优投影向量。4. 根据权利要求1所述的基于相对属性随机森林的零样本图像分类方法，其特征在于， 步骤3中建立已知类图像的属性排序得分模型包括W下步骤： 步骤3-1:将已知类的各类别之间的关系类比到属于该类的图像属性之间的关系； 步骤3-2:计算所有已知类图像的属性排序得分分>=[；<，成=护片产的 每一维表示图像对应属性的排序得分； 步骤3-3:所有已知类图像的属性排序得分组成属性排序得分模型{r/s>，rT'，...，rr}。5. 根据权利要求1所述的基于相对属性随机森林的零样本图像分类方法，其特征在于， 步骤3中未知类图像通过属性之间的关系与已知类建立相对关系，W此来建立未知类图像 的属性排序得分模型，具体包括W下Ξ种情况： (1) 若存在已知类cfj、皆，的第m个属性峨、媒1-与未知类冷惭第m个属性端同时满足： 端 >媒：>说，且已知类c,"'和勢是与未知类坤哺对属性排序最近的两已知类，则图像模 型的第m个属性排序得分为：其中，1 = 1，2，...，1^=1，2，...，1(〇 = 1，2，...，1-1(，1和1(分别是已知类^嘴皆>的图 像总数，/;打、识;分别为已知类<户、濟的第m个属性排序得分； (2) 若未知类皆>处于边界且存在已知类冲1的第m个属性满足:瑣!. >eg，则图像模型的第 m个属性排序得分为：其中，i = 1，2，. . .，I，j = 1，2，. . .，I，式:j表示训练类图像的属性排序得分之间的平均 差异(3) 若未知类cf处于边界且存在已知类cf的第m个属性满足端.>视，则图像模型的第 m个属性排序得分为：其中,k=l,2,. . . ,K,j = l,2,...6. 根据权利要求1所述的基于相对属性随机森林的零样本图像分类方法，其特征在于， 步骤8中rW属于类别C的概率为：其中，T为森林中随机树的棵数，pt(c|rW)为叶节点的类别分布。7. 根据权利要求6所述的基于相对属性随机森林的零样本图像分类方法，其特征在于， 步骤8中测试图像的类别标签为：
【文档编号】G06K9/66GK106096661SQ201610465880
【公开日】2016年11月9日
【申请日】2016年6月24日
【发明人】乔雪, 彭晨, 段贺, 刘久云, 胡岩峰, 刘振
【申请人】中国科学院电子学研究所苏州研究院