为视图的满意度模型与基于时间视图的满意度模型对未标注数据分配 伪标签; (4) 利用基于行为视图的满意度模型与基于时间视图的满意度模型,结合带有伪标签 的未标注数据训练基于多视图和半监督学习的用户满意度模型; (5) 通过基于多视图和半监督学习的用户满意度模型计算得到信息需求的生成概率, 输出概率最大的类作为输出的最终分类结果。2. 根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(1)对视图数据与时间视图数据作预处理包括:对搜索引擎 日志数据内的标注数据所分出的行为视图数据与时间视图数据按照满意度标签分为满意 行为视图数据和不满意行为视图数据,满意时间视图数据和不满意时间视图数据两部分; 对搜索引擎日志数据内的未标注数据所分出的行为视图数据与时间视图数据处理得到评 估数据。3. 根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(2)的基于行为视图的满意度模型包括基于行为视图的满意 模型与基于行为视图的不满意模型,训练基于行为视图的满意模型与训练基于行为视图的 不满意模型的方法类似,其中,训练基于行为视图的满意模型的方法步骤如下: 1) 以一个信息需求为单位读取经过标注数据预处理的满意行为视图数据;如果所读数 据是一个完整的信息需求,则进入步骤2);如果所读数据不是一个完整的信息需求,则继续 读取下一个数据; 2) 统计已读信息需求出现的行为的类型&1及该类型行为出现的次数统计已读信 息需求出现的行为转移的类型(&1,^)及该行为转移出现的次数' 3) 利用最大似然估计计算两个行为&1和^之间的转移概率;用拉普拉斯平滑处理由于 数据稀疏而产生的零概率问题,处理公式如下:其中,α>0是平滑参数,I Vl是用户在使用搜索引擎过程中可能出现的行为类型数量; 4) 输出满意模型的用户行为转移概率矩阵。4. 根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(2)的基于时间视图的满意度模型包括基于时间视图的满意 模型与基于时间视图的不满意模型,训练基于时间视图的满意模型与训练基于时间视图的 不满意模型的方法类似,其中,训练基于时间视图的满意模型的方法步骤如下: (i)以一个信息需求为单位读取经过标注数据预处理的满意时间视图数据;如果所读 数据是一个完整的信息需求,则进入步骤(ii);如果所读数据不是一个完整的信息需求,则 继续读取下一个数据; (i i)统计每个行为转移的停留时间; (i i i)利用Ga_a分布对行为转移的停留时间建立概率模型:其中,k是尺度参数,Θ是形状参数,X是一个行为转移,且X,k,Θ > 〇; (iv)输出每个行为转移的尺度参数和形状参数。5. 根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(3)利用基于行为视图的满意度模型对未标注数据分配伪标 签的步骤如下: (A) 读取两个基于行为视图的用户满意度模型的行为转移概率矩阵; (B) 以一个信息需求为单位读取预处理后的未标注数据产生的行为视图数据;如果所 读数据是一个完整的信息需求,则进入步骤(C);如果所读数据不是一个完整的信息需求, 则继续读取下一个数据; (C) 对于一个包含η个行为的信息需求S =〈ai,. . .,ai-i,ai,. . .,an>,结合行为转移概率 矩阵计算得到从模型中生成此信息需求S的概率为:其中,Co表示不满意的类,&表示满意的类; 计算得到最大似然估计为:其中,P(C)表示类C的先验概率; (D) 计算并获取似然估计值最大的类作为当前信息需求的伪分类结果,同时给当前信 息需求分配伪标签,其中计算公式如下所示:6. 根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(3)利用基于时间视图的满意度模型对未标注数据分配伪标 签的方法与利用基于行为视图的满意度模型对未标注数据分配伪标签的方法类似。7. 根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(4)训练基于多视图和半监督学习的用户满意度模型的步骤 如下: (I) 以一个信息需求为单位读取预处理后标注数据的行为视图数据; (II) 基于步骤(1)的行为视图数据训练基于行为视图的满意模型和不满意模型; (III) 利用基于行为视图的满意模型和不满意模型对预处理后的未标注数据分配伪标 签;并将带有伪标签的未标注数据与原始的标注数据整合成新标注数据集; (IV) 对得到的新标注数据集作标注数据预处理,并以一个信息需求为单位读取预处理 后标注数据集中的时间视图数据; (V) 基于步骤(IV)得到的时间视图数据训练基于时间视图的满意模型和不满意模型; (VI) 检查比较当前得到的基于行为视图的用户满意度模型与步骤(2)得到的基于行为 视图的用户满意度模型是否相同,如果相同则执行步骤(VII),如果不同则执行步骤 (VIII); (VII) 检查当前得到的基于时间视图的用户满意度模型与步骤(2)得到的基于时间视 图的用户满意度模型是否相同,如果相同则执行步骤(X),如果不同则执行步骤(VIII); (VIII) 根据步骤(V)得出的模型对经过未标注数据预处理的未标注数据分配伪标签; 并将带有伪标签的未标注数据与原始的标注数据整合成新标注数据集; (IX) 对步骤(VIII)得到的新标注数据集来做标注数据预处理,并以一个信息需求为单 位读取该标注数据集中的行为视图数据; (X) 输出基于行为视图的满意模型和不满意模型,输出基于时间视图的满意模型和不 满意模型。8.根据权利要求1所述的融合多视图和半监督学习的搜索引擎用户信息需求满意度评 估方法,其特征在于:所述步骤(5)得到最终分类结果的方法步骤如下: (a) 通过基于多视图和半监督学习的用户满意度模型得到基于行为视图的用户满意度 模型和基于时间视图的用户满意度模型; (b) 以一个信息需求为单位读取经过未标注数据预处理的评估数据;如果所读数据是 一个完整的信息需求,则进入步骤(c);如果所读数据不是一个完整的信息需求,则继续读 取下一个数据; (c) 分别计算当前信息需求在基于行为视图的满意模型中生成的概率和基于行为 视图的不满意模型中生成的概率分别计算当前信息需求在基于时间视图的满意模型 中生成的概率和基于时间视图的不满意模型中生成的概率if*; (d) 由:计算得到在满意模型中生成的概率在不满意模型 中生成的概率,并在二者中取概率最大的类作为最终分类结果,即:最后输出当前信息需求的最终分类结果。
【专利摘要】本发明涉及融合多视图和半监督学习的搜索引擎用户信息需求满意度评估方法,该方法分为数据预处理、训练子视图满意度模型、对未标注数据分配伪标签、训练基于多视图和半监督学习的用户满意度模型和评估六个阶段,本发明通过半监督学习的方法使用少量标注数据和大量未标注数据来提高评估模型的性能,并引入多视图学习的思想来克服传统的基于单视图的半监督学习方法容易陷入局部最优的问题。有益效果在于:(1)可以在少量的标注数据的情况下,有效地评估搜索引擎的用户信息需求满意度;(2)可以通过使用少量标注数据和大量未标注数据来提高用户满意度模型评估性能;(3)分别从行为和时间的角度来描述用户的搜索过程,通过相互学习来避免模型陷入局部最优。
【IPC分类】G06F17/30, G06K9/62
【公开号】CN105488522
【申请号】CN201510824301
【发明人】吴勇, 季海琦, 陈岭, 范阿琳
【申请人】浙江鸿程计算机系统有限公司
【公开日】2016年4月13日
【申请日】2015年11月23日