排序特征重要度确定方法、装置、电子设备及存储介质与流程
本申请涉及计算机技术领域，特别是涉及一种排序特征重要度确定方法、装置、电子设备及计算机可读存储介质。
背景技术：
深度学习是由hinton等人于2006年提出的一种基于多层感知机的机器学习方法，该方法通过深层神经网络组合低阶特征获取对目标更高层的表示。深度学习模型广泛应用于图像、语音和搜索广告领域，但由于神经网络不为人知的决策细节，所以常常被视为一种黑盒模型。目前常用的排序模型就是一种复杂度较高的深度学习模型，虽然能凭借深层神经网络强大的表达能力取得显著效果，但由于高度非线性及黑盒特性，还没有工具能对排序结果进行显式分析。
可见，现有技术中排序模型通过多阶特征组合隐藏了模型学习细节，导致无法获取模型的特征重要度。
技术实现要素：
本申请提供一种排序特征重要度确定方法，能够确定排序特征的重要度。
为了解决上述问题，第一方面，本申请实施例提供了一种排序特征重要度确定方法，包括：
确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；
确定所述至少一个排序特征中取值不同的排序特征，作为目标特征；
通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，其中，所述第一目标特征为任意一个所述目标特征。
第二方面，本申请实施例提供了一种排序特征重要度确定装置，包括：
排序对象对及排序特征取值确定模块，用于确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；
目标特征确定模块，用于确定所述至少一个排序特征中取值不同的排序特征，作为目标特征；
目标特征重要度确定模块，用于通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，其中，所述第一目标特征为任意一个所述目标特征。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的排序特征重要度确定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的排序特征重要度确定方法的步骤。
本申请实施例公开的排序特征重要度确定方法，通过确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；确定所述至少一个排序特征中取值不同的排序特征，作为目标特征；通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，其中，所述第一目标特征为任意一个所述目标特征，能够确定排序特征的重要度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的排序特征重要度确定方法流程图；
图2是本申请实施例二的排序特征重要度确定方法流程图；
图3是本申请实施例四的排序特征重要度确定装置结构示意图之一；
图4是本申请实施例四的排序特征重要度确定装置结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
本申请实施例公开的一种排序特征重要度确定方法，如图1所示，该方法包括：步骤110至步骤130。
步骤110，确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值。
本申请实施例公开的排序特征重要度确定方法可以应用在确定用户、文档、商户、产品等对象的排序模型中的排序特征重要度。例如，对于文档排序模型，在进行文档搜索召回时，排序模型会根据搜索关键词或搜索条件确定预设文档排序特征的取值，然后，提取候选文档的上述文档排序特征的取值，并根据文档排序特征的取值计算各候选文档的排序得分；最后，按照排序得分对候选文档进行排序召回。
本申请应用到文档排序应用中时，所述第一排序得分不同的两个排序对象可以为排序得分不同的任意两个候选文档，所述的至少一个排序特征则为根据具体排序需求预先定义的文档特征，如文档类型、关键字、长度等等。
当本申请实施例公开的一种排序特征重要度确定方法应用在其他场景中时，对应不同类型的排序对象，相应的排序特征也会有所不同。具体的，所述至少一个排序特征可以根据具体排序需求预先确定，所述至少一个排序特征可以为排序对象的全部排序特征，也可以为排序对象的部分排序特征，本申请实施例中对此不做限定。
本申请以下实施例中，以所述至少一个排序特征为排序对象的全部排序特征举例，说明排序特征重要度的确定方法。
步骤120，确定所述至少一个排序特征中取值不同的排序特征，作为目标特征。
对于所述排序对象对，由于其排序特征的特征值不完全相同，因此导致了排序对象对中的两个排序对象排序位次不同，据此可以说明：特征值不同的排序特征对其排序结果存在影响，即目标特征(前述特征值不同的排序特征)对排序结果的重要度不同。
为了进一步确定某个目标特征对排序结果的重要度，本申请实施例中通过对所述排序对象对的所述目标特征进行特征替换，然后再确定特征替换后的排序结果，根据特征替换前后排序结果的变化，确定替换的所述目标特征对排序结果的重要度。
以对文档进行排序的应用场景为例，对于排序后召回的文档dr和dl,将这两个文档表示为一个文档对<dl,dr>,假设排序模型在对上述文档模型排序时采用了5个排序特征，分别表示为：f1、f2、f3、f4和f5，并且，对于文档dr，上述排序特征的取值分别为：fr1、fr2、fr3、fr4和fr5,对于文档dl，上述特征的取值分别为：fl1、fl2、fl3、fl4和fl5。那么，如果文档dr的排序特征fr5和文档dl的相应排序特征fl5取值相同，而文档dr的排序特征fr1、fr2、fr3、fr4和文档dl的相应排序特征fl1、fl2、fl3和fl4取值不同，则确定排序特征f1、f2、f3和f4作为目标特征(即需要确定对文档dl和dr的排序重要度的特征)。
步骤130，通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度。
其中，所述第一目标特征为任意一个所述目标特征。
本申请实施例中所述的排序特征的重要度指某个排序特征对排序结果的重要程度，例如，某一排序特征的特征值变化对排序结果有正向影响(即提升排序位置)或负向影响(即降低排序位置)，影向大小等信息。。由前述步骤的描述可知，所述目标特征为不同排序对象的排序特征，例如前述步骤所述的排序特征f1、f2、f3和f4。在本申请的一些实施例中，可以通过只替换一个目标特征，以确定替换的该目标特征对排序对象对中某个对象的排序重要性。
在本申请的一些实施例中，所述通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，包括：对于第一目标特征，将第一排序对象的相应排序特征的取值替换为第二排序对象的所述相应排序特征的取值，其中，所述第一排序对象和所述第二排序对象为所述排序对象对中的不同排序对象；基于替换后的所述至少一个排序特征的取值，确定所述第一排序对象的第二排序得分；根据所述第一排序对象的所述第一排序得分和所述第二排序得分的变化值，确定所述第一目标特征对于所述排序对象对的重要度。
以文档排序的应用场景为例，假设至少一个排序特征(如全部排序特征)包括：文档类型(如评论)和关键词(如味道、服务、环境和交通)两个类别，其中，文档类型排序特征为“评论”，关键词类型的排序特征为“味道”、“服务”、“环境”和“交通”，那么，排序模型将确定每个搜索物料的上述排序特征(即“评论”、“味道”、“服务”、“环境”、“价格”、“菜系”和“交通”)的取值，并按照预设的策略对搜索物料进行排序召回。对于排序召回的任意两个文档doc1和doc2组成的文档对(即排序对象对)为例，假设这两个文档的文档类型都为“评论”，文档doc1中包括：“味道”、“服务”、“环境”和“菜系”四个关键词，其排序得分(即第一排序得分)为s11；而文档doc2中包括：“环境”、“价格”、“菜系”和“交通”四个关键词,其排序得分(即第一排序得分)为s21；同时假设包括相应的关键词时，该关键词对应的排序特征取值为1，不包括相应的关键词时，该关键词对应的排序特征取值为0，即，doc1的排序特征为c1＝{评论＝1，味道＝1，服务＝1，环境＝1，价格＝0，菜系＝1，交通＝0}，doc2的排序特征为c2＝{评论＝1，味道＝0，服务＝0，环境＝1，价格＝1，菜系＝1，交通＝1}，那么，可以确定取值不同的排序特征即目标特征包括：味道、服务、价格和交通。
接下来，以确定“味道”这一排序特征的重要性为例，则确定第一目标特征为“味道”。对于文档doc1，其对应“味道”这一排序特征的取值为1，根据本申请实施例中的方法，可以用文档doc1中“味道”这一排序特征的取值0替换文档doc1中“味道”这一排序特征的取值，则文档doc1的所述至少一个排序特征更新为c1’＝{评论＝1，味道＝0，服务＝1，环境＝1，价格＝0，菜系＝1，交通＝0}。之后，基于文档doc1更新后的排序特征c1’重新计算文档doc1的排序得分。
假设替换了排序特征“味道”的取值之后得到的文档doc1的排序得分(即第二排序得分)为s11’,那么，在本申请的一些实施例中可以将文档doc1替换第一目标特征(即排序特征“味道”)之后得到的排序得分s11’与替换第一目标特征之前的排序得分s11的差值作为第一目标特征替换引起的排序得分变化值，并根据该变化值确定所述第一目标特征对于所述排序对象对中文档doc1的重要度。例如，可以确定排序得分变化值的绝对值(即|s11’-s11|)越大，排序特征“味道”对文档doc1的重要度越高；排序得分变化值大于0，说明排序特征“味道”对文档doc1的重要度是正向的，排序得分变化值小于0，说明排序特征“味道”对文档doc1的重要度是负向的。
本申请实施例公开的排序特征重要度确定方法，通过确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；确定所述至少一个排序特征中取值不同的排序特征，作为目标特征；通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，其中，所述第一目标特征为任意一个所述目标特征，能够确定排序特征的重要度。排序特征的重要度可以用于指导排序模型进行排序特征的选择及权重的设置，以及对排序结果作出解释，对于排序模型的改进具有重要意义。
实施例二
基于实施例一，在本申请的另一些实施例中，如图2所示。所述方法还包括步骤140。
步骤140，根据所述第一目标特征关联的若干重要度、每个所述排序对象对中第二排序对象的所述第一目标特征的取值，确定所述第一目标特征对于所述第一排序对象的排序影响曲线，其中，所述第一目标特征关联的各所述重要度为：所述第一目标特征对于包含所述第一排序对象的相应排序对象对的重要度。
通过实施例一的方法可以确定一指定排序特征基于某一排序对象对的重要度。进一步的，如果对某一排序对象的多个排序对象对进行指定排序特征的替换，则可以进一步确定所述指定排序特征的不同取值对文档排序的重要度。
因此，在本申请的另一些实施例中，所述通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度的步骤之后，还包括：根据所述第一目标特征关联的若干重要度、每个所述排序对象对中第二排序对象的所述第一目标特征的取值，确定所述第一目标特征对于所述第一排序对象的排序影响曲线，其中，所述第一目标特征关联的每个所述重要度为：所述第一目标特征对于包含所述第一排序对象的排序对象对的重要度。
例如，对于排序后召回的文档包括d个文档，且d个文档表示为：dr，r＝1,2,…d举例，取d个文档中的任意一个文档dl(1≤l≤d),然后选择某个排序特征i,依次将文档dl的排序特征i替换为文档dr(r＝1,2,…d)的排序特征i，并确定每次替换排序特征前后文档dl的排序对象的排序结果变化值，以根据所述排序结果变化值确定排序特征i的不同取值对于文档dl和文档dr排序重要度。本申请实施例中，某一排序特征的不同取值对于文档对中某个文档的排序重要度体现了该排序特征对文档的排序结果影响大小，可以作为文档的排序影响因子。多个排序影响因子组合起来则可以得到文档dl在某一排序特征取不同值的情况下的影响因子(即重要度)曲线。该曲线刻画了该排序特征在当前文档排序结果下的表现，影响因子取值越大，说明对应的排序特征取值对文档的排序结果影响越大。
本申请的一些实施例中，通过根据所述第一目标特征关联的若干重要度、每个所述排序对象对中第二排序对象的所述第一目标特征的取值，确定所述第一目标特征对于所述第一排序对象的排序影响曲线，从而直观地体现第一目标特征对排序对象的排序结果的影响。
实施例三
由前述实施例一和实施例二所述的确定排序特征重要度的方法可以看出，在确定某个排序特征重要度时，仅执行了一个排序特征的替换，得到的排序特征重要度并没有考虑特征之间的相互作用对重要度的影响。在本申请的另一些实施例中，优选的，可以通过对多个排序特征按照一定的方式替换，并根据多个排序特征替换后对排序结果的影响，确定排序特征的重要度。
在本申请的一些优选实施例中，在确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；并确定所述至少一个排序特征中取值不同的排序特征，作为目标特征的步骤之后，所述通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度的步骤，进一步包括：子步骤1301至子步骤1304。
下面分别介绍各子步骤的具体实施方式。
子步骤1301，将所述至少一个排序特征中除所述第一目标特征之外的排序特征，作为第二目标特征。
以对文档进行排序的应用场景为例，对于排序后召回的文档dr和dl,将这两个文档表示为一个文档对<dl,dr>,仍然假设排序模型在对上述文档模型排序时采用了5个排序特征，分别表示为：f1、f2、f3、f4和f5，并且，对于文档dr，上述排序特征的取值分别为：fr1、fr2、fr3、fr4和fr5,对于文档dl，上述特征的取值分别为：fl1、fl2、fl3、fl4和fl5。那么，如果文档dr的排序特征fr5和文档dl的相应排序特征fl5取值相同，而文档dr的排序特征fr1、fr2、fr3、fr4和文档dl的相应排序特征fl1、fl2、fl3和fl4取值不同，则确定排序特征f1、f2、f3和f4作为目标特征(即需要确定对文档dl和dr的排序重要度的特征)。
以将f1作为第一目标特征为例，即需要确定第一目标特征f1的重要度，则第二目标特征包括f2、f3和f4。
子步骤1302，确定由任意一个或多个所述第二目标特征构成的所有特征集合，其中，每个所述特征集合中至少包括一个所述第二目标特征。
接下来，确定由任意一个或多个所述第二目标特征构成的所有特征集合。例如，前述第二目标特征构成的特征集合可以表示为：s1＝{f2}、s2＝{f2，f3}、s3＝{f2，f3，f4}、s4＝{f2，f4}、s5＝{f3}、s6＝{f3，f4}和s7＝{f4}。生成的每个特征集合中至少包括一个所述第二目标特征。
子步骤1303，对于每个所述特征集合，分别确定第一排序对象与该特征集合对应的第三排序得分和第四排序得分。
其中，所述第一排序对象的第三排序得分通过以下方法得到：将所述第一排序对象的第一待替换特征的取值替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第三排序得分，所述第一待替换特征为：该特征集合中包括的排序特征；所述第一排序对象的第四排序得分通过以下方法得到：将所述第一排序对象的第二待替换特征的取值替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第四排序得分，所述第二待替换特征为：该特征集合中包括的排序特征和所述第一目标特征。其中，所述第一排序对象和所述第二排序对象为所述排序对象对中的不同排序对象。
例如，对于特征集合s2，分别确定文档dl与特征集合s2对应的第三排序得分和第四排序得分。
在确定文档dl与特征集合s2对应的第三排序得分时，首先确定特征集合s2中的全部排序特征为第一待替换特征，如特征集合s2中包括排序特征f2和f3，则确定f2和f3为第一待替换特征；然后，将文档dl的第一待替换特征f2的取值fl2替换为文档dr的排序特征fr2的取值，以及将文档dl的第一待替换特征f3的取值fl3替换为文档dr的排序特征fr3的取值，基于替换后得到的所述至少一个排序特征的取值(即fl1、fr2、fr3、fl4和fl5)确定所述文档dl的排序得分，作为第三排序得分。
在确定文档dl与特征集合s2对应的第四排序得分时，首先确定特征集合s2中的全部排序特征(如排序特征f2和f3)和所述第一目标特征f1共同作为第二待替换特征，如确定f1、f2和f3为第二待替换特征；然后，将文档dl的第二待替换特征f2的取值fl2替换为文档dr的排序特征fr2的取值，以及将文档dl的第二待替换特征f3的取值fl3替换为文档dr的排序特征fr3的取值，同时，将文档dl的第二待替换特征f1(即所述第一目标特征f1)的取值fl1替换为文档dr的排序特征fr1的取值，最后，基于替换后得到的所述至少一个排序特征的取值(即fr1、fr2、fr3、fl4和fl5)确定所述文档dl的排序得分，作为第四排序得分。
按照上述方法，可以获得第一目标特征为f1时文档dl分别对应特征集合s1至s7的第三排序得分和第四排序得分。
子步骤1304，根据所述第一排序对象与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度。
接下来，根据文档dl与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值，确定所述第一目标特征f1对于文档对<dl,dr>的重要度。例如根据所述第四排序得分减去所述第三排序得分得到的差值的均值确定第一目标特征f1对于文档对<dl,dr>的重要度，均值的绝对值表示第一目标特征f1对于文档对<dl,dr>的重要度大小，均值的正负表示第一目标特征f1对于文档对<dl,dr>的重要度正向影响或负向影响。
本申请的一些实施例中，所述根据所述第一排序对象与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度，包括：通过对所述第一排序对象与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值进行加权求和，确定所述第一目标特征对于所述排序对象对的重要度；其中，每个所述差值的权值根据相应特征集合中的排序特征数量和所述目标特征的数量确定。
例如，通过以下公式1计算第一目标特征f1对于文档对<dl,dr>的重要度
上述公式1中，各符号和变量的含义如下：|.|表示特征集合的大小；
但是在排序系统中，排序对象对之间取值不同的排序特征非常多，导致采用公式1的方法计算排序特征，重要度的复杂度非常高，运算量大，因此，本申请的一些优选实施例中，提出了对特征替换方式进行采样的重要度计算公式，以减小运算量，提升系统的排序性能。具体的，所述通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度的步骤，包括：子步骤1306至子步骤1309。
子步骤1306，确定所述目标特征的候选替换特征组合，每个所述候选替换特征组合中包括一次目标特征替换操作所替换的所述目标特征。
仍以文档进行排序的应用场景为例，对于排序后召回的文档dr和dl,将这两个文档表示为一个文档对<dl,dr>,仍然假设排序模型在对上述文档模型排序时采用了5个排序特征，分别表示为：f1、f2、f3、f4和f5，并且，对于文档dr，上述排序特征的取值分别为：fr1、fr2、fr3、fr4和fr5,对于文档dl，上述排序特征的取值分别为：fl1、fl2、fl3、fl4和fl5。那么，如果文档dr的排序特征fr5和文档dl的相应排序特征fl5取值相同，而文档dr的排序特征fr1、fr2、fr3、fr4和文档dl的相应排序特征fl1、fl2、fl3和fl4取值不同，则确定排序特征f1、f2、f3和f4作为目标特征(即需要确定对文档dl和dr的排序重要度的特征)。
以将f1作为第一目标特征为例，即需要确定第一目标特征f1的重要度，则候选替换特征包括f2、f3和f4，则候选替换特征组合可以表示为：p1＝{f2}、p2＝{f2，f3}、p3＝{f2，f3，f4}、p4＝{f2，f4}、p5＝{f3}、p6＝{f3，f4}和p7＝{f4}。生成的每个候选替换特征组合中至少包括一个所述目标特征。
子步骤1307，对所述候选替换特征组合进行下采样，确定实际替换特征组合。
例如对上述7个候选替换特征组合进行随机一次下采样后，确定实际替换特征组合包括：p1、p3和p5，则只需要确定对应于实际替换特征组合包括：p1、p3和p5的排序得分即可。运算量减小了将近一半。对于目标特征较多的情况，生成的候选替换特征组合会很多，运算效率的提高是非常显著的。
子步骤1308，对于每个所述实际替换特征组合，分别确定第一排序对象与该实际替换特征组合对应的第五排序得分和第六排序得分。
接下来，只需要确定文档dl(即第一排序对象)与实际替换特征组合p1、p3和p5对应的第五排序得分和第六排序得分。其中，所述第一排序对象的第五排序得分通过以下方法得到：将所述第一排序对象的第三待替换特征的取值替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第五排序得分，所述第三待替换特征为：该实际替换特征组合中包括的所述目标特征；所述第一排序对象的第六排序得分通过以下方法得到：将所述第一排序对象的第四待替换特征的取值和替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第六排序得分，所述第四待替换特征为：该实际替换特征组合中包括的所述目标特征和所述第一目标特征；其中，所述第一排序对象和所述第二排序对象为所述排序对象对中的不同排序对象。
在确定文档dl与特征组合p1对应的第五排序得分时，首先确定实际替换特征组合p1中的全部排序特征为第三待替换特征，如实际替换特征组合p1中的全部排序特征为f2，则确定f2为第三待替换特征；然后，将文档dl的第一待替换特征f2的取值fl2替换为文档dr的排序特征fr2的取值，并基于替换后得到的所述至少一个排序特征的取值(即fl1、fr2、fl3、fl4和fl5)确定所述文档dl的排序得分，作为第五排序得分。
在确定文档dl与特征组合p1对应的第六排序得分时，首先确定特征组合p1中的全部排序特征(如f2)和第一目标特征共同作为第四待替换特征，如确定f2和f1为第四待替换特征；然后，将文档dl的第四待替换特征f2的取值fl2替换为文档dr的排序特征fr2的取值，以及将文档dl的所述第一目标特征f1的取值fl1替换为文档dr的排序特征fr1的取值，最后，基于替换后得到的全部排序特征的取值(即fr1、fr2、fl3、fl4和fl5)确定所述文档dl的排序得分，作为第六排序得分。
按照上述方法，可以获得第一目标特征为f1时文档dl分别对应特征组合p3和p5的第五排序得分和第六排序得分。
子步骤1309，根据所述第一排序对象与各所述实际替换特征组合对应的所述第五排序得分和所述第六排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度。例如，根据所述第一排序对象与各所述实际替换特征组合对应的所述第六排序得分减去所述第五排序得分之间的差值之和，确定所述第一目标特征对于所述排序对象对的重要度。
本申请的一些实施例中，根据所述第一排序对象与各所述实际替换特征组合对应的所述第五排序得分和所述第六排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度的步骤，包括：将所述第一排序对象与各所述实际替换特征组合对应的所述第六排序得分和所述第五排序得分之间的差值取平均值；将所述平均值作为所述第一目标特征对于所述排序对象对的重要度。
例如，通过以下公式2确定所述第一目标特征i对于所述排序对象对的重要度。
上述同时2中，p表示实际替换特征组合的结合，|p|表示实际替换特征组合的数量，p表示某一实际替换特征组合，fp(i+)表示基于实际替换特征组合品中的排序特征和第一目标特征i替换之后得到的全部排序特征计算所述第一排序对象的排序得分(即第六排序得分)，fp(i-)表示基于实际替换特征组合品中的排序特征替换之后得到的全部排序特征计算所述第一排序对象的排序得分(即第五排序得分)。
本实施例公开的排序特征重要度确定方法，在计算每个排序特征的影响因子时，由于同时考虑了其他排序特征对排序结果的影响，即计算得到的排序特征的影响因子考虑了多个特征对排序结果的贡献，有助于提升确定排序特征重要度的准确性。
进一步的，通过对特征替换方式进行采样，以改进重要度计算公式，有效减少了运算量，提升了系统的排序性能。
实施例四
本实施例公开的一种排序特征重要度确定装置，如图3所示，所述装置包括：
排序对象对及排序特征取值确定模块310，用于确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；
目标特征确定模块320，用于确定所述至少一个排序特征中取值不同的排序特征，作为目标特征；
目标特征重要度确定模块330，用于通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，其中，所述第一目标特征为任意一个所述目标特征。
在本申请的另一些实施例中，所述目标特征重要度确定模块330进一步用于：
对于第一目标特征，将第一排序对象的相应排序特征的取值替换为第二排序对象的所述相应排序特征的取值，其中，所述第一排序对象和所述第二排序对象为所述排序对象对中的不同排序对象；
基于替换后的所述至少一个排序特征的取值，确定所述第一排序对象的第二排序得分；
根据所述第一排序对象的所述第一排序得分和所述第二排序得分的变化值，确定所述第一目标特征对于所述排序对象对的重要度。
在本申请的一些实施例中，如图4所示，所述装置还包括：
排序影响曲线确定模块340，用于根据所述第一目标特征关联的若干重要度、每个所述排序对象对中第二排序对象的所述第一目标特征的取值，确定所述第一目标特征对于所述第一排序对象的排序影响曲线，其中，所述第一目标特征关联的各所述重要度为：所述第一目标特征对于包含所述第一排序对象的相应排序对象对的重要度。
通过根据所述第一目标特征关联的若干重要度、每个所述排序对象对中第二排序对象的所述第一目标特征的取值，确定所述第一目标特征对于所述第一排序对象的排序影响曲线，从而直观地体现第一目标特征对排序对象的排序结果的影响。
在本申请的一些实施例中，所述通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，包括：
将所述至少一个排序特征中除所述第一目标特征之外的排序特征，作为第二目标特征；
确定由任意一个或多个所述第二目标特征构成的所有特征集合，其中，每个所述特征集合中至少包括一个所述第二目标特征；
对于每个所述特征集合，分别确定第一排序对象与该特征集合对应的第三排序得分和第四排序得分；
根据所述第一排序对象与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度；
其中，所述第一排序对象的第三排序得分通过以下方法得到：将所述第一排序对象的第一待替换特征的取值替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第三排序得分，所述第一待替换特征为：该特征集合中包括的排序特征；
所述第一排序对象的第四排序得分通过以下方法得到：将所述第一排序对象的第二待替换特征的取值替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第四排序得分，所述第二待替换特征为：该特征集合中包括的排序特征和所述第一目标特征；
所述第一排序对象和所述第二排序对象为所述排序对象对中的不同排序对象。
在本申请的一些实施例中，所述根据所述第一排序对象与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度，包括：
通过对所述第一排序对象与各所述特征集合对应的所述第三排序得分和所述第四排序得分之间的差值进行加权求和，确定所述第一目标特征对于所述排序对象对的重要度；其中，每个所述差值的权值根据相应特征集合中的排序特征数量和所述目标特征的数量确定。
在本申请的一些实施例中，所述通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，包括：
确定所述目标特征的候选替换特征组合，每个所述候选替换特征组合中包括一次目标特征替换操作所替换的所述目标特征；
对所述候选替换特征组合进行下采样，确定实际替换特征组合；
对于每个所述实际替换特征组合，分别确定第一排序对象与该实际替换特征组合对应的第五排序得分和第六排序得分；
根据所述第一排序对象与各所述实际替换特征组合对应的所述第五排序得分和所述第六排序得分之间的差值，确定所述第一目标特征对于所述排序对象对的重要度；
其中，所述第一排序对象的第五排序得分通过以下方法得到：将所述第一排序对象的第三待替换特征的取值替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第五排序得分，所述第三待替换特征为：该实际替换特征组合中包括的所述目标特征；
所述第一排序对象的第六排序得分通过以下方法得到：将所述第一排序对象的第四待替换特征的取值和替换为第二排序对象的相应排序特征的取值，基于替换后得到的所述至少一个排序特征的取值确定所述第一排序对象的第六排序得分，所述第四待替换特征为：该实际替换特征组合中包括的所述目标特征和所述第一目标特征；
所述第一排序对象和所述第二排序对象为所述排序对象对中的不同排序对象。
本申请实施例公开的排序特征重要度确定装置，用于实现本申请实施例一中所述的排序特征重要度确定方法的各步骤，装置的各模块的具体实施方式参见相应步骤，此处不再赘述。
本申请实施例公开的排序特征重要度确定装置，通过确定由第一排序得分不同的两个排序对象组成的排序对象对，以及所述两个排序对象各自的至少一个排序特征的取值；确定所述至少一个排序特征中取值不同的排序特征，作为目标特征；通过至少替换第一目标特征的取值，确定所述取值替换后所述排序对象对中所述排序对象的排序结果变化值，以根据所述排序结果变化值确定所述第一目标特征对于所述排序对象对的重要度，其中，所述第一目标特征为任意一个所述目标特征，能够确定排序特征的重要度。排序特征的重要度可以用于指导排序模型进行排序特征的选择及权重的设置，以及对排序结果作出解释，对于排序模型的改进具有重要意义。
通过根据所述第一目标特征关联的若干重要度、每个所述排序对象对中第二排序对象的所述第一目标特征的取值，确定所述第一目标特征对于所述第一排序对象的排序影响曲线，从而直观地体现第一目标特征对排序对象的排序结果的影响。
进一步的，本申请一些实施例公开的排序特征重要度确定装置，在计算每个排序特征的影响因子时，由于同时考虑了其他排序特征对排序结果的影响，即计算得到的排序特征的影响因子考虑了多个特征对排序结果的贡献，有助于提升确定排序特征重要度的准确性。
本申请另一些实施例公开的排序特征重要度确定装置，通过对特征替换方式进行采样，以改进重要度计算公式，有效减少了运算量，提升了系统的排序性能。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一至实施例三中任一实施例所述的排序特征重要度确定方法。所述电子设备可以为pc机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一至实施例三中任一实施例所述的排序特征重要度确定方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种排序特征重要度确定方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
- 还没有人留言评论。精彩留言会获得点赞！