一种搜索建议词生成的方法以及装置制造方法
【专利摘要】本发明公开了一种搜索建议词生成的方法以及装置，其中所述方法包括：接收搜索字符串；将所述搜索字符串映射为一个或多个第一分词；获取一个或多个与所述第一分词相关联的关联第二分词；依据所述一个或多个第一分词与所述一个或多个关联第二分词组合成一个或多个搜索建议词。本发明可以增强建议系统的召回能力，增强建议系统的时效性。
【专利说明】一种搜索建议词生成的方法以及装置
【技术领域】
[0001]本发明涉及互联网数据处理的【技术领域】，特别是涉及一种搜索建议词生成的方法，以及，一种搜索建议词生成的装置。
【背景技术】
[0002]这些年全球最大的搜索引擎谷歌推出了搜索建议的服务:即在用户在输入部分关键词时搜索引擎马上给出相关联想词。搜索建议可以大大减少用户输入成本、纠正输入错误、进行输入提示等，它的出现让人们可以更快、更准确的进行搜索，如今已被各大搜索引擎采用。
[0003]现有的搜索建议的实现主要通过以下机制:搜索引擎收集此用户搜索历史数据(主要是搜索关键词和搜索次数)，当用户在搜索框开始输入时，搜索引擎会根据用户已输入部分在历史搜索数据文件中进行相关性匹配，得到搜索建议，在进行除杂、排重等一系列处理后，并根据搜索热度等因素对搜索建议词进行排序。
[0004]另外一种机制是建立在以往群体用户搜索历史的基础上的，即基于众多搜索请求者的经验型建议:用户得到的搜索建议是被最多人搜过的关键词。因此，这几种搜索建议机制有其天然的缺陷:首先时效性差:只有在很多人搜过、形成一定的数据积累后才可能被当作搜索建议提供给他人；同时召回低:对某些搜索数量少的关键词，搜索引擎一般不能给出建议。
【发明内容】
[0005]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种搜索建议词生成的方法和相应的一种搜索建议词生成的装置。
[0006]依据本发明的一个方面，提供了一种搜索建议词生成的方法，包括:
[0007]接收搜索字符串；
[0008]将所述搜索字符串映射为一个或多个第一分词；
[0009]获取一个或多个与所述第一分词相关联的关联第二分词；
[0010]依据所述一个或多个第一分词与所述一个或多个关联第二分词组合成一个或多个搜索建议词。
[0011 ] 可选地，所述方法还包括:
[0012]推送所述一个或多个搜索建议词。
[0013]可选地，所述获取一个或多个与所述第一分词相关联的关联第二分词的步骤包括:
[0014]将抓取到的包含所述第一分词的多个网页标题进行分词，得到分词列表；
[0015]将所述分词列表中除所述第一分词外的一个或多个其余分词作为第二分词；
[0016]分别计算所述一个或多个第一分词与所述第二分词的同现率；
[0017]提取所述同现率高于预设阈值的第二分词作为关联第二分词。[0018]可选地，所述将所述搜索字符串映射为一个或多个第一分词的步骤包括:
[0019]提取所述搜索字符串所映射的一个第一分词；
[0020]或者，
[0021]当接收到的搜索字符串为复合词时，将所述搜索字符串拆分为多个搜索子词；
[0022]提取所述多个搜索子词所映射的多个第一分词。
[0023]可选地，所述计算所述一个或多个第一分词与所述第二分词的同现率的步骤包括:
[0024]当所述搜索字符串被映射为一个第一分词时，提取所述第一分词对应的预置索引表；其中，所述预置索引表包括所述第一分词所属的网页标题，以及，每个网页标题对应的所有第二分词；
[0025]分别获取每个预置索引表中各个第二分词出现的次数，以及所述索引表的记录总数；
[0026]分别计算所述第二分词出现的次数与所述索引表的记录总数的比值，得到所述第一分词与各个第二分词的同现率。
[0027]可选地，所述计算所述一个或多个第一分词与所述第二分词的同现率的步骤包括:
[0028]当所述搜索字符串被映射为多个第一分词时，分别提取所述多个第一分词对应的多个预置索引表；其中，所述各个预置索引表中包括所述第一分词所属的网页标题，以及，每个网页标题对应的第二分词；
[0029]提取与所述多个第一分词同时出现的第二分词作为候选分词；
[0030]分别计算各个索引表中所述第一分词与所述候选分词的同现率，所述同现率为所述索引表中各个候选分词出现的次数与所述索引表中的记录总数的比值；
[0031]分别为所述多个第一分词与所述各个候选分词的同现率配置对应的多个权重；
[0032]分别计算多个配置了权重的同现率的平均值，作为所述多个第一分词与所述候选分词的同现率。
[0033]可选地，所述计算所述一个或多个第一分词与所述第二分词的同现率的步骤包括:
[0034]当所述搜索字符串被映射为多个第一分词时，分别提取所述多个第一分词对应的多个预置索引表；其中，所述各个预置索引表中包括所述第一分词所属的网页标题，以及，每个网页标题对应的第二分词；
[0035]采用所述多个索引表确定主分词，所述主分词为记录总数最多的索引表对应的第一分词；
[0036]计算所述主分词与其对应的索引表中各个第二分词的同现率，所述同现率为所述索引表中各个第二分词出现的次数与所述索引表中的记录总数的比值。
[0037]可选地，所述依据所述一个或多个第一分词与所述一个或多个关联第二分词组合成一个或多个搜索建议词的步骤包括:
[0038]为所述一个或多个关联第二分词配置权重；
[0039]按照所述权重对所述一个或多个关联第二分词进行排序；
[0040]依次组合所述排序的一个或多个关联第二分词与所述一个或多个第一分词，生成一个或多个搜索建议词。
[0041]可选地，所述为所述一个或多个关联第二分词配置权重的步骤包括:
[0042]获取所述每个关联第二分词所属的一个或多个网页标题对应的网页时效与网页热度；
[0043]按照所述网页时效与所述网页热度为所述一个或多个关联第二分词配置权重。
[0044]可选地，所述推送所述一个或多个搜索建议词的步骤包括:
[0045]将所述搜索建议词按序插入预设的建议系统中，由所述建议系统推送所述搜索建议词。
[0046]根据本发明的另一方面，提供了一种搜索建议词生成的装置，包括:
[0047]字符串接收模块，适于接收搜索字符串；
[0048]第一分词映射模块，适于将所述搜索字符串映射为一个或多个第一分词；
[0049]关联第二分词获取模块，适于获取一个或多个与所述第一分词相关联的关联第二分词；
[0050]搜索建议词生成模块，适于依据所述一个或多个第一分词与所述一个或多个关联第二分词组合成一个或多个搜索建议词。
[0051]可选地，所述装置还包括:
[0052]推送模块，适于推送所述一个或多个搜索建议词。
[0053]可选地，所述关联第二分词获取模块还适于:
[0054]将抓取到的包含所述第一分词的多个网页标题进行分词，得到分词列表；
[0055]将所述分词列表中除所述第一分词外的一个或多个其余分词作为第二分词；
[0056]分别计算所述一个或多个第一分词与所述第二分词的同现率；
[0057]提取所述同现率高于预设阈值的第二分词作为关联第二分词。
[0058]可选地，所述第一分词映射模块还适于:
[0059]提取所述搜索字符串所映射的一个第一分词；
[0060]或者，
[0061]当接收到的搜索字符串为复合词时，将所述搜索字符串拆分为多个搜索子词；
[0062]提取所述多个搜索子词所映射的多个第一分词。
[0063]可选地，所述关联第二分词获取模块还适于:
[0064]当所述搜索字符串被映射为一个第一分词时，提取所述第一分词对应的预置索引表；其中，所述预置索引表包括所述第一分词所属的网页标题，以及，每个网页标题对应的所有第二分词；
[0065]分别获取每个预置索引表中各个第二分词出现的次数，以及所述索引表的记录总数；
[0066]分别计算所述第二分词出现的次数与所述索引表的记录总数的比值，得到所述第一分词与各个第二分词的同现率。
[0067]可选地，所述关联第二分词获取模块还适于:
[0068]当所述搜索字符串被映射为多个第一分词时，分别提取所述多个第一分词对应的多个预置索引表；其中，所述各个预置索引表中包括所述第一分词所属的网页标题，以及，每个网页标题对应的第二分词；[0069]提取与所述多个第一分词同时出现的第二分词作为候选分词；
[0070]分别计算各个索引表中所述第一分词与所述候选分词的同现率，所述同现率为所述索引表中各个候选分词出现的次数与所述索引表中的记录总数的比值；
[0071]分别为所述多个第一分词与所述各个候选分词的同现率配置对应的多个权重；
[0072]分别计算多个配置了权重的同现率的平均值，作为所述多个第一分词与所述候选分词的同现率。
[0073]可选地，所述关联第二分词获取模块还适于:
[0074]当所述搜索字符串被映射为多个第一分词时，分别提取所述多个第一分词对应的多个预置索引表；其中，所述各个预置索引表中包括所述第一分词所属的网页标题，以及，每个网页标题对应的第二分词；
[0075]采用所述多个索引表确定主分词，所述主分词为记录总数最多的索引表对应的第一分词；
[0076]计算所述主分词与其对应的索引表中各个第二分词的同现率，所述同现率为所述索引表中各个第二分词出现的次数与所述索引表中的记录总数的比值。
[0077]可选地，所述搜索建议词生成模块还适于:
[0078]为所述一个或多个关联第二分词配置权重；
[0079]按照所述权重对所述一个或多个关联第二分词进行排序；
[0080]依次组合所述排序的一个或多个关联第二分词与所述一个或多个第一分词，生成一个或多个搜索建议词。
[0081 ] 可选地，所述搜索建议词生成模块还适于:
[0082]获取所述每个关联第二分词所属的一个或多个网页标题对应的网页时效与网页热度；
[0083]按照所述网页时效与所述网页热度为所述一个或多个关联第二分词配置权重。
[0084]可选地，所述推送模块还适于:
[0085]将所述搜索建议词按序插入预设的建议系统中，由所述建议系统推送所述搜索建议词。
[0086]在本发明实施例中，通过抓取内容发布方的网页信息产生搜索建议词，弥补了以往搜索引擎根据用户搜索历史数据进行建议的不足。在当今信息爆炸的时代，互联网产生的内容量和内容范畴将远远超过用户的搜索范畴，因此根据内容发布方产生搜索建议的能力也大于基于用户搜索历史产生搜索建议的能力，因此采用本发明将有益于增强建议系统的召回能力，增强建议系统的时效性。
[0087]另外，本发明通过推送第一分词和第二分词的组合，用户可以基于此组合直接进行更多层次的搜索，使用户简单搜索即可获得更多的结果，无需多次提交搜索，从而减轻了访问服务器的负担，减少了网络资源的占用，并提升了用户体验。
[0088]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】[0089]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0090]图1示出了根据本发明一个实施例的一种搜索建议词生成的方法实施例的步骤流程图；
[0091]图2示出了根据本发明一个实施例的一种搜索建议词生成的装置实施例的结构框图。
【具体实施方式】
[0092]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0093]参照图1，示出了根据本发明一个实施例的一种搜索建议词生成的方法实施例的步骤流程图，具体可以包括以下步骤:
[0094]步骤101，接收搜索字符串；
[0095]在实现中，搜索字符串可以是用户输入的搜索信息，可以用于请求搜索与之相关的数据资源。本发明实施例中的搜索字符串为用户已输入的部分关键词或全部关键词，该关键词可以是单词，即包括一个语义独立的词，例如中秋、端午、国庆等等；该关键词也可以是复合词，即包括两个或两个以上语义独立的词，例如中秋月饼、端午粽子、国庆西藏旅游
坐坐寸寸ο
[0096]步骤102，将所述搜索字符串映射为一个或多个第一分词；
[0097]在具体实现中，被映射的第一分词可以是预先设置的热点主题词，可以用于计算不同分词之间的同现率。
[0098]映射的规则也可以是预先设置的一个或多个，可以包括去除搜索字符串的脏词、修饰词、语气助词、宽泛词等无实际意义的词语；或者包括设定停止词，即一些常见的词，为拆分词组时停止的标准，例如的、我、你等等；还可以包括关联关系的对应，将同一事物的多种表达对应为一种表达，例如将八月十五、中秋节、月饼节等关联为中秋；还可以包括其他映射规则，本发明实施例对此不加以限制。
[0099]英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student,用中文则为:“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词。例如，我是一个学生，分词的结果是:我、是、一个、学生。
[0100]下面介绍几种分词方法:
[0101]1、基于字符串匹配的分词方法:是指按照一定的策略将待分析的汉字串与一个预置的机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功(识别出一个词)。实际使用的分词系统，都是把机械分词作为一种初分手段，还需通过利用各种其它的语言信息来进一步提高切分的准确率。[0102]2、基于特征扫描或标志切分的分词方法:是指优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配的错误率；或者将分词和词类标注结合起来，利用丰富的词类信息对分词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而提高切分的准确率。
[0103]3、基于理解的分词方法:是指通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分:分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。
[0104]4、基于统计的分词方法:是指中文信息中由于字与字相邻共现的频率或概率能够较好的反映成词的可信度，所以可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息，以及计算两个汉字X、Y的相邻共现概率。互现信息可以体现汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中的字组频度进行统计，不需要切分词典。
[0105]在本发明的一种优选实施例中，所述步骤102可以包括如下子步骤:
[0106]子步骤S11，提取所述搜索字符串所映射的一个第一分词；
[0107]对于搜索字符串为单词的情形，可以按照预设的映射规则直接提取其对应的第一分词。当然，该搜索字符串也可以与其映射的第一分词是同一个词，例如搜索字符串为“中秋”，映射的第一分词也可以“中秋”。
[0108]在本发明的另一种优选实施例中，所述步骤102可以包括如下子步骤:
[0109]子步骤S21，当接收到的搜索字符串为复合词时，将所述搜索字符串拆分为多个搜索子词；
[0110]子步骤S22，提取所述多个搜索子词所映射的多个第一分词。
[0111]对于搜索字符串为复合词的情形，可以先按照预设的映射规则对其进行分词，得到搜索子词，然后分别提取搜索子词对应的第一分词。例如，接收到的搜索字符串为“中秋节月饼”，可以将其拆分为“中秋节”和“月饼”两个搜索子词，然后将“中秋节”映射为“中秋”，将“月饼”映射为“月饼”，得到“中秋”和“月饼”两个第一分词。
[0112]步骤103，获取一个或多个与所述第一分词相关联的关联第二分词；
[0113]在本发明的一种优选实施例中，所述步骤103可以包括如下子步骤:
[0114]子步骤S31，将抓取到的包含所述第一分词的多个网页标题进行分词，得到分词列表;
[0115]子步骤S32，将所述分词列表中除所述第一分词外的一个或多个其余分词作为第二分词；
[0116]子步骤S33，分别计算所述一个或多个第一分词与所述第二分词的同现率；
[0117]子步骤S34，提取所述同现率高于预设阈值的第二分词作为关联第二分词。
[0118]具体而言，关联第二分词为与所述一个或多个第一分词的同现率高于预设阈值的第二分词，所述第二分词为包含所述第一分词的多个网页标题进行分词后除所述第一分词外的一个或多个其余的分词，所述同现率为所述一个或多个第一分词与所述第二分词同时出现在一个索引表中的概率，可以分为一个第一分词与第二分词的同现率，以及多个第一分词与第二分词的同现率。其中，所述预设阈值可以由本领域技术人员根据实际情况而设定的，本发明实施例对此不加以限制。
[0119]在本发明的一种优选实施例中，当所述第一分词为一个时，所述子步骤S33可以包括如下子步骤:
[0120]子步骤S331，当所述搜索字符串被映射为一个第一分词时，提取所述第一分词对应的预置索引表；其中，所述预置索引表包括所述第一分词所属的网页标题，以及，每个网页标题对应的所有第二分词；
[0121]在具体实现中，所述预置索引表为预先生成的索引表，所述索引表可以通过如下方式生成:搜索引擎通过网页爬虫抓取互联网中的网页信息，所述网页信息可以包括网页标题、关键词keywords、网页内容、发布时间等，并将所述抓取的网页信息建立索引库；在索引库中，对各个网页标题进行分词，并将每个分词作为第一分词建立对应的索引表，其中，该第一分词索引表中可以存储有第一分词、包含所述第一分词的各个网页标题、各网页标题中除所述第一分词外的一个或多个其余第二分词、以及与各网页标题相关的其他网页信息。当然，索引表中也可以只包含第一分词以及对应的第二分词，本发明实施例对索引表的设置方式以及内容、形式无需加以限制，例如，在抓取的网页信息中，以“中秋”作为第一分词的索引表可以表示如下:
[0122]
【权利要求】
1.一种搜索建议词生成的方法，包括: 接收搜索字符串； 将所述搜索字符串映射为一个或多个第一分词； 获取一个或多个与所述第一分词相关联的关联第二分词； 依据所述一个或多个第一分词与所述一个或多个关联第二分词组合成一个或多个搜索建议词。
2.如权利要求1所述的方法，其特征在于，还包括: 推送所述一个或多个搜索建议词。
3.如权利要求1或2所述的方法，其特征在于，所述获取一个或多个与所述第一分词相关联的关联第二分词的步骤包括: 将抓取到的包含所述第一分词的多个网页标题进行分词，得到分词列表； 将所述分词列表中除所述第一分词外的一个或多个其余分词作为第二分词； 分别计算所述一个或多个第一分词与所述第二分词的同现率； 提取所述同现率高于预设阈值的第二分词作为关联第二分词。
4.如权利要求1-3任一项所述的方法，其特征在于，所述将所述搜索字符串映射为一个或多个第一分词的步骤包括: 提取所述搜索字符串所映射的一个第一分词； 或者， 当接收到的搜索字符串为复合词时，将所述搜索字符串拆分为多个搜索子词； 提取所述多个搜索子词所映射的多个第一分词。
5.如权利要求1-4任一项所述的方法，其特征在于，所述计算所述一个或多个第一分词与所述第二分词的同现率的步骤包括: 当所述搜索字符串被映射为一个第一分词时，提取所述第一分词对应的预置索引表；其中，所述预置索引表包括所述第一分词所属的网页标题，以及，每个网页标题对应的所有第二分词； 分别获取每个预置索引表中各个第二分词出现的次数，以及所述索引表的记录总数；分别计算所述第二分词出现的次数与所述索引表的记录总数的比值，得到所述第一分词与各个第二分词的同现率。
6.一种搜索建议词生成的装置，包括: 字符串接收模块，适于接收搜索字符串； 第一分词映射模块，适于将所述搜索字符串映射为一个或多个第一分词； 关联第二分词获取模块，适于获取一个或多个与所述第一分词相关联的关联第二分词； 搜索建议词生成模块，适于依据所述一个或多个第一分词与所述一个或多个关联第二分词组合成一个或多个搜索建议词。
7.如权利要求6所述的装置，其特征在于，还包括: 推送模块，适于推送所述一个或多个搜索建议词。
8.如权利要求6或7所述的装置，其特征在于，所述关联第二分词获取模块还适于: 将抓取到的包含所述第一分词的多个网页标题进行分词，得到分词列表；将所述分词列表中除所述第一分词外的一个或多个其余分词作为第二分词； 分别计算所述一个或多个第一分词与所述第二分词的同现率； 提取所述同现率高于预设阈值的第二分词作为关联第二分词。
9.如权利要求6-8任一项所述的装置，其特征在于，所述第一分词映射模块还适于: 提取所述搜索字符串所映射的一个第一分词； 或者， 当接收到的搜索字符串为复合词时，将所述搜索字符串拆分为多个搜索子词； 提取所述多个搜索子词所映射的多个第一分词。
10.如权利要求6-9任一项所述的装置，其特征在于，所述关联第二分词获取模块还适于: 当所述搜索字符串被映射为一个第一分词时，提取所述第一分词对应的预置索引表；其中，所述预置索引表包括所述第一分词所属的网页标题，以及，每个网页标题对应的所有第二分词； 分别获取每个预置索引表中各个第二分词出现的次数，以及所述索引表的记录总数；分别计算所述第二分词出现的次数与所述索引表的记录总数的比值，得到所述第一分词与各个第二分词的同现率。
【文档编号】G06F17/30GK103544266SQ201310485782
【公开日】2014年1月29日 申请日期:2013年10月16日 优先权日:2013年10月16日
【发明者】崔代超 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司