训练搜索词生成模型的方法、生成搜索词的方法和装置与流程

本发明涉及人工智能领域，特别涉及训练搜索词生成模型的方法、生成搜索词的方法和装置、存储介质、电子设备以及计算机程序产品。

背景技术：

1、搜索词是指用户进行搜索时所使用的词语。希望通过文本生成一系列与文本高相关的搜索词，从而为后续的搜索召回以及文本推词提供支撑。

2、现有的搜索词生成方法主要存在以下两个缺点：

3、1.由于目前的方法是直接将文档内容输入到transformer模型中进行训练及推理，该模型仅针对文本进行编码，缺少针对文本与搜索词计算的过程，因此生成的搜索词很多都与文档不相关。

4、2.生成搜索词的任务属于文本生成领域的一个任务，因此生成的文本会遇到曝光过度的问题，从而导致生成的搜索词质量差，会出现叠词情况。曝光过度的问题是指，在训练的时候由于训练数据被模型记住，因此在推理的时候，当遇到没有见过的训练数据时，模型无法生成合适的搜索词。

5、因此，现有的搜索词生成方法并不理想。

技术实现思路

1、本申请实施例提供了训练搜索词生成模型的方法、生成搜索词的方法和装置、存储介质、电子设备以及计算机程序产品。

2、第一方面，本申请实施例提供了一种训练搜索词生成模型的方法，用于电子设备，所述方法包括：

3、生成步骤，将文本输入预训练模型，生成多个搜索词；

4、计算步骤，将所述多个搜索词和所述文本输入相关性模型，计算得到每个所述搜索词和所述文本的相关性分数；

5、分类步骤，基于多个所述相关性分数，将所述多个搜索词中的一个或多个第一搜索词分类作为正样本，并将所述多个搜索词中的一个或多个第二搜索词分类作为负样本；

6、训练步骤，使用所述多个搜索词构成的第一损失函数、以及所述正样本和所述负样本构成的第二损失函数对所述预训练模型进行训练，以得到训练后的搜索词生成模型。

7、在上述第一方面的一种可能的实现中，在分类步骤中，将所述相关性分数大于第一阈值的搜索词作为所述第一搜索词，并将所述相关性分数小于第二阈值的搜索词作为所述第二搜索词，

8、其中，所述第一阈值不同于所述第二阈值。

9、在上述第一方面的一种可能的实现中，所述第一损失函数被赋予第一权重，并且所述第二损失函数被赋予第二权重。

10、在上述第一方面的一种可能的实现中，在对所述预训练模型进行训练的过程中，动态地调整所述第一权重和所述第二权重。

11、在上述第一方面的一种可能的实现中，所述预训练模型是预训练的mt5模型，所述相关性模型是bert模型。

12、在上述第一方面的一种可能的实现中，所述第一损失函数是最大似然损失函数，所述第二损失函数是对比学习损失函数。。

13、第二方面，本申请实施例提供了一种生成搜索词的方法，用于电子设备，方法包括：

14、获取步骤，获取文本；

15、生成步骤，将所述文本输入根据第一方面所述的训练后的搜索词生成模型，生成多个搜索词。

16、第三方面，本申请实施例提供了一种搜索方法，用于电子设备，所述方法包括：使用根据第二方面生成的多个搜索词中的一个或多个进行搜索。

17、第四方面，本申请实施例提供了一种训练搜索词生成模型的装置，所述装置包括：

18、生成单元，将文本输入预训练模型，生成多个搜索词；

19、计算单元，将所述多个搜索词和所述文本输入相关性模型，计算得到每个所述搜索词和所述文本的相关性分数；

20、分类单元，基于多个所述相关性分数，将所述多个搜索词中的一个或多个第一搜索词分类作为正样本，并将所述多个搜索词中的一个或多个第二搜索词分类作为负样本；

21、训练单元，使用所述多个搜索词构成的第一损失函数、以及所述正样本和所述负样本构成的第二损失函数对所述预训练模型进行训练，以得到训练后的搜索词生成模型。

22、第五方面，本申请实施例提供了一种生成搜索词的装置，所述装置包括：

23、获取单元，获取文本；

24、生成单元，将所述文本输入根据第四方面所述的训练后的搜索词生成模型，生成多个搜索词。

25、第六方面，本申请实施例提供了一种计算机程序产品，包括计算机可执行指令，所述指令被处理器执行以实施第一方面所述的训练搜索词生成模型的方法或第二方面所述的生成搜索词的方法或第三方面所述的搜索方法。

26、第七方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行第一方面所述的训练搜索词生成模型的方法或第二方面所述的生成搜索词的方法或第三方面所述的搜索方法。

27、第八方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；其中，所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行第一方面所述的训练搜索词生成模型的方法或第二方面所述的生成搜索词的方法或第三方面所述的搜索方法。

28、本发明在训练搜索词生成模型的过程中，采用相关性模型来构建对比学习损失函数，并采用多任务学习的方式将对比学习损失函数与最大似然损失函数进行结合。因此，本发明中的训练后的搜索词生成模型可以保证生成的搜索词与文本之间保持高度的相关性，同时也极大地提升了搜索词的质量。

技术特征：

1.一种训练搜索词生成模型的方法，用于电子设备，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，在分类步骤中，将所述相关性分数大于第一阈值的搜索词作为所述第一搜索词，并将所述相关性分数小于第二阈值的搜索词作为所述第二搜索词，

3.根据权利要求1所述的方法，其特征在于，所述第一损失函数被赋予第一权重，并且所述第二损失函数被赋予第二权重。

4.根据权利要求3所述的方法，其特征在于，在对所述预训练模型进行训练的过程中，动态地调整所述第一权重和所述第二权重。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述预训练模型是预训练的mt5模型，所述相关性模型是bert模型。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一损失函数是最大似然损失函数，所述第二损失函数是对比学习损失函数。

7.一种生成搜索词的方法，用于电子设备，其特征在于，所述方法包括：

8.一种搜索方法，用于电子设备，其特征在于，所述方法包括：使用根据权利要求7生成的多个搜索词中的一个或多个进行搜索。

9.一种训练搜索词生成模型的装置，其特征在于，所述装置包括：

10.一种生成搜索词的装置，其特征在于，所述装置包括：

11.一种计算机程序产品，包括计算机可执行指令，其特征在于，所述指令被处理器执行以实施权利要求1至6中任一项所述的训练搜索词生成模型的方法或权利要求7所述的生成搜索词的方法或权利要求8所述的搜索方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行权利要求1至6中任一项所述的训练搜索词生成模型的方法或权利要求7所述的生成搜索词的方法或权利要求8所述的搜索方法。

13.一种电子设备，其特征在于，包括：

技术总结
本申请公开了训练搜索词生成模型的方法、生成训练搜索词的方法和装置。训练搜索词生成模型的方法包括：生成步骤，将文本输入预训练模型，生成多个搜索词；计算步骤，将多个搜索词和文本输入相关性模型，计算得到每个搜索词和文本的相关性分数；分类步骤，基于多个相关性分数，将多个搜索词中的一个或多个第一搜索词分类作为正样本，并将多个搜索词中的一个或多个第二搜索词分类作为负样本；训练步骤，使用多个搜索词构成的第一损失函数、以及正样本和负样本构成的第二损失函数对预训练模型进行训练，以得到训练后的搜索词生成模型。本发明可以保证生成的搜索词与文本之间保持高度的相关性，同时也极大地提升了搜索词的质量。

技术研发人员：汪自力
受保护的技术使用者：小红书科技有限公司
技术研发日：
技术公布日：2024/12/5