模型训练方法、应用方法、设备及存储介质与流程

本技术属于计算机，具体涉及一种模型训练方法、应用方法、设备及存储介质。

背景技术：

1、电商行业已经深深的渗入并改变了人们的生活和购物习惯。用户可以通过搜索系统在电商平台中搜索自己需要的商品信息。

2、相关技术中，搜索系统基于用户的搜索文本召回大量商品信息，采用预训练的文本相关性模型将召回的商品信息的文本与用户的搜索文本进行相关性匹配，并基于匹配结果从召回的商品信息中确定需要向用户展示的商品信息。

3、然而文本相关性模型仅基于文本进行相关性匹配的准确性不高。例如，对于【汉堡】和【超值套餐a】，仅从文本语义的维度，文本相关性模型会判断汉堡和超值套餐a这两个文本不相关，从而不会向用户展示【超值套餐a】的商品信息，而实际上【超值套餐a】是汉堡的优惠套餐。因此基于文本进行匹配的相关性模型存在相关性匹配的准确性低的问题。

技术实现思路

1、本技术提出一种模型训练方法、应用方法、设备及存储介质，能够缓解相关技术中基于文本进行匹配的相关性模型存在相关性匹配的准确性低的问题。

2、本技术第一方面实施例提出了一种模型训练方法，包括：

3、采用第一训练样本集对多模态模型进行第一阶段的训练，获得第一阶段模型；所述第一训练样本集包括正样本集和负样本集，所述正样本集中的各条训练样本包括第一文本样本和第一图像样本，所述第一文本样本包括商品的标题，所述第一图像样本包括所述商品的图片；分属于两条第一训练样本的第一文本样本和第一图像样本构成所述负样本集合中的一条训练样本；

4、采用第二训练样本集对所述第一阶段模型进行第二阶段的训练，获得第二阶段模型；所述第二训练样本集中的各条训练样本包括第二文本样本和第二图像样本，所述第二文本样本包括用户的历史搜索关键词，所述第二图像样本包括商品的图片，各所述第二训练样本被标记为正样本、负样本或难分样本。

5、在一些实施例中，还包括：

6、在所述第一阶段模型对各所述第二训练样本进行处理的过程中，将所述第一阶段模型针对各所述第二训练样本的输出结果进行归一化处理，获得归一化结果；

7、基于所述归一化结果和与所述归一化结果对应的样本标签，计算各所述训练样本对应的模型损失，所述样本标签用于指示与所述归一化结果对应的第二训练样本为所述正样本、所述负样本或所述难分样本。

8、在一些实施例中，所述第一阶段包括第一子阶段和第二子阶段；采用第一训练样本集对多模态模型进行第一阶段的训练，获得第一阶段模型，包括：

9、在所述第一子阶段采用所述第一训练样本集训练所述多模态模型的过程中，采用计算的模型损失优化所述多模态模型包括的文字模型的模型参数，获得优化多模态模型；

10、在所述第二子阶段采用所述第一训练样本集训练所述优化多模态模型的过程中，采用计算的模型损失分别优化所述优化多模态模型包括的文字模型的模型参数和图片模型的模型参数，获得所述第一阶段模型。

11、在一些实施例中，采用第二训练样本集对所述第一阶段模型进行第二阶段的训练，获得第二阶段模型，包括：

12、采用所述第二训练样本集中属于所述正样本和所述负样本的训练样本，对所述第一阶段模型进行第一预设次数的训练，获得第一中间模型；

13、采用所述第二训练样本集对所述第一中间模型进行第二预设次数的训练，获得第二中间模型；所述第一预设次数和所述第二预设次数的训练过程中各次训练时的样本权重均相同，所述第二预设次数的训练过程中属于所述难分样本的训练样本分布不均匀；

14、采用所述第二训练样本集对所述第二中间模型进行第三预设次数的训练，获得所述第二阶段模型；

15、所述第三预设次数的训练过程中各次训练时剩余样本的样本权重和难分样本的样本权重的比例，为基于所述第二预设次数中最后一次训练过程中剩余样本的平均样本损失和属于所述难分样本的训练样本的平均样本损失的比值确定；所述剩余样本包括所述第二训练样本集中属于所述正样本和所述负样本的训练样本。

16、在一些实施例中，采用所述第二训练样本集对所述第一中间模型进行第二预设次数的训练，获得第二中间模型，包括：

17、基于所述第二预设次数和属于所述难分样本的训练样本的个数，计算难分样本添加增量；

18、基于所述难分样本添加增量，计算所述第二预设次数中各次训练所需的目标训练样本的目标数量，所述目标训练样本属于所述难分样本，所述第二预设次数中相邻两次训练对应的目标数量相差所述难分样本添加增量；

19、按照所述目标数量，确定所述第二预设次数中各次训练各自所需的目标训练样本；

20、基于所述目标训练样本确定所述各次训练各自所需的训练样本，并利用确定的所述训练样本对所述第一中间模型进行第二预设次数的训练，获得第二中间模型。

21、在一些实施例中，按照所述目标数量，确定所述第二预设次数中各次训练各自所需的目标训练样本，包括：

22、获取所述属于所述难分样本的各训练样本的难分程度参数，所述难分程度参数用于表征属于所述难分样本的各训练样本被识别的难易程度；

23、基于所述难分程度参数，按照难易程度从低到高的顺序，从属于所述难分样本的各训练样本中选取与所述目标数量对应的所述目标训练样本。

24、在一些实施例中，获取所述属于所述难分样本的各训练样本的难分程度参数，包括：

25、采用所述第一阶段模型对属于所述难分样本的各训练样本进行打分；

26、将所述打分的结果作为所述难分程度参数。

27、本技术第二方面实施例提出了一种模型应用方法，包括：

28、获取用户的检索请求，所述检索请求包括检索关键词；

29、响应于所述检索请求，采用基于第一方面所述的方法训练得到的第二阶段模型，对所述检索关键词进行推理，获得多条商品召回数据；

30、向所述用户返回所述多条商品召回数据。

31、本技术第三方面实施例提出了一种模型训练装置，包括：

32、第一训练模块，用于采用第一训练样本集对多模态模型进行第一阶段的训练，获得第一阶段模型；所述第一训练样本集包括正样本集和负样本集，所述正样本集中的各条训练样本包括第一文本样本和第一图像样本，所述第一文本样本包括商品的标题，所述第一图像样本包括所述商品的图片；分属于两条第一训练样本的第一文本样本和第一图像样本构成所述负样本集合中的一条训练样本；

33、第二训练模块，用于采用第二训练样本集对所述第一阶段模型进行第二阶段的训练，获得第二阶段模型；所述第二训练样本集中的各条训练样本包括第二文本样本和第二图像样本，所述第二文本样本包括用户的历史搜索关键词，所述第二图像样本包括商品的图片，各所述第二训练样本被标记为正样本、负样本或难分样本。

34、本技术第四方面实施例提出了一种模型应用装置，包括：

35、获取用户的检索请求，所述检索请求包括检索关键词；

36、响应于所述检索请求，采用基于第一方面所述的方法训练得到的第二阶段模型，对所述检索关键词进行推理，获得多条商品召回数据；

37、向所述用户返回所述多条商品召回数据。

38、本技术第五方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面或第二方面所述的方法。

39、本技术第六方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面或第二方面所述的方法。

40、本技术实施例中提供的技术方案，至少具有如下技术效果或优点：

41、在本技术实施例中，以多模态模型代替相关技术中的文本相关性模型进行训练，多模态模型的零迁移和领域学习能力可以很好地解决文本相关性模型难以处理的信息缺失和语义鸿沟问题。返回到相关技术中存在的问题，对于【汉堡】和【超值套餐a】，多模态模型可以借助【汉堡】对应的图片或【超值套餐a】对应的图片，识别到【汉堡】和【超值套餐a】是匹配的，从而将【超值套餐a】召回并向用户展示。另外，本技术采用两个训练样本集分别对多模态模型进行训练，第一训练样本集的训练可以使得多模态模型将相似的图片分布在特征空间相近的位置，使得差异较大的图片所分布的特征空间的距离较远，这样可以使得第一阶段模型具有一个较好的特征输出，从而在第二阶段的训练过程中，提高第一阶段模型输出的图像特征和文本特征的准确度，进一步使得在第二阶段的训练过程中，基于图像特征和文本特征所计算的模型损失更准确，并最终提高基于该模型损失所优化的模型参数的准确度，达到提高模型精度的效果。

42、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本技术的实践了解到。