一种数据的处理方法、装置以及存储介质与流程

本技术涉及计算机，尤其涉及一种数据的处理方法、装置以及存储介质。

背景技术：

1、随着深度学习算法技术的演进，模型训练优化的迭代时间成本、算力消耗成本也显著提高，而实际应用场景中、难免会发现产生新的坏例（badcase）样本是现有模型能力所不能覆盖的，为此如何迭代优化出适配于badcase的模型版本，成为一个亟待解决的问题。

2、一般，可以模型原有训练数据集的基础上，通过正负匹配样本对的扩充，对模型进行重训练。

3、但是，由于重训练的过程对应的训练数据规模庞大、且会不断增加，会浪费较大的算力资源和时间资源，影响训练优化的效率。

技术实现思路

1、有鉴于此，本技术提供一种数据的处理方法，可以有效提高训练优化的效率。

2、本技术第一方面提供一种数据的处理方法，可以应用于终端设备中包含数据的处理功能的系统或程序中，具体包括：

3、获取推荐模型在执行推荐任务时指示的坏例样本；

4、根据所述坏例样本生成对应的正样本与负样本，以结合所述坏例样本、所述正样本和所述负样本生成样本三元组；

5、对所述推荐模型的主干网络进行参数冻结，所述主干网络包括多个处理分支，所述处理分支分别关联了相应的投影矩阵；

6、根据所述样本三元组对所述投影矩阵进行训练，以得到目标矩阵；

7、响应于所述推荐任务中的目标内容输入所述推荐模型，获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量，以基于所述特征向量和所述目标矩阵确定输出特征，所述输出特征用于指示所述推荐任务的执行。

8、可选的，在本技术一些可能的实现方式中，所述根据所述样本三元组对所述投影矩阵进行训练，以得到目标矩阵，包括：

9、将所述样本三元组中的样本输入所述推荐模型中的主干网络，以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量；

10、确定所述第一向量和所述第二向量之间的正向距离，以及所述第一向量和所述第三向量之间的反向距离；

11、将所述正向距离和所述反向距离作为距离参数，配置所述投影矩阵对应的距离损失函数；

12、获取所述投影矩阵对应的训练目标，所述训练目标用于指示通过减小所述正向距离，并增大所述反向距离，将所述第一向量指示的排序位置调整到预设位置；

13、基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练，得到所述目标矩阵。

14、可选的，在本技术一些可能的实现方式中，所述通过减小所述第一向量和所述第二向量之间的距离，并增大所述第一向量和所述第三向量之间的距离配置距离损失函数，包括：

15、获取针对于所述样本三元组配置的边缘项；

16、基于所述边缘项对正向距离和反向距离之间的差值进行约束，以配置所述距离损失函数，所述正向距离为所述第一向量和所述第二向量之间的距离，所述反向距离为所述第一向量和所述第三向量之间的距离。

17、可选的，在本技术一些可能的实现方式中，所述基于所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵，包括：

18、基于所述投影矩阵与所述主干网络对应的单位矩阵的差异配置正则化因子；

19、根据所述正则化因子对所述距离损失函数进行调整，以基于调整后的所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵。

20、可选的，在本技术一些可能的实现方式中，所述方法还包括：

21、获取用于对所述推荐模型进行验证的验证集；

22、响应于对所述投影矩阵进行参数调整，基于预设周期调用所述推荐模型对所述验证集进行识别，以得到结果统计信息；

23、若所述结果统计信息中的统计参数达到停止阈值，则停止对所述投影矩阵进行参数调整。

24、可选的，在本技术一些可能的实现方式中，所述获取推荐模型在执行推荐任务时指示的坏例样本，包括：

25、对所述推荐模型在执行所述推荐任务时对应的内容匹配度进行检测；

26、若所述内容匹配度低于预设匹配度，则获取所述内容匹配度对应的任务样本至坏例集合；

27、基于所述坏例集合中任务样本的数量，从所述坏例集合中获取所述任务样本，以得到所述坏例样本。

28、可选的，在本技术一些可能的实现方式中，所述方法还包括：

29、获取所述推荐模型配置的多个任务平台；

30、响应于召回操作，从所述任务平台中进行样本召回，以得到扩展样本；

31、基于所述扩展样本对所述坏例集合进行更新。

32、可选的，在本技术一些可能的实现方式中，所述响应于召回操作，从所述任务平台中进行样本召回，以得到扩展样本，包括：

33、获取所述推荐模型在执行推荐任务时收集的媒体内容的统计参数；

34、若所述统计参数低于统计阈值，则触发所述召回操作；

35、响应于所述召回操作，从所述任务平台中进行样本召回，以得到扩展样本。

36、可选的，在本技术一些可能的实现方式中，所述主干网络中的处理分支为第一内容分支和第二内容分支，所述获取所述推荐模型的主干网络输出的特征向量，以基于所述特征向量和所述目标矩阵确定输出特征，包括：

37、获取所述推荐模型在所述第一内容分支输出的第一内容向量；

38、获取所述推荐模型在所述第二内容分支输出的第二内容向量；

39、将所述第一内容向量和所述第一内容分支对应的目标矩阵进行矩阵计算，以得到第一输出特征；

40、将所述第二内容向量和所述第二内容分支对应的目标矩阵进行矩阵计算，以得到第二输出特征；

41、对所述第一输出特征和所述第二输出特征的余弦相似度进行计算，以得到匹配信息，所述匹配信息用于指示所述推荐任务的执行。

42、可选的，在本技术一些可能的实现方式中，所述获取所述推荐模型在所述第一内容分支输出的第一内容向量，包括：

43、将待处理文本输入所述推荐模型中的第一内容分支，以确定所述待处理文本中的文本标题和文本内容；

44、对所述文本标题进行编码，以得到第一文本向量；

45、对所述文本内容进行编码，以得到第二文本向量；

46、将所述第一文本向量和所述第二文本向量进行融合，以得到所述第一内容向量。

47、可选的，在本技术一些可能的实现方式中，所述获取所述推荐模型在所述第二内容分支输出的第二内容向量，包括：

48、将待处理广告输入所述推荐模型中的第二内容分支，以确定所述待处理广告中的广告文本和广告图片；

49、对所述广告文本进行编码，以得到第三文本向量；

50、对所述广告图片进行编码，以得到图片向量；

51、将所述第三文本向量和所述图片向量进行融合，以得到所述第二内容向量。

52、可选的，在本技术一些可能的实现方式中，所述方法还包括：

53、将目标矩阵配置在推荐任务的链路侧；

54、响应于所述目标矩阵在所述链路侧的配置，将所述推荐任务对应的存量特征接入所述目标矩阵，以执行所述存量特征对应的推荐操作。

55、本技术第二方面提供一种数据的处理装置，包括：

56、获取单元，用于获取推荐模型在执行推荐任务时指示的坏例样本；

57、生成单元，用于根据所述坏例样本生成对应的正样本与负样本，以结合所述坏例样本、所述正样本和所述负样本生成样本三元组；

58、处理单元，用于对所述推荐模型的主干网络进行参数冻结，所述主干网络包括多个处理分支，所述处理分支分别关联了相应的投影矩阵；

59、所述处理单元，还用于根据所述样本三元组对所述投影矩阵进行训练，以得到目标矩阵；

60、所述处理单元，还用于响应于所述推荐任务中的目标内容输入所述推荐模型，获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量，以基于所述特征向量和所述目标矩阵确定输出特征，所述输出特征用于指示所述推荐任务的执行。

61、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于将所述样本三元组中的样本输入所述推荐模型中的主干网络，以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量；

62、所述处理单元，具体用于确定所述第一向量和所述第二向量之间的正向距离，以及所述第一向量和所述第三向量之间的反向距离；

63、所述处理单元，具体用于将所述正向距离和所述反向距离作为距离参数，配置所述投影矩阵对应的距离损失函数；

64、所述处理单元，具体用于获取所述投影矩阵对应的训练目标，所述训练目标用于指示通过减小所述正向距离，并增大所述反向距离，将所述第一向量指示的排序位置调整到预设位置；

65、所述处理单元，具体用于基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练，得到所述目标矩阵。

66、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于获取针对于所述样本三元组配置的边缘项；

67、所述处理单元，具体用于基于所述边缘项对正向距离和反向距离之间的差值进行约束，以配置所述距离损失函数，所述正向距离为所述第一向量和所述第二向量之间的距离，所述反向距离为所述第一向量和所述第三向量之间的距离。

68、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于基于所述投影矩阵与所述主干网络对应的单位矩阵的差异配置正则化因子；

69、所述处理单元，具体用于根据所述正则化因子对所述距离损失函数进行调整，以基于调整后的所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵。

70、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于获取用于对所述推荐模型进行验证的验证集；

71、所述处理单元，具体用于响应于对所述投影矩阵进行参数调整，基于预设周期调用所述推荐模型对所述验证集进行识别，以得到结果统计信息；

72、所述处理单元，具体用于若所述结果统计信息中的统计参数达到停止阈值，则停止对投影矩阵进行参数调整。

73、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于对所述推荐模型在执行所述推荐任务时对应的内容匹配度进行检测；

74、所述处理单元，具体用于若所述内容匹配度低于预设匹配度，则获取所述内容匹配度对应的任务样本至坏例集合；

75、所述处理单元，具体用于基于所述坏例集合中任务样本的数量，从所述坏例集合中获取所述任务样本，以得到所述坏例样本。

76、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于获取所述推荐模型配置的多个任务平台；

77、所述处理单元，具体用于响应于召回操作，从所述任务平台中进行样本召回，以得到扩展样本；

78、所述处理单元，具体用于基于所述扩展样本对所述坏例集合进行更新。

79、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于获取所述推荐模型在执行推荐任务时收集的媒体内容的统计参数；

80、所述处理单元，具体用于若所述统计参数低于统计阈值，则触发所述召回操作；

81、所述处理单元，具体用于响应于所述召回操作，从所述任务平台中进行样本召回，以得到扩展样本。

82、可选的，在本技术一些可能的实现方式中，所述主干网络包含第一内容分支和第二内容分支，所述处理单元，具体用于获取所述推荐模型在所述第一内容分支输出的第一内容向量；

83、所述处理单元，具体用于获取所述推荐模型在所述第二内容分支输出的第二内容向量；

84、所述处理单元，具体用于将所述第一内容向量和所述第一内容分支对应的目标矩阵进行矩阵计算，以得到第一输出特征；

85、所述处理单元，具体用于将所述第二内容向量和所述第二内容分支对应的目标矩阵进行矩阵计算，以得到第二输出特征；

86、所述处理单元，具体用于对所述第一输出特征和所述第二输出特征的余弦相似度进行计算，以得到匹配信息，所述匹配信息用于指示所述推荐任务的执行。

87、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于将待处理文本输入所述推荐模型中的第一内容分支，以确定所述待处理文本中的文本标题和文本内容；

88、所述处理单元，具体用于对所述文本标题进行编码，以得到第一文本向量；

89、所述处理单元，具体用于对所述文本内容进行编码，以得到第二文本向量；

90、所述处理单元，具体用于将所述第一文本向量和所述第二文本向量进行融合，以得到所述第一内容向量。

91、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于将待处理广告输入所述推荐模型中的第二内容分支，以确定所述待处理广告中的广告文本和广告图片；

92、所述处理单元，具体用于对所述广告文本进行编码，以得到第三文本向量；

93、所述处理单元，具体用于对所述广告图片进行编码，以得到图片向量；

94、所述处理单元，具体用于将所述第三文本向量和所述图片向量进行融合，以得到所述第二内容向量。

95、可选的，在本技术一些可能的实现方式中，所述处理单元，具体用于将目标矩阵配置在推荐任务的链路侧；

96、所述处理单元，具体用于响应于所述目标矩阵在所述链路侧的配置，将所述推荐任务对应的存量特征接入所述目标矩阵，以执行所述存量特征对应的推荐操作。

97、本技术第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的数据的处理方法。

98、本技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的数据的处理方法。

99、根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的数据的处理方法。

100、从以上技术方案可以看出，本技术实施例具有以下优点：

101、通过获取推荐模型在执行推荐任务时指示的坏例样本；然后根据坏例样本生成对应的正样本与负样本，以结合坏例样本、正样本和负样本生成样本三元组；并对推荐模型的主干网络进行参数冻结，该主干网络包括多个处理分支，该处理分支分别关联了相应的投影矩阵；然后根据样本三元组对投影矩阵进行训练，以得到目标矩阵；进而响应于推荐任务中的目标内容输入推荐模型，获取推荐模型的主干网络输出的特征向量，以基于特征向量和目标矩阵确定输出特征，输出特征用于指示推荐任务的执行。从而实现推荐模型基于坏例样本进行快速调整的过程，由于在对推荐模型调整过程中对主干网络进行参数冻结，并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调，无需对主干网络进行调整，减小了数据处理量，提高了模型的训练效率。