数据增强方法、模型训练方法、召回方法及相关产品与流程

本技术涉及深度学习，尤其涉及一种数据增强方法、模型训练方法、召回方法及相关产品。

背景技术：

1、随着深度学习技术的发展，深度学习的应用场景越来越广，其中就包括利用深度学习模型执行相应的任务，其中，对深度学习模型的训练需要利用训练样本，而且训练样本的数量越多，训练的效果越好。因此如何扩充样本的数量，对深度学习模型的训练具有非常重要的意义。

技术实现思路

1、本技术提供一种数据增强方法、模型训练方法、召回方法及相关产品，以通过对原始对象样本进行数据增强得到增强对象样本，其中，相关产品包括数据增强装置、模型训练装置、召回装置、电子设备、计算机可读存储介质及计算机程序产品。

2、第一方面，提供了一种数据增强方法，所述方法用于对原始对象样本进行数据增强，所述原始对象样本包括两个或两个以上的对象特征，所述对象特征为对象的特征，所述方法包括：

3、获取所述原始对象样本；

4、从所述两个或两个以上的对象特征中确定第一种子特征；

5、基于所述第一种子特征，从所述两个或两个以上的所述对象特征中确定第一增强特征，存在所述第一种子特征是存在所述第一增强特征的前提条件；

6、去除所述原始对象样本中的所述第一种子特征和所述第一增强特征，得到增强对象样本，所述增强对象样本用于作为训练数据对模型进行训练。

7、结合本技术任一实施方式，所述基于所述第一种子特征，从所述两个或两个以上的所述对象特征中确定第一增强特征，包括：

8、从所述两个或两个以上的所述对象特征中确定所述第一种子特征的子特征，作为所述第一增强特征。

9、结合本技术任一实施方式，所述第一种子特征是在所述对象产生种子行为的情况下产生的特征，所述两个或两个以上的所述对象特征包括参考特征，所述参考特征是在所述对象产生参考行为的情况下产生的特征，产生所述种子行为是产生所述参考行为的前提条件；

10、所述基于所述第一种子特征，从所述两个或两个以上的所述对象特征中确定第一增强特征，包括：

11、基于所述第一种子特征，从所述两个或两个以上的所述对象特征中确定所述参考特征，作为所述第一增强特征。

12、结合本技术任一实施方式，所述两个或两个以上的所述对象特征中存在除所述第一种子特征和所述第一增强特征之外的剩余对象特征；

13、所述去除所述原始对象样本中的所述第一种子特征和所述第一增强特征，得到增强对象样本，包括：

14、确定所述第一种子特征的数量与所述第一增强特征的数量的和，得到第一值；

15、在所述第一值小于预设值的情况下，从所述剩余对象特征中确定第二种子特征；

16、基于所述第二种子特征，从所述两个或两个以上的所述对象特征中确定第二增强特征，存在所述第二种子特征是存在所述第二增强特征的前提条件；

17、确定所述第一值、所述第二种子特征的数量以及所述第二增强特征的数量的和，得到第二值；

18、在所述第二值大于或等于所述预设值的情况下，去除所述原始对象样本中的所述第一种子特征、所述第一增强特征、所述第二种子特征和所述第二增强特征，得到所述增强对象样本。

19、结合本技术任一实施方式，所述从所述剩余对象特征中确定第二种子特征，包括：从所述剩余对象特征中确定与所述第一种子特征的相关度低的特征为第二种子特征。

20、结合本技术任一实施方式，所述从所述剩余对象特征中确定与所述第一种子特征的相关度低的特征为第二种子特征，包括：

21、确定所述第一种子特征与所述剩余对象特征的互信息，得到互信息值；

22、基于所述互信息值，确定与所述第一种子特征的相关度低的特征为所述第二种子特征。

23、结合本技术任一实施方式，所述基于所述互信息值，确定与所述第一种子特征的相关度低的特征为所述第二种子特征，包括：

24、确定与所述互信息值的最小值对应的特征为所述第二种子特征。

25、结合本技术任一实施方式，所述去除所述原始对象样本中的所述第一种子特征和所述第一增强特征，得到增强对象样本，包括：

26、对所述原始对象样本中的所述第一种子特征和所述第一增强特征进行遮罩处理，得到所述增强对象样本。

27、结合本技术任一实施方式，所述对象特征包括：交互特征、所述对象的属性中的一个或一个以上，所述交互特征为所述对象与物料进行交互产生的特征。

28、第二方面，提供了一种模型训练方法，所述方法包括：

29、获取原始对象样本集、增强对象样本集以及物料样本集，所述原始对象样本集为原始对象样本的集合，所述增强对象样本集中的增强对象样本是根据第一方面及其任一实施方式得到的，所述物料样本集包括交互样本，所述交互样本包括与所述原始对象样本中的对象产生过交互的物料；

30、利用所述原始对象样本集、所述增强对象样本集以及所述物料样本集，对待训练双塔模型进行训练，得到目标双塔模型，所述待训练双塔模型包括对象分支和物料分支，所述对象分支用于对所述原始对象样本和所述增强对象样本进行特征提取，所述物料分支用于对所述物料样本集中的样本进行特征提取。

31、结合本技术任一实施方式，所述利用所述原始对象样本集、所述增强对象样本集以及所述物料样本集，对待训练双塔模型进行训练，得到目标双塔模型，包括：

32、利用所述对象分支对所述原始对象样本集中的所述原始对象样本进行特征提取，得到对象向量表征集，所述对象向量表征集为通过对所述原始对象样本进行特征提取得到的向量表征的集合；

33、利用所述对象分支对所述增强对象样本集中的所述增强对象样本进行特征提取，得到增强向量表征集，所述增强向量表征集为通过对所述增强对象样本进行特征提取得到的向量表征的集合；

34、对所述对象向量表征集与所述增强向量表征集进行聚类，得到聚类结果；

35、基于所述聚类结果，确定所述原始对象样本所属的对象簇和所述增强对象样本所属的增强簇；

36、针对具有对象增强关系的所述原始对象样本和所述增强对象样本，确定所述对象簇与所述增强簇的第一差异，所述对象增强关系指所述增强对象样本是利用第一方面及其任一实施方式对所述原始对象样本处理得到的；

37、基于所述第一差异，得到所述待训练双塔模型的损失，所述第一差异与所述损失呈正相关；

38、基于所述损失，更新所述待训练双塔模型的参数，得到所述目标双塔模型。

39、结合本技术任一实施方式，在所述对所述对象向量表征集与所述增强向量表征集进行聚类，得到聚类结果之前，所述方法还包括：

40、利用所述物料分支对所述物料样本集中的样本进行特征提取，得到物料向量表征集；

41、所述对所述对象向量表征集与所述增强向量表征集进行聚类，得到聚类结果，包括：

42、对所述对象向量表征集、所述增强向量表征集和所述物料向量表征集进行聚类，得到所述聚类结果。

43、结合本技术任一实施方式，在所述基于所述第一差异，得到所述待训练双塔模型的损失之前，所述方法还包括：

44、基于所述聚类结果，确定所述交互样本所属的交互簇；

45、针对具有交互关系的所述原始对象样本和所述交互样本，确定所述对象簇与所述交互簇的第二差异，所述交互关系指所述原始对象样本所对应的所述对象与所述交互样本产生过交互；

46、所述基于所述第一差异，得到所述待训练双塔模型的损失，包括：

47、基于所述第一差异和所述第二差异，得到所述损失，所述第二差异与所述损失呈正相关。

48、结合本技术任一实施方式，所述物料样本集包括原始物料样本和增强物料样本，所述增强物料样本通过对所述原始物料样本进行数据增强得到；

49、在所述基于所述第一差异和所述第二差异，得到所述损失之前，所述方法还包括：

50、基于所述聚类结果，确定所述原始物料样本所属的原始物料簇和所述增强物料样本所属的增强物料簇；

51、确定所述原始物料簇与所述增强物料簇的第三差异；

52、所述基于所述第一差异和所述第二差异，得到所述损失，包括：

53、基于所述第一差异、所述第二差异和所述第三差异，得到所述损失，所述第三差异与所述损失呈正相关。

54、结合本技术任一实施方式，所述物料样本集中的样本包括图像、视频、图文中的一种或一种以上，所述图文包括图像和文字。

55、第三方面，提供了一种召回方法，所述召回方法包括：

56、在接收到召回与目标对象匹配的物料的请求的情况下，利用目标双塔模型的对象分支对所述目标对象的目标对象特征进行特征提取，得到目标对象向量表征，所述目标双塔模型通过第二方面及其任一实施方式得到；

57、利用所述目标对象向量表征检索物料库，获得具有与所述目标对象特征匹配的物料向量表征的目标物料，所述物料库包括待召回物料和所述待召回物料的物料向量表征；

58、将所述目标物料，作为所述请求的召回结果。

59、结合本技术任一实施方式，所述物料向量表征通过所述目标双塔模型中的物料分支对所述待召回物料进行特征提取得到。

60、第四方面，提供了另一种召回方法，所述召回方法包括：

61、在接收到针对参考对象执行目标任务的情况下，利用微调双塔模型的对象分支对所述参考对象的特征进行特征提取，得到参考对象向量表征，所述微调双塔模型是利用所述目标任务对目标双塔模型进行微调得到的，所述目标双塔模型通过第二方面及其任一实施方式得到；

62、利用所述参考对象向量表征检索物料库，获得具有与所述参考对象特征匹配的物料向量表征的目标物料，所述物料库包括待召回物料和所述待召回物料的物料向量表征；

63、将所述目标物料，作为所述请求的召回结果。

64、结合本技术任一实施方式，所述物料向量表征通过所述微调双塔模型对所述待召回物料进行特征提取得到。

65、第五方面，提供了一种数据增强装置，所述数据增强装置用于对原始对象样本进行数据增强，所述原始对象样本包括两个或两个以上的对象特征，所述对象特征为对象的特征，所述数据增强装置包括：

66、获取单元，用于获取所述原始对象样本；

67、确定单元，用于从所述两个或两个以上的对象特征中确定第一种子特征；

68、所述确定单元，用于基于所述第一种子特征，从所述两个或两个以上的所述对象特征中确定第一增强特征，存在所述第一种子特征是存在所述第一增强特征的前提条件；

69、去除单元，用于去除所述原始对象样本中的所述第一种子特征和所述第一增强特征，得到增强对象样本，所述增强对象样本用于作为训练数据对模型进行训练。

70、结合本技术任一实施方式，所述确定单元，具体用于：

71、从所述两个或两个以上的所述对象特征中确定所述第一种子特征的子特征，作为所述第一增强特征。

72、结合本技术任一实施方式，所述第一种子特征是在所述对象产生种子行为的情况下产生的特征，所述两个或两个以上的所述对象特征包括参考特征，所述参考特征是在所述对象产生参考行为的情况下产生的特征，产生所述种子行为是产生所述参考行为的前提条件；

73、所述确定单元，具体用于：

74、基于所述第一种子特征，从所述两个或两个以上的所述对象特征中确定所述参考特征，作为所述第一增强特征。

75、结合本技术任一实施方式，所述两个或两个以上的所述对象特征中存在除所述第一种子特征和所述第一增强特征之外的剩余对象特征；所述去除单元，具体用于：

76、确定所述第一种子特征的数量与所述第一增强特征的数量的和，得到第一值；

77、在所述第一值小于预设值的情况下，从所述剩余对象特征中确定第二种子特征；

78、基于所述第二种子特征，从所述两个或两个以上的所述对象特征中确定第二增强特征，存在所述第二种子特征是存在所述第二增强特征的前提条件；

79、确定所述第一值、所述第二种子特征的数量以及所述第二增强特征的数量的和，得到第二值；

80、在所述第二值大于或等于所述预设值的情况下，去除所述原始对象样本中的所述第一种子特征、所述第一增强特征、所述第二种子特征和所述第二增强特征，得到所述增强对象样本。

81、结合本技术任一实施方式，所述确定单元，具体用于：从所述剩余对象特征中确定与所述第一种子特征的相关度低的特征为第二种子特征。

82、结合本技术任一实施方式，所述确定单元，具体用于：

83、确定所述第一种子特征与所述剩余对象特征的互信息，得到互信息值；

84、基于所述互信息值，确定与所述第一种子特征的相关度低的特征为所述第二种子特征。

85、结合本技术任一实施方式，所述确定单元，具体用于：

86、确定与所述互信息值的最小值对应的特征为所述第二种子特征。

87、结合本技术任一实施方式，所述去除单元，具体用于：

88、对所述原始对象样本中的所述第一种子特征和所述第一增强特征进行遮罩处理，得到所述增强对象样本。

89、结合本技术任一实施方式，所述对象特征包括：交互特征、所述对象的属性中的一个或一个以上，所述交互特征为所述对象与物料进行交互产生的特征。

90、第六方面，提供了一种模型训练装置，所述模型训练装置包括：

91、获取单元，用于获取原始对象样本集、增强对象样本集以及物料样本集，所述原始对象样本集为原始对象样本的集合，所述增强对象样本集中的增强对象样本是根据第一方面及其任一实施方式得到的，所述物料样本集包括交互样本，所述交互样本包括与所述原始对象样本中的对象产生过交互的物料；

92、训练单元，用于利用所述原始对象样本集、所述增强对象样本集以及所述物料样本集，对待训练双塔模型进行训练，得到目标双塔模型，所述待训练双塔模型包括对象分支和物料分支，所述对象分支用于对所述原始对象样本和所述增强对象样本进行特征提取，所述物料分支用于对所述物料样本集中的样本进行特征提取。

93、结合本技术任一实施方式，所述训练单元，具体用于：

94、利用所述对象分支对所述原始对象样本集中的所述原始对象样本进行特征提取，得到对象向量表征集，所述对象向量表征集为通过对所述原始对象样本进行特征提取得到的向量表征的集合；

95、利用所述对象分支对所述增强对象样本集中的所述增强对象样本进行特征提取，得到增强向量表征集，所述增强向量表征集为通过对所述增强对象样本进行特征提取得到的向量表征的集合；

96、对所述对象向量表征集与所述增强向量表征集进行聚类，得到聚类结果；

97、基于所述聚类结果，确定所述原始对象样本所属的对象簇和所述增强对象样本所属的增强簇；

98、针对具有对象增强关系的所述原始对象样本和所述增强对象样本，确定所述对象簇与所述增强簇的第一差异，所述对象增强关系指所述增强对象样本是利用第一方面及其任一实施方式对所述原始对象样本处理得到的；

99、基于所述第一差异，得到所述待训练双塔模型的损失，所述第一差异与所述损失呈正相关；

100、基于所述损失，更新所述待训练双塔模型的参数，得到所述目标双塔模型。

101、结合本技术任一实施方式，所述模型训练装置，还包括：

102、特征提取单元，用于利用所述物料分支对所述物料样本集中的样本进行特征提取，得到物料向量表征集；

103、所述训练单元，具体用于：

104、对所述对象向量表征集、所述增强向量表征集和所述物料向量表征集进行聚类，得到所述聚类结果。

105、结合本技术任一实施方式，所述模型训练装置，还包括确定单元，用于基于所述聚类结果，确定所述交互样本所属的交互簇；

106、所述确定单元，用于针对具有交互关系的所述原始对象样本和所述交互样本，确定所述对象簇与所述交互簇的第二差异，所述交互关系指所述原始对象样本所对应的所述对象与所述交互样本产生过交互；

107、所述训练单元，具体用于基于所述第一差异和所述第二差异，得到所述损失，所述第二差异与所述损失呈正相关。

108、结合本技术任一实施方式，所述物料样本集包括原始物料样本和增强物料样本，所述增强物料样本通过对所述原始物料样本进行数据增强得到；

109、所述确定单元，还用于：

110、基于所述聚类结果，确定所述原始物料样本所属的原始物料簇和所述增强物料样本所属的增强物料簇；

111、确定所述原始物料簇与所述增强物料簇的第三差异；

112、所述训练单元，具体用于基于所述第一差异、所述第二差异和所述第三差异，得到所述损失，所述第三差异与所述损失呈正相关。

113、结合本技术任一实施方式，所述物料样本集中的样本包括图像、视频、图文中的一种或一种以上，所述图文包括图像和文字。

114、第七方面，还提供了一种召回装置，其特征在于，所述召回装置包括：

115、特征提取单元，用于在接收到召回与目标对象匹配的物料的请求的情况下，利用目标双塔模型的对象分支对所述目标对象的目标对象特征进行特征提取，得到目标对象向量表征，所述目标双塔模型通过第二方面及其任一实施方式得到；

116、检索单元，用于利用所述目标对象向量表征检索物料库，获得具有与所述目标对象特征匹配的物料向量表征的目标物料，所述物料库包括待召回物料和所述待召回物料的物料向量表征；

117、召回单元，用于将所述目标物料，作为所述请求的召回结果。

118、结合本技术任一实施方式，所述物料向量表征通过所述目标双塔模型中的物料分支对所述待召回物料进行特征提取得到。

119、第八方面，提供了另一种召回装置，所述召回装置包括：

120、特征提取单元，用于在接收到针对参考对象执行目标任务的情况下，利用微调双塔模型的对象分支对所述参考对象的特征进行特征提取，得到参考对象向量表征，所述微调双塔模型是利用所述目标任务对目标双塔模型进行微调得到的，所述目标双塔模型通过第二方面及其任一实施方式得到；

121、检索单元，用于利用所述参考对象向量表征检索物料库，获得具有与所述参考对象特征匹配的物料向量表征的目标物料，所述物料库包括待召回物料和所述待召回物料的物料向量表征；

122、召回单元，用于将所述目标物料，作为所述请求的召回结果。

123、结合本技术任一实施方式，所述物料向量表征通过所述微调双塔模型对所述待召回物料进行特征提取得到。

124、第九方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式，所述电子设备或者执行如上述第二方面及其任一实施方式，所述电子设备或者执行如上述第三方面及其任一实施方式，所述电子设备或者执行如上述第四方面及其任一实施方式。

125、第十方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备或者执行如上述第一方面及其任一实施方式，所述电子设备或者执行如上述第二方面及其任一实施方式，所述电子设备或者执行如上述第三方面及其任一实施方式，所述电子设备或者执行如上述第四方面及其任一实施方式。

126、第十一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式，或者使所述处理器执行如上述第二方面及其任一实施方式，或者使所述处理器执行如上述第三方面及其任一实施方式，或者使所述处理器执行如上述第四方面及其任一实施方式。

127、第十二方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式，或者使得所述计算机执行上述第二方面及其任一实施方式，或者使得所述计算机执行上述第三方面及其任一实施方式，或者使得所述计算机执行上述第四方面及其任一实施方式。

128、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。

129、本技术中，原始对象样本包括两个或两个以上的对象特征，其中，对象特征为对象的特征。数据增强装置在获取原始对象样本后，从两个或两个以上的对象特征中确定第一种子特征。再基于第一种子特征，从两个或两个以上的对象特征中确定第一增强特征，其中，存在第一种子特征是存在第一增强特征的前提条件。最后去除原始对象样本中的第一种子特征和第一增强特征，得到增强对象样本，可提升增强对象样本的真实性。这样，在增强对象样本用于作为训练数据对模型进行训练的情况下，可提升训练数据的质量。