数据处理方法及装置与流程

文档序号:29690339发布日期:2022-04-16 11:18阅读:来源:国知局

技术特征:
1.一种数据处理方法,其特征在于,包括:获取第一样本数据和与所述第一样本数据具有业务关联关系的第二样本数据,其中,所述第一样本数据标注有第一样本标签,所述第二样本数据标注有第二样本标签;根据所述第一样本数据和所述第一样本标签训练获得第一业务模型,根据所述第二样本数据和所述第二样本标签训练获得第二业务模型;将所述第一样本数据输入至所述第二业务模型,并将所述第二样本数据输入至所述第一业务模型;获取所述第二业务模型输出的第一目标数据和所述第一业务模型输出的第二目标数据,其中,所述第一目标数据和所述第二目标数据均标注有第一样本标签和第二样本标签;基于所述第一目标数据和所述第二目标数据构建训练数据集。2.如权利要求1所述的数据处理方法,其特征在于,所述第二样本数据包括第二样本参考数据及所述第二样本参考数据对应的第二样本参考标签,第二样本目标数据及所述第二样本目标数据对应的第二样本目标标签;根据所述第二样本数据和所述第二样本标签训练获得第二业务模型,还包括:根据所述第二样本参考数据和所述第二样本参考标签训练获得第二预训练业务模型;根据所述第二样本目标数据和所述第二样本目标标签训练所述第二预训练业务模型,获得第二业务模型。3.如权利要求2所述的数据处理方法,其特征在于,在根据所述第二样本目标数据和所述第二样本目标标签训练所述第二预训练业务模型之前,所述方法还包括:接收参数调整指令;响应于所述参数调整指令调整所述第二预训练业务模型的目标参数。4.如权利要求3所述的数据处理方法,其特征在于,响应于所述参数调整指令调整所述第二预训练业务模型的目标参数,包括:响应于所述参数调整指令调整所述第二预训练业务模型的学习率参数,用以降低所述第二预训练业务模型的学习率。5.如权利要求1所述的数据处理方法,其特征在于,在基于所述第一目标数据和所述第二目标数据构建训练数据集之后,所述方法还包括:基于所述训练数据集训练获得目标业务模型。6.如权利要求5所述的数据处理方法,其特征在于,所述训练数据集包括目标数据,所述目标数据标注有第一样本标签和第二样本标签;基于所述训练数据集训练获得目标业务模型,包括:将所述目标数据输入至目标业务模型;获得所述目标业务模型输出的第一预测标签和第二预测标签;基于所述第一预测标签、第一样本标签、第二预测标签、第二样本标签计算模型损失值;根据所述模型损失值调整所述目标业务模型的模型参数,并继续训练所述目标业务模型,直至达到模型训练停止条件。7.如权利要求6所述的数据处理方法,其特征在于,达到模型训练停止条件,包括:模型损失值小于预设损失值阈值;和/或
训练轮次达到预设训练轮次。8.如权利要求1-7任意一项所述的数据处理方法,其特征在于,所述第一样本数据包括人脸图片;所述第一样本标签包括眼眶关键点坐标;所述第二样本数据包括人脸图片;所述第二样本标签包括瞳孔关键点坐标。9.一种数据处理方法,其特征在于,包括:获取至少三个初始样本集合,其中,每个初始样本集合间具有业务关联关系,每个初始样本集合中的样本数据标注有对应的训练标签;根据每个初始样本集合训练对应的初始业务模型;基于预设规则通过每个初始业务模型处理每个初始样本集合;根据每个初始业务模型的处理结果构建训练数据集。10.如权利要求9所述的数据处理方法,其特征在于,根据每个初始样本集合训练对应的初始业务模型,包括:在所述至少三个初始样本集合中确定目标初始样本集合;根据所述目标初始样本集合训练对应的目标初始业务模型。11.如权利要求10所述的数据处理方法,其特征在于,对于任意一个初始样本集合训练对应的初始业务模型包括:在所述至少三个初始样本集合中确定目标初始样本集合;将所述目标初始样本集合中的目标样本数据输入至目标初始业务模型;获得所述目标初始业务模型输出的目标预测标签;基于所述目标预测标签和所述目标样本数据对应的目标训练标签计算模型损失值;根据所述模型损失值调整所述目标初始业务模型的模型参数,并继续训练所述目标初始业务模型,直至达到模型训练停止条件。12.如权利要求9所述的数据处理方法,其特征在于,基于预设规则通过每个初始业务模型处理每个初始样本集合,包括:确定目标初始样本集合;将所述目标初始样本集合依次输入至除所述目标初始样本集合对应的目标初始业务模型之外的每个初始业务模型,获取每个初始业务模型输出的处理结果。13.如权利要求12所述的数据处理方法,其特征在于,将所述目标初始样本集合依次输入至除所述目标初始样本集合对应的目标初始业务模型之外的每个初始业务模型,获取每个初始业务模型输出的处理结果,包括:确定除所述目标初始样本集合对应的目标初始业务模型之外的初始业务模型的数量n,n≥2;将所述目标初始样本集合输入至第1个初始业务模型,获得所述第1个初始业务模型输出的第1目标初始样本集合;将第i-1个初始业务模型输出的第i-1目标初始样本集合输入至第i个初始业务模型,获得第i个初始业务模型输出的第i目标初始样本集合,2≤i≤n;将i自增1,并确定i是否大于n,若否,则继续执行将第i-1个初始业务模型输出的第i-1目标初始样本集合输入至第i个初始业务模型的操作,若是,获取每个初始业务模型输出的处理结果。
14.一种数据处理装置,其特征在于,包括:第一获取模块,被配置为获取第一样本数据和与所述第一样本数据具有业务关联关系的第二样本数据,其中,所述第一样本数据标注有第一样本标签,所述第二样本数据标注有第二样本标签;训练模块,被配置为根据所述第一样本数据和所述第一样本标签训练获得第一业务模型,根据所述第二样本数据和所述第二样本标签训练获得第二业务模型;输入模块,被配置为将所述第一样本数据输入至所述第二业务模型,并将所述第二样本数据输入至所述第一业务模型;第二获取模块,被配置为获取所述第二业务模型输出的第一目标数据和所述第一业务模型输出的第二目标数据,其中,所述第一目标数据和所述第二目标数据均标注有第一样本标签和第二样本标签;构建模块,被配置为基于所述第一目标数据和所述第二目标数据构建训练数据集。15.一种数据处理装置,其特征在于,包括:获取模块,被配置为获取至少两个初始样本集合,其中,每个初始样本集合间具有业务关联关系,每个初始样本集合中的样本数据标注有对应的训练标签;训练模块,被配置为根据每个初始样本集合训练对应的初始业务模型;处理模块,被配置为基于预设规则通过每个初始业务模型处理每个初始样本集合;构建模块,被配置为根据每个初始业务模型的处理结果构建训练数据集。16.一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现权利要求1-8或者9-13任意一项所述方法的步骤。17.一种计算机可读存储介质,其存储有计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-8或者9-13任意一项所述方法的步骤。

技术总结
本申请提供数据处理方法及装置,所述方法包括:获取第一样本数据和与第一样本数据具有业务关联关系的第二样本数据;根据第一样本数据和第一样本标签训练获得第一业务模型,根据第二样本数据和第二样本标签训练获得第二业务模型;将第一样本数据输入至第二业务模型,并将第二样本数据输入至第一业务模型;获取第二业务模型输出的第一目标数据和第一业务模型输出的第二目标数据;基于第一目标数据和第二目标数据构建训练数据集。通过使用多阶段预训练,以及使用第一业务模型和第二业务模型进行标注,来解决部分标签缺失问题,和数据集之间定义不一致问题,扩充了目标业务模型的训练数据,提高目标业务模型的学习训练效果。提高目标业务模型的学习训练效果。提高目标业务模型的学习训练效果。


技术研发人员:王自越
受保护的技术使用者:上海哔哩哔哩科技有限公司
技术研发日:2022.01.04
技术公布日:2022/4/15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1