样本数据处理方法、装置、电子设备及介质与流程

文档序号:30231609发布日期:2022-06-01 05:36阅读:来源:国知局

技术特征:
1.一种样本数据处理方法,其特征在于,包括:步骤s1:利用包含标注的训练数据集训练获得筛选模型;步骤s2:获取待处理样本数据,对所述待处理样本数据进行初次标注;步骤s3:通过所述筛选模型输出所述待处理样本数据的处理结果,其中,所述处理结果包括置信度,根据所述处理结果提取所述待处理样本中的可用样本,其中所述筛选模型对所述可用样本输出的置信度小于第一阈值;步骤s4:利用所述初次标注对所述可用样本进行二次标注,将所述包含二次标注的可用样本扩充所述训练数据集。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:步骤s5:通过扩充后的所述训练数据集对所述筛选模型进行更新,并更新所述待处理样本数据;步骤s6:通过更新后的所述筛选模型、所述更新后的待处理样本数据循环执行所述步骤s3-s5。3.根据权利要求1所述的方法,其特征在于,所述步骤s6中,当所述筛选模型的评价指标满足预设条件时,停止执行循环。4.根据权利要求1所述的方法,其特征在于,步骤s3中的所述处理结果还包括所述待处理样本数据中目标对象的位置或轮廓。5.根据权利要求4所述的方法,其特征在于,所述初次标注包括对所述待处理样本数据中目标对象的位置进行标注,当所述处理结果包括所述待处理样本数据中目标对象的位置时,所述根据所述处理结果提取所述待处理样本中的可用样本,包括:提取所述筛选模型输出的处理结果的位置和所述初次标注的位置的偏差大于第二阈值的待处理样本数据作为所述可用样本。6.根据权利要求4所述的方法,其特征在于,所述初次标注包括对所述待处理样本数据中目标对象的轮廓进行标注,当所述处理结果包括所述待处理样本数据中目标对象的轮廓时,所述根据所述处理结果提取所述待处理样本中的可用样本,包括:提取所述筛选模型输出的处理结果的轮廓和所述初次标注的轮廓的偏差大于第三阈值的待处理样本数据作为所述可用样本。7.根据权利要求6所述的方法,其特征在于,所述处理结果包括所述待处理样本数据中目标对象的类别;所述对所述可用样本进行二次标注,将所述包含二次标注的可用样本扩充所述训练数据集,包括:根据所述目标对象的类别获取所述目标对象对应的模板;对所述可用样本进行二次标注,获取二次标注结果;计算所述模板与所述二次标注结果的相似度评价指标,将所述相似度评价指标大于第四阈值的可用样本扩充所述训练数据集。8.根据权利要求7所述的方法,其特征在于,所述初次标注包括对所述待处理样本数据中目标对象的类别进行标注,根据所述处理结果提取所述待处理样本中的可用样本包括:当所述处理结果中目标对象的类别与所述初次标注目标对象的类别不一致时,将对应的所述待处理样本作为所述所述可用样本。
9.一种样本数据处理装置,其特征在于,包括:模型训练模块,用于利用包含标注的训练数据集训练获得筛选模型;样本标注模块,用于获取待处理样本数据,对所述待处理样本数据进初次标注;数据筛选模块,用于通过所述筛选模型输出所述待处理样本数据的处理结果,其中,所述处理结果包括置信度,根据所述处理结果提取所述待处理样本中的可用样本,其中所述筛选模型对所述可用样本输出的置信度小于第一阈值;样本数据确定模块,用于利用所述初次标注对所述可用样本进行二次标注,将所述包含二次标注的可用样本扩充所述训练数据集。10.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至8中任一项所述的样本数据处理方法。11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至8中任一项所述的样本数据处理方法。

技术总结
本公开实施例提供了一种样本数据处理方法、样本数据处理装置、电子设备及计算机可读介质;涉及大数据处理技术领域。该样本数据处理方法包括:步骤S1:利用包含标注的训练数据集训练获得筛选模型;步骤S2:获取待处理样本数据,对所述待处理样本数据进行初次标注;步骤S3:通过所述筛选模型输出所述待处理样本数据的处理结果,其中,所述处理结果包括置信度,根据所述处理结果提取所述待处理样本中的可用样本,其中所述筛选模型对所述可用样本输出的置信度小于第一阈值;步骤S4:利用所述初次标注对所述可用样本进行二次标注,将所述包含二次标注的可用样本扩充所述训练数据集。本公开实施例的技术方案能够提高样本标注的效率和准确性。和准确性。和准确性。


技术研发人员:赵一欣 李雨朋 金砺耀
受保护的技术使用者:千寻位置网络有限公司
技术研发日:2020.11.23
技术公布日:2022/5/31
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1