数据生产方法、装置、电子设备及存储介质与流程

文档序号:34458569发布日期:2023-06-14 22:56阅读:31来源:国知局
数据生产方法、装置、电子设备及存储介质与流程

本公开涉及人工智能,尤其涉及自然语言处理、深度学习、知识问答等,具体涉及一种数据生产方法、装置、电子设备及存储介质。


背景技术:

1、问答任务是检验问答模型认知能力的经典代理任务,其要求问答模型可以自动回答问题。问答模型的训练需要应用到海量的标注数据,也即,需要对海量的待标注问答数据进行标注,获得标注数据——对应的问答回复数据。然而,目前的数据标注任务主要由人工完成,这一方面会耗费大量人力资源,另一方面,由于数据标注任务的难度差异、标注人员水平差异等原因,难以保证标注质量。


技术实现思路

1、本公开提供了一种数据生产方法、装置、电子设备及存储介质。

2、根据本公开的一方面,提供了一种数据生产方法,包括:

3、获取标注提示信息;

4、获取多个待标注问答数据;

5、使通过预训练的语言模型根据标注提示信息,分别对多个待标注问答数据进行标注,获得多个问答回复数据。

6、根据本公开的第二方面,提供了一种数据生产装置,包括:

7、信息获取单元,用于获取标注提示信息;

8、数据获取单元,用于获取多个待标注问答数据;

9、标注单元,用于使通过预训练的语言模型根据标注提示信息,分别对多个待标注问答数据进行标注,获得多个问答回复数据。

10、根据本公开的第三方面,提供了一种电子设备,包括:

11、至少一个处理器;

12、与至少一个处理器通信连接的存储器;

13、存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面所提供的方法。

14、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行第一方面所提供的方法。

15、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现第一方面所提供的方法。

16、采用本公开可以减少人力资源占用,同时,提高数据标注质量。

17、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。



技术特征:

1.一种数据生产方法,包括:

2.根据权利要求1所述的方法,其中,所述获取标注提示信息,包括:

3.根据权利要求2所述的方法,其中,所述从m个候选提示句中选取最优提示句,包括:

4.根据权利要求2所述的方法,其中,所述基于n个候选学习样本,获得具有预期引导效果的目标样本组,包括:

5.根据权利要求4所述的方法,其中,所述根据所述排序结果,基于n个候选学习样本,获得所述目标样本组,包括:

6.根据权利要求2所述的方法,其中,所述基于n个候选学习样本,获得具有预期引导效果的目标样本组,包括:

7.根据权利要求6所述的方法,其中,所述基于所述备用学习样本,获得所述目标样本组,包括:

8.根据权利要求6所述的方法,其中,所述基于所述备用学习样本,获得所述目标样本组,包括:

9.根据权利要求1所述的方法,其中,所述标注提示信息包括最优提示句和目标样本组,所述使通过预训练的语言模型根据所述标注提示信息,分别对所述多个待标注问答数据进行标注,获得多个问答回复数据,包括:

10.一种数据生产装置,包括:

11.根据权利要求10所述的装置,其中,所述信息获取单元用于:

12.根据权利要求11所述的装置,其中,所述信息获取单元用于:

13.根据权利要求11所述的装置,其中,所述信息获取单元用于:

14.根据权利要求13所述的装置,其中,所述信息获取单元用于:

15.根据权利要求11所述的装置,其中,所述信息获取单元用于:

16.根据权利要求15所述的装置,其中,所述信息获取单元用于:

17.根据权利要求15所述的装置,其中,所述信息获取单元用于:

18.根据权利要求10所述的装置,其中,所述标注提示信息包括最优提示句和目标样本组,所述标注单元用于:

19.一种电子设备,包括:

20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1~9中任一项所述的方法。

21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1~9中任一项所述的方法。


技术总结
本公开涉及人工智能技术领域,尤其涉及自然语言处理、深度学习、知识问答等技术领域,具体涉及一种数据生产方法、装置、电子设备及存储介质。具体实现方案为:获取标注提示信息;获取多个待标注问答数据;使通过预训练的语言模型根据所述标注提示信息,分别对所述多个待标注问答数据进行标注,获得多个问答回复数据。采用本公开可以减少人力资源占用,同时,提高数据标注质量。

技术研发人员:毛建国,郝洋,姜文斌,崔骁鹏
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:
技术公布日:2024/1/13
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1