文本处理方法、装置、计算机设备和存储介质与流程

文档序号:35931814发布日期:2023-11-05 08:26阅读:43来源:国知局
文本处理方法、装置、计算机设备和存储介质与流程

本申请涉及计算机,特别是涉及一种文本处理方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术:

1、随着计算机技术的发展,越来越多的场景越来越需要服务标准化,例如,银行、保险、运输、旅游、医疗服务、文化娱乐等。以医疗服务为例,医疗用语需要标准化,将不规范的医疗用语校正到规范的医疗用语,以促进医疗信息化建设,减轻编码人员工作压力,提高工作效率。

2、传统技术中,通常是将预先标注的校正前后的词语作为训练数据对模型进行训练,使得模型从大规模训练数据中学习词语校正的相关知识,然后将待校正词输入神经网络模型来输出待校正词对应的校正结果。然而,模型需要大量的训练数据,而这些训练数据往往需要进行手动标注和整理,标注难度大,需要花费大量时间和精力,进而导致词语校正效率低。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高词语校正效率的文本处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、本申请提供了一种文本处理方法。所述方法包括:

3、获取目标待校正词对应的目标问题;所述目标问题包括目标待校正词和所述目标待校正词对应的候选标准词集合;

4、获取所述目标待校正词对应的参考样例;所述参考样例包括参考问题和所述参考问题对应的参考答案,所述参考问题包括目标待校正词对应的参考待校正词和所述参考待校正词对应的候选标准词集合,所述参考答案包括所述参考待校正词对应的、从所述参考待校正词对应的候选标准词集合中确定的参考标准词;

5、调用目标文本生成模型,对所述参考样例和所述目标问题进行语境学习,得到所述目标问题对应的目标答案;

6、基于所述目标答案确定所述目标待校正词对应的目标标准词。

7、本申请还提供了一种文本处理装置。所述装置包括:

8、目标问题获取模块,用于获取目标待校正词对应的目标问题;所述目标问题包括目标待校正词和所述目标待校正词对应的候选标准词集合;

9、参考样例获取模块,用于获取所述目标待校正词对应的参考样例;所述参考样例包括参考问题和所述参考问题对应的参考答案,所述参考问题包括目标待校正词对应的参考待校正词和所述参考待校正词对应的候选标准词集合,所述参考答案包括所述参考待校正词对应的、从所述参考待校正词对应的候选标准词集合中确定的参考标准词;

10、模型处理模块,用于调用目标文本生成模型,对所述参考样例和所述目标问题进行语境学习,得到所述目标问题对应的目标答案;

11、目标标准词确定模块,用于基于所述目标答案确定所述目标待校正词对应的目标标准词。

12、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述文本处理方法所述的步骤。

13、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述文本处理方法所述的步骤。

14、一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述文本处理方法所述的步骤。

15、上述文本处理方法、装置、计算机设备、存储介质和计算机程序产品,通过获取目标待校正词对应的目标问题,目标问题包括目标待校正词和目标待校正词对应的候选标准词集合,获取目标待校正词对应的参考样例,参考样例包括参考问题和参考问题对应的参考答案,参考问题包括目标待校正词对应的参考待校正词和参考待校正词对应的候选标准词集合,参考答案包括参考待校正词对应的、从参考待校正词对应的候选标准词集合中确定的参考标准词,调用目标文本生成模型,对参考样例和目标问题进行语境学习,得到目标问题对应的目标答案,基于目标答案确定目标待校正词对应的目标标准词。这样,目标待校正词对应的参考样例是与目标待校正词相关的问答示例,有助于指导模型理解词语校正任务,目标待校正词对应的目标问题是要求回答目标待校正词的词语校正结果的问题,将参考样例和目标问题输入模型,模型基于参考样例所引入的问答知识来回答目标问题,能够降低模型回答目标问题的难度,从而无需预先标注校正前后的词语作为模型的训练数据,模型也可以快速确定目标问题对应的目标答案,减少了训练数据的需求,提高了词语校正效率。



技术特征:

1.一种文本处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标待校正词对应的目标问题,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标待校正词分别和所述标准词集合中各个标准词之间的词相似度,从所述标准词集合中确定所述目标待校正词对应的候选标准词集合,包括:

4.根据权利要求2所述的方法,其特征在于,所述将所述目标待校正词作为目标题干,将所述目标待校正词对应的候选标准词集合中各个候选标准词分别作为所述目标题干对应的候选答案,基于所述目标题干和所述候选答案,得到所述目标待校正词对应的目标问题,包括:

5.根据权利要求1所述的方法,其特征在于,所述获取所述目标待校正词对应的参考样例,包括:

6.根据权利要求5所述的方法,其特征在于,所述获取所述目标待校正词对应的参考待校正词、所述参考待校正词对应的参考标准词,包括:

7.根据权利要求1所述的方法,其特征在于,所述调用目标文本生成模型,对所述参考样例和所述目标问题进行语境学习,得到所述目标问题对应的目标答案,包括:

8.根据权利要求1所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1至8中任一项所述的方法,其特征在于,所述目标待校正词是对象检测结果记录集合中的对象检测结果记录对应的关键词;

10.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取目标待校正词对应的目标问题之前,所述方法还包括:

11.根据权利要求10所述的方法,其特征在于,所述响应于针对所述目标待校正词的校正操作,进入所述获取目标待校正词对应的目标问题的步骤,包括:

12.根据权利要求10所述的方法,其特征在于,所述方法还包括:

13.一种文本处理装置,其特征在于,所述装置包括:

14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。


技术总结
本申请涉及一种文本处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取目标待校正词对应的目标问题;目标问题包括目标待校正词和目标待校正词对应的候选标准词集合;获取目标待校正词对应的参考样例;参考样例包括参考问题和参考问题对应的参考答案,参考问题包括目标待校正词对应的参考待校正词和参考待校正词对应的候选标准词集合,参考答案包括参考待校正词对应的、从参考待校正词对应的候选标准词集合中确定的参考标准词;调用目标文本生成模型,对参考样例和目标问题进行语境学习,得到目标问题对应的目标答案;基于目标答案确定目标待校正词对应的目标标准词。采用本方法能够提高词语校正效率。

技术研发人员:林镇溪,张子恒,吴贤
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1