文本顺滑处理方法、装置、电子设备及存储介质与流程

文档序号:35211010发布日期:2023-08-24 12:05阅读:来源:国知局

技术特征:

1.一种文本顺滑处理方法,其特征在于,所述文本顺滑处理方法包括:

2.根据权利要求1所述的文本顺滑处理方法,其特征在于,所述文本顺滑模型采用以下方式预训练得到:

3.根据权利要求2所述的文本顺滑处理方法,其特征在于,所述基于所述文字标签分类结果和所述第二训练样本,构建与所述第二训练样本对应的顺滑后训练样本,具体包括:

4.根据权利要求2所述的文本顺滑处理方法,其特征在于,基于所述第二语义表示和所述第三语义表示得到损失函数,具体包括:

5.根据权利要求2所述的文本顺滑处理方法,其特征在于,所述第一训练样本的预设位置设置有第一占位符;

6.根据权利要求2或4所述的文本顺滑处理方法,其特征在于,所述第二训练样本的预设位置设置有第二占位符,所述顺滑后训练样本的预设位置设置有第三占位符;

7.根据权利要求2所述的文本顺滑处理方法,其特征在于,所述获取第一训练样本集,具体包括:

8.根据权利要求2所述的文本顺滑处理方法,其特征在于,所述获取第二训练样本集,具体包括:

9.根据权利要求1所述的文本顺滑处理方法,其特征在于,所述对所述带有文字不流畅标签的待顺滑处理文本进行顺滑处理,得到顺滑文本,具体包括:

10.一种文本顺滑处理装置,其特征在于,所述文本顺滑处理装置包括:

11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至9任一项所述的文本顺滑处理方法。

12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的文本顺滑处理方法。

13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的文本顺滑处理方法。


技术总结
本公开提供一种文本顺滑处理方法、装置、电子设备及存储介质,所述文本顺滑处理方法包括:获取待顺滑处理文本;将所述待顺滑处理文本输入至文本顺滑模型,得到所述文本顺滑模型输出的带有文字不流畅标签的待顺滑处理文本;对所述带有文字不流畅标签的待顺滑处理文本进行顺滑处理,得到顺滑文本;其中,所述文本顺滑模型包括编码器、文字标签分类器和语句流畅分类器,所述文字标签分类器和所述语句流畅分类器共用所述编码器,所述文本顺滑模型通过预训练得到。通过本公开可以确保顺滑处理后的待顺滑处理文本不会偏离文本原始语义,进而提高文本顺滑准确率。

技术研发人员:李浩斌,刘航,王培英
受保护的技术使用者:京东科技信息技术有限公司
技术研发日:
技术公布日:2024/1/14
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1