本申请涉及自然语言处理,尤其涉及一种文本摘要的生成方法、装置、电子设备及存储介质。
背景技术:
1、随着大数据时代的来临,处理和总结大量文本的需求大幅增加。大型语言模型(large language model,llm)因其出色的语言理解和生成能力,已被广泛应用于自动文本摘要。然而,llm在处理大规模输入时存在局限性,导致生成的摘要结果不够准确。
技术实现思路
1、有鉴于此,本申请提供了一种文本摘要的生成方法、装置、电子设备及存储介质,以解决现有技术中摘要结果不够准确的问题。
2、本申请的第一方面,提供了一种文本摘要的生成方法,包括:对待处理文本进行文本提取得到多个子文本,并从多个子文本中确定出一个主文本和至少一个副文本;对主文本进行摘要提取,得到主摘要,对每一副文本进行摘要提取,得到每一副文本对应的副摘要;根据每一副摘要对主摘要进行增量更新,得到待处理文本对应的目标摘要。
3、本申请的第二方面,提供了一种文本摘要的生成装置,包括:文本提取模块,被配置为对待处理文本进行文本提取得到多个子文本,并从多个子文本中确定出一个主文本和至少一个副文本;摘要提取模块,被配置为对主文本进行摘要提取,得到主摘要,对每一副文本进行摘要提取,得到每一副文本对应的副摘要;摘要更新模块,被配置为根据每一副摘要对主摘要进行增量更新,得到待处理文本对应的目标摘要。
4、本申请的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
5、本申请的第四方面,提供了一种存储介质,该存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
6、本申请采用的上述至少一个技术方案能够达到以下有益效果:
7、通过对待处理文本进行提取,得到多个子文本,并从这些子文本中确定出一个主文本和至少一个副文本,对主文本进行摘要提取,得到主摘要,对每个副文本进行摘要提取,得到对应的副摘要,根据每个副摘要对主摘要进行增量更新,将副摘要中的新信息整合进主摘要中,最终通过增量更新后的主摘要包含所有子文本的主要信息,即得到待处理文本对应的目标摘要,这样可以有效的将长文本转变成多个信息源,并将多个信息源的关键信息进行整合和增量更新,得到目标摘要,避免了传统摘要生成中模型令牌限制导致信息整合不完全的问题,还通过增量更新提升了目标摘要的准确性和相关性。
1.一种文本摘要的生成方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对待处理文本进行文本提取得到多个子文本,包括:
3.根据权利要求1所述的方法,其特征在于,所述对所述主文本进行摘要提取,得到主摘要,包括:
4.根据权利要求3所述的方法,其特征在于,所述摘要结构包括键值对结构,所述根据每一所述副摘要对所述主摘要进行增量更新,得到所述待处理文本对应的目标摘要,包括:
5.根据权利要求4所述的方法,其特征在于,所述键值对数据包括键和值,所述根据所述副摘要中的键值对数据,对所述主摘要中的键值对数据进行增量更新,得到所述目标摘要,包括:
6.根据权利要求2所述的方法,其特征在于,在所述对待处理文本进行文本提取得到多个子文本之前,还包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述参考摘要和所述评估摘要对所述训练前的所述大语言模型进行训练,得到所述大语言模型,包括:
8.一种文本摘要的生成装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。