基于引导信号和句法结构的生成式文本摘要方法及系统

本发明涉及生成式文本摘要，尤其涉及一种基于引导信号和句法结构的生成式文本摘要方法及系统。

背景技术：

1、随着互联网特别是移动互联网的大范围普及和使用，例如网站、博客、论坛和社交媒体网络，其成为文本数据的巨大来源。同时新闻文章、书籍、法律文件和科学论文等文档中都包含大量的文本内容。每天这些内容都呈指数级增长，用户需要花费大量时间查找信息，甚至无法阅读和理解搜索结果的所有文本内容。自动文本摘要(automatic textsummarization,ats)任务旨在精炼文章的重要内容并输出简短的摘要，帮助用户无需阅读整个文档就能获取其主旨和要点。

2、自动文本摘要按照输出类型可分为抽取式摘要和生成式摘要。抽取式摘要从源文档中抽取关键句组成摘要，摘要全部来源于原文；生成式摘要根据原文，允许生成新的词语及短语来组成摘要。

3、生成式摘要方法是自动文本摘要的一种实现方式，这种方法与人类的工作方式更相近：读取文本后，理解文本的主旨，然后逐字逐句地生成摘要，最后得到使用少量单词和清晰语言表达出的文档思想摘要。目前，通常采用基于神经网络的生成式摘要模型实现，如liu等人使用标准的编码器-解码器框架完成生成式摘要任务，该框架中的编码器为预训练的bertsum，解码器则使用6层随机初始化的transfomer。其创新性的对编码器和解码器使用不同的优化器，以匹配预训练的编码器与从零开始训练的解码器，提高预训练模型微调时的稳定性。

4、但是，基于神经网络的生成式摘要模型难以控制，生成的摘要往往会缺失关键信息，因此，出现了针对指导摘要生成方法的研究。如目前li等人使用抽取方法获得关键字，而后利用kign将抽取的关键字编码为关键信息表示，以指导摘要的生成。这一方法改善了生成摘要缺失关键信息的问题，但是，生成的摘要包含事实一致性错误——即摘要所陈述的事实内容与原文不符或相悖的情况。由于抽取式摘要方法直接选取原文中重要句子组成一篇摘要，不存在事实一致性错误，受抽取式摘要的启发，原文中的显著性句子被用来作为引导信号指导摘要生成，用以提升摘要的事实一致性，同时也能包含更多重要信息。

5、然而，在源文档中有一些重要信息通过复杂的句法、因果关系和时间关系连接在一起，并在围绕输入文本的主旨表达的情况下松散地分布在文档中，与源文档一起输入的引导信号作为外部信息来指导文档的处理，对于帮助模型聚焦这些内部的显著信息效果甚微。同时，引导信号由于抽取方式和抽取数量的限制，得到的引导信号可能并不是最优的，这就会在生成摘要的过程中引入额外的噪声，进而影响生成的摘要质量。

技术实现思路

1、为解决上述现有技术的不足，本发明提供了一种基于引导信号和句法结构的生成式文本摘要方法及系统，利用角色嵌入编码源文本的结构信息，优化引入的引导信号非最优而引入额外噪声干扰的问题，提高生成文本摘要的正确性。

2、第一方面，本公开提供了一种基于引导信号和句法结构的生成式文本摘要方法。

3、一种基于引导信号和句法结构的生成式文本摘要方法，包括：

4、获取待生成文本摘要的源文本；

5、将源文本输入至基于matchsum的提取模型，提取源文本的显著句子；

6、将源文本和显著句子输入至文本摘要生成模型中，所述文本摘要生成模型采用编码器-解码器架构搭建，源文本输入第一编码器，生成绑定角色嵌入的源文本嵌入表示，显著句子输入第二编码器，生成引导信号，绑定角色嵌入的源文档嵌入表示和引导信号通过解码器的融合模块，生成引导向量积表示，基于引导向量积表示，生成并输出文本摘要。

7、进一步的技术方案，所述文本摘要生成模型(即gtpsum模型)采用编码器-解码器架构搭建，采用两个并行的编码器和一个解码器；

8、第一编码器包括依次设置的bert模块和tp-transformer模块，第二编码器包括依次设置的bert模块和多头注意力模块，第一编码器底部的bert模块和第二编码器底部的bert模块共享。

9、进一步的技术方案，源文本输入第一编码器，首先通过bert模块生成文本嵌入，再将文本嵌入作为输入嵌入输入至tp-transformer模块，通过tp-transformer模块生成绑定角色嵌入的源文档嵌入表示；

10、所述tp-transformer模块包含三个解码器层，包括自下而上堆叠的多头注意力层、填充-角色向量绑定层和前馈层，且在每个堆叠之前的层之间都设置一个添加和归一化层；其中，所述填充-角色向量绑定层用于为每个词元绑定填充向量和角色向量，并最后输出每个词元的向量积表示tpr。

11、进一步的技术方案，显著句子输入第二编码器，首先通过bert模块生成显著句子的文本嵌入，再将显著句子的文本嵌入作为输入嵌入输入至多头注意力模块，通过多头注意力模块生成引导信号；

12、所述多头注意力模块包含两个解码器层，包括自下而上堆叠的多头注意力层和前馈层，且在每个堆叠之前的层之间都设置一个添加和归一化层。

13、进一步的技术方案，所述解码器包括依次设置的多头注意力模块和gtp-transformer模块，共包含六个解码器层，且每个解码器层均包含两个块；

14、所述多头注意力模块包括一个解码器层，用于处理已生成的输出嵌入，并将处理后的输出嵌入传输到gtp-transformer模块中；所述gtp-tran sformer模块包括五个解码器层，包括自下而上堆叠的第一填充-角色向量绑定层、两个交叉注意力层、第二填充-角色向量绑定层和前馈层，接收并组合第一编码器和第二编码器输出的绑定角色嵌入的源文本嵌入表示和引导信号。

15、进一步的技术方案，在gtp-transformer模块中，输入嵌入通过第一填充-角色向量绑定层后，和第二编码器输出的引导信号输入第一个交叉注意力层，输出引导感知表示；引导感知表示和第一编码器输出的绑定角色嵌入的源文本表示输入第二个交叉注意力层，输出注意力表示，注意力表示再通过第二填充-角色向量绑定层将注意力表示与其相应的角色嵌入相结合，生成引导向量积表示。

16、第二方面，本公开提供了一种基于引导信号和句法结构的生成式文本摘要系统。

17、一种基于引导信号和句法结构的生成式文本摘要系统，包括：

18、源文本获取模块，用于获取待生成文本摘要的源文本；

19、显著句子提取模块，用于将源文本输入至基于matchsum的提取模型，提取源文本的显著句子；

20、文本摘要生成模块，用于将源文本和显著句子输入至文本摘要生成模型中，所述文本摘要生成模型采用编码器-解码器架构搭建，源文本输入第一编码器，生成绑定角色嵌入的源文本嵌入表示，显著句子输入第二编码器，生成引导信号，绑定角色嵌入的源文档嵌入表示和引导信号通过解码器的融合模块，生成引导向量积表示，基于引导向量积表示，生成并输出文本摘要。

21、进一步的技术方案，所述文本摘要生成模型(即gtpsum模型)采用编码器-解码器架构搭建，采用两个并行的编码器和一个解码器；

22、第一编码器包括依次设置的bert模块和tp-transformer模块，第二编码器包括依次设置的bert模块和多头注意力模块，第一编码器底部的bert模块和第二编码器底部的bert模块共享。

23、第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

24、第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

25、以上一个或多个技术方案存在以下有益效果：

26、1、本发明提供了一种基于引导信号和句法结构的生成式文本摘要方法及系统，通过将显著句子编码为引导信号，指导摘要生成，解决生成式摘要事实一致性的问题；通过采用角色向量编码结构信息，解决文本中复杂组合且松散分布的重要信息较难获取的问题；通过融合指导和结构信息的gtp-transformer模块，得到新的事实依据表示gtprs，结合引导信号和角色向量，使得最终生成更准确的文本摘要。

27、2、本发明利用角色嵌入编码源文本的结构信息，优化引入的引导信号非最优而引入额外噪声干扰的问题，提高生成文本摘要的正确性。