一种摘要的生成方法、装置、设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种摘要的生成方法、装置、设备及存储介质。


背景技术：

2.目前摘要的生成方式主要包括抽取式摘要和生成式摘要。抽取式摘要通常是将文本中的所有句子按照重要性进行排序，取出排序在阈值之前的句子重新组合成一段文字作为原文本的摘要。但是，抽取式摘要通常会由于缺乏对整个文档内容更高语义层面的概括，而存在生成的文本摘要语义不连贯的问题。生成式摘要则是由计算机结合神经网络模型，仿照人的思维阅读并提取文本概要作为原文本的摘要。但是，生成式摘要在实际应用过程中存在信息损失较大，甚至篡改关键信息的现象。因此，由当前的文本摘要生成方式生成的文本摘要的质量较差。


技术实现要素：

3.本技术实施例的目的在于提出一种摘要的生成方法、装置、设备及存储介质，以解决生成的文本摘要的质量较差的问题。
4.为了解决上述技术问题，本技术实施例提供一种摘要的生成方法，采用了如下所述的技术方案：
5.获取文本的文本数据；所述文本数据包括段落数据和段落摘要数据，一个段落数据对应一个段落摘要数据；将所述段落数据和所述段落摘要数据分别进行编码处理，得到段落向量和段落摘要向量；提取所述段落数据中的主干信息和实体信息，得到主干向量和实体向量；所述主干信息至少包括所述段落数据对应的段落中，主谓宾结构或者主谓宾定状补结构对应的数据；所述实体信息至少包括所述段落数据对应的段落中的量词和名词；融合所述段落向量和所述主干向量，得到第一融合向量；根据所述第一融合向量和所述段落摘要向量计算得到交叉注意力向量；融合所述交叉注意力向量和所述实体向量，得到第二融合向量；对所述第二融合向量进行解码处理，得到文本的摘要。
6.进一步的，所述融合所述段落向量和所述主干向量，得到第一融合向量，具体包括：对所述段落向量和所述主干向量分别进行维度转换处理，得到段落转换向量和主干转换向量；所述段落转换向量为所述段落数据的转换向量；所述主干转换向量为所述主干信息的转换向量；根据所述段落转换向量，计算得到所述段落数据的自注意力向量；融合所述自注意力向量和所述主干转换向量，得到第一融合向量。
7.进一步的，所述融合所述自注意力向量和所述主干转换向量，得到第一融合向量，具体包括：根据公式融合所述自注意力向量和所述主干转换向量，得到第一融合向量；其中，v
′
用于表示所述第一融合向量，用于表示所述自注意力向量，z
′
用于表示所述主干转换向量，用于表示所述第一融合向量的参数矩阵，用于表
示所述第一融合向量的偏置项。
8.进一步的，所述根据所述第一融合向量和所述段落摘要向量计算得到交叉注意力向量，具体包括：通过transformer的译码器对所述第一融合向量和所述段落摘要向量进行维度转换处理，得到交叉转换向量；根据所述交叉转换向量，计算得到所述交叉注意力向量。
9.进一步的，所述融合所述交叉注意力向量和所述实体向量，得到第二融合向量，具体包括：根据公式对所述实体向量进行维度转换处理，得到实体转换向量，其中，c
′
用于表示所述实体转换向量，i表示实体信息中第i个字，在i为偶数时，pos(i)＝sin(i/100002)，在i为奇数时，pos(i)＝cos(i/100002)，用于表示向量乘积，ci用于表示所述实体向量中第i个元素；融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量。
10.进一步的，所述融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量，具体包括：根据公式融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量；其中，v
″′
用于表示所述第二融合向量，v
″
用于表示所述交叉注意力向量，c
′
用于表示所述实体转换向量，用于表示所述第二融合向量的参数矩阵，用于表示所述第二融合向量的偏置项。
11.进一步的，在获取文本的文本数据之前，所述生成方法还包括：获取历史文本的样本数据；其中，所述样本数据包括历史段落数据和历史摘要数据，一个历史段落数据对应一个历史摘要数据；将所述样本数据输入预设模型进行训练，得到摘要生成模型；根据所述摘要生成模型确定目标向量的参数矩阵和偏置项；其中，所述目标向量至少包括所述第一融合向量和所述第二融合向量。
12.为了解决上述技术问题，本技术实施例还提供一种摘要的生成装置，采用了如下所述的技术方案：
13.获取模块，用于获取文本的文本数据；所述文本数据包括段落数据和段落摘要数据，一个段落数据对应一个段落摘要数据；编码模块，用于将所述段落数据和所述段落摘要数据分别进行编码处理，得到段落向量和段落摘要向量；提取模块，用于提取所述段落数据中的主干信息和实体信息，得到主干向量和实体向量；所述主干信息至少包括所述段落数据对应的段落中，主谓宾结构或者主谓宾定状补结构对应的数据；所述实体信息至少包括所述段落数据对应的段落中的量词和名词；第一融合模块，用于融合所述段落向量和所述主干向量，得到第一融合向量；计算模块，用于根据所述第一融合向量和所述段落摘要向量计算得到交叉注意力向量；第二融合模块，用于融合所述交叉注意力向量和所述实体向量，得到第二融合向量；解码模块，用于对所述第二融合向量进行解码处理，得到文本的摘要。
14.进一步的，所述第一融合模块包括转换子模块、计算子模块以及融合子模块；所述转换子模块，用于对所述段落向量和所述主干向量分别进行维度转换处理，得到段落转换向量和主干转换向量；所述段落转换向量为所述段落数据的转换向量；所述主干转换向量为所述主干信息的转换向量；所述计算子模块，用于根据所述段落转换向量，计算得到所述段落数据的自注意力向量；所述融合子模块，用于融合所述自注意力向量和所述主干转换
向量，得到第一融合向量。
15.进一步的，所述融合子模块，具体用于：根据公式融合所述自注意力向量和所述主干转换向量，得到第一融合向量；其中，v
′
用于表示所述第一融合向量，用于表示所述自注意力向量，z
′
用于表示所述主干转换向量，用于表示所述第一融合向量的参数矩阵，用于表示所述第一融合向量的偏置项。
16.进一步的，所述计算模块包括第一子模块和第二子模块；所述第一子模块，用于通过transformer的译码器对所述第一融合向量和所述段落摘要向量进行维度转换处理，得到交叉转换向量；所述第二子模块，用于根据所述交叉转换向量，计算得到所述交叉注意力向量。
17.进一步的，所述第二融合模块包括第三子模块和第四子模块；所述第三子模块，用于根据公式对所述实体向量进行维度转换处理，得到实体转换向量，其中，c
′
用于表示所述实体转换向量，i表示实体信息中第i个字，在i为偶数时，pos(i)＝sin(i/100002)，在i为奇数时，pos(i)＝cos(i/100002)，用于表示向量乘积，ci用于表示所述实体向量中第i个元素；所述第四子模块，用于融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量。
18.进一步的，所述第四子模块，具体用于：根据公式融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量；其中，v
″′
用于表示所述第二融合向量，v
″
用于表示所述交叉注意力向量，c
′
用于表示所述实体转换向量，用于表示所述第二融合向量的参数矩阵，用于表示所述第二融合向量的偏置项。
19.进一步的，所述生成装置还包括样本获取模块、训练模块以及确定模块；所述样本获取模块，用于获取历史文本的样本数据；其中，所述样本数据包括历史段落数据和历史摘要数据，一个历史段落数据对应一个历史摘要数据；所述训练模块，用于将所述样本数据输入预设模型进行训练，得到摘要生成模型；所述确定模块，用于根据所述摘要生成模型确定目标向量的参数矩阵和偏置项；其中，所述目标向量至少包括所述第一融合向量和所述第二融合向量。
20.为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述的摘要的生成方法的步骤。
21.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的摘要的生成方法的步骤。
22.与现有技术相比，本技术实施例主要有以下有益效果：将文本数据进行编码处理，得到段落向量和段落摘要向量；提取段落数据中的主干信息和实体信息，得到主干向量和实体向量；融合段落向量和主干向量，得到第一融合向量；根据第一融合向量和段落摘要向量计算得到交叉注意力向量；融合交叉注意力向量和实体向量，得到第二融合向量；对第二融合向量进行解码处理，得到文本的摘要。即本技术在生成文本摘要的过程中融合了段落
layer iii，动态影像专家压缩标准音频层面3)、mp4(moving pictureexperts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
37.服务器105可以是提供各种服务的服务器，例如对终端设备上显示的页面提供支持的后台服务器。
38.需要说明的是，本技术实施例所提供的摘要的生成方法一般由服务器执行，相应地，摘要的生成装置一般设置于服务器中。
39.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
40.继续参考图2，示出了根据本技术的摘要的生成方法的一个实施例的流程图。该摘要的生成方法，包括以下步骤：
41.步骤s21，获取文本的文本数据。
42.在本实施例中，摘要的生成方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式与终端进行通信。需要指出的是，上述无线连接方式可以包括但不限于3g/4g/5g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
43.其中，文本数据包括段落数据和段落摘要数据，一个段落数据对应一个段落摘要数据。
44.可选的，本技术中的文本可以是督办文件对应的文本，则根据督办文件的文本生成的文本摘要可以是每个督办文件对应的任务摘要。其中，督办文件是指a公司和b公司签订的合作协议。在督办文件中会涉及到很多子公司或者业务单元，则每个子公司或者每个业务单元对应的具体任务为督办任务。
45.具体的，获取文本的文本数据的方式可以是使用预先训练好的段落划分模型对文本对应的段落进行划分，得到文本的段落数据；使用预先训练好的段落摘要提取模型对文本对应的段落进行摘要提取，得到文本的段落摘要数据。
46.步骤s22，将段落数据和段落摘要数据分别进行编码处理，得到段落向量和段落摘要向量。
47.具体的，使用编码器对段落数据进行编码，得到段落向量。例如，使用word2vec模型(或者bert模型)训练的段落编码器，对段落数据进行编码，得到段落向量。又例如，段落向量为其中，x用于表示段落向量，r为实数，k
x
用于表示段落的长度(即段落的字数)，dm用于表示段落向量的长度。dm的长度通常为预设的。例如，dm的长度为默认值，或者为相关人员写入的数值。又例如，dm的长度为256、300、512、768(bert模型训练的段落编码器对应dm的长度)等。
48.同理，使用编码器对段落摘要数据进行编码，得到段落摘要向量。例如，使用word2vec模型(或者bert模型)训练的段落摘要编码器，对段落摘要数据进行编码，得到段落摘要向量。又例如，段落摘要向量为其中，y用于表示段落摘要向量，r为实数，ky用于表示段落摘要的长度(即段落摘要的字数)，dm用于表示段落摘要向量的长度。
49.步骤s23，提取段落数据中的主干信息和实体信息，得到主干向量和实体向量。
50.其中，主干信息至少包括段落数据对应的段落中，主谓宾结构或者主谓宾定状补结构对应的数据；实体信息至少包括段落数据对应的段落中的量词和名词。可选的，实体信息中的名词可以包括机构名(organization，org)、人名(person，per)、地名(location，loc)、普通名词、其他专用名词等。
51.具体的，首先可以使用结巴(jieba)、汉语言处理包(han language processing，hanlp)、百度词法分析模型(lexical analysis of chinese，lac)、语言技术平台(language technology platform，ltp)等语言处理工具对段落进行分词以及分析处理，得到段落中的主谓宾结构、主谓宾定状补结构、量词、名词。例如，使用语言处理工具对“a公司积极参与b城市建设，导入城市综合投资开发运营的先进理念与实施方向”进行分词以及分析处理，得到该段落中的主谓宾结构为“a公司参与b城市建设”。
52.之后，使用编码器对提取出的主干信息和实体信息进行编码，得到主干向量和实体向量。具体编码方式与上述步骤s22中对文本数据进行编码的步骤相同，从此处不再详述。
53.例如，主干向量为其中，z用于表示主干向量，r为实数，kz用于表示主干信息的长度(即主干信息的字数)，dm用于表示主干向量的长度。又例如，实体向量为c＝{c1,c2,...,cn}，其中，c用于表示实体向量，cn用于表示实体信息第n个词编码后的向量。
54.步骤s24，融合段落向量和主干向量，得到第一融合向量。
55.具体的，图3是融合段落向量和主干向量得到第一融合向量的流程图，参照图3所示，包括如下步骤s241-步骤s243。
56.步骤s241，对段落向量和主干向量分别进行维度转换处理，得到段落转换向量和主干转换向量。
57.其中，段落转换向量为段落数据的转换向量；主干转换向量为主干信息的转换向量。段落转换向量包括第一段落子向量、第二段落子向量以及第三段落子向量。
58.具体的，根据公式对段落向量进行维度转换处理，得到段落转换向量；其中，qe用于表示第一段落子向量，ke用于表示第二段落子向量，ve用于表示第三段落子向量，x用于表示段落向量，用于表示第一段落子向量的参数矩阵，用于表示第二段落子向量的参数矩阵，用于表示第三段落子向量的参数矩阵，用于表示第一段落子向量的偏置项，用于表示第二段落子向量的偏置项，用于表示第三段落子向量的偏置项。
59.可选的，可以使用transformer的编码器(encoder)模块对段落向量进行维度转换处理，得到段落转换向量。
60.根据公式对主干向量进行维度转换处理，得到主干转换向量；其中，z
′
用于表示主干转换向量，z用于表示主干向量，用于表示主干转换向量的参数矩阵，用于表示主干转换向量的偏置项。
61.步骤s242，根据段落转换向量，计算得到段落数据的自注意力向量。
62.具体的，根据公式计算得到段落数据的自注意力向量；其中，用于表示段落数据的自注意力向量，qe用于表示段落转换向量中的第一段落子向量，ke用于表示段落转换向量中的第二段落子向量，ve用于表示段落转换向量中的第三段落子向量，dk用于表示第一段落子向量的维度。
63.步骤s243，融合自注意力向量和主干转换向量，得到第一融合向量。
64.具体的，根据公式融合自注意力向量和主干转换向量，得到第一融合向量；其中，v
′
用于表示第一融合向量，用于表示自注意力向量，z
′
用于表示主干转换向量，用于表示第一融合向量的参数矩阵，用于表示第一融合向量的偏置项。
65.本实施例中，融合段落向量和主干向量，即在生成文本摘要的过程中融合了段落数据的主干信息，而主干信息包括段落中的主谓宾结构或者主谓宾定状补结构。这样，本技术生成的文本摘要必然包括文本中的主体结构，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
66.步骤s25，根据第一融合向量和段落摘要向量计算得到交叉注意力向量。
67.具体的，图4是根据第一融合向量和段落摘要向量计算得到交叉注意力向量的流程图，参照图4所示，包括如下步骤s251-步骤s252。
68.步骤s251，通过transformer的译码器对第一融合向量和段落摘要向量进行维度转换处理，得到交叉转换向量。
69.具体的，根据公式对第一融合向量和段落摘要向量进行维度转换处理，得到交叉转换向量；其中，交叉转换向量包括第一交叉子向量、第二交叉子向量以及第三交叉子向量；qd用于表示第一交叉子向量，kd用于表示第二交叉子向量，vd用于表示第三交叉子向量，y用于表示段落摘要向量，v
′
用于表示第一融合向量，用于表示第一交叉子向量的参数矩阵，用于表示第二交叉子向量的参数矩阵，用于表示第三交叉子向量的参数矩阵，用于表示第一交叉子向量的偏置项，用于表示第二交叉子向量的偏置项，用于表示第三交叉子向量的偏置项。
70.步骤s252，根据交叉转换向量，计算得到交叉注意力向量。
71.具体的，根据公式计算得到交叉注意力向量；其中，v
″
用于表示交叉注意力向量，qd用于表示第一交叉子向量，kd用于表示第二交叉子向量，vd用于表示第三交叉子向量，dk用于表示第一交叉子向量的维度。
72.步骤s26，融合交叉注意力向量和实体向量，得到第二融合向量。
73.具体的，图5是融合交叉注意力向量和实体向量得到第二融合向量的流程图，参照图5所示，包括如下步骤s261-步骤s262。
74.步骤s261，对实体向量进行维度转换处理，得到实体转换向量。
75.具体的，根据公式对实体向量进行维度转换处理，得到实体转换向量；其中，c
′
用于表示实体转换向量，i表示实体信息中第i个字，在i为偶数时，pos(i)＝sin(i/100002)，在i为奇数时，pos(i)＝cos(i/100002)，用于表示向量乘积，ci用于表示实体向量中第i个元素(即实体信息第i个词编码后的向量)。
76.步骤s262，融合交叉注意力向量和实体转换向量，得到第二融合向量。
77.具体的，根据公式融合交叉注意力向量和实体转换向量，得到第二融合向量；其中，v
″′
用于表示第二融合向量，v
″
用于表示交叉注意力向量，c
′
用于表示实体转换向量，用于表示第二融合向量的参数矩阵，用于表示第二融合向量的偏置项。
78.步骤s27，对第二融合向量进行解码处理，得到文本的摘要。
79.具体的，使用译码器对第二融合向量进行解码处理，得到文本的摘要。例如，使用word2vec模型(或者bert模型)训练的向量译码器，对第二融合向量进行译码，得到文本的摘要。
80.可选的，在步骤s21之前，该摘要的生成方法还包括以下步骤s201-步骤s203。
81.步骤s201，获取历史文本的样本数据；其中，样本数据包括历史段落数据和历史摘要数据，一个历史段落数据对应一个历史摘要数据。
82.具体的，获取样本数据的方式可以是人工对历史文本的历史段落进行标记，得到历史段落数据，并提取每个历史段落的历史摘要数据。之后，将历史段落和对应的历史摘要数据组成一组样本数据。
83.步骤s202，将样本数据输入预设模型进行训练，得到摘要生成模型。
84.具体的，根据样本数据和预设模型训练摘要生成模型的方式与现有的模型训练方式相同，此处不再详述。
85.步骤s203，根据摘要生成模型确定目标向量的参数矩阵和偏置项。
86.其中，目标向量至少包括第一融合向量和第二融合向量。
87.具体的，目标向量还包括第一段落子向量、第二段落子向量、第三段落子向量、主干转换向量、第一交叉子向量、第二交叉子向量、第三交叉子向量。
88.在本实施例中，将文本数据进行编码处理，得到段落向量和段落摘要向量；提取段落数据中的主干信息和实体信息，得到主干向量和实体向量；融合段落向量和主干向量，得到第一融合向量；根据第一融合向量和段落摘要向量计算得到交叉注意力向量；融合交叉注意力向量和实体向量，得到第二融合向量；对第二融合向量进行解码处理，得到文本的摘要。即本技术在生成文本摘要的过程中融合了段落数据的主干信息和实体信息，而主干信息包括段落中的主谓宾结构或者主谓宾定状补结构，实体信息包括段落中的量词和名词。这样，本技术生成的文本摘要必然包括文本中的主体结构(主谓宾结构或者主谓宾定状补结构)、量词以及名词，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
89.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介
质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
90.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
91.进一步参考图6，作为对上述图2所示方法的实现，本技术提供了一种摘要的生成装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
92.如图6所示，本实施例的摘要的生成装置600包括：获取模块601、编码模块602、提取模块603、第一融合模块604、计算模块605、第二融合模块606、解码模块607，其中：
93.获取模块601，用于获取文本的文本数据；文本数据包括段落数据和段落摘要数据，一个段落数据对应一个段落摘要数据；编码模块602，用于将段落数据和段落摘要数据分别进行编码处理，得到段落向量和段落摘要向量；提取模块603，用于提取段落数据中的主干信息和实体信息，得到主干向量和实体向量；主干信息至少包括段落数据对应的段落中，主谓宾结构或者主谓宾定状补结构对应的数据；实体信息至少包括段落数据对应的段落中的量词和名词；第一融合模块604，用于融合段落向量和主干向量，得到第一融合向量；计算模块605，用于根据第一融合向量和段落摘要向量计算得到交叉注意力向量；第二融合模块606，用于融合交叉注意力向量和实体向量，得到第二融合向量；解码模块607，用于对第二融合向量进行解码处理，得到文本的摘要。
94.本实施例中，在生成文本摘要的过程中融合了段落数据的主干信息和实体信息，而主干信息包括段落中的主谓宾结构或者主谓宾定状补结构，实体信息包括段落中的量词和名词。这样，本技术生成的文本摘要必然包括文本中的主体结构、量词以及名词，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
95.在本实施例的一些可能的实现方式中，第一融合模块604包括转换子模块、计算子模块以及融合子模块；转换子模块，用于对段落向量和主干向量分别进行维度转换处理，得到段落转换向量和主干转换向量；段落转换向量为段落数据的转换向量；主干转换向量为主干信息的转换向量；计算子模块，用于根据段落转换向量，计算得到段落数据的自注意力向量；融合子模块，用于融合自注意力向量和主干转换向量，得到第一融合向量。
96.在本实施例的一些可选的实现方式中，所述融合子模块，具体用于：根据公式融合所述自注意力向量和所述主干转换向量，得到第一融合向量；其中，v
′
用于表示所述第一融合向量，用于表示所述自注意力向量，z
′
用于表示所述主干转换向量，用于表示所述第一融合向量的参数矩阵，用于表示所述第一融合向量的偏置项。
97.本实施例中，融合段落向量和主干向量，即在生成文本摘要的过程中融合了段落
数据的主干信息，而主干信息包括段落中的主谓宾结构或者主谓宾定状补结构。这样，本技术生成的文本摘要必然包括文本中的主体结构，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
98.在本实施例的一些可能的实现方式中，所述计算模块605包括第一子模块和第二子模块；所述第一子模块，用于通过transformer的译码器对所述第一融合向量和所述段落摘要向量进行维度转换处理，得到交叉转换向量；所述第二子模块，用于根据所述交叉转换向量，计算得到所述交叉注意力向量。
99.本实施例中，使用融合后的段落向量和主干向量，与段落摘要向量计算交叉注意力向量，这样，使得生成的文本摘要必然包括文本中的主体结构，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
100.在本实施例的一些可能的实现方式中，所述第二融合模块606包括第三子模块和第四子模块；所述第三子模块，用于根据公式对所述实体向量进行维度转换处理，得到实体转换向量，其中，c
′
用于表示所述实体转换向量，i表示实体信息中第i个字，在i为偶数时，pos(i)＝sin(i/100002)，在i为奇数时，pos(i)＝cos(i/100002)，用于表示向量乘积，ci用于表示所述实体向量中第i个元素；所述第四子模块，用于融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量。
101.在本实施例的一些可能的实现方式中，所述第四子模块，具体用于：根据公式融合所述交叉注意力向量和所述实体转换向量，得到第二融合向量；其中，v
″′
用于表示所述第二融合向量，v
″
用于表示所述交叉注意力向量，c
′
用于表示所述实体转换向量，用于表示所述第二融合向量的参数矩阵，用于表示所述第二融合向量的偏置项。
102.本实施例中，在生成文本摘要的过程中融合了段落数据的实体信息，而实体信息包括段落中的量词和名词。这样，本技术生成的文本摘要必然包括文本中的量词以及名词，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
103.在本实施例的一些可能的实现方式中，所述生成装置还包括样本获取模块、训练模块以及确定模块；所述样本获取模块，用于获取历史文本的样本数据；其中，所述样本数据包括历史段落数据和历史摘要数据，一个历史段落数据对应一个历史摘要数据；所述训练模块，用于将所述样本数据输入预设模型进行训练，得到摘要生成模型；所述确定模块，用于根据所述摘要生成模型确定目标向量的参数矩阵和偏置项；其中，所述目标向量至少包括所述第一融合向量和所述第二融合向量。
104.本实施例中，根据历史文本的样本数据训练得到摘要生成模型，然后根据摘要生成模型确定第一融合向量和所述第二融合向量的参数矩阵和偏置项。能够提高生成文本摘要的质量。
105.为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。
106.所述计算机设备7包括通过系统总线相互通信连接存储器71、处理器72、网络接口73。需要指出的是，图中仅示出了具有组件71-73的计算机设备7，但是应理解的是，并不要
求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
107.所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
108.所述存储器71至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器71可以是所述计算机设备7的内部存储单元，例如该计算机设备7的硬盘或内存。在另一些实施例中，所述存储器71也可以是所述计算机设备7的外部存储设备，例如该计算机设备7上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器71还可以既包括所述计算机设备7的内部存储单元也包括其外部存储设备。本实施例中，所述存储器71通常用于存储安装于所述计算机设备7的操作系统和各类应用软件，例如摘要的生成方法的计算机可读指令等。此外，所述存储器71还可以用于暂时地存储已经输出或者将要输出的各类数据。
109.所述处理器72在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器72通常用于控制所述计算机设备7的总体操作。本实施例中，所述处理器72用于运行所述存储器71中存储的计算机可读指令或者处理数据，例如运行所述摘要的生成方法的计算机可读指令。
110.所述网络接口73可包括无线网络接口或有线网络接口，该网络接口73通常用于在所述计算机设备7与其他电子设备之间建立通信连接。
111.本实施例中提供的计算机设备可以执行上述摘要的生成方法的步骤。此处摘要的生成方法的步骤可以是上述各个实施例的摘要的生成方法中的步骤。
112.本实施例中，在生成文本摘要的过程中融合了段落数据的主干信息和实体信息，而主干信息包括段落中的主谓宾结构或者主谓宾定状补结构，实体信息包括段落中的量词和名词。这样，本技术生成的文本摘要必然包括文本中的主体结构、量词以及名词，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
113.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的摘要的生成方法的步骤。
114.本实施例中，在生成文本摘要的过程中融合了段落数据的主干信息和实体信息，而主干信息包括段落中的主谓宾结构或者主谓宾定状补结构，实体信息包括段落中的量词和名词。这样，本技术生成的文本摘要必然包括文本中的主体结构、量词以及名词，避免了生成的文本摘要信息损失过大，或者信息被篡改的问题，提高了生成文本摘要的质量。
115.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
116.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。