文本标题生成方法、装置、电子设备以及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及自然语言处理、计算机视觉、深度学习技术领域，尤其涉及文本标题生成方法、装置、电子设备以及存储介质。


背景技术：

2.在浏览文本时，用户需要从大量的文本中获取需要的文本。而文本标题是文本中的主要部分之一，一个合适的完整的文本标题，有助于理解文本的主要内容。因此，如何准确生成文本标题，已经成为一个重要的研究方向。


技术实现要素：

3.本公开提供了一种文本标题生成方法、装置、电子设备以及存储介质。
4.根据本公开的一方面，提供了一种文本标题生成方法，包括：确定待处理的文本；提取所述文本的标题特征向量以及关键词特征向量；根据所述标题特征向量以及所述关键词特征向量，生成所述文本的标题。
5.根据本公开的另一方面，提供了一种用于生成文本标题的联合模型的训练方法，包括：构建初始的联合模型，所述联合模型包括：两个分支以及与所述两个分支连接的初始的向量预测模型；其中，一个分支包括初始的标题生成模型，用于提取文本的标题特征向量；另一个分支包括依次连接的预设的关键词生成模型和初始的自注意力机制模型，用于提取所述文本的关键词特征向量；所述向量预测模型，用于根据所述标题特征向量以及所述关键词特征向量，生成所述文本的标题；确定训练语料，其中，所述训练语料包括：预设数量的文本的样本参考内容以及对应的样本标题；以所述样本参考内容为所述联合模型的输入，以对应的样本标题为所述联合模型的输出，对所述联合模型中所述初始的标题生成模型、所述初始的自注意力机制模型以及所述初始的向量预测模型进行系数调整，实现训练。
6.根据本公开的另一方面，提供了一种文本标题生成装置，包括：确定模块，用于确定待处理的文本；提取模块，用于提取所述文本的标题特征向量以及关键词特征向量；生成模块，用于根据所述标题特征向量以及所述关键词特征向量，生成所述文本的标题。
7.根据本公开的另一方面，提供了一种用于生成文本标题的联合模型的训练装置，包括：构建模块，用于构建初始的联合模型，所述联合模型包括：两个分支以及与所述两个分支连接的初始的向量预测模型；其中，一个分支包括初始的标题生成模型，用于提取文本的标题特征向量；另一个分支包括依次连接的预设的关键词生成模型和初始的自注意力机制模型，用于提取所述文本的关键词特征向量；所述向量预测模型，用于根据所述标题特征向量以及所述关键词特征向量，生成所述文本的标题；确定模块，用于确定训练语料，其中，所述训练语料包括：预设数量的文本的样本参考内容以及对应的样本标题；训练模块，用于以所述样本参考内容为所述联合模型的输入，以对应的样本标题为所述联合模型的输出，对所述联合模型中所述初始的标题生成模型、所述初始的自注意力机制模型以及所述初始的向量预测模型进行系数调整，实现训练。
computer，简称pc)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
28.如图1所示，该文本标题生成方法可以包括如下步骤：
29.步骤101，确定待处理的文本。
30.在本公开实施例中，待处理的文本，为缺少文本标题的文本；或者，为对应的文本标题不准确或者不合适的文本。其中，文本例如可以为论文、新闻等，可以根据实际需要进行设定，此处不做具体限定。
31.步骤102，提取文本的标题特征向量以及关键词特征向量。
32.在本公开实施例中，标题特征向量，可以为采用特征向量提取模型或者特征向量提取规则，从文本中提取到的特征向量。关键词特征向量，可以为对文本中预设类型的关键词进行特征提取，得到的特征向量。其中，预设类型例如，日期、地点、对象名称等，可以根据实际需要进行设定。
33.步骤103，根据标题特征向量以及关键词特征向量，生成文本的标题。
34.在本公开实施例中，文本标题生成装置执行步骤103的过程例如可以为，对标题特征向量以及关键词特征向量进行拼接，得到拼接后向量；对拼接后向量进行向量预测，确定文本的标题。其中，对标题特征向量以及关键词特征向量的拼接，能够保留两个特征向量中的知识，提高文本标题生成的准确度。
35.在本公开实施例中，可以由向量预测模型来生成文本的标题。也就是说，在一种示例中，向量预测模型的输入可以为拼接后向量，输出可以为文本的标题。在另一种示例中，向量预测模型的输入可以为标题特征向量以及关键词特征向量，输出可以为文本的标题。
36.其中，向量预测模型可以联合标题特征向量的提取模型、关键词特征向量的提取模型，进行联合训练。也就是说，联合模型的输入为样本文本，输出为样本文本的标题，根据样本文本的标题以及向量预测模型预测得到的标题构建损失函数，对向量预测模型、标题特征向量的提取模型、关键词特征向量的提取模型的系数进行调整，以获取训练好的向量预测模型。
37.本公开实施例的文本标题生成方法，通过确定待处理的文本；提取文本的标题特征向量以及关键词特征向量；根据标题特征向量以及关键词特征向量，生成文本的标题，从而能够参考标题特征向量以及关键词特征向量来生成文本的标题，避免日期、地点和对象名称等关键信息的缺失，确保生成的文本标题的完整性，提高文本标题生成效率，提高生成的文本标题的准确度。
38.为了进一步确保提取到的关键词特征向量的准确度，保留文本中关键词相关的知识，如图2所示，图2是根据本公开第二实施例的示意图，在本公开实施例中，可以先提取文本中预设类型的关键词，进而确定关键词特征向量。图2所示实施例可以包括以下步骤：
39.步骤201，确定待处理的文本。
40.步骤202，提取文本的标题特征向量。
41.在本公开实施例中，在一种示例中，可以采用特征向量提取规则，从文本中提取标题特征向量。在另一种示例中，可以采用特征向量提取模型，从文本中提取标题特征向量。对应的，文本标题生成装置执行步骤202的过程例如可以为，将文本的参考内容输入预设的标题生成模型，以获取标题特征向量；其中，参考内容为文本的所有内容，或者，参考内容为
文本的摘要内容。其中，摘要内容可以对文本进行摘要计算得到。本技术中，结合标题生成模型来确定标题特征向量，能够提高标题特征向量的准确度，进而提高文本标题生成的准确度。
42.步骤203，提取文本中预设类型的关键词，并根据预设类型的关键词确定关键词特征向量。
43.在本公开实施例中，文本标题生成装置执行步骤203的过程例如可以为，将文本的参考内容输入预设的关键词生成模型，获取文本中预设类型的关键词；其中，参考内容为文本的所有内容，或者，参考内容为文本的摘要内容；将预设类型的关键词输入预设的自注意力机制模型，获取关键词特征向量。其中，自注意力机制模型，能够确定多个关键词中各个关键词的权重，提高与标题相关度高的关键词的权重，降低与标题相关度低的关键词的权重，从而提高关键词特征向量的准确度。
44.在本公开实施例中，预设的关键词生成模型的训练方式例如可以为，确定关键词生成模型的训练语料，其中，训练语料包括：一定数量的文本的样本参考内容以及对应的样本关键词；以所述样本参考内容为输入，以对应的样本关键词为输出，对初始的关键词生成模型进行训练，得到预设的关键词生成模型。其中，关键词生成模型例如可以为语义表示模型。初始的关键词生成模型例如可以为经过预训练的语义表示模型。语义表示模型例如可以为ernie等。
45.在本公开实施例中，文本中关键词的数量可以为至少一个；预设类型包括以下类型中的至少一种：日期、地点和对象名称。日期、地点和对象名称等类型的关键词，是标题生成模型生成标题时容易缺失的关键信息，因此，通过这几种类型的关键词的提取，进而生成文本的标题，能够确保文本标题的完整性，进一步提高文本标题生成效率，提高生成的文本标题的准确度。
46.步骤204，根据标题特征向量以及关键词特征向量，生成文本的标题。
47.其中，需要说明的是，步骤201、204可以分别采用本公开的各实施例中的任一种方式实现，本公开实施例并不对此作出限定，也不再赘述。
48.综上，通过确定待处理的文本；提取文本的标题特征向量；提取文本中预设类型的关键词，并根据预设类型的关键词确定关键词特征向量；根据标题特征向量以及关键词特征向量，生成文本的标题，从而能够参考标题特征向量以及关键词特征向量来生成文本的标题，避免日期、地点和对象名称等关键信息的缺失，确保生成的文本标题的完整性，提高文本标题生成效率，提高生成的文本标题的准确度。
49.为了更加清楚地说明上述实施例，现举例进行说明。
50.举例而言，如图3所示，是文本标题生成的框架示意图。在图3中，以文本为新闻举例进行说明。需要先获取新闻对应的新闻摘要，将新闻摘要分别输入标题生成模型(ernie)和关键词生成模型；将关键词生成模型输出的关键词1、关键词2、关键词3等输入自注意力机制模型(self
‑
attention)，获取关键词特征向量；结合关键词特征向量以及标题生成模型输出的标题特征向量，生成新闻标题。
51.图4是根据本公开第三实施例的示意图，需要说明的是，本公开实施例的用于生成文本标题的联合模型的训练方法可应用于用于生成文本标题的联合模型的训练装置，该装置可被配置于电子设备中，以使该电子设备可以执行用于生成文本标题的联合模型的训练
功能。
52.如图4所示，该用于生成文本标题的联合模型的训练方法可以包括如下步骤：
53.步骤401，构建初始的联合模型，联合模型包括：两个分支以及与两个分支连接的初始的向量预测模型；其中，一个分支包括初始的标题生成模型，用于提取文本的标题特征向量；另一个分支包括依次连接的预设的关键词生成模型和初始的自注意力机制模型，用于提取文本的关键词特征向量；向量预测模型，用于根据标题特征向量以及关键词特征向量，生成文本的标题。
54.在本公开实施例中，预设的关键词生成模型的训练方式例如可以为，确定关键词生成模型的训练语料，其中，训练语料包括：一定数量的文本的样本参考内容以及对应的样本关键词；以所述样本参考内容为输入，以对应的样本关键词为输出，对初始的关键词生成模型进行训练，得到预设的关键词生成模型。其中，关键词生成模型例如可以为语义表示模型。初始的关键词生成模型例如可以为经过预训练的语义表示模型。语义表示模型例如可以为ernie等。
55.在本公开实施例中，文本中关键词的数量可以为至少一个；预设类型包括以下类型中的至少一种：日期、地点和对象名称。日期、地点和对象名称等类型的关键词，是标题生成模型生成标题时容易缺失的关键信息，因此，通过这几种类型的关键词的提取，进而生成文本的标题，能够确保文本标题的完整性，进一步提高文本标题生成效率，提高生成的文本标题的准确度。
56.步骤402，确定训练语料，其中，训练语料包括：预设数量的文本的样本参考内容以及对应的样本标题。
57.在本公开实施例中，以文本为新闻为例，训练语料中的文本可以来自于新闻库。其中，新闻库是用来构建训练、验证、测试语料的，包含主流官媒的新闻数据以及自媒体的新闻数据。
58.在本公开实施例中，参考内容为文本的所有内容，或者，参考内容为文本的标题以及摘要内容。以文本为新闻为例，参考内容可以为新闻的所有内容，或者新闻的标题以及新闻摘要。
59.步骤403，以样本参考内容为联合模型的输入，以对应的样本标题为联合模型的输出，对联合模型中初始的标题生成模型、初始的自注意力机制模型以及初始的向量预测模型进行系数调整，实现训练。
60.在本公开实施例中，联合模型的输入可以为样本文本的样本参考内容，输出为样本文本的标题，根据样本文本的标题以及向量预测模型预测得到的标题构建损失函数，对向量预测模型、标题生成模型、自注意力机制模型的系数进行调整，以获取训练好的向量预测模型、训练好的标题生成模型、训练好的自注意力机制模型。
61.本公开实施例的用于生成文本标题的联合模型的训练方法，通过构建初始的联合模型，联合模型包括：两个分支以及与两个分支连接的初始的向量预测模型；其中，一个分支包括初始的标题生成模型，用于提取文本的标题特征向量；另一个分支包括依次连接的预设的关键词生成模型和初始的自注意力机制模型，用于提取文本的关键词特征向量；向量预测模型，用于根据标题特征向量以及关键词特征向量，生成文本的标题；确定训练语料，其中，训练语料包括：预设数量的文本的样本参考内容以及对应的样本标题；以样本参
考内容为联合模型的输入，以对应的样本标题为联合模型的输出，对联合模型中初始的标题生成模型、初始的自注意力机制模型以及初始的向量预测模型进行系数调整，实现训练，从而能够采用联合模型进行文本标题的生成，由于联合模型中能够提取标题特征向量以及关键词特征向量来生成文本的标题，避免日期、地点和对象名称等关键信息的缺失，确保生成的文本标题的完整性，提高文本标题生成效率，提高生成的文本标题的准确度。
62.为了实现上述实施例，本公开还提出一种文本标题生成装置。
63.如图5所示，图5根据本公开第四实施例的示意图。该文本标题生成装置500包括：确定模块510、提取模块520和生成模块530。
64.其中，确定模块510，用于确定待处理的文本；提取模块520，用于提取所述文本的标题特征向量以及关键词特征向量；生成模块530，用于根据所述标题特征向量以及所述关键词特征向量，生成所述文本的标题。
65.作为本公开实施例的一种可能实现方式，所述提取模块520具体用于，提取所述文本的所述标题特征向量；提取所述文本中预设类型的关键词，并根据所述预设类型的关键词确定所述关键词特征向量。
66.作为本公开实施例的一种可能实现方式，所述提取模块520具体用于，将所述文本的参考内容输入预设的标题生成模型，以获取所述标题特征向量；其中，所述参考内容为所述文本的所有内容，或者，所述参考内容为所述文本的摘要内容。
67.作为本公开实施例的一种可能实现方式，所述提取模块520具体用于，
68.将所述文本的参考内容输入预设的关键词生成模型，获取所述文本中预设类型的关键词；其中，所述参考内容为所述文本的所有内容，或者，所述参考内容为所述文本的摘要内容；将所述预设类型的关键词输入预设的自注意力机制模型，获取所述关键词特征向量。
69.作为本公开实施例的一种可能实现方式，所述关键词的数量为至少一个；所述预设类型包括以下类型中的至少一种：日期、地点和对象名称。
70.作为本公开实施例的一种可能实现方式，所述生成模块530具体用于，对所述标题特征向量以及所述关键词特征向量进行拼接，得到拼接后向量；对所述拼接后向量进行向量预测，确定所述文本的所述标题。
71.本公开实施例的文本标题生成装置，通过确定待处理的文本；提取文本的标题特征向量以及关键词特征向量；根据标题特征向量以及关键词特征向量，生成文本的标题，从而能够参考标题特征向量以及关键词特征向量来生成文本的标题，避免日期、地点和对象名称等关键信息的缺失，确保生成的文本标题的完整性，提高文本标题生成效率，提高生成的文本标题的准确度。
72.为了实现上述实施例，本公开还提出一种用于生成文本标题的联合模型的训练装置。
73.如图6所示，图6根据本公开第五实施例的示意图。该用于生成文本标题的联合模型的训练装置600包括：构建模块610、确定模块620和训练模块630。
74.其中，构建模块610，用于构建初始的联合模型，所述联合模型包括：两个分支以及与所述两个分支连接的初始的向量预测模型；其中，一个分支包括初始的标题生成模型，用于提取文本的标题特征向量；另一个分支包括依次连接的预设的关键词生成模型和初始的
自注意力机制模型，用于提取所述文本的关键词特征向量；所述向量预测模型，用于根据所述标题特征向量以及所述关键词特征向量，生成所述文本的标题；
75.确定模块620，用于确定训练语料，其中，所述训练语料包括：预设数量的文本的样本参考内容以及对应的样本标题；
76.训练模块630，用于以所述样本参考内容为所述联合模型的输入，以对应的样本标题为所述联合模型的输出，对所述联合模型中所述初始的标题生成模型、所述初始的自注意力机制模型以及所述初始的向量预测模型进行系数调整，实现训练。
77.本公开实施例的用于生成文本标题的联合模型的训练装置，通过构建初始的联合模型，联合模型包括：两个分支以及与两个分支连接的初始的向量预测模型；其中，一个分支包括初始的标题生成模型，用于提取文本的标题特征向量；另一个分支包括依次连接的预设的关键词生成模型和初始的自注意力机制模型，用于提取文本的关键词特征向量；向量预测模型，用于根据标题特征向量以及关键词特征向量，生成文本的标题；确定训练语料，其中，训练语料包括：预设数量的文本的样本参考内容以及对应的样本标题；以样本参考内容为联合模型的输入，以对应的样本标题为联合模型的输出，对联合模型中初始的标题生成模型、初始的自注意力机制模型以及初始的向量预测模型进行系数调整，实现训练，从而能够采用联合模型进行文本标题的生成，由于联合模型中能够提取标题特征向量以及关键词特征向量来生成文本的标题，避免日期、地点和对象名称等关键信息的缺失，确保生成的文本标题的完整性，提高文本标题生成效率，提高生成的文本标题的准确度。
78.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
79.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
80.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
81.如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
82.电子设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
83.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单
元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如文本标题生成方法或者用于生成文本标题的联合模型的训练方法。例如，在一些实施例中，文本标题生成方法或者用于生成文本标题的联合模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的文本标题生成方法或者用于生成文本标题的联合模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本标题生成方法或者用于生成文本标题的联合模型的训练方法。
84.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
85.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
86.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
87.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
88.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据
服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
89.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
90.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
91.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。