标题生成方法、模型训练方法、装置、电子设备及介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种标题生成方法、模型训练方法、装置、电子设备及介质。


背景技术：

2.标题生成是自然语言处理中最常见的应用，所谓的“标题”是一个序列到另一个序列的处理过程，即是对一个输入文本进行分词、词性标注及语义提取分析之后，得到该输入文本对应的文本标题，该文本标题可表示该输入文本的文本要义。
3.现有技术中，采用统计模型来生成文本标题，即统计输入文本中包括的关键词，再根据关键词查询预设的数据库获取对应的文本标题。然而在实践中发现，由于采用关键词查询文本标题，会导致不同文章之间由于关键词相同，其生成的文本标题相同，但与文章内容的相关性不强，导致生成的文本标题准确度较低。


技术实现要素：

4.本发明实施例通过提供一种标题生成方法、模型训练方法、装置、电子设备及介质，解决了现有技术中文本标题生成的准确度较低的技术问题。
5.第一方面，本发明实施例提供一种标题生成方法，包括：
6.获取待预测文本；
7.对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题；
8.其中，所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。
9.可选地，所述待预测文本包括待预测的输入文本，或者所述待预测文本包括待预测的输入文本及所述输入文本的关键词。
10.可选地，所述待预测文本包括待预测的输入文本及所述输入文本的关键词，所述对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题包括：
11.获取所述关键词在所述输入文本的位置信息；
12.根据所述位置信息对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题。
13.可选地，所述文本标题包括m个目标标题分词，每个所述目标标题分词对应有一个标题分词位置，m为正整数，所述基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题包括：
14.根据所述序列标注标签和所述待预测文本，对每个所述标题分词位置进行标注标签的预测和标题分词的预测，得到每个所述标题分词位置的预测标注标签、每个所述标题分词位置的至少一个预测标题分词及所述预测标题分词的预测概率；
15.根据每个所述标题分词位置的预测标注标签及所述预测标题分词的预测概率，从
每个所述标题分词位置的至少一个预测标题分词中确定出位于每个所述标题分词位置的所述目标标题分词，从而获得所述待预测文本的文本标题。
16.可选地，所述根据每个所述标题分词位置的预测标注标签及所述预测标题分词的预测概率，从每个所述标题分词位置的至少一个预测标题分词中确定出位于每个所述标题分词位置的所述目标标题分词包括：
17.若所述标题分词位置的预测标注标签为开始标注标签，则从所述标题分词位置的至少一个预测标题分词中筛选出满足第一预设条件的预测标题分词，作为位于所述标题分词位置的所述目标标题分词；
18.其中，所述第一预设条件包括：所述预测标题分词的预测标注标签为所述开始标注标签，且所述预测标题分词的预测概率大于第一阈值。
19.可选地，所述根据每个所述标题分词位置的预测标注标签及所述预测标题分词的预测概率，从每个所述标题分词位置的至少一个预测标题分词中确定出位于每个所述标题分词位置的所述目标标题分词包括：
20.若所述标题分词位置的预测标注标签为中间标注标签，则从所述标题分词位置的至少一个预测标题分词中筛选出满足第二预设条件的预测标题分词，作为位于所述标题分词位置的所述目标标题分词；
21.其中，所述第二预设条件包括：所述预测标题分词与前i个所述目标标题分词组成所述输入文本中的文本片段，且所述预测标题分词的预测概率大于第二阈值，i为小于或等于m的正整数。
22.可选地，所述根据每个所述标题分词位置的预测标注标签及所述预测标题分词的预测概率，从每个所述标题分词位置的至少一个预测标题分词中确定出位于每个所述标题分词位置的所述目标标题分词包括：
23.若所述标题分词位置的预测标注标签为外部标注标签，则从所述标题分词位置的至少一个预测标题分词中筛选出满足第三预设条件的预测标题分词，作为位于所述标题分词位置的所述目标标题分词；
24.其中，所述第三预设条件包括：所述预测标题分词的预测概率大于第三阈值。
25.可选地，所述调用标题生成模型之前，所述方法还包括：
26.获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签；
27.使用所述训练数据集对预设的初始标题模型进行训练，得到所述标题生成模型；
28.其中，所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且用于反映所述训练样本中每个样本分词的重要程度；所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且用于反映所述训练标题中的每个标题分词的重要程度。
29.可选地，所述标题生成模型包括目标编码模型和目标解码模型，所述初始标题模型包括初始编码模型和初始解码模型，所述使用所述训练数据集对预设的初始标题模型进行训练，得到所述标题生成模型包括：
30.根据所述训练样本和所述训练样本的真实序列标签对所述初始编码模型进行训练，并使用第一损失函数对所述初始编码模型中的参数进行更新，得到所述目标编码模型；
31.根据所述训练标题和所述训练标题的真实序列标签对所述初始解码模型进行训练，并使用第二损失函数对所述初始解码模型中的参数进行更新，得到所述目标解码模型；
32.其中，所述第一损失函数用于指示所述训练样本的真实序列标签与所述训练样本的预测序列标签之间的误差损失，所述训练样本的预测序列标签为将所述训练样本输入所述初始编码模型中进行序列标注获得的预测序列标签；
33.所述第二损失函数用于指示所述训练标题的真实序列标签与所述训练标题的预测序列标签之间的误差损失，所述训练标题的预测序列标签为将所述训练标题输入所述初始解码模型中进行序列标注获得的预测序列标签。
34.换言之，所述目标编码模型为使用第一损失函数对所述初始编码模型中的参数进行更新获得的，所述目标解码模型为使用第二损失函数对所述初始解码模型中的参数进行更新获得的。
35.第二方面，本发明实施例提供一种模型训练方法，包括：
36.获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签；
37.使用所述训练数据集对预设的初始标题模型进行训练，得到标题生成模型；
38.其中，所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且用于反映所述训练样本中每个样本分词的重要程度；所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且用于反映所述训练标题中的每个标题分词的重要程度。
39.可选地，所述标题生成模型包括目标编码模型和目标解码模型，所述初始标题模型包括初始编码模型和初始解码模型，所述使用所述训练数据集对预设的初始标题模型进行训练，得到标题生成模型包括：
40.根据所述训练样本和所述训练样本的真实序列标签对所述初始编码模型进行训练，并使用第一损失函数对所述初始编码模型中的参数进行更新，得到所述目标编码模型；
41.根据所述训练标题和所述训练标题的真实序列标签对所述初始解码模型进行训练，并使用第二损失函数对所述初始解码模型中的参数进行更新，得到所述目标解码模型；
42.其中，所述第一损失函数用于指示所述训练样本的真实序列标签与所述训练样本的预测序列标签之间的误差损失，所述训练样本的预测序列标签为将所述训练样本输入所述初始编码模型中进行序列标注获得的预测序列标签；所述第二损失函数用于指示所述训练标题的真实序列标签与所述训练标题的预测序列标签之间的误差损失，所述训练标题的预测序列标签为将所述训练标题输入所述初始解码模型中进行序列标注获得的预测序列标签。
43.第三方面，本发明实施例提供一种标题生成装置，包括：
44.获取模块，用于获取待预测文本；
45.生成模块，用于对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题；
46.其中，所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。
47.关于本技术实施例中未介绍或未描述的内容可对应参考前述方法实施例中的相关介绍，这里不再赘述。
48.第四方面，本发明实施例提供一种模型训练装置，包括：
49.获取模块，用于获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签；
50.训练模块，用于使用所述训练数据集对预设的初始标题模型进行训练，得到标题生成模型；
51.其中，所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且用于反映所述训练样本中每个样本分词的重要程度；所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且用于反映所述训练标题中的每个标题分词的重要程度。
52.第五方面，本发明实施例提供一种电子设备，包括有存储器，以及一个或者多个的程序，其中一个或者多个的程序存储于存储器中，且经配置以由一个或者多个的处理器执行所述一个或者多个的程序所包含的用于进行如第一方面提供的标题生成方法对应的操作指令，或者用于进行如第二方面提供的模型训练方法对应的操作指令。
53.第六方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的标题生成方法对应的步骤，或者实现如第二方面提供的模型训练方法对应的步骤。
54.本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或者优点：
55.本发明实施例提供的方案，获取待预测文本，对待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题，其中所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。上述方案中，通过对待预测文本进行序列标注，以标识出待预测文本中文本分词的重要程度，进而再根据不同重要程度的文本分词生成所述待预测文本的文本标题。这样能利用序列标注技术实现文本标题的生成，有利于提升文本标题生成的准确性及便捷性，同时也解决了现有技术中采用关键词生成文本标题导致的准确度较低等技术问题。
附图说明
56.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
57.图1是本发明实施例提供的一种标题生成方法的流程示意图。
58.图2是本发明实施例提供的一种可能的初始标题模型的结构示意图。
59.图3是本发明实施例提供的一种可能的初始标题模型训练的示意图。
60.图4是本发明实施例提供的另一种标题生成方法的流程示意图。
61.图5是本发明实施例提供的一种文本标题展示的示意图。
62.图6是本发明实施例提供的一种模型训练方法的流程示意图。
63.图7是本发明实施例提供的一种标题生成装置的示意图。
64.图8是本发明实施例提供的一种模型训练装置的示意图。
65.图9是本发明实施例提供的一种电子设备的示意图。
66.图10是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
67.本发明提供一种标题生成方法、装置、电子设备及可读存储介质，以解决现有技术中文本标题生成的准确度较低的技术问题，总体思路如下：
68.获取待预测文本；对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题；其中，所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。
69.通过上述技术方案，通过对待预测文本进行序列标注，以标识出待预测文本中文本分词的重要程度，进而再根据不同重要程度的文本分词生成所述待预测文本的文本标题。这样能利用序列标注技术实现文本标题的生成，有利于提升文本标题生成的准确性及便捷性，同时也解决了现有技术中采用关键词生成文本标题导致的准确度较低等技术问题。
70.请参见图1，是本发明实施例提供的一种标题生成方法的流程示意图。如图1所示的方法包括如下实施步骤：
71.s101、获取待预测文本。
72.本发明所述待预测文本可以是指待预测的输入文本，也可以是指待预测的输入文本及所述输入文本的关键词，所述关键词的数量并不做限定，其可为一个或多个，具体可系统或用户实际需求确定。在实际应用中，所述输入文本可以包括任意格式的文本，例如txt文本、doc文本等，还可包括利用文本识别技术识别获得的文本等。所述文本识别技术包括但不限于光学字符识别(optical character recognition，ocr)、几何特征提取技术、或其他用于文本或文字识别的技术等。
73.所述输入文本的关键词的获取方式并不做限定，例如其可为用户通过终端设备提供的用户交互界面自定义输入的，也可为接收来自其他终端设备或服务器发送而来的，还可以是终端设备采用关键词提取技术从所述输入文本中提取获得的关键词等等。其中，所述关键词提取技术包括但不限于基于词频-文档频率(term frequency-inverse document frequency，tf-idf)的文本关键词提取、基于文本图排序(textrank)的文本关键词提取、基于分词和词性标注(pyhanlp)的文本关键词提取、或其他用于文本关键词提取的技术等等。
74.本发明涉及的所述终端设备包括但不限于智能手机、平板电脑、掌上电脑、可穿戴设备、或其他具备网络通信功能的设备等。
75.s102、对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题。其中，所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。
76.在一具体实施例中，本发明可先采用序列标注技术对所述待预测文本中的文本分词进行序列标注，得到对应的序列标注标签。接着基于所述序列标注标签对所述待预测文本进行标题生成，以得到所述待预测文本的文本标题。关于所述序列标注技术将在本发明下文详述，这里不做阐述。
77.在另一具体实施例中，本发明可调用训练好的标题生成模型，对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得
到所述待预测文本的文本标题。
78.本发明所述标题生成模型为用于生成文本标题的模型，其可包括但不限于序列到序列(sequence to sequence，seq2seq)模型、双向编码表示模型(encoder representations from transformers，bert)、或其他具备深度注意力机制(transformer)网络的数学模型等等。需要说明的是，本发明所述标题生成模型采用了编码-解码(encoder-decoder)框架来实现文本标题的深度学习及准确生成。下面以所述标题生成模型包括目标编码模型和目标解码模型，也可对应称为目标编码器和目标解码器为例，介绍所述标题生成模型在训练及使用过程中涉及的相关实施例。
79.首先，介绍所述标题生成模型的训练实施例。
80.本发明首先构建初始标题模型，所述初始标题模型与所述标题生成模型对应、具有相同的模型框架，所述初始标题模型包括初始编码模型(也可称为初始编码器)和初始解码模型(也可称为初始解码器)。关于所述初始编码模型和所述初始解码模型各自的内部网络框架本发明不做限定，其可根据系统实际需求设定，例如所述初始编码模型和所述初始解码模型中均包括卷积层、池化层、激活层、全连接层或其他功能网络层等，且模型中每个网络层的排列顺序及排列数量可根据实际需求设定。或者，又如所述初始编码模型和所述初始解码模型中包括由上述至少一个网络层组成的功能模块等等，本发明不做详述及限定。
81.请参见图2示出一种可能的初始标题模型的结构示意图。如图2中，所述初始标题模型包括初始编码模型及初始解码模型。其中，所述初始编码模型包括多注意力机制模块(multi-head attention)、归一化模块(add&normalization)及前向反馈模块(feed forward)，每个功能模块的排列数量不做限定，图示以一个多注意力机制模块、两个归一化模块及一个前向反馈模块为例示出，但并不构成限定。所述多注意力机制模块、所述归一化模块及所述前向反馈模块均为采用不同功能的网络层排列组合而成，例如所述归一化模块中包括线性层(或激活层)等等，本发明不做详述。
82.所述初始解码模型包括多注意力机制模块(multi-head attention)、归一化模块(add&normalization)、前向反馈模块(feed forward)、线性层(linear layer，也可称为线性模块)及分类模块(softmax)。如图所示，所述初始解码模型由两个多注意力机制模块、三个归一化模块、一个前向反馈模块、一个线性模块及一个分类模块组成。需要说明的是，所述初始编码模型和所述解码模型中的每个功能模块均为系统根据实际需求设定的，其可用于对模型的输入文本进行特征增强和特征提取，以实现输入文本的序列标注和标题生成，本发明这里不做限定。可选地，所述初始编码模型和所述初始解码模型中还可包括位置编码模块(图示为位置编码)，用于对模型的输入文本中包含的文本分词的位置信息进行编码，以用于后续其他功能模块的特征增强或特征提取，从而更好地实现输入文本的序列标注及标题生成。
83.接着，本发明可获取训练数据集，所述训练数据集中包括有训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签等训练数据。其中，所述训练样本及所述训练样本的训练标题各自的数量本发明并不做限定，通常超过1000个，当其数量越多时，其后续训练获得的所述标题生成模型的精度或准确度越高。为方便描述本发明下文以一个所述训练样本及一个所述训练样本的训练标题为例进行相关
内容的阐述，但并不构成限定。所述训练样本的真实序列标签为预先对所述训练样本中的每个样本分词进行序列标注获得的，其用于反映所述训练样本中每个样本分词的重要程度。所述训练标题的真实序列标签为预先对所述训练标题中的每个标题分词进行序列标注获得的，其用于反映所述训练标题中每个标题分词的重要程度。在实际应用中，所述训练样本和所述训练标题各自的真实序列标签具体可为用户或系统自定义标注的，本发明不做限定。本发明涉及的所述样本分词、所述标题分词及所述文本分词可以是指一个分词词语，也可是指一个分词字，还可以是指一个分词短语等等，本发明不做限定。
84.本发明对所述序列标注的实现手段并不做限定，例如本发明可采用开始中间其他(begin inside outside，bio)序列标注、开始中间其他结束单词(begin inside outside end single，bioes)序列标注、或其他序列标注技术等。举例来说，以bio序列标注为例，下面分别示出一个训练样本及该训练样本的训练标题各自进行bio标注获得的真实序列标签的结果示例。
85.训练样本：
86.一个广州大学生，在地铁站勇擒歹徒
87.o o b i o b i i o o o o o b i i i
88.训练标题：
89.广州大学生见义勇为勇擒歹徒
90.b i i i i o o o o b i i i
91.由上例可知，训练样本中的关键词“广州”、“大学生”及“勇擒歹徒”均采用“b i”标注标签，而其他非关键词采用“o”标注标签。其中，b标注标签表示标注分词是关键词的开始标注标签。i标注标签表示标注分词是关键词的中间标注标签。o标注标签也可称为外部标注标签，表示标注分词不为关键词、或为其他分词等。
92.最后，本发明利用所述训练数据集对构建的所述初始标题模型进行训练，以得到所述标题生成模型。下面介绍训练所述初始标题模型获得所述标题生成模型的具体实施例。
93.在一具体实施例中，本发明可利用所述训练样本、所述训练样本的真实序列标签对所述初始编码模型进行训练，对应得到所述标题生成模型中的目标编码模型。具体地在训练过程中，本发明可循环使用第一损失函数对所述初始编码模型中的模型参数进行更新，直至第一损失函数的损失值低于第一预设值结束，以训练获得最终的所述目标编码模型。所述第一预设值为系统自定义的阈值，例如根据用户经验设置的经验值，或根据系统实际需求设置的阈值等。在实际应用中，所述第一预设值可例如为0等。
94.其中，所述第一损失函数用于指示所述训练样本的真实序列标签与所述训练样本的预测序列标签之间的误差损失，所述训练样本的预测序列标签为将所述训练样本输入所述初始编码模型中进行序列标注预测所得到的预测序列标签，具体在所述初始编码模型中可对所述训练样本中的每个样本分词进行序列标注。
95.在另一具体实施例中，本发明可利用所述训练样本、所述训练样本的训练标题及所述训练标题的真实序列标签对所述初始解码模型进行训练，对应得到所述标题生成模型中的目标解码模型。具体地在训练过程中，本发明可循环使用第二损失函数对所述初始解码模型中的模型参数进行更新，直至第二损失函数的损失值低于第二预设值结束，以训练
获得最终的所述目标解码模型。所述第二预设值为系统自定义的阈值，例如根据用户经验设置的经验值，或根据系统实际需求设置的阈值等。在实际应用中，所述第二预设值可例如为0等。
96.其中，所述第二损失函数用于指示所述训练标题的真实序列标签与所述训练标题的预测序列标签之间的误差损失，所述训练标题的预测序列标签为将所述训练标题输入所述初始解码模型中进行序列标注预测所得到的预测序列标签，具体在所述初始解码模型中可对所述训练标题中的每个标题分词进行序列标注。
97.需要说明的是，所述训练样本与所述待预测文本对应，其可包括训练的原始文本，或者包括训练的原始文本及所述原始文本中的关键词。关于如何提取所述原始文本中的关键词可对应参考前述步骤s101中的相关介绍，这里不再赘述。当所述训练样本包括训练的原始文本及所述原始文本中的关键词时，本发明可先获取所述原始文本中的每个关键词对应位于所述原始文本的位置信息。在模型训练过程中，本发明还可再结合所述训练文本中每个关键词的位置信息分别对所述初始标题模型中的初始编码模型及初始解码模型进行训练，以对应获得所述标题生成模型中的目标编码模型和目标解码模型。
98.举例来说，请参见图3示出一种可能的初始标题模型训练的示意图。图示引用图2所述的初始标题模型，所述初始标题模型包括初始编码模型和初始解码模型。图3中本发明将训练样本(具体可为原始文本及原始文本中关键词的位置信息)、训练样本的真实序列标签、训练标题及训练标题的真实序列标签输入初始标题模型中。在模型内部，本发明可利用第一损失函数(图示可为源bio损失loss函数)对初始编码模型中的模型参数进行修正和更新，以获得训练精度较高的目标编码模型。相应地可利用第二损失函数(图示为目标bio损失loss函数)对初始解码模型中的模型参数进行修正和更新，以获得训练精度较高的目标解码模型。在训练获得所述目标编码模型和所述目标解码模型后，即可获得训练好的所述标题生成模型。
99.其次，介绍所述标题生成模型的使用实施例，即介绍步骤s102的一种具体实施例。
100.步骤s102中，本发明在获取所述待预测文本后，可调用训练好的所述标题生成模型对所述待预测文本进行序列标注及标题生成，以得到所述待预测文本的文本标题。
101.在一具体实施例中，若所述待预测文本包括待预测的输入文本及所述输入文本中的关键词，则本发明可先定位/确定出所述输入文本中每个关键词在所述输入文本中的位置信息，然后使用所述标题生成模型根据所述位置信息，对所述待预测文本进行序列标注及标题生成，以得到所述待预测文本的文本标题。其中，每个所述关键词在所述输入文本中的位置信息可在所述标题生成模型中确定获得，也可在输入所述标题生成模型之前确定获得，其具体所述标题生成模型的内部功能配置而定，本发明不做限定。下面介绍文本标题生成的具体实施例。
102.具体地，本发明可先对所述待预测文本进行分词处理，得到所述待预测文本的文本分词。在实际应用中，针对所述待预测文本的分词处理可放在所述标题生成模型内部处理，也可放在所述标题生成模型外部处理，其具体可根据模型内部的实际功能配置而定，本发明不做限定。在所述分词处理后，本发明在所述标题生成模型中可先对所述待预测文本中的文本分词进行序列标注，得到所述待预测文本中文本分词的序列标注标签，以下可简称为所述序列标注标签。接着基于所述序列标注标签为所述待预测文本生成所述待预测文
本的文本标题，具体地所述文本标题可例如由m个目标标题分词组成，每个所述目标标题分词对应有一个标题分词位置，本发明可执行如下步骤s401和s402,以输出获得位于每个所述标题分词位置的所述目标标题分词。其中，m为用户或系统自定义设置的正整数。
103.请参见图4，是本发明实施例提供的另一种标题生成方法的流程示意图。如图4所示的方法包括如下实施步骤：
104.s401、根据所述序列标注标签和所述待预测文本，对每个所述标题分词位置进行标注标签的预测和标题分词的预测，得到每个所述标题分词位置的预测标注标签、至少一个预测标题分词及所述预测标题分词的预测概率。
105.s402、根据每个所述标题分词位置的预测标注标签及所述预测标题分词的预测概率，从至少一个所述预测标题分词中确定出位于每个所述标题分词位置的所述目标标题分词，从而获得所述待预测文本的文本标题。
106.本发明对m个所述标题分词位置中的每个所述标题分词位置上的所述目标标题分词的获取/确定方式均相同。为方便描述，下面以m个所述标题分词位置中的当前分词位置为例，介绍确定位于所述当前分词位置的所述目标标题分词的具体实施方式。其中，所述当前分词位置为m个所述标题分词位置中的任一个标题分词位置。当本发明确定到m个所述标题分词位置各自的目标标题分词后，即可获得所述待预测文本的文本标题，结束流程。
107.具体实现中，本发明可根据所述待预测文本的序列标注标签和所述待预测文本对当前分词位置进行标注标签和标题分词的预测，得到所述当前分词位置的预测标注标签、所述当前分词位置的至少一个预测标题分词及每个所述预测标题分词的预测概率。具体地本发明可根据所述待预测文本的序列标注标签和所述待预测文本，可选地还可结合预测的前n个所述目标标题分词(即位于所述当前分词位置之前的n个分词位置上的目标标题分词)，对当前分词位置进行标注标签和标题分词的预测。其中，n为用户或系统自定义设置的正整数，例如n为位于所述当前分词位置之前的所有目标标题分词的数量等等。所述预测概率用于反映所述预测标题分词为所述当前分词位置的所述目标标题分词的概率大小。如果所述预测概率越大，表示所述预测标题分词为位于所述当前分词位置处的所述目标标题分词的几率越大。
108.进一步，本发明可根据所述当前分词位置的预测标注标签、所述当前分词位置的至少一个所述预测标题分词及每个所述预测标题分词的预测概率，确定出位于所述当前分词位置的目标标题分词。下面介绍其存在的几种具体实施方式。
109.在一具体实施方式中，当所述当前分词位置的预测标注标签为开始标注标签(如b标注标签)时，所述开始标注标签用于指示所述当前分词位置处的标题分词为关键词的开始部分，此时本发明可从至少一个所述预测标题分词中筛选出满足第一预设条件的预测标题分词，以确定为/作为位于所述当前分词位置的所述目标标题分词。
110.所述第一预设条件为用户或系统自定义设置的与所述开始标注标签相关、用于筛选目标标题分词的条件，例如其可包括但不限于所述预测标题分词的预测标注标签为所述开始标注标签，且所述预测标题分词的预测概率大于第一阈值。换言之例如此时，本发明可从至少一个所述预测标题分词中，先查找出预测标注标签为开始标注标签的一个或多个候选标题分词。然后再从所述一个或多个候选标题分词中筛选出预测概率大于第一阈值的标题分词，作为位于所述当前分词位置的所述目标标题分词。其中，所述第一阈值为自定义设
置的，例如根据用户经验设置的经验值，或根据系统实际需求设置的阈值等。
111.在另一具体实施方式中，当所述当前分词位置的预测标注标签为中间标注标签(如i标注标签)时，所述中间标注标签用于指示所述当前分词位置处的标题分词为关键词的中间部分，此时本发明可从至少一个所述预测标题分词中筛选出满足第二预设条件的预测标题分词，以作为位于所述当前分词位置的所述目标标题分词。
112.所述第二预设条件为用户或系统自定义设置的与所述中间标注标签相关、用于筛选目标标题分词的条件，例如其可包括但不限于所述预测标题分词与前i个所述目标标题分词(即位于所述当前分词位置之前的i个分词位置处的所述目标标题分词)能组成所述待预测文本中的文本片段，且所述预测标题分词的预测概率大于第二阈值。其中，i为小于或等于m的正整数，其可为用户或系统自定义设置的正整数，例如i为1等。换言之例如此时，本发明可从至少一个所述预测标题分词中，先查找出支持与所述当前分词位置之前预测的i个所述目标标题分词能组成所述待预测文本(具体为待预测文本中输入文本)的文本片段的至少一个候选标题分词，去除掉无法组成所述待预测文本的文本片段的预测标题分词。进而，本发明再从所述至少一个候选标题分词中筛选出预测概率大于第二阈值的标题分词，作为位于所述当前分词位置的所述目标标题分词。其中，所述第二阈值为自定义设置的，例如根据用户经验设置的经验值，或根据系统实际需求设置的阈值等。
113.在另一具体实施方式中，当所述当前分词位置的预测标注标签为外部标注标签(如o标注标签)时，所述外部标注标签用于指示所述当前分词位置处的标题分词为除开始和中间部分以外的其他部分，例如为非关键词部分等。此时本发明可从至少一个所述预测标题分词中筛选出满足第三预设条件的预测标题分词，以作为位于所述当前分词位置的所述目标标题分词。
114.所述第三预设条件为用户或系统自定义设置的用于筛选目标标题分词的条件，例如其可包括但不限于所述预测标题分词的预测概率大于第三阈值。换言之例如此时，本发明可从至少一个所述预测标题分词中筛选出预测概率大于第三阈值的标题分词，作为位于所述当前分词位置的所述目标标题分词。其中，所述第三阈值为自定义设置的，例如根据用户经验设置的经验值，或根据系统实际需求设置的阈值等。
115.需要说明的是，所述第一阈值、所述第二阈值及所述第三阈值均为系统自定义设置的，它们可以相同，也可不相同，本发明不做限定。预测的所述当前分词位置处的所述目标标题分词的数量不做限定，其可为一个或多个，其具体根据模型内部预测的实际情况而定。当所述当前分词位置处的所述目标标题分词有多个时，此时本发明最终生成的所述文本标题有多个。换言之，本发明生成的所述文本标题的数量可为一个或多个，其具体根据所述标题生成模型的内部实际运行而定，本发明不做限定。
116.本发明所述待预测文本的文本标题可包括但不限于通用标题、风格标题或其他自定义设置的分类标题等。其中，所述风格标题是指具备预设风格类型的文本标题，所述预设风格类型包括但不限于疑问句式、感叹句式、数据句式、带入句式、对比句式、痛点关键句式、悬念句式、标签句式或其他自定义标题描述的风格类型等。所述疑问句式是指使用疑问句的形式描写文本标题。所述感叹句式是指使用感叹句的形式描写文本标题。所述数据句式是指使用数据来描写文本标题，即文本标题中使用了数据。所述带入句式是指使用人称代词来描写文本标题，即在文本标题中使用第一或第二人称代词，增强读者的带入感。所述
对比句式是指文本标题中表达了对比含义，以体现写作意图。所述痛点关键句式是指通过提出痛点问题、列出解决方案来描写文本标题，例如遇到问题怎么解决等。所述悬念句式是指文本标题中使用一些特殊或新奇事物抛出问题，以此制造悬念；或故意将关键信息隐藏留白，引起人的好奇心等。所述标签句式是指文本标题中通过采用标签来代表某些事物，例如朋友圈的微商等。
117.举例来说，请参见图5示出一种可能的展示文本标题的示意图。如图5中，左下线框部分表示所述待预测文本的正文内容。右下线框部分表示调用所述标题生成模型生成的文本标题。如图5中，所述文本标题包括至少一个通用标题和至少一个风格标题，图示以两个通用标题和三个风格标题为例示出。在该展示界面中，用户可以根据个人喜好或个人需求从中选择一个目标标题，作为所述待预测文本的最终文本标题，本发明不做限定。
118.为更好地理解本发明，下面以一个例子进行举例说明。举例来说，以下述待预测文本为例，将所述待预测文本输入标题生成模型，输出获得该待预测文本的文本标题。其中，所述待预测文本和所述待预测文本的文本标题分别如下所示：
119.所述待预测文本：春秋战国时期，整个社会正处于大变革之中。政治上，由于此时的中央政权的掌权者早已不是当年的“开国皇帝”，而是从小长于深宫妇阉之手，面对雄踞在地方上的封建领主的强势威逼之下，整个统治体系变得支离破碎乃至土崩瓦解。这些重大变动，使得传统的“规范”不能很好地维持整个社会的秩序和其正常发展。于是，一些人就提出了许多说法，社会上产生了儒、法、道、墨等各种思想流派，他们著书、讲学、论战，学术上呈现出一片繁荣景象，形成了百家争鸣。儒家思想作为“诸子百家”的一员，它所提倡和主张的则是：要维持社会的正常秩序并使其正常发展，就需要建立很多不同性质的“规范”一起来协同运作。
120.古人大都很迷信，他们相信“鬼神”，同时认为“规范”是体现了“鬼神”的意志。夏商时期的文化中是以鬼神文化为中心的，后殷商灭亡，周朝人对于殷商人“天命降而生商”这一说法持有怀疑态度，由此对以祭祀和鬼神为中心的商文化产生了怀疑，发现“规范”其实是由掌握权威的人来制定。西周时期，周公“制礼作乐”，“礼”就是维护统治者等级制度的政治准则、道德规范和各项典章制度的总称。
121.春秋时期，随着礼崩乐坏，人们已经开始对于“天”产生了怀疑。“中国自有孔子以来，便受其影响，走上以道德代宗教之路。”孙子说：“天何言哉？四时行焉，百物生焉，天何言哉！”表现出了孙子对作为人格神的吴天上帝的怀疑。孔子又说：“天下有道，则礼乐征伐自天子出；天下无道，则礼乐征伐自诸侯出。”由此可以看出，儒家已经将“规范”的来源从“鬼神”的意志转变为权威者的意志。
122.儒家认为，“规范”的制定是掌握在权威者的手中。他们将“规范”分为三个层面：顶层的“道”、中间的“德、礼、习俗、乡约、家乘、行规”和底层的“法”，共同组成了一个倒立的金字塔格局。
123.儒家所讲的“德”具有政治和个体两个层面的意义。在政治层面上，儒家首先重视立官德，要求统治者立德政、行德治，孔子说：“为政以德，譬如北辰，居其所而众星拱之”，由此可以看出，儒家的政治层面上是以仁政作为德治思想的主要内容，以礼乐作为德教的方式来施行的；在个体层面上，儒家强调民德，将“德”根植于人心人陛，孟子认为“仁、义、礼、智”是每个人生而就具备的品性，孟子说：“君子所以异于人者，以其存心也。”“德”是较为具
体的治世、修身的准则，这种准则在具体使用过程中因时而异、因事而异、因人而异而会有所出入，所以它的适用范围相对于“道”较为狭小。
124.孔子认为“礼”来源于权威、习俗和人情，同时也体现了权威和秩序的行为准则和行为方式。孔子日：“丘闻之：民之所由生，礼为大，非礼无以节事天地之神也，非礼无以辨君臣、上下、长幼之位也，非礼无以别男女、父子、兄弟之亲、昏姻、疏数之交也。君子以此之为尊敬然。然后以其所能教百姓，不废其会节。有成事，然后治其雕镂文章黼黻以嗣。然后言其丧算，备其鼎俎，设其豕腊，修其宗庙，岁时以敬祭祀，以序宗族。即安其居，节丑其衣服，卑其宫室，车不雕几，器不刻镂，食不贰味，以与民同利。昔之君子之行礼者如此。”125.《论语
·
子路》云：“礼乐不兴，则刑罚不中；刑罚不中，则民无所措手足。”这里的“法”就是刑罚、法令，它反映了掌握权威之人的意志和想法，是为了统治者自己的利益立法，其目的只在保护一些特殊的利益或排除一些特殊的障碍，其本质是维护皇权统治的合法性与稳定性。
126.因此，“法”的合理性、正当性和可适用的范围就变得很窄，虽然“法”可以通过统治者掌握的权力强迫人们遵行，但人的内心对于“法”不一定会信服，只是迫于形势不得不从而已，所以其效力也相对较小。“法”是在“道”和“德、礼、习俗、乡约、家乘、行规”这些中高层面的“规范”适用范围之外才去使用的，所以它本身的应用范围就变得更为窄小，因此处于底层。
127.所述标题生成模型输出的文本标题："规范"的来源从"鬼神"转变为权威者的意志。
128.采用本发明实施例，通过获取待预测文本，对待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题，其中所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。上述方案中，通过对待预测文本进行序列标注，以标识出待预测文本中文本分词的重要程度，进而再根据不同重要程度的文本分词生成所述待预测文本的文本标题。这样能利用序列标注技术实现文本标题的生成，有利于提升文本标题生成的准确性及便捷性，同时也解决了现有技术中采用关键词生成文本标题导致的准确度较低等技术问题。
129.请参见图6，是本发明实施例提供的一种模型训练方法的流程示意图。如图6所示的方法可以应用于终端设备中，例如智能手机、平台电脑等；也可以应用于与终端设备建立有数据交互的服务器中，本发明不做限定。所述方法包括如下实施步骤：
130.s601、获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签。
131.本发明所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且所述训练样本的真实序列标签用于反映所述训练样本中每个样本分词的重要程度。所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且所述训练标题的真实序列标签用于反映所述训练标题中的每个标题分词的重要程度。
132.s602、使用所述训练数据集对预设的初始标题模型进行训练，得到标题生成模型。
133.本发明所述初始标题模型包括初始编码模型和初始解码模型，所述标题生成模型包括目标编码模型和目标解码模型。
134.在一具体实施例中，本发明可根据所述训练样本和所述训练样本的真实序列标签对所述初始编码模型进行训练，且在训练过程中使用第一损失函数对所述初始编码模型中的参数进行更新得到所述标题生成模型中的所述目标编码模型。其中，所述第一损失函数用于指示所述训练样本的真实序列标签与所述训练样本的预测序列标签之间的误差损失。所述训练样本的预测序列标签为将所述训练样本输入所述初始编码模型中进行序列标注获得的预测序列标签。
135.在另一具体实施例中，本发明可至少根据所述训练标题和所述训练标题的真实序列标签对所述初始解码模型进行训练，且在训练过程中使用第二损失函数对所述初始解码模型中的参数进行更新得到所述标题生成模型中的所述目标解码模型。其中，所述第二损失函数用于指示所述训练标题的真实序列标签与所述训练标题的预测序列标签之间的误差损失。所述训练标题的预测序列标签为将所述训练标题输入所述初始解码模型中进行序列标注获得的预测序列标签。
136.关于本发明实施例中未介绍或未描述的内容可对应参考前述图1所述方法实施例中关于所述标题生成模型的训练实施例的相关介绍，这里不再赘述。
137.采用本发明实施例，通过获取包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签在内的训练数据集，进而使用所述训练数据集对预设的初始标题模型进行训练得到最终的标题生成模型。这样能在标题生成模型中增加序列标注技术，有利于提升标题生成模型进行标题生成的精度或准确度，同时也提升了模型训练的精确度。
138.基于同一发明构思，本发明实施例还提供一种标题生成装置、模型训练装置、电子设备及服务器。请参见图7，是本发明实施例提供的一种标题生成装置的结构示意图。如图7所示的装置70包括：
139.获取模块701，用于获取待预测文本；
140.生成模块702，用于对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题；
141.其中，所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。
142.可选地，所述待预测文本包括待预测的输入文本，或者所述待预测文本包括待预测的输入文本及所述输入文本的关键词。
143.可选地，所述待预测文本包括待预测的输入文本及所述输入文本的关键词，所述生成模块702具体用于：
144.获取所述关键词在所述输入文本的位置信息；
145.根据所述位置信息对所述待预测文本进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题。
146.可选地，所述文本标题包括m个目标标题分词，每个所述目标标题分词对应有一个标题分词位置，m为正整数，所述生成模块702具体用于：
147.根据所述序列标注标签和所述待预测文本，对每个所述标题分词位置进行标注标签的预测和标题分词的预测，得到每个所述标题分词位置的预测标注标签、每个所述标题分词位置的至少一个预测标题分词及所述预测标题分词的预测概率；
148.根据每个所述标题分词位置的预测标注标签及所述预测标题分词的预测概率，从
每个所述标题分词位置的至少一个预测标题分词中确定出位于每个所述标题分词位置的所述目标标题分词。
149.可选地，所述生成模块702具体用于：
150.若所述标题分词位置的预测标注标签为开始标注标签，则从所述标题分词位置的至少一个预测标题分词中筛选出满足第一预设条件的预测标题分词，作为位于所述标题分词位置的所述目标标题分词；
151.其中，所述第一预设条件包括：所述预测标题分词的预测标注标签为所述开始标注标签，且所述预测标题分词的预测概率大于第一阈值。
152.可选地，所述生成模块702具体用于：
153.若所述标题分词位置的预测标注标签为中间标注标签，则从所述标题分词位置的至少一个预测标题分词中筛选出满足第二预设条件的预测标题分词，作为位于所述标题分词位置的所述目标标题分词；
154.其中，所述第二预设条件包括：所述预测标题分词与前i个所述目标标题分词组成所述待预测文本中的文本片段，且所述预测标题分词的预测概率大于第二阈值，i为正整数。
155.可选地，所述生成模块702具体用于：
156.若所述标题分词位置的预测标注标签为其他标注标签，则从所述标题分词位置的至少一个预测标题分词中筛选出满足第三预设条件的预测标题分词，作为位于所述标题分词位置的所述目标标题分词；
157.其中，所述第三预设条件包括：所述预测标题分词的预测概率大于第三阈值。
158.可选地，所述装置70还包括训练模块703，其中：
159.所述获取模块701，还用于获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签；
160.所述训练模块703，还用于使用所述训练数据集对预设的初始标题模型进行训练，得到所述标题生成模型；
161.其中，所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且用于反映所述训练样本中每个样本分词的重要程度；所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且用于反映所述训练标题中的每个标题分词的重要程度。
162.可选地，所述标题生成模型包括目标编码模型和目标解码模型，所述初始标题模型包括初始编码模型和初始解码模型，所述训练模块703具体用于：
163.根据所述训练样本和所述训练样本的真实序列标签对所述初始编码模型进行训练，并使用第一损失函数对所述初始编码模型中的参数进行更新，得到所述目标编码模型；
164.根据所述训练标题和所述训练标题的真实序列标签对所述初始解码模型进行训练，并使用第二损失函数对所述初始解码模型中的参数进行更新，得到所述目标解码模型；
165.其中，所述第一损失函数用于指示所述训练样本的真实序列标签与所述训练样本的预测序列标签之间的误差损失，所述训练样本的预测序列标签为将所述训练样本输入所述初始编码模型中进行序列标注获得的预测序列标签；
166.所述第二损失函数用于指示所述训练标题的真实序列标签与所述训练标题的预
测序列标签之间的误差损失，所述训练标题的预测序列标签为将所述训练标题输入所述初始解码模型中进行序列标注获得的预测序列标签。
167.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
168.请一并参见图8，是本发明实施例提供的一种模型训练装置的结构示意图。如图8所示的装置80包括：获取模块801和训练模块802，其中：
169.所述获取模块801，用于获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签；
170.所述训练模块802，用于使用所述训练数据集对预设的初始标题模型进行训练，得到标题生成模型；
171.其中，所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且用于反映所述训练样本中每个样本分词的重要程度；所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且用于反映所述训练标题中的每个标题分词的重要程度。
172.可选地，所述标题生成模型包括目标编码模型和目标解码模型，所述初始标题模型包括初始编码模型和初始解码模型，所述训练模块802具体用于：
173.根据所述训练样本和所述训练样本的真实序列标签对所述初始编码模型进行训练，并使用第一损失函数对所述初始编码模型中的参数进行更新，得到所述目标编码模型；
174.根据所述训练标题和所述训练标题的真实序列标签对所述初始解码模型进行训练，并使用第二损失函数对所述初始解码模型中的参数进行更新，得到所述目标解码模型；
175.其中，所述第一损失函数用于指示所述训练样本的真实序列标签与所述训练样本的预测序列标签之间的误差损失，所述训练样本的预测序列标签为将所述训练样本输入所述初始编码模型中进行序列标注获得的预测序列标签；所述第二损失函数用于指示所述训练标题的真实序列标签与所述训练标题的预测序列标签之间的误差损失，所述训练标题的预测序列标签为将所述训练标题输入所述初始解码模型中进行序列标注获得的预测序列标签。
176.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
177.基于同一发明构思，本发明实施例提供一种电子设备800，图9是根据一示例性实施例示出的电子设备800的框图。例如，设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
178.参照图9，设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
179.处理组件802通常控制设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
180.存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
181.电力组件806为设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为设备800生成、管理和分配电力相关联的组件。
182.多媒体组件808包括在设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
183.音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
184.i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
185.传感器组件814包括一个或多个传感器，用于为设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为设备800的显示器和小键盘，传感器组件814还可以检测设备800或设备800一个组件的位置改变，用户与设备800接触的存在或不存在，设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
186.通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信部件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
187.在示例性实施例中，设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列
(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
188.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由设备800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
189.图10是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
190.服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
191.一种非临时性计算机可读存储介质，当存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行前述各实施例的标题生成方法，例如所述方法包括：
192.获取待预测文本；
193.对所述待预测文本中的文本分词进行序列标注，并基于所述序列标注得到的序列标注标签进行标题生成，得到所述待预测文本的文本标题；其中，所述序列标注标签用于反映所述待预测文本中的文本分词的重要程度。
194.一种非临时性计算机可读存储介质，当存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行前述各实施例的模型训练方法，例如所述方法包括：
195.获取训练数据集，所述训练数据集包括训练样本、所述训练样本的训练标题、所述训练样本的真实序列标签及所述训练标题的真实序列标签；
196.使用所述训练数据集对预设的初始标题模型进行训练，得到所述标题生成模型；
197.其中，所述训练样本的真实序列标签为对所述训练样本中的每个样本分词进行序列标注得到的，且用于反映所述训练样本中每个样本分词的重要程度；所述训练标题的真实序列标签为对所述训练标题中的每个标题分词进行序列标注得到的，且用于反映所述训练标题中的每个标题分词的重要程度。
198.本发明实施例提供的一个或多个技术方案，至少实现了如下技术效果或者优点：本发明通过对待预测文本进行序列标注，以标识出待预测文本中文本分词的重要程度，进而再根据不同重要程度的文本分词生成所述待预测文本的文本标题。这样能利用序列标注技术实现文本标题的生成，有利于提升文本标题生成的准确性及便捷性，同时也解决了现有技术中采用关键词生成文本标题导致的准确度较低等技术问题。
199.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
200.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。