文本质量评估模型的训练方法和确定文本质量的方法与流程

1.本公开涉及人工智能技术领域，具体涉及自然语言处理领域、深度学习领域和智能推荐领域，更具体地涉及一种文本质量评估模型的训练方法和确定文本质量的方法、装置、电子设备和存储介质。


背景技术：

2.随着计算机技术和网络技术的发展，文本作为信息的传播载体得到充分发展。为了向用户提供高效的文本搜索和文本推荐等服务，通常需要对文本的质量进行评估，以向用户提供高质量文本。
3.相关技术中，通常使用人工标注样本对分类模型进行训练，随后使用分类模型对文本质量进行预测，以从文本库中筛选出高质量文本推荐给用户。


技术实现要素：

4.本公开提供了一种降低模型训练成本和提高模型精度的文本质量评估模型的训练方法和确定文本质量的方法、装置、电子设备和存储介质。
5.根据本公开的一个方面，提供了一种文本质量评估模型的训练方法，包括：基于针对文本的指标数据，确定多个文本中满足负样本条件的第一文本和满足正样本条件的第二文本；针对第一文本和第二文本中的任一文本，基于任一文本满足的条件向任一文本添加标签，标签指示了任一文本的类别，该类别包括针对负样本的低质量类别和针对正样本的非低质量类别；将添加了标签的第一文本和添加了标签的第二文本构成训练集，对文本质量评估模型进行训练。
6.根据本公开的另一方面，提供了一种确定文本质量的方法，包括：以待处理文本作为文本质量评估模型的输入，得到文本质量评估模型的输出数据；基于输出数据，确定待处理文本的类别，其中，文本质量评估模型是采用前述的文本质量评估模型的训练方法训练得到的。
7.根据本公开的另一方面，提供了一种文本质量评估模型的训练装置，包括：文本确定模块，用于基于针对文本的指标数据，确定多个文本中满足负样本条件的第一文本和满足正样本条件的第二文本；标签添加模块，用于针对第一文本和第二文本中的任一文本，基于任一文本满足的条件向任一文本添加标签，该标签指示了任一文本的类别，该类别包括针对负样本的低质量类别和针对正样本的非低质量类别；以及第一模型训练模块，用于将添加了标签的第一文本和添加了标签的第二文本构成训练集，对所文本质量评估模型进行训练。
8.根据本公开的另一方面，提供了一种确定文本质量的装置，包括：输出数据获得模块，用于以待处理文本作为文本质量评估模型的输入，得到文本质量评估模型的输出数据；以及文本质量确定模块，用于基于输出数据，确定待处理文本的类别，其中，文本质量评估模型是采用前述的文本质量评估模型的训练装置训练得到的。
9.根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的文本质量评估模型的训练方法和/或确定文本质量的方法。
10.根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的文本质量评估模型的训练方法和/或确定文本质量的方法。
11.根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的文本质量评估模型的训练方法和/或确定文本质量的方法。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1是根据本公开实施例的文本质量评估模型的训练方法和/或确定文本质量的方法的应用场景示意图；
15.图2是根据本公开实施例的文本质量评估模型的训练方法的流程示意图；
16.图3是根据本公开实施例的文本质量评估模型的训练方法的原理示意图；
17.图4是根据本公开实施例的确定满足负样本条件的第一文本和满足正样本条件的第二文本的原理示意图；
18.图5是根据本公开实施例的另一实施例的确定满足负样本条件的第一文本的原理示意图；
19.图6是根据本公开实施例的确定文本质量的方法的流程示意图；
20.图7是根据本公开实施例的文本质量评估模型的训练装置的结构框图；
21.图8是根据本公开实施例的确定文本质量的装置的结构框图；以及
22.图9是用来实施本公开实施例的文本质量评估模型的训练方法和/或确定文本质量的方法的电子设备的框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.本公开提供了一种文本那质量评估模型的训练方法，该方法包括文本确定阶段、标签添加阶段和模型训练阶段。在文本确定阶段中，基于针对文本的指标数据，确定多个文本中满足负样本条件的第一文本和满足正样本条件的第二文本。在标签添加阶段中，针对第一文本和第二文本中的任一文本，基于该任一文本满足的条件向该任一文本添加标签，该标签指示了任一文本的类别，该类别包括针对负样本的低质量类别和针对正样本的非低
质量类别。在模型训练阶段中，将添加了标签的第一文本和添加了标签的第二文本构成训练集，对文本质量评估模型进行训练。
25.以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
26.图1是根据本公开实施例的文本质量评估模型的训练方法和/或确定文本质量的方法的应用场景示意图。
27.如图1所示，该实施例的场景100包括第一服务器110和第一数据库120，第一服务器110例如可以通过网络访问第一数据库120。网络可以包括有线或无线通信链路。
28.该第一数据库120例如可以为文本库，该文本库中维护有多个未进行质量评估的文本。该多个文本例如可以为用户针对问题提供的答案文本、或者可以为用户上传的任意类型的文本，本公开对此不做限定。
29.在一实施例中，第一服务器110可以基于召回规则从第一数据库120中召回满足条件的文本，得到召回的文本130。例如可以根据文本的浏览量、点赞量、点踩量等指标数据来设定召回条件。以从第一数据库120中召回正样本和负样本。并基于与召回的文本130对应的召回条件向召回的文本130添加标签，得到具有标签的文本140。例如，为召回的负样本添加指示低质量类别的标签，为召回的正样本添加指示非低质量类别的标签。
30.在一实施例中，如图1所示，该应用场景100还可以包括第二服务器150，该第二服务器150例如可以接收第一服务器110生成的具有标签的文本，并将该文本作为训练样本，对文本质量评估模型160进行训练。如此，可以基于训练好的文本质量评估模型160来对未进行质量评估的文本进行质量评估。该第二服务器150例如也可以通过网络访问第一数据库120，以从第一数据库120中获取未进行质量评估的文本。该第二服务器150还可以将完成质量评估的文本写入第二数据库170。
31.在一实施例中，如图1所示，该应用场景100还可以包括终端设备180，该终端设备180可以为具有人机交互功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便捷计算机和台式计算机等。该终端设备180例如可以通过网络与第二服务器150交互。例如，终端设备180可以将用户经由该终端设备180上传的文本190发送给第二服务器150，以由第二服务器150采用文本质量评估模型160对该上传的文本190进行质量评估。该第二服务器150还可以在完成质量评估后，将该上传的文本协同质量评估结果写入第二数据库170中。
32.在一实施例中，该应用场景可以为问答理解技术场景。其中，问答理解技术是指通过对问题文本的语意理解，匹配到合适的答案或者判断答案是否满足问题的要求。随着互联网的飞速发展，网络每天都会产生海量的信息。为了获取该海量的信息，越来越多的搜索引擎得到发展和使用。各搜索引擎通过该语义理解技术，从各自收录的信息库中，检索出与用户需求相关的信息反馈给用户。通过图1的应用场景，可以经由该文本质量评估模型160对针对各问题的答案文本进行质量评估。如此，便于各搜索引擎根据用户提供的问题文本，召回高质量的答案反馈给用户，以此提高用户体验。
33.在一实施例中，第一服务器110和第二服务器150例如可以为同一服务器。第一数据库120和第二数据库170例如可以为同一数据库的两个存储分区。例如，第一服务器110例如还可以根据得到的具有标签的文本对文本质量评估模型进行训练。
34.需要说明的是，本公开实施例所提供的文本质量评估模型的训练方法和/或确定
文本质量的方法一般可以由第二服务器150执行，或者可以一部分由第一服务器110执行，另一部分由第二服务器150执行。相应地，本公开实施例所提供的文本质量评估模型的训练装置和/或确定文本质量的装置可以设置于第二服务器150中，或者可以一部分设置于第一服务器110中，另一部分设置于第二服务器150中。
35.应该理解，图1中的第一服务器、第二服务器、第一数据库、第二数据库和终端设备的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数据和类型的第一服务器、第二服务器、第一数据库、第二数据库和终端设备。
36.以下将结合图1，通过以下图2～图5对本公开提供的文本质量评估模型的训练方法进行详细描述。
37.如图2所示，该实施例的文本质量评估模型的训练方法200可以包括操作s210～操作s230。
38.在操作s210，基于针对文本的指标数据，确定多个文本中满足负样本条件的第一文本和满足正样本条件的第二文本。
39.其中，例如可以通过对围绕一个文本产生的交互行为进行统计，得到与该文本相关的多个指标数据。针对文本的指标数据例如可以表征文本被除发布者外的其他用户浏览或操作的情况，例如，指标数据可以包括文本的浏览量、点赞量、点踩量、文本被采纳的情况等。在一实施例中，该针对文本的指标数据例如可以表征文本的发布者的指标数据。该发布者的指标数据例如可以包括发布者关联账户的等级、关联账户是否为会员账户、发布者发布文本的数量、发布者发布文本的质量等。或者，该针对文本的指标数据例如可以包括文本的展示属性，例如相对于多个文本的展示位置、文本的展示完整性、文本是否被折叠展示等。本公开对该针对文本的指标数据不做限定，只要该针对文本的指标数据能够在一定程度上反映文本的质量即可。
40.根据本公开的实施例，多个文本例如可以为文本库中维护的全量文本。负样本条件和正样本条件为根据针对文本的指标数据所设定的条件。例如，负样本条件可以为点踩量大于等于点踩量阈值，正样本条件可以为点赞量大于等于点赞量阈值等。为了提高召回的满足正样本条件的第二文本的准确性，该正样本条件的界限对文本质量的要求可以高于负样本条件的界限对文本质量的要求。该负样本条件和正样本条件可以根据实际需求进行设定，本公开对此不做限定。
41.在操作s220，针对第一文本和第二文本中的任一文本，基于该任一文本满足的条件向该任一文本添加标签。
42.根据本公开的实施例，该标签例如可以指示任一文本的类别。例如，若该任一文本为满足负样本条件的第一文本，则为该任一文本添加指示低质量类别的标签。若该任一文本为满足正样本条件的第二文本，则为该任一文本添加指示非低质量类别的标签。例如，指示低质量类别的标签可以由1表示，指示非低质量类别的标签可以由0表示。
43.在操作s230，将添加了标签的第一文本和添加了标签的第二文本构成训练集，对文本质量评估模型进行训练。
44.根据本公开的实施例，可以将训练集中的任一文本作为文本质量评估模型的输入，基于该文本质量评估模型的输出数据得到文本是否为低质量类别的评估结果。可以将该评估结果与任一文本的标签指示的类别进行比对，并根据比对结果采用梯度下降算法或
反向传播算法来对文本质量评估模型进行训练。
45.其中，文本质量评估模型例如可以为分类模型，以用于确定文本质量的类别是否为低质量类别。该分类模型例如可以包括fasttext模型、textcnn模型、rcnn模型、bi
‑
lstm模型等。该分类模型中包括有语义特征提取层和全连接层，语义特征提取层用于提取语义特征，全连接层用于将语义特征映射至类别维度的空间，并输出分类预测结果。
46.综上分析，本公开实施例在对文本质量评估模型进行训练时，采用基于指标数据从文本库中召回满足条件的文本，并基于文本满足的条件向文本添加标签的方式，可以实现样本集的自动生成。在某一类别的样本数据稀疏的情况下，通过该召回满足条件的文本生成训练集，可以均衡各类别样本数据的比例，并因此便于使得文本质量评估模型在训练过程中可以充分学习到文本特征与各质量评估结果的关联关系，便于提高训练得到的文本质量评估模型的准确性和稳定性。再者，基于该实施例的训练方法，可以实现对模型的冷启动训练。
47.图3是根据本公开实施例的文本质量评估模型的训练方法的原理示意图。
48.根据本公开的实施例，文本质量评估模型例如可以包括语义表示网络，以使得提取的文本特征更为准确的表达文本的语义。在一实施例中，该语义表示网络例如可以采用预训练模型。该预训练模型可以包括嵌入形式语言模型(embeddings form language models，elmo)或者基于transformer的双向编码表示模型(bidirectional encoder representation from transformers，bert)等。该实施例中，可以预先对该语义表示网络进行预训练，并采用预训练好的语义表示网络来构建文本质量评估模型。
49.如图3所示，该实施例的对文本质量评估模型进行训练的方法300可以先基于文本库310中的多个文本，对该语义表示网络320进行训练，得到预训练的语义表示网络330。随后基于该预训练的语义表示网络330，通过在该预训练的语义表示网络330的输出方向拼接全连接层340等网络结构，获得文本质量评估模型350。
50.根据本公开的实施例，以语义表示网络320为bert模型为例，对该语义表示网络320进行训练时，可以构建两个预训练任务，分别是掩码语言模型(masked language model，mlm)任务和下一语句预测(next sentence prediction，nsp)任务。其中，在完成mlm任务时，可以以预定概率(例如15％)用mask token([mask])随机地对每一个训练序列中的token进行替换，然后预测出[mask]位置的单词。根据该预测的单词与[mask]位置处的实际词之间的差异，对该bert模型进行训练。在完成nsp任务时，例如可以从文本库中随机挑选出两个语句文本(语句文本a和语句文本b)，组成一个训练样例。50％的情况下语句文本b是语句文本a的下一句(标注为isnext)，剩下50％的情况下句子b是文本库中的随机语句文本(标注为notnext)。随后将该训练样例输入到bert模型中，进行二分类的预测，并根据预测结果与标签之间的差异来对bert模型进行训练。
[0051]
如图3所示，在获得文本质量评估模型350后，可采用前文描述的方法从文本库310中召回第一文本360和第二文本370，并通过对该第一文本360和第二文本370分别添加标签后，得到训练集380。随后基于该训练集380对文本质量评估模型350进行训练。可以理解的是，该从文本库310中召回第一文本360和第二文本370的操作例如可以与前述对语义表示网络进行训练的操作同时执行，或者可以基于任意的顺序来执行该两部分操作，本公开对此不做限定。
[0052]
该实施例通过基于全量文本对语义表示网络进行预训练，并基于预训练得到的语义表示网络来构建文本质量评估模型，可以提高得到的文本质量评估模型的语义表达能力。这是由于语义表示网络用于提取语义特征，不受稀疏样本的影响。并因此，可以在一定程度上提高训练得到的文本质量评估模型的准确性和稳定性。
[0053]
根据本公开的实施例，前述采用召回方法获得的训练集来对文本质量评估模型进行训练的方法实质上为弱监督学习方法。在使用训练集完成对文本质量评估模型的训练之后，该实施例还可以采用具有人工标注标签的训练文本，来使得文本质量评估模型进行强监督学习。具体可以以具有指示文本实际类别的人工标注标签的目标文本作为训练样本，对采用训练集训练得到的文本质量评估模型进行二次训练。该二次训练过程与前文描述的基于训练集训练的过程类似。通过该方式，可以进一步提高训练得到的文本质量评估模型的准确性和稳定性。其中，文本的实际类别可以包括低质量类别和非低质量类别。
[0054]
图4是根据本公开实施例的确定满足负样本条件的第一文本和满足正样本条件的第二文本的原理示意图。
[0055]
根据本公开的实施例，如图4所示，该实施例400在从文本库410中召回第一文本和第二文本时，例如可以针对该文本库410中的任一文本420，基于该任一文本420的指标数据430，确定该任一文本的满意度。随后基于该任一文本的满足度，确定该任一文本为第一文本、第二文本、还是除第一文本和第二文本外的其他文本。若该任一文本420为第一文本或第二文本，则从文本库410中读取该任一文本。
[0056]
根据本公开的实施例，可以确定该文本的满意度是否小于第一阈值，若小于第一阈值，则确定该任一文本为第一文本，即该文本为满足负样本条件的文本。若该文本的满意度大于该第一阈值，且大于等于第二阈值，则可以确定该任一文本为第二文本，即该文本为满足正样本条件的文本。若该文本的满意度介于第一阈值和第二阈值之间，则可以确定该任一文本为其他文本。其中，第二阈值大于第一阈值。通过设定该第一阈值，及大于该第一阈值的第二阈值来确定文本是否为需要召回的文本，可以提高召回得到的第一文本和第二文本的准确性。
[0057]
根据本公开的实施例，针对文本的指标数据例如可以包括前述的点赞数、浏览数等，该文本的满意度例如可以与该点赞数正相关，与该浏览数正相关。或者，该指标数据可以包括点踩数，文本的满意度与该点踩数负相关。或者，针对文本的指标数据例如可以包括文本发布者的指标数据，若该文本发布者的指标数据包括发布者关联账户的等级，则文本的满意度例如可以与等级正相关。或者，发布者的指标数据可以包括发布者发布文本的质量，文本的满意度例如可以与该质量正相关等。
[0058]
在一实施例中，针对文本的指标数据例如可以为多个数据，在确定文本的满意度时，可以综合考虑该多个数据。为了便于确定该文本的满意度，如图4所示，该实施例可以提供有预定满意度函数440。该实施例可以基于针对任一文本420的指标数据430，来确定该预定满意度函数440的函数取值450，并将该函数取值450作为满意度。可以理解的是，该预定满意度函数440可以体现出前文描述的满意度与各指标数据之间的关系(即正相关关系或负相关关系)，本公开对该预定满意度函数的表达式不作限定。
[0059]
例如，该预定满意度函数可以表示为：
[0060][0061]
其中，s为预定满意度函数的取值，q
点赞
、q
点踩
、q
浏览
分别为文本的点赞数、点踩数和浏览数，p
ado
用于表示文本是否被采纳，若被采纳，则p
ado
的取值为1，否则为0。p
vip
用于表示文本的发布者关联的账户是否为会员账户，若为会员账户，则p
vip
的取值为1，否则为0。p
level
用于表示文本的发布者关联的账户的等级数。a、b、c、d为取值为非负数的常量，该些常量的取值可以根据实际需求进行设定，本公开对此不做限定。可以理解的是，上述预定满意度函数仅作为示例以利于理解本公开，本公开对此不做限定。
[0062]
根据本公开的实施例，为了便于统计，还可以将函数取值450映射至预定取值范围内，将映射得到的值作为任一文本420的满意度460。针对文本库410中的每个文本，均可以采用前述方法得到每个文本的满意度。从而基于该满意度确定该每个文本满足的条件(即负样本条件或正样本条件)，实现对第一文本和第二文本的召回。
[0063]
根据本公开的实施例，在针对文本的指标数据包括文本发布者的指标数据的情况下，该实施例可以仅根据该文本发布者的指标数据从多个文本中召回满足负样本条件的第一文本。这是由于文本发布者的指标数据表现差，则可以在一定程度上说明该文本发布者的知识水平较低，则该文本发布者发布的文本的参考价值通常较低。通过该方式，可以解决负样本文本的样本稀疏的问题，实现对稀疏样本的针对性召回。
[0064]
例如，若该文本发布者的指标数据为用于表征文本发布者的负面影响的数据时，可以从多个文本中选择文本发布者的指标数据大于预定指标阈值的文本，将该选择得到的文本作为第一文本。其中，用于表征文本发布者的负面影响的数据例如可以包括以下至少之一：发布的文本属于采集文本的比例或发布文本的重复率等。其中，采集文本是指发布的文本为从他人发布的文本中直接复制的文本。发布文本的重复率是指发布的文本中相同文本占所有文本的比例。可以理解的是，该文本发布者的指标数据仅作为示例以利于理解本公开，本公开对此不做限定。
[0065]
图5是根据本公开实施例的另一实施例的确定满足负样本条件的第一文本的原理示意图。
[0066]
根据本公开的实施例，考虑到在文本展示时，通常被提问者折叠展示的文本为提问者认为没有参考价值的文本。则该实施例在从多个文本中召回满足负样本条件的文本时，还可以基于文本的展示属性来召回折叠展示的文本。相应地，前述针对文本的指标数据应包括文本的展示属性。
[0067]
例如，如图5所示，该实施例500可以针对文本库510中的任一文本520，确定该任一文本520的展示属性530为折叠展示还是非折叠展示。若该任一文本520的展示属性为折叠展示，则确定该任一文本520为第一文本。
[0068]
在一实施例中，如图5所示，可以将展示属性为折叠展示的文本作为候选文本540。并基于针对该候选文本的指标数据中的其他指标数据550，从该候选文本中剔除参考价值较高的文本，将剩余的文本作为第一文本560。通过该方式，可以避免因提问者主观影响导致的对负样本文本的误中情况。其中，其他的指标数据可以为前文描述的针对文本的行为数据和/或文本发布者的指标数据。该实施例可以从候选文本中剔除点赞数高于点赞数阈
值的文本。或者可以统计候选文本中某个文本的发布者发布的文本中，被折叠文本的比例。若该被折叠文本的比例小于折叠比例阈值，则从候选文本中剔除该某个文本。可以理解的是，前述剔除规则仅作为示例利于理解本公开，本公开对此不做限定。
[0069]
本公开实施例通过基于展示属性来召回折叠展示的文本，从而获得第一文本，可以进一步提高召回的负样本文本的比例，解决负样本文本的样本稀疏的问题。从而便于提高训练得到的文本质量评估模型的准确性和稳定性。
[0070]
根据本公开的实施例，可以采用前文描述的多种召回方法中的两种或多种方法来中文本库中召回第一文本和第二文本，以此提高召回文本的数量。在采用至少两种方法召回第一文本和第二文本时，例如还可以对召回的第一文本进行去重操作，并对召回的第二文本进行去重操作。
[0071]
基于前述的文本质量评估模型的训练方法，本公开还提供了一种确定文本质量的方法。以下将结合图6对该方法进行详细描述。
[0072]
图6是根据本公开实施例的确定文本质量的方法的流程示意图。
[0073]
如图6所示，该实施例的确定文本质量的方法600可以包括操作s610～操作s620。
[0074]
在操作s610，以待处理文本作为文本质量评估模型的输入，得到文本质量评估模型的输出数据。
[0075]
在操作s620，基于输出数据，确定待处理文本的类别。
[0076]
其中，文本质量评估模型可以是通过前述文本质量评估模型的训练方法训练得到的。文本质量评估模型的输出数据可以直接为分类结果，若该分类结果为低质量类别，则确定待处理文本为低质量文本，否则确定待处理文本为非低质量文本。或者，该文本质量评估模型的输出数据可以为待处理文本为低质量文本的概率。若该概率大于等于概率阈值，则确定该待处理文本的类别为低质量类别，否则确定该待处理文本的类别为非低质量类别。
[0077]
根据本公开的实施例，在将待处理文本输入文本质量评估模型之前，例如可以先对该待处理文本进行编码，将编码得到的句向量作为该文本质量评估模型的输入。
[0078]
基于前述文本质量评估模型的训练方法，本公开还提供了一种文本质量评估模型的训练装置。以下将结合图7，对该装置进行详细描述。
[0079]
图7是根据本公开实施例的文本质量评估模型的训练装置的结构框图。
[0080]
如图7所示，该实施例的文本质量评估模型的训练装置700可以包括文本确定模块710、标签添加模块720和第一模型训练模块730。
[0081]
文本确定模块710用于基于针对文本的指标数据，确定多个文本中满足正样本条件的第一文本和满足正样本条件的第二文本。在一实施例中，文本确定模块710可以用于执行前文描述的操作s210，在此不再赘述。
[0082]
标签添加模块720用于针对第一文本和第二文本中的任一文本，基于任一文本满足的条件向任一文本添加标签，该标签指示了任一文本的类别，该类别包括针对负样本的低质量类别和针对正样本的非低质量类别。在一实施例中，标签添加模块720可以用于执行前文描述的操作s220，在此不再赘述。
[0083]
第一模型训练模块730用于将添加了标签的第一文本和添加了标签的第二文本构成训练集，对文本质量评估模型进行训练。在一实施例中，第一模型训练模块730可以用于执行前文描述的操作s230，在此不再赘述。
[0084]
根据本公开的实施例，上述文本质量评估模型包括语义表示网络，上述文本质量评估模型的训练装置700还可以包括网络训练模块和模型获得模块。网络训练模块用于在第一模型训练模块对文本质量评估模型进行训练之前，基于多个文本对所述语义表示网络进行训练，得到预训练的语义表示网络。模型获得模块用于基于预训练的语义表示网络，获得文本质量评估模型。
[0085]
根据本公开的实施例，上述文本确定模块710例如可以包括满意度确定子模块、第一文本获得子模块和第二文本获得子模块。满意度确定子模块用于基于针对文本的指标数据，确定多个文本中每个文本的满意度。第一文本获得子模块用于从多个文本中选择满意度小于第一阈值的文本，得到第一文本。第二文本获得子模块用于从多个文本中选择满意度大于等于第二阈值的文本，得到第二文本。其中，第一阈值小于第二阈值。
[0086]
根据本公开的实施例，针对每个文本的指标数据包括至少两个指标数据。上述满意度确定子模块可以包括函数取值确定单元和满意度获得单元。函数取值确定单元用于基于针对每个文本的指标数据，确定预定满意度函数的取值。满意度获得单元用于将预定满意度函数的取值映射至预定取值范围内，得到每个文本的满意度。
[0087]
根据本公开的实施例，针对文本的指标数据包括文本发布者的指标数据。上述文本确定模块710可以包括第三文本获得子模块，用于从多个文本中选择文本发布者的指标数据大于预定指标阈值的文本，得到第一文本。其中，文本发布者的指标数据包括以下至少之一：文本发布者发布的文本属于采集文本的比例、文本发布者发布文本的重复率。
[0088]
根据本公开的实施例，针对文本的指标数据包括文本的展示属性。上述文本确定模块710可以包括第四文本获得子模块，用于从多个文本中选择展示属性为折叠展示的文本，获得第一文本。
[0089]
根据本公开的实施例，针对文本的指标数据还包括针对文本的行为数据和文本发布者的指标数据。第四文本获得子模块可以包括候选文本获得单元和文本剔除单元。候选文本获得单元用于将从多个文本中选择的展示属性为折叠展示的文本作为候选文本。文本剔除单元用于基于针对文本的行为数据和文本发布者的指标数据中的至少之一，从候选文本中剔除目标文本，得到第一文本。
[0090]
根据本公开的实施例，上述文本质量评估模型的训练装置700还可以包括第二模型训练模块，用于以目标文本作为训练样本，对第一模型训练模块训练得到的文本质量评估模型进行二次训练。其中，目标文本具有指示文本实际类别的人工标注标签。
[0091]
基于前文描述的确定文本质量的方法，本公开还提供了一种确定文本质量的装置。以下将结合图8对该装置进行详细描述。
[0092]
图8是根据本公开实施例的确定文本质量的装置的结构框图。
[0093]
如图8所示，该实施例的确定文本质量的装置800可以包括输出数据获得模块810和文本质量确定模块820。
[0094]
输出数据获得模块810用于以待处理文本作为文本质量评估模型的输入，得到文本质量评估模型的输出数据。在一实施例中，输出数据获得模块810可以用于执行前文描述的操作s610，在此不再赘述。
[0095]
文本质量确定模块820用于基于输出数据，确定待处理文本的类别。在一实施例中，文本质量确定模块820可以用于执行前文描述的操作s620，在此不再赘述。
[0096]
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0097]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0098]
图9示出了可以用来实施本公开实施例的文本质量评估模型的训练方法和/或确定文本质量的方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0099]
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
[0100]
设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0101]
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如文本质量评估模型的训练方法和/或确定文本质量的方法。例如，在一些实施例中，文本质量评估模型的训练方法和/或确定文本质量的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的文本质量评估模型的训练方法和/或确定文本质量的方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行文本质量评估模型的训练方法和/或确定文本质量的方法。
[0102]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至
少一个输出装置。
[0103]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0104]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0105]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0106]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0107]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(
″
virtual private server
″
，或简称
″
vps
″
)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0108]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0109]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。