文本分类方法、装置及存储介质与流程

1.本技术涉及自然语言处理技术领域，尤其涉及一种文本分类方法、装置及存储介质。


背景技术：

2.当前，在各类社交平台业务中存在大量文本分类任务，文本分类任务的特点是：1）场景多，比如不友善文本对应的相似场景包含：问题、回答、评论、文章、弹幕、想法等，敏感信息文本对应的相似场景包含：问题、搜索、回答、文章、评论等；2）不同场景对应的文本分类标准及数据有共性和差异，同时不同场景对应的数据分布存在较大不同。
3.现有的文本分类方法为：对各个场景分别训练模型并上线进行迭代优化，但通过该方法得到的文本分类模型开发和维护繁杂，且忽略了各个场景下文本分类任务的共性，导致文本分类结果的准确度较低。


技术实现要素：

4.针对现有技术存在的上述技术问题，本技术提供一种文本分类方法、装置及存储介质。
5.第一方面，本技术提供一种文本分类方法，包括：获取待分类文本及所述待分类文本对应场景的特征参数；将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
6.可选地，根据本技术的文本分类方法，所述训练好的文本分类模型的训练步骤包括：基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合。
7.可选地，根据本技术的文本分类方法，所述基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，具体包括：
将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
8.可选地，根据本技术的文本分类方法，所述将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练之前，所述方法还包括：获取所述样本集合中的待分类文本样本；基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
9.可选地，根据本技术的文本分类方法，所述方法还包括：基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；基于不同场景对应的模型参数排序，获取不同场景的特征参数。
10.可选地，根据本技术的文本分类方法，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
11.可选地，根据本技术的文本分类方法，所述预设范围是基于场景的复杂度确定的。
12.第二方面，本技术还提供一种文本分类装置，包括：待分类文本及特征参数获取模块，用于获取待分类文本及所述待分类文本对应场景的特征参数；文本分类模块，用于将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
13.第三方面，本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的方法的步骤。
14.第四方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的方法的步骤。
15.本技术提供的文本分类方法、装置及存储介质，通过获取待分类文本及所述待分类文本对应场景的特征参数，将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果，所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数，所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的，其中，所述文本分
类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，能够降低文本分类模型开发和维护复杂度，同时充分利用各场景下文本分类任务的共性，提高文本分类结果的准确度。
附图说明
16.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术提供的文本分类方法的流程示意图；图2是本技术提供的文本分类模型的结构示意图；图3是本技术提供的初始文本分类模型的训练流程示意图；图4是本技术提供的最终文本分类模型的训练流程示意图；图5是本技术提供的场景的特征参数获取流程示意图；图6是本技术提供的文本分类装置的结构示意图；图7是本技术提供的电子设备的结构示意图。
具体实施方式
18.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.如前所述，目前的多场景文本分类模型主要采用以下方式进行训练：1、单独独立训练：该方式将不同场景任务视为不相关任务，在各个场景下分别构建训练集并训练模型。而在实际业务中，不同场景的标注样本是有限的，该方式会导致各场景下模型训练更难充分拟合，同时难以利用各场景下任务的共性信息，导致分类结果不准确。
20.2、微调迁移多场景训练：该方式先选取某个场景（通常是数据量大、任务与其他场景相似度较高的场景），在该场景下构建训练集并训练模型，最终模型分别在其余场景进行微调为各场景生成新的模型。但每个场景形成一个模型，训练流程和开发维护上线均比较困难。
21.3、常规多任务学习：该方式在各场景构建训练数据，以多任务学习模型的方式，共享同一个底层网络，顶层各场景采用独立子网络。尽管该方式因共享底层子网络能学习到文本较好的表示，但是共享了底层的网络参数，导致在小样本的场景下，很难学习到该场景的特征，同时独享上层子网络也难以拟合充分，导致分类结果不准确。
22.基于上述现有方案的缺陷，本技术提出一种文本分类方法、装置及存储介质，能够降低文本分类模型开发和维护复杂度，同时充分利用各场景下文本分类任务的共性，提高文本分类结果的准确度。
23.下面结合图1-图7描述本技术的文本分类方法、装置及存储介质。
24.图1为本技术提供的文本分类方法的流程示意图，如图1所示，该方法包括：步骤110，获取待分类文本及所述待分类文本对应场景的特征参数。
25.具体的，所述待分类文本为同一业务（例如不友善业务，即需要将文本分类为友善和不友善的业务）下不同场景对应的文本。同一文本由于对应的场景不同，其分类结果可能不同，因此，本技术实施例在文本分类模型训练过程中，充分考虑不同场景对文本分类结果的影响，通过不断迭代训练，获取不同场景的特征参数，其中，表示特征参数，i表示第i个场景。所述特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数（即对于目标场景来说，会对文本分类结果产生较大影响的模型参数），所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的。所述模型参数可以为模型权重。基于此，能够最大限度确保文本分类结果的准确性。在通过模型进行预测之前，文本分类装置首先获取待分类文本，基于所述待分类文本所属场景，确定所述待分类文本对应场景的特征参数。
26.步骤120，将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
27.具体的，文本分类装置将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，所述训练好的文本分类模型即可根据所述待分类文本对应场景的特征参数确定与所述场景关联的目标模型参数，并基于所述目标模型参数进行前向计算，输出所述待分类文本对应的分类结果。
28.值得注意的是，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，基于此，可以使文本分类模型充分学习不同场景对文本分类结果的影响，并得到准确的模型参数，进而用于不同场景下的文本分类，确保分类结果的准确性，同时也避免了多模型训练和开发维护上线困难的问题。
29.本技术提供的方法，通过获取待分类文本及所述待分类文本对应场景的特征参数，将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果，所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数，所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的，其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，能够降低文本分类模型开发和维护复杂度，同时充分利用各场景下文本分类任务的共性，提高文本分类结果的准确度。
30.基于上述实施例，所述训练好的文本分类模型的训练步骤包括：基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确
定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合。
31.具体的，图2为本技术提供的文本分类模型的结构示意图，如图2所示，所述文本分类模型包括word embedding层，用于将输入文本映射成词向量；position embedding层，用于编码输入文本的词的位置信息；transformer encoder层，用于根据所述word embedding层和position embedding层得到的编码表示抽取所述文本中的文本特征得到所述文本的特征向量；mlp decoder层，用于通过多层感知器（mlp）将transformer encoder编码后的信息转换到结果类别上，以得到predicted label，即预测的结果标签。
32.本技术实施例首先基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型。图3为本技术提供的初始文本分类模型的训练流程示意图，如图3所示，将所有场景对应的待分类文本样本集合中的样本依次输入基础模型中进行联合训练，得到初始文本分类模型，初始文本分类模型对应的模型参数记为。可以理解的是，表示用所有场景对应的待分类文本样本训练基础模型得到的模型参数，其并不是一个参数，而是多个模型参数的集合。
33.对所述基础模型训练时，并未区分不同场景，因此得到的初始文本分类模型的分类准确度并不高，因此，本技术实施例进一步基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，基于不同场景的特征参数更新初始文本分类模型的模型参数，得到训练好的文本分类模型。此时的文本分类模型基于不同场景的特征参数对模型参数进行了调整，充分学习了不同场景对于文本分类结果的影响，能够最大限度保证不同场景下文本分类结果的准确性。
34.本技术提供的方法，通过基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型，基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，能够最大限度保证不同场景下文本分类结果的准确性。
35.基于上述实施例，所述基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，具体包括：将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
36.具体的，图4为本技术提供的最终文本分类模型的训练流程示意图，如图4所示，将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练，基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联
的目标模型参数进行更新，直至所述初始文本分类模型收敛。值得注意的是，不同场景关联的目标模型参数可能相同，也可能不同，即对于a场景对应的样本，训练时更新的模型参数可能为的第1-3个模型参数，对于b场景对应的样本，训练时更新的模型参数可能为的第2-4个模型参数。因此，通过将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练，能够对所述初始文本分类模型中与不同场景关联的目标模型参数进行累计更新，确保充分利用各场景下文本分类任务的共性的同时，也对不同场景下文本分类任务的差异进行了针对学习，保证了分类结果的准确性。最终得到的训练好的文本分类模型的模型参数记为。
37.本技术提供的方法，通过将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练，基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛，能够确保充分利用各场景下文本分类任务的共性的同时，对不同场景下文本分类任务的差异进行针对学习，保证了分类结果的准确性。
38.基于上述实施例，所述将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练之前，所述方法还包括：获取所述样本集合中的待分类文本样本；基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
39.具体的，每条待分类文本样本组成方式为 (s, x, y)，其中，s为场景标识，x为样本文本内容，比如“今天天气真好”，y为样本的分类结果标签信息，比如“正向情感”。获取所述样本集合中的待分类文本样本之后，即可基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景，进而基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。基于此，可以快速确定文本分类模型的输入，提高模型预测效率。
40.本技术提供的方法，通过获取所述样本集合中的待分类文本样本，基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景，基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数，能够快速获取所述待分类文本样本对应场景的特征参数，提高模型预测效率。
41.基于上述实施例，所述方法还包括：基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；基于不同场景对应的模型参数排序，获取不同场景的特征参数。
42.基于上述实施例，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
43.基于上述实施例，所述预设范围是基于场景的复杂度确定的。
44.具体的，图5为本技术提供的场景的特征参数获取流程示意图，如图5所示，将不同场景对应的样本子集分别输入所述初始文本分类模型进行微调，确定不同场景对应的模型
参数，分别对不同场景对应的模型参数进行排序，获取不同场景的特征参数。对于某一场景而言，所述特征参数与模型参数一一对应，特征参数的取值取决于模型参数的排序结果。优选的，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。所述第一预设值和所述第二预设值分别用于表征所述模型参数对于该场景的重要性，取第一预设值表示重要，取第二预设值表示不重要。优选的，所述第一预设值为1，所述第二预设值为0，对应的表达公式为：；；其中，和分别表示场景i对应的第k个特征参数和模型参数。为所述预设范围，即排序为前的模型参数对应的特征参数为1，否则为0。
45.相应的，在基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型的过程中，对于不同场景，仅需更新所述场景的特征参数指示的目标模型参数即可获得满足精确度要求的文本分类模型，降低了模型训练复杂度。对应的模型参数更新方式表达式为：；；其中，为场景i的第k个模型参数的更新增量，其是在训练过程中通过反向传播算法确定的。
46.可以理解的是，所述特征参数可取[0, 1]间的任何数，只要能表征哪些模型参数更重要（即更能反映场景特征信息）即可，本技术实施例对此不作具体限定。
[0047]
值得注意的是，对于不同的场景而言，可以根据场景的复杂度进行调整。场景的复杂度可以通过场景对应的文本的分类难易程度体现，分类越难意味着所需的模型参数越多，反之亦然。因此，可基于场景的复杂度对进行适应性调整，以确保不同场景下文本分类的准确性。
[0048]
本技术提供的方法，通过基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数，基于不同场景对应的模型参数排序，获取不同场景的特征参数，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值，所述预设范围是基于场景的复杂度确定的，能够在提高文本分类结果准确性的同时降低模型训练复杂度。
[0049]
基于上述任一实施例，图6为本技术提供的文本分类装置的结构示意图，如图6所示，该装置包括：待分类文本及特征参数获取模块610，用于获取待分类文本及所述待分类文本对应场景的特征参数；文本分类模块620，用于将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本
对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
[0050]
基于上述实施例，所述装置还包括：初始模型训练模块，用于基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；最终模型训练模块，用于基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合。
[0051]
基于上述实施例，所述最终模型训练模块包括：输入子模块，用于将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；模型参数更新子模块，用于基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
[0052]
基于上述实施例，所述最终模型训练模块还包括：样本获取子模块，用于获取所述样本集合中的待分类文本样本；场景确定子模块，用于基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；特征参数获取子模块，用于基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
[0053]
基于上述实施例，所述装置还包括：微调模块，用于基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；场景特征参数确定模块，用于基于不同场景对应的模型参数排序，获取不同场景的特征参数。
[0054]
基于上述实施例，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
[0055]
基于上述实施例，所述预设范围是基于场景的复杂度确定的。
[0056]
本技术提供的文本分类装置可以执行上述文本分类方法，其具体工作原理和相应的技术效果与上述方法相同，在此不再赘述。
[0057]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各方法所提供的文本分类方法。
[0058]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0059]
另一方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法所提供的文本分类方法。
[0060]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0061]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0062]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。