语言模型的预训练方法、装置及电子设备与流程

本公开涉及人工智能，尤其涉及深度学习、自然语言处理、智能搜索，尤其涉及一种语言模型的预训练方法、装置及电子设备。

背景技术：

1、目前，常见的语言模型的预训练方法主要为，对样本文本中的部分词语进行掩码处理，然后基于上下文对掩码位置进行词语预测处理，得到预测词语，结合预测词语以及掩码位置的原始词语，构建损失函数，对语言模型进行训练，从而使得语言模型能够学习到文本理解能力。

2、然而，基于上述预训练方法训练得到的语言模型，在实际应用中，若输入的文本中存在新词，即语言模型训练过程中未接触过的词语，会严重干扰语言模型的最终输出结果，降低输出结果的准确度，导致语言模型的准确度差。

技术实现思路

1、本公开提供了一种语言模型的预训练方法、装置及电子设备。

2、根据本公开的一方面，提供了一种语言模型的预训练方法，所述方法包括：获取至少一个掩码样本文本、所述掩码样本文本中掩码位置的参考词语以及所述掩码样本文本中分词词语的参考类别；将所述掩码样本文本输入语言模型中的特征提取网络，获取所述掩码位置的特征向量以及所述分词词语的特征向量；将所述掩码位置的特征向量以及所述分词词语的特征向量输入所述语言模型中的预测网络，获取所述掩码位置的预测词语以及所述分词词语的预测类别；根据所述掩码位置的预测词语和参考词语、所述分词词语的预测类别和参考类别，构建所述语言模型的损失函数，对所述语言模型进行预训练处理。

3、根据本公开的另一方面，提供了一种语言模型的预训练装置，所述装置包括：第一获取模块，用于获取至少一个掩码样本文本、所述掩码样本文本中掩码位置的参考词语以及所述掩码样本文本中分词词语的参考类别；第二获取模块，用于将所述掩码样本文本输入语言模型中的特征提取网络，获取所述掩码位置的特征向量以及所述分词词语的特征向量；第三获取模块，用于将所述掩码位置的特征向量以及所述分词词语的特征向量输入所述语言模型中的预测网络，获取所述掩码位置的预测词语以及所述分词词语的预测类别；训练模块，用于根据所述掩码位置的预测词语和参考词语、所述分词词语的预测类别和参考类别，构建所述语言模型的损失函数，对所述语言模型进行预训练处理。

4、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述提出的语言模型的预训练方法。

5、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开上述提出的语言模型的预训练方法。

6、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述提出的语言模型的预训练方法的步骤。

7、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种语言模型的预训练方法，包括：

2.根据权利要求1所述的方法，其中，所述获取至少一个掩码样本文本、所述掩码样本文本中掩码位置的参考词语以及所述掩码样本文本中分词词语的参考类别，包括：

3.根据权利要求2所述的方法，其中，所述针对每个样本文本，对所述样本文本中的部分词语进行掩码处理，得到所述样本文本对应的掩码样本文本，包括：

4.根据权利要求2所述的方法，其中，所述针对每个样本文本，对所述样本文本中的部分词语进行掩码处理，得到所述样本文本对应的掩码样本文本，包括：

5.根据权利要求2所述的方法，其中，所述根据所述样本文本，确定所述掩码样本文本中的掩码位置以及所述掩码位置的参考词语，包括：

6.根据权利要求2所述的方法，其中，在根据所述掩码样本文本中的分词词语查询类别词表，获取所述分词词语的参考类别之前，所述方法还包括：

7.根据权利要求1所述的方法，其中，所述预测网络包括：词语预测网络和类别预测网络，所述将所述掩码位置的特征向量以及所述分词词语的特征向量输入所述语言模型中的预测网络，获取所述掩码位置的预测词语以及所述分词词语的预测类别，包括：

8.根据权利要求1所述的方法，其中，所述根据所述掩码位置的预测词语和参考词语、所述分词词语的预测类别和参考类别，构建所述语言模型的损失函数，对所述语言模型进行预训练处理，包括：

9.根据权利要求8所述的方法，其中，所述掩码位置的参考词语，为所述掩码样本文本对应的样本文本中的分词词语，所述根据所述掩码位置的预测词语和参考词语，构建词语预测损失函数，包括：

10.根据权利要求8所述的方法，其中，至少一个所述掩码位置的参考词语，为所述掩码样本文本对应的样本文本中分词词语拆分得到的，所述根据所述掩码位置的预测词语和参考词语，构建词语预测损失函数，包括：

11.根据权利要求10所述的方法，其中，所述针对所述样本文本中每个分词词语的所在位置，根据对应的至少一个所述掩码位置的参考词语的特征向量，以及所述分词词语的特征向量，构建一个词语预测损失项，包括：

12.一种语言模型的预训练装置，包括：

13.根据权利要求12所述的装置，其中，所述第一获取模块包括：第一获取单元、掩码处理单元、确定单元和第二获取单元；

14.根据权利要求13所述的装置，其中，所述掩码处理单元具体用于，

15.根据权利要求13所述的装置，其中，所述掩码处理单元具体用于，

16.根据权利要求13所述的装置，其中，所述确定单元具体用于，

17.根据权利要求13所述的装置，其中，所述第二获取单元具体用于，

18.根据权利要求12所述的装置，其中，所述预测网络包括：词语预测网络和类别预测网络，所述第三获取模块具体用于，

19.根据权利要求12所述的装置，其中，所述训练模块包括：第一构建单元、第二构建单元、第三构建单元和训练单元；

20.根据权利要求19所述的装置，其中，所述掩码位置的参考词语，为所述掩码样本文本对应的样本文本中的分词词语，所述第一构建单元具体用于，

21.根据权利要求19所述的装置，其中，至少一个所述掩码位置的参考词语，为所述掩码样本文本对应的样本文本中分词词语拆分得到的，所述第一构建单元具体用于，

22.根据权利要求21所述的装置，其中，所述第一构建单元具体用于，

23.一种电子设备，包括：

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至11中任一项所述的方法。

技术总结
本公开提供了语言模型的预训练方法、装置及电子设备，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、智能搜索技术领域。具体实现方案为：获取至少一个掩码样本文本、掩码样本文本中掩码位置的参考词语以及掩码样本文本中分词词语的参考类别；将掩码样本文本输入语言模型中的特征提取网络，获取掩码位置的特征向量以及分词词语的特征向量；进而输入语言模型中的预测网络，获取掩码位置的预测词语以及分词词语的预测类别；根据掩码位置的预测词语和参考词语、分词词语的预测类别和参考类别，构建语言模型的损失函数，对语言模型进行预训练处理，从而使得语言模型能够学习到词语类别能力，提高语言模型的准确度。

技术研发人员：徐钰坪,朱志凡,冯仕堃,黄世维
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/1/13