语言模型训练方法及其装置、设备、介质与流程

本技术涉及电商，尤其涉及一种语言模型训练方法及其相应的装置、计算机设备、计算机可读存储介质。

背景技术：

1、在独立站电商搜索领域，所有建立在独立站上的线上店铺的商品信息都存储在同一个elasticsearch的索引中，通过设置合理的分片数量保持每个分片的搜索性能。但是随着数据量的增大，导致索引越来越大，分片数也越来越多，每个分片大小也越来越大，由于elasticsearch的分布式搜索特性，一次完整的对同一线上店铺的商品信息的搜索，会搜索索引中所有分片，随着整体的数据量增大，搜索性能会受到很大影响，搜索耗时长。

2、传统技术中，通常是增加索引的分片数以减少单分片的大小，保障单分片的搜索性能，但在整体数据量过大的时候，搜索性能仍然受到不小的影响，搜索耗时长，影响使用搜索服务的用户的体验。

3、鉴于传统技术的不足，本技术人长期从事相关领域的研究，为解决电商技术领域业内难题，故另辟蹊径。

技术实现思路

1、本技术的首要目的在于解决上述问题至少之一而提供一种语言模型训练方法及其相应的装置、计算机设备、计算机可读存储介质。

2、为满足本技术的各个目的，本技术采用如下技术方案：

3、适应本技术的目的之一而提供的一种语言模型训练方法，包括如下步骤：

4、获取训练集，所述训练集包含多个训练样本及其监督标签，所述监督标签为原始文本，所述训练样本为替换所述原始文本中部分文本而得到的遮盖文本；

5、调用训练集中的单个训练样本及其监督标签，由语言模型根据训练样本推理出预测文本，确定出预测文本与监督标签之间的字面一致损失值；

6、由所述语言模型表示出所述预测文本的预测语义特征，以及所述监督标签的实际语义特征，确定出预测语义特征与实际语义特征之间的语义相关损失值；

7、根据所述字面一致损失值和语义相关损失值更新语言模型的权重参数，并调用所述训练集中的其他训练样本及其监督标签进行迭代训练，直至字面一致损失值和语义相关损失值满足预设条件，确认语言模型被训练至收敛状态。

8、进一步的实施例中，获取训练集之前，包括如下步骤：

9、获取多个电商业务文本，所述电商业务包括相似商品匹配、商品评论、客服、商品导购中任意一种或任意多种；

10、对所述多个电商业务文本进行数据清洗，以数据清洗后的电商业务文本构建数据集；

11、将数据集中的每个电商业务文本分别作为原始文本，将该原始文本中预设比例的部分文本替换为预指定概率文本，获得遮盖文本；

12、以所有的原始文本及其遮盖文本构建训练集。

13、进一步的实施例中，由语言模型根据训练样本推理出预测文本，包括如下步骤：

14、由语言模型预测出训练样本中所有被遮盖位置对应的词典概率分布；

15、采用预设的采样策略根据每个被遮盖位置对应的词典概率分布确定出输出文本；

16、将每个输出文本替换所述训练样本中该输出文本的被遮盖位置的当前文本，获得预测文本。

17、进一步的实施例中，确认语言模型被训练至收敛状态之后，包括如下步骤：

18、获取第一微调训练集，所述第一微调训练集包含多个问题训练样本及其答案监督标签，所述问题训练样本为问题文本及其相关的知识文档，所述答案监督标签为所述问题文本在所述知识文档中的答案文本；

19、调用第一微调训练集中的单个问题训练样本及其答案监督标签，由语言模型根据问题训练样本推理出预测答案文本，确定出预测答案文本与答案监督标签之间的位置一致损失值；

20、根据所述位置一致损失值更新语言模型的权重参数，并调用所述第一微调训练集中的其他问题训练样本及其答案监督标签进行迭代训练，直至位置一致损失值满足预设条件，确认语言模型被微调训练至收敛状态，作为问答语言模型。

21、进一步的实施例中，确认语言模型被微调训练至收敛状态，作为问答语言模型之后，包括如下步骤：

22、响应答案显示事件，获取问题文本及其相关的知识文档；

23、采用所述问答语言模型确定出所述问题文本在所述知识文档中的答案文本；

24、控制显示所述知识文档的当前可视区域滚动至显示答案文本。

25、进一步的实施例中，确认语言模型被训练至收敛状态之后，包括如下步骤：

26、获取第二微调训练集，所述第二微调训练集包括多个音文训练样本及其关键监督标签，所述音文训练样本为语音文本，所述关键监督标签为所述语音文本中的关键词；

27、调用第二微调训练集中的单个音文训练样本及其关键监督标签，由语言模型根据音文训练样本推理出预测关键词，确定出预测关键词与关键监督标签之间的关键概率损失值；

28、根据所述关键概率损失值更新语言模型的权重参数，并调用所述第二微调训练集中的其他音文训练样本及其关键监督标签进行迭代训练，直至关键概率损失值满足预设条件，确认语言模型被微调训练至收敛状态，作为关键词抽取模型。

29、进一步的实施例中，确认语言模型被微调训练至收敛状态，作为关键词抽取模型之后，包括如下步骤：

30、响应语音搜索事件，获取采用预设的语音模型识别用户语音所得的语音文本；

31、采用所述关键词抽取模型确定出所述语音文本中的关键词；

32、调用商品搜索接口，将所述关键词传递给该商品搜索接口，以驱动其根据关键词搜索出商品结果。

33、另一方面，适应本技术的目的之一而提供的一种语言模型训练装置，包括训练集获取模块、第一损失值模块、第二损失值模块以及迭代训练模块，其中，训练集获取模块，用于获取训练集，所述训练集包含多个训练样本及其监督标签，所述监督标签为原始文本，所述训练样本为替换所述原始文本中部分文本而得到的遮盖文本；第一损失值模块，用于调用训练集中的单个训练样本及其监督标签，由语言模型根据训练样本推理出预测文本，确定出预测文本与监督标签之间的字面一致损失值；第二损失值模块，用于由所述语言模型表示出所述预测文本的预测语义特征，以及所述监督标签的实际语义特征，确定出预测语义特征与实际语义特征之间的语义相关损失值；迭代训练模块，用于根据所述字面一致损失值和语义相关损失值更新语言模型的权重参数，并调用所述训练集中的其他训练样本及其监督标签进行迭代训练，直至字面一致损失值和语义相关损失值满足预设条件，确认语言模型被训练至收敛状态。

34、进一步的实施例中，所述训练集获取模块之前，包括：文本获取子模块，用于获取多个电商业务文本，所述电商业务包括相似商品匹配、商品评论、客服、商品导购中任意一种或任意多种；数据集构建子模块，用于对所述多个电商业务文本进行数据清洗，以数据清洗后的电商业务文本构建数据集；文本构建子模块，用于将数据集中的每个电商业务文本分别作为原始文本，将该原始文本中预设比例的部分文本替换为预指定概率文本，获得遮盖文本；训练集构建子模块，用于以所有的原始文本及其遮盖文本构建训练集。

35、进一步的实施例中，所述第一损失值模块，包括：分布预测子模块，用于由语言模型预测出训练样本中所有被遮盖位置对应的词典概率分布；输出文本确定子模块，用于采用预设的采样策略根据每个被遮盖位置对应的词典概率分布确定出输出文本；预测文本确定子模块，用于将每个输出文本替换所述训练样本中该输出文本的被遮盖位置的当前文本，获得预测文本。

36、进一步的实施例中，所述迭代训练模块之后，包括：第一训练集获取子模块，用于获取第一微调训练集，所述第一微调训练集包含多个问题训练样本及其答案监督标签，所述问题训练样本为问题文本及其相关的知识文档，所述答案监督标签为所述问题文本在所述知识文档中的答案文本；第一训练集调用子模块，用于调用第一微调训练集中的单个问题训练样本及其答案监督标签，由语言模型根据问题训练样本推理出预测答案文本，确定出预测答案文本与答案监督标签之间的位置一致损失值；第一迭代训练子模块，用于根据所述位置一致损失值更新语言模型的权重参数，并调用所述第一微调训练集中的其他问题训练样本及其答案监督标签进行迭代训练，直至位置一致损失值满足预设条件，确认语言模型被微调训练至收敛状态，作为问答语言模型。

37、进一步的实施例中，所述第一迭代训练子模块之后，包括：第一事件响应子模块，用于响应答案显示事件，获取问题文本及其相关的知识文档；第一模型推理子模块，用于采用所述问答语言模型确定出所述问题文本在所述知识文档中的答案文本；区域滚动子模块，用于控制显示所述知识文档的当前可视区域滚动至显示答案文本。

38、进一步的实施例中，所述迭代训练模块之后，包括：第二训练集获取子模块，用于获取第二微调训练集，所述第二微调训练集包括多个音文训练样本及其关键监督标签，所述音文训练样本为语音文本，所述关键监督标签为所述语音文本中的关键词；第二训练集调用子模块，用于调用第二微调训练集中的单个音文训练样本及其关键监督标签，由语言模型根据音文训练样本推理出预测关键词，确定出预测关键词与关键监督标签之间的关键概率损失值；第二迭代训练子模块，用于根据所述关键概率损失值更新语言模型的权重参数，并调用所述第二微调训练集中的其他音文训练样本及其关键监督标签进行迭代训练，直至关键概率损失值满足预设条件，确认语言模型被微调训练至收敛状态，作为关键词抽取模型。

39、进一步的实施例中，所述第二迭代训练子模块之后，包括：第二事件响应子模块，用于响应语音搜索事件，获取采用预设的语音模型识别用户语音所得的语音文本；第二模型推理子模块，用于采用所述关键词抽取模型确定出所述语音文本中的关键词；商品搜索子模块，用于调用商品搜索接口，将所述关键词传递给该商品搜索接口，以驱动其根据关键词搜索出商品结果。

40、又一方面，适应本技术的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本技术所述的语言模型训练方法的步骤。

41、又一方面，适应本技术的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的语言模型训练方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

42、本技术的技术方案存在多方面优势，包括但不限于如下各方面：

43、本技术通过调用训练集中的单个训练样本及其监督标签，由语言模型根据训练样本推理出预测文本，确定出预测文本与监督标签之间的字面一致损失值，所述监督标签为原始文本，所述训练样本为替换所述原始文本中部分文本而得到的遮盖文本，由语言模型表示出预测文本的预测语义特征，以及监督标签的实际语义特征，确定出两个特征之间的语义相关损失值，根据前述两个损失值更新语言模型的权重参数，并调用训练集中其他训练样本及其监督标签进行迭代训练，直至前述两个损失值满足预设条件，得出训练至收敛的语言模型。一方面，使用遮盖文本训练语言模型，可以使模型更关注被替换的部分，从而在学习过程中更专注于特定语境和上下文语义的理解。另一方面，建模语言模型对相对微观层面上字面一致的语义理解，和对相对宏观层面上语义相关的语义理解，从而确保模型能够精准地理解文本的语义。