基于预训练模型语义理解的多语言缩写消歧义算法的制作方法

1.本发明具体涉及一种基于预训练模型语义理解的多语言缩写消歧义算法。


背景技术：

2.缩写在专业领域如科学、法律、自然等更为频繁。随着知识量的指数倍增长，相同的缩写词可能代表着很多不同的含义，然而理解缩写词需要较强的专业背景和知识储备，这对于很多刚刚踏入对应领域的学者是个非常大的困难。目前在这方面，研究十分欠缺，主要分为传统的频率统计和神经网络方法。传统的基于词频统计的方法能达到的效果十分有限并且效果波动较大。其不足在于单调的使用字或词在句子中的出现的频率，忽略了句子语义的重要性，不符合人类在进行判断的直观感觉。在理解缩写时，需要结合上下文信息及一定的背景知识进而确定缩写的真正含义。神经网络则基于网络的深度去高纬度理解语义信息，但是在利用神经网络时，需要对字或词语进行合适的向量表示，而向量的表示也存在较大的适用性争议。并且神经网络天然的不具备其背景知识，这在缩写消歧义过程当中却至关重要。因而以上的两种方式均无法达到较为满意的效果，本质上是均不同时具备语义理解和背景知识。
3.针对现有方法在缩写消歧义存在的不足，拟基于预训练语言模型的迁移学习方法实现真正意义上的缩写消歧义。预训练语言模型是基于超级规模的公共领域语料而获得的语义理解或语义生成模型，在进行语言遮蔽模型(mlm)和语句预测(nsp)任务中，mlm自监督的学习字或词的语义关系，nsp则学习句子之间的关系。在预训练过程当中，相当于对语言进行初步的语义理解。在面对专业领域的文本时，首先把通用领域的预训练语言模型迁移到其专业语料进行持续预训练，得到在特有领域内文本之间的语义关系和进行背景知识的学习，自此解决了现有方法不能以合适的方法同时满足背景知识学习和语义理解的不足之处。然后再进行微调或提示微调，对于文本中的缩写的真正含义进行识别。整个过程中包含了背景知识的学习和语义的理解，更加符合人类的思维逻辑，较现有的方法更具备合理性。


技术实现要素：

4.本发明的目的在于针对现有技术的不足，提供一种基于预训练模型语义理解的多语言缩写消歧义算法，该基于预训练模型语义理解的多语言缩写消歧义算法可以很好地解决上述问题。
5.为达到上述要求，本发明采取的技术方案是：提供一种基于预训练模型语义理解的多语言缩写消歧义算法，该基于预训练模型语义理解的多语言缩写消歧义算法包括如下步骤：
6.s1:在知识语料上进行持续预训练，学习其文本的语义关系和背景知识；
7.s2:将预训练好的模型迁徙到上述构造的二分类任务进行微调训练；
8.s3:对于同一个缩写的不同解释替换后的句子在微调模型上的输出，通过投票的策略，将具有最大概率的句子的所替换的解释作为该缩写的预测解释。
9.该基于预训练模型语义理解的多语言缩写消歧义算法具有的优点如下：
10.(1)基于具备强大的先验知识的预训练语言模型完成对于专业领域复杂缩写词的消歧义，有效地促进了科研人员及语言模型对于复杂文本的正确理解。
11.(2)利用prompt tuning算法，设计针对缩写消歧义任务的提示模板，在自然语言生成模型上对缩写词的含义进行生成。并提出了一种新的protum算法增强对缩写词的理解，在保证消歧义效果的同时，又增加了模型的训练和预测速度，促进大语言模型在轻量设备的上的部署和应用。
附图说明
12.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
13.图1示意性地示出了根据本技术一个实施例的基于预训练模型语义理解的多语言缩写消歧义算法的微调模型结构图。
14.图2示意性地示出了根据本技术一个实施例的基于预训练模型语义理解的多语言缩写消歧义算法的基于protum的缩写词语义消歧模型结构图。
具体实施方式
15.为使本技术的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本技术作进一步地详细说明。
16.在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本技术的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。
17.为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。
18.根据本技术的一个实施例，提供一种基于预训练模型语义理解的多语言缩写消歧义算法，如图1-2所示，该方案的具体阐述如下：
19.首先，需要针对缩写消歧义任务构造合适的方法设计为自然语言处理的基本下游任务。针对相同缩写代表的不同解释，本发明采取的是替换的方法，即将同一个缩写的不同解释替换语句中的缩写词构造为二分类的任务，正确的解释进行替换则标签为真，否则为假。
20.上述构造下游任务的方法天然的能够增加数据样本的数量，但是带来的缺点就是正负样本的分布不均。本发明在进行预测时也是同样的数据构造方法，将预测为真的那个替换解释作为结果输出，前后维持了样本构造的一致性，所以构造方法是合理的。
21.为了实现基于背景知识的学习和语义理解的缩写消歧义，本发明进行了一下几个步骤：
22.步骤s1:在特定领域知识语料上进行持续预训练，学习其文本的语义关系和背景知识；
23.步骤s2:将预训练好的模型迁徙到上述构造的二分类任务进行微调训练；
24.步骤s3:对于同一个缩写的不同解释替换后的句子在微调模型上的输出，通过投票的策略，将具有最大概率的句子的所替换的解释作为该缩写的预测解释；
25.在步骤s1当中，面向消歧义任务的语义特征学习分为数据构造、筛选和预训练：
26.原始的语句为x＝{w1,w2…wi-1
,ai,w
i+1
…
wn},wi表示语句的词语，ai表示句子中的缩写词。将该对应缩写词的解释插入到语句单中得到替换后的语句其中ei表示缩写的可能的解释的单词。筛选出那些使用正确解释进行替换的语句，因为错误的替换会造成语义学习的错误，故舍去。
27.得到替换后的句子按照一定的概率随机选取一定数量的词语进行遮盖，基于mlm预测遮盖处的正确词语。在此过程中，模型自主学习上下文知识(语义理解、背景知识)以达到正确预测被遮盖住的词汇。
28.进一步的，所示步骤s2包括：
29.经过步骤s1获得了充分学习背景知识和语义的持续预训练语言模型，基于该模型利用构造好的二分类任务数据进行微调。该过程旨在寻找目标函数其中y∈{ture,false},优化的目标为其中yi表示真实标签，而p(yi)表示模型预测的值。
30.为了充分利用预训练模型的语义信息，本发明取出模型的最后四层对消歧义模型进行增强，具体的做法是(以bert-base-uncased为例)：
31.取出其中i∈{9,10,11,12}，然后取hidden_states[i]的cls head即hidden_states[i][0]进行拼接，接着对拼接的结果进行池化操作，即
[0032]
average_pooler_output＝avg(concatenate([hidden_states[i][0]]))
[0033]
max_pooler_output＝max(concatenate([hidden_states[i][0]]))
[0034]
last_layer_average_pooler＝avg(concatenate([hidden_states[12]]))
[0035]
其中i∈[9,12],i∈z.
[0036]
将上诉对于hidden_states进行各项池化操作所得到的结果与模型本身的输出结果pooler_output拼接在一起，然后将拼接好的向量输入到分类器当中对结果进行预测，从而达到对于缩写词正确含义的识别效果。在测试集上进行推断时，设置一定的阈值，如果判断为true的概率大于阈值，则推断该替换词为该缩写词的正确释义。
[0037]
在上述微调技术方法基础上，本发明又结合了自然语言处理领域学术前沿的研究prompt tuning来对缩写词消歧义任务准确度进行增强。
[0038]
微调方法有两个缺点，第一是时间复杂度为o(n2),预训练和微调消耗的时间非常大，第二是面对多语言时需要多次复制模型造成空间冗余。这两点限制模型在应用场景中的部署。针对该问题，本发明继续提出protum，通过设计多个提示模板，在冻结预训练模型参数的情况下，基于持续预训练模型的先验知识通过遮盖语言模型(mlm)进行缩写消歧义。protum的结构示意图如图二所示。
[0039]
步骤s1:手工设计多个语言提示模板将原来文本x转化为ti，将缩写词消歧义转为模型预测mlm问题。
[0040]
步骤s2:在带有提示模板的文本数据上，对预训练模型进行持续预训练，同上述微调方法一致，目的是为了模型能够在特定领域上理解文本语义。同时该预训练的操作也能够让模型学习消歧义这个高级任务。
[0041]
步骤s3:鉴于目前的pt算法对于预训练模型hidden states的利用不够，本发明借助残差网络的思想，在模型当中加入残差单元，并设置了超参数s，k，其中s表示残差单元插入的位置，k表示残差单元跨越的隐藏层数。通过调节这两个超参数，能够控制对隐藏层的利用以及模型参数量的大小。
[0042][0043]
j∈[1,12],j∈z,
[0044]
表示预训练模型各层的hidden states，而表示当前残差单元的输入，ti表示加入提示模板后文本中的《mask》所在位置，fc表示线性层，relu表示在残差模块中的激活函数。
[0045]
步骤s4:通过直接把mask位置的hidden states直接送入分类器映射到标签，以替换现有pt方法把hidden states转为具体的词再利用verbalizer映射到标签。这样做的好处在与直接进行高纬空间分类，从而不受答案词的长度影响，并且提升模型的预测精度。
[0046]
人类的语言组成极其的复杂，随着各领域的发展，越来越多的名词术语被创造出来，为了方便记录，人们对很多词语进行了简写，这就造成了很多专业术语的简写在没有注释的情况下需要很丰富的知识背景才能进行解释。本发明基于现在前沿的预训练语言理解模型和生成模型对缩写词消歧义设计合适的nlp下游任务，来实现对于缩写词的真正含义的理解。本发明是首次将prompt tuning算法应用到缩写词的消歧义任务当中，并且提出了一种新的protum模型增强对于缩写词的解释。
[0047]
以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。