一种面向持续少样本学习的主动复杂关系抽取方法

1.本发明属于计算机自然语言处理领域，是一种面向持续少样本学习的主动复杂关系抽取方法。


背景技术：

2.随着互联网时代的快速发展，网络上每天都在产生海量的数据，如何从海量数据中快速地处理和提取有价值的信息成为了急需解决的问题。越来越多的研究者和从业者针对基于深度学习的自然语言处理技术实际应用存在的问题展开研究。
3.信息抽取是一种自然语言处理技术，用于从海量数据中获得有价值的信息，将非结构化或半结构化描述的自然语言文本转化成结构化数据，在领域知识图谱构建、知识问答系统等诸多应用场景中发挥着重要的作用。关系抽取是信息抽取重要的子任务，其任务定义为给定文本及文本中涉及的两个实体，判断是否存在关系以及存在何种关系。实体一般指的是真实世界的人物、地点、组织等，或是一种概念。例如，“东南大学坐落于南京”，其中“东南大学”为组织机构实体，“南京”为地点实体，实体之间存在关系“位于”，可由关系三元组表示为《东南大学，位于，南京》。
4.基于深度学习的关系抽取方法往往依赖于大量的高质量人工标注数据。而在实际应用场景中，高质量的标注数据需要大量的人力、物力，领域语料获取难度大，因此研究低资源场景下，有标注数据量受限的关系抽取方法意义重大。针对低资源场景下的关系抽取问题，即少样本关系抽取问题有两种解决思路，其一是从数据角度出发，完成有标注数据的扩增，具体方法包括远程监督学习方法、半监督学习方法、主动学习方法以及文本数据增强方法等。另一种方法是从模型角度出发，提高模型对于有限标注数据的利用效率，如度量学习、元学习等方法。
5.实际场景中，文本语义丰富，每个标注文本中包含多个实体、多个关系三元组，三元组之间可能存在实体重叠的复杂情况。在知识图谱的实际构建过程中，关系抽取任务往往会有新增的关系类别和相关数据加入，同时新增的关系有可能也是以少样本的形式出现的。因此，需要考虑到持续少样本学习场景下的复杂关系抽取问题。
6.现有的相关解决方法也有着各自的局限性，现有的从模型角度的少样本关系抽取方法多将任务简化为文本分类问题，即仅能解决文本中包含一个关系三元组的情况。从数据角度的少样本学习方法，如传统的主动学习方法，样本选择策略不具有领域泛化性，在持续新增关系的场景下，领域分布可能会漂移，无法有效地完成数据的积累，同时避免灾难性遗忘问题。而现有的持续学习工作未考虑少样本场景，相关工作主要聚焦于解决如何抛弃过多的历史数据并避免灾难性遗忘问题，忽略了获取标注数据的困难，新增关系类别的标注数据量可能较少。
7.综上，现有技术和实际应用场景中的情况依然有着相当的差距，仍面临着许多挑战。 基于深度学习的相关研究在一定程度上解决了复杂关系抽取问题，但均涉及大量参数，并且需要大量有标注数据的支持，未考虑到持续少样本场景。因此，将基于深度学习的
复杂关系抽取方法与从数据角度的少样本学习、持续学习相结合是本发明的解决思路。


技术实现要素：

8.在知识图谱的实际构建过程中，关系抽取任务往往会有新增的关系类别和相关数据加入，同时新增的关系有可能也是以少样本的形式出现的，本发明考虑到持续少样本学习场景下的复杂关系抽取问题，即文本中包含多个实体、多个关系三元组，三元组之间可能存在实体重叠的复杂情况，提出了一种面向持续少样本学习的主动复杂关系抽取方法。在持续少样本场景下，本发明从数据角度的少样本学习出发，设计了一种面向持续少样本学习的主动复杂关系抽取方法。面向持续少样本学习的主动复杂关系抽取考虑结合无标注数据完成数据的累积，并且充分利用后增的标注数据，以弥补数据漂移带来的影响、提升模型的效果；该方法基于模拟学习的思想，通过学习一个专家决策网络去模拟专家策略的执行过程，并创新的提出了一种基于动态训练策略的训练机制，提高了主动学习的泛化能力，完成了数据的累积和模型效果的提升，降低了模型对于有标注样本的需求量；此外，在每个任务结束后结合持续学习策略，缓解了图谱构建场景中持续新增关系导致的一系列问题。从而使得实际应用中，少样本场景下的数据累积和关系扩增问题得到有效的解决。
9.为了实现上述目的，本发明采用的技术方案如下，一种面向持续少样本学习的主动复杂关系抽取方法，主要步骤包括：步骤1）获得持续学习的任务序列，并完成模型、缓存空间的初始化；步骤2）计算当前任务的采样轮次，分批采样，初始化已揭露数据集；步骤3）基于动态训练策略的训练机制。对于当前任务中每批次数据，抛掷硬币两次。若第一次抛掷结果为正面，则执行训练阶段流程，即步骤4）至步骤6）；若第一次抛掷结果为反面，则执行步骤7）；步骤4）若第一次抛掷结果为正面，则执行训练阶段流程，即步骤4）至步骤6），划分数据批次，将当前第个批次中采样的有标注数据加入到已揭露数据集，训练复杂关系抽取模型，并收集当前的模型状态用于训练专家决策网络；步骤5）若第二次抛掷结果为正面，则选择专家策略，根据待评估数据的损失函数得到有价值的标注样本，利用步骤4）的模型状态和步骤5）的专家策略选择结果，重训练专家决策网络；步骤6）若第二次抛掷结果为反面，则直接通过专家决策网络得到预测分数最高的样本加入到已揭露的数据集；步骤7）若第一次抛掷的结果为反面，则执行测试阶段流程，将人工标注后的有标注数据加入到当前任务的已揭露数据集；步骤8）根据步骤6）或步骤7）得到的扩充后的已揭露数据集，重训练复杂关系抽取模型；步骤9）重复执行步骤3）至步骤8），运行完当前任务的所有批次，将已揭露数据集加入到记忆集合中；步骤10）判断是否有后续任务，结合持续学习策略完成持续新增关系的学习，若有
后续任务，则结合基于无监督聚类的持续学习策略从中采样样本与新任务合并训练，执行步骤2）至步骤8）；若无，则结束。
10.具体如下：步骤1)获得持续学习的任务序列，并完成模型、缓存空间的初始化，其中，任务的定义为包含一组新增关系的标注数据集和来自相同领域的无标注数据集，需要初始化的内容包括：初始化记忆集合、专家决策集合为空集，随机初始化专家决策网络、复杂关系抽取模型。
11.步骤2)计算当前任务的采样轮次，分批采样，初始化已揭露数据集，具体内容如下：每个任务中包含有标注数据、无标注数据和待评估数据，其中，无标注数据是所有任务共享的；2-1）计算当前任务数据集的采样轮次，从有标注数据中划分出来部分数据隐藏标签模拟训练阶段的无标注数据，分别从当前任务中的有标签数据和隐藏标签的无标注数据中分批次采样；2-2）初始化模型已经见过的数据集，即初始化当前任务已揭露的数据集。
12.步骤3)基于动态训练策略的训练机制，第一次抛掷结果决定了当前轮次选择训练阶段或测试阶段，若第一次抛掷结果为正面，则执行步骤4）至步骤6），反之则执行步骤7）；第二次抛掷结果决定了训练阶段中，选择步骤5）专家策略或步骤6）专家决策网络。
13.步骤4)若第一次抛掷结果为正面，则执行训练阶段流程，并完成复杂关系抽取模型的初步训练、模型状态的收集，具体步骤如下：4-1）将当前第个批次中采样的有标注数据加入到已揭露数据集，对复杂关系抽取模型进行训练；4-2）从隐藏标签的无标注数据中采样k条样本作为无标注样本池；4-3）收集当前的模型状态，包括有标注数据、无标注样本池、复杂关系抽取模型当前的参数，。
14.步骤5)若第二次抛掷结果为正面，则选择专家策略，并重训练专家决策网络，具体分为两步：5-1）将复杂关系抽取模型在步骤4）采样的k条隐藏标签的无标注数据上分别向前训练一步，得到k个子模型，在待评估数据上计算损失函数，选择使得损失函数降低最多的样本；5-2）将模型的状态和选择的结果保存至专家决策集合，作为专家决策网络的训练数据，重训练专家决策网络。
15.步骤7）若第一次抛掷的结果为反面，则执行测试阶段流程，具体如下：7-1）从真正的无标签数据中采样k条数据，收集当前的模型状态；
7-2）通过专家决策网络的到预测分数最高的样本，交给标注者人工标注；7-3）将标注后的有标注数据加入到当前任务的已揭露数据集。
16.步骤10）判断是否有后续任务，结合基于无监督聚类的持续学习策略完成持续新增关系的学习，持续学习策略具体步骤如下：10-1）采用基于k-means的方法，从记忆集合中选择历史任务有标注数据，即选择距离每个簇心最近的实例作为代表性实例；10-2）将代表性实例和新任务中的有标注数据合并进行训练。
17.步骤5-1）中，损失函数计算公式如下：；其中，为复杂关系抽取模型的参数，为复杂关系抽取模型，为当前任务的待评估数据集，为复杂关系抽取模型对于样本的预测结果，为样本的真实标签；模型的样本选择结果公式如下：；其中，为候选样本集合，表示复杂关系抽取模型在当前候选样本上训练一步后得到的模型，表示模型在当前任务的待评估数据上的损失函数。
18.步骤6）若第二次抛掷结果为反面，则直接通过专家决策网络得到预测分数最高的样本加入到已揭露的数据集，模型的样本选择结果公式如下：；其中，表示专家决策网络对候选样本的预测分数，表示当前复杂关系抽取模型的状态，表示从隐藏标签的无标注数据中采样k条样本得到的无标注样本池。
19.相对于现有技术，本发明的优点如下：1、现有的从模型角度的少样本方法将少样本关系抽取任务简化为文本分类任务，无法解决复杂关系抽取问题。本发明将从数据角度的少样本学习方法与基于深度学习的复杂关系抽取模型相结合。从数据角度完成有标注样本的扩充，从而解决少样本复杂关系抽取任务。
20.2、本发明研究了一种区别于传统基于规则的方法的主动学习策略，通过学习专家决策网络模拟专家策略的过程，弥补了持续学习场景中新增关系与原有数据的差距，以及基于规则的传统主动学习方法与模型实际表现之间的差距。
21.3、本发明设计了一种动态训练策略，保证模型在预测阶段也能持续学习和更新专家决策网络，提高了本发明主动学习方法的领域泛化性。
22.4、本发明缓解了图谱构建场景中持续新增关系导致的一系列问题。在知识图谱构建和关系抽取过程中，往往是一个持续的过程；本发明对于增量的关系类别与数据处理和学习，在每个任务结束后结合持续学习策略，避免了每次新增数据后使用全部数据重训练，降低了模型训练的开销；或单独训练新增数据造成的灾难性遗忘问题。
23.5.本发明克服了现有的主动学习技术与持续学习技术的局限性。其局限性在于，传统主动学习方法的样本选择策略不具有领域泛化性，在持续新增关系的场景下，领域分布可能会漂移，无法有效地完成数据的积累，同时避免灾难性遗忘问题。而现有的持续学习工作未考虑少样本场景，相关工作主要聚焦于解决如何抛弃过多的历史数据并避免灾难性遗忘问题，忽略了获取标注数据的困难，新增关系类别的标注数据量可能较少。本发明将两种技术结合考虑，从而使得实际应用中，少样本场景下的数据累积和关系扩增问题得到有效的解决。
附图说明
24.图1是本发明实施例中算法框架示意图；图2是本发明实施例中专家决策网络结构图；图3是本发明实施例中复杂关系抽取模型结构图；图4是本发明实施例中的主动学习策略训练阶段示意图；图5是本发明实施例中的主动学习策略测试阶段示意图。
具体实施方式
25.下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。算法框架示意图如图1所示。
26.实施例1：一种面向持续少样本学习的主动复杂关系抽取方法，所述方法包括以下步骤：步骤1）获得持续学习的任务序列。初始化记忆集合为空集、专家决策集合为空集。随机初始化专家决策网络、复杂关系抽取模型；其中，记忆集合用于保存历史任务的有标注数据，专家决策集合用于保存训练专家决策网络的专家策略。
27.专家决策网络的结构如图2所示，为三层前馈神经网络，其输入为模型当前的状态，包含三个部分：（i）当前待考虑的无标注数据文本固定维度表示（ii）无标签数据集文本的固定维度表示，以及(iii) 有标注数据文本的固定维度表示和标签的表示；输出为模型预测的分数，选择预测分数最高的样本交给人工标注。复杂关系抽取模型采用简单的模型结构，编码器bert结合全连接层进行复杂关系抽取。如图3所示，其输入为文本及文本中的实体，输出为实体之间存在的关系。该模型使用预训练的bert模型作为编码器，将输入的文本送入bert得到文本的向量表示。取实体文本片段对应位置向量表示，通过最大池化获得固定维度的实体向量表示，融合上下文信息，送入全连接分类层，经过激活函数层获得预测结果，模型的损失函数为关系分类二元交叉熵损失，公式如下：
；其中，表示关系集合内部元素的个数，表示预测的关系类别，表示预测为的概率。考虑到后续系统开发的可扩展性和可维护性，该模块可替换为其他前沿关系抽取模型。
28.步骤2）每个任务中包含有标注数据、无标注数据和待评估数据，其中，无标注数据是所有任务共享的。计算当前任务的采样轮次，分批采样，初始化已揭露数据集。
29.2-1）计算当前任务数据集的采样轮次，从有标注数据中划分出来部分数据隐藏标签模拟训练阶段的无标注数据，分别从当前任务中的有标签数据和隐藏标签的无标注数据中分批次采样；2-2）初始化模型已经见过的数据集，即初始化当前任务已揭露的数据集。
30.步骤3）基于动态训练策略的训练机制。
31.由于测试阶段的复杂关系抽取模型，其参数处于动态的更新中。为了保证模型的有效性，随着测试阶段复杂关系抽取模型的动态变化，专家决策网络也应持续地进行学习更新，因此设计了抛硬币机制，其本质是一个考虑训练轮次、批次、当前任务下标的概率计算公式，当概率大于设定的阈值时，规定为正面，反之则规定为反面。硬币机制定义为：；其中，参数为动态变化的阈值，为当前任务的采样训练轮次，为当前任务在持续学习过程中的任务下标，为生成的随机数，表示初始阈值，为权重参数，且。通过动态调整阈值实现动态训练，随着任务下标数的递增，判定硬币为正面的阈值逐渐降低，倾向于选择训练流程；随着当前任务的采样轮次数的递增，判定硬币为正面的阈值逐渐升高，倾向于选择测试流程。
32.对于当前任务中每批次数据，抛掷硬币两次，第一次抛掷结果决定了当前轮次选择训练阶段或测试阶段；若第一次抛掷结果为正面，则执行步骤4）至步骤6），流程示意图如图4所示，反之则执行步骤7），流程示意图如图5所示；第二次抛掷结果决定了训练阶段中，选择步骤5）专家策略或步骤6）专家决策网络。
33.步骤4)若第一次抛掷结果为正面，则执行训练阶段流程，并完成复杂关系抽取模型的初步训练、模型状态的收集，具体步骤如下：4-1）将当前第个批次中采样的有标注数据加入到已揭露数据集，对复杂关系抽取模型进行训练；4-2）从隐藏标签的无标注数据中采样k条样本作为无标注样本池；
4-3）收集当前的模型状态，包括有标注数据、无标注样本池、复杂关系抽取模型当前的参数，；步骤5)若第二次抛掷结果为正面，则选择专家策略，利用步骤4）的模型状态和步骤5）的专家策略选择结果，重训练专家决策网络。具体可分为两步：5-1）将复杂关系抽取模型在步骤4）采样的k条隐藏标签的无标注数据上分别向前训练一步，得到k个子模型，在待评估数据上计算损失函数，选择使得损失函数降低最多的样本，损失函数计算公式如下：；其中，为复杂关系抽取模型的参数，为复杂关系抽取模型，为当前任务的待评估数据集，为复杂关系抽取模型对于样本的预测结果，为样本的真实标签；模型的样本选择结果公式如下：；其中，为候选样本集合，表示复杂关系抽取模型在当前候选样本上训练一步后得到的模型，表示模型在当前任务的待评估数据上的损失函数。
34.5-2）将模型的状态和选择的结果保存至专家决策集合，作为专家决策网络的训练数据，重训练专家决策网络。
35.为了训练专家决策网络，将偏好分数转化为概率，并优化参数，使专家规定的动作的概率最大化。更具体地说，为收集到的状态与专家的指定动作对。设为是池中处于未标记状态的数据点的集合，表示模型的状态，即专家决策网络的输入，表示专家在集合中选择的数据，表示专家决策网络。则训练目标为，其中：；步骤6）若第二次抛掷结果为反面，则直接通过专家决策网络得到预测分数最高的样本加入到已揭露的数据集。模型的样本选择结果公式如下：；其中，表示专家决策网络对候选样本的预测分数，表示当前复杂关系抽取模型的状态（如对于某条固定文本实例的当前时刻的向量表示，可用于代表模型当前的状态）。
36.步骤7）若第一次抛掷的结果为反面，则执行测试阶段流程，具体如下：7-1）从真正的无标签数据中采样k条数据，收集当前的模型状态；7-2）通过专家决策网络的到预测分数最高的样本，交给标注者人工标注，样本选择结果公式如下：；7-3）将标注后的有标注数据加入到当前任务的已揭露数据集。
37.步骤8）根据步骤6）或步骤7）得到的扩充后的已揭露数据集，重训练复杂关系抽取模型。
38.步骤9）重复执行步骤3）至步骤8），运行完当前任务的所有批次，将已揭露数据集加入到记忆集合中。
39.步骤10）判断是否有后续任务，结合持续学习策略完成持续新增关系的学习。若有后续任务，则结合基于无监督聚类的持续学习策略从中采样代表性实例样本与新任务合并训练，执行步骤2）至步骤8）；若无，则结束。
40.其中，历史任务中的代表性实例选择采用基于k-means的方法，可分为以下步骤：1）随机选取k个向量作为初始聚类簇心k，k为超参数，即需要保留的历史任务代表性实例数目；2）计算每个向量和各簇心向量之间的距离，并将每个向量分配给最接近它的簇心；3）计算每个簇中所有向量的算术平均作为新的簇心；4）重复步骤2和步骤3，直到聚类的簇心不再发生变化。
41.值得注意的是，基于动态训练策略，若选择训练阶段流程，则使用有标注数据和待评估数据训练复杂关系抽取模型和专家决策网络；若选择测试阶段流程，则使用无标注数据，但仅复杂关系抽取模型进行学习和参数更新，专家决策网络在此阶段不参与训练更新，仅做预测。
42.本实施例使用了如下指标进行评估：不同于监督学习关系抽取任务，衡量持续学习方法对灾难性遗忘问题的处理能力，通常使用准确率（accuracy）作为性能指标。公式如下：其中，表示模型在个任务上学习后，在第个任务中测试集上的准确率。
43.此外，为了衡量本方法在抗灾难性遗忘问题上的表现，本文采用了反向传播特性系数指标（backward transfer，简称bwt），计算公式如下：；本发明结合从数据角度的少样本学习，通过无标注数据完成数据的累积，并且充
分利用后增的标注数据，以弥补数据漂移带来的影响、提升模型的效果；并创新的提出了基于专家决策网络的主动学习方法，让神经网络“学习主动学习”，并采用一种基于动态训练策略的训练机制，提高了主动学习的泛化能力，完成了数据的累积和模型效果的提升，降低了模型对于有标注样本的需求量；此外，在每个任务结束后结合基于无监督聚类的持续学习策略，缓解了图谱构建场景中持续新增关系导致的一系列问题。从而使得实际应用中，少样本场景下的数据累积和关系扩增问题得到有效的解决。
44.需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。