基于领域知识图谱的数据增强方法、装置、设备及介质与流程

1.本技术涉及知识图谱技术领域，尤其涉及一种基于领域知识图谱的数据增强方法、装置、电子设备及存储介质。


背景技术：

2.自然语言处理要求机器对人类语言进行理解和分析。有效理解人类语言和意图是其下游产业的基础。例如在保险行业，存在许多需要理解人类语言的场景，如分类业务员与客户之间对话的意图。这类任务中，往往存在训练机器使用的样本少、质量差等问题，影响机器的学习效果。数据增强即基于现有样本，通过特定算法对样本数据进行拓展的方法，可以有效解决上述机器学习中存在的问题。但是目前主流的数据增强方法存在以下问题：目前主流的数据增强系统多是使用eda数据增强方法对数据集进行增强，例如随机对文本进行替换、重复、添加和删除。此类方法的数据增强效果有限，不仅没有针对分类问题进行优化，许多eda方法增强还存在产生的样本质量低等问题，常常严重影响模型的准确性。尤其是重复、替换等eda方法，直接通过随机选取的方式进行文本编辑，很容易导致删减、改动文本中的重要信息，打乱、干扰文本的叙述语义逻辑等问题，进而使得采用此类增强文本进行模型训练时存在训练效果差、效率低等问题。


技术实现要素：

3.本技术实施例的主要目的在于提出一种基于领域知识图谱的数据增强方法、装置、电子设备及存储介质，旨在提高文本数据增强的语义准确性。
4.为实现上述目的，本技术实施例的第一方面提出了一种基于领域知识图谱的数据增强方法，所述方法包括：
5.将待增强的文本数据进行分词，得到多个词汇；
6.将所述多个词汇划分为图谱词汇和非图谱词汇，其中，所述图谱词汇表征存在于预设的领域知识图谱中的词汇，所述非图谱词汇表征不存在于预设的领域知识图谱中的词汇；
7.对各个所述图谱词汇进行第一增强处理，其中，所述第一增强处理包括替换处理，所述替换处理包括：将满足第一预设被替换条件的所述图谱词汇作为待替换图谱词汇，将未满足第一预设被替换条件的所述图谱词汇作为保留的图谱词汇；对于所述待替换图谱词汇，从所述领域知识图谱中选取替换用图谱词汇，使用所述替换用图谱词汇替换所述待替换图谱词汇，得到替换后的图谱词汇；
8.对各个所述非图谱词汇进行第二增强处理，所述第二增强处理包括：采用eda算法对所述非图谱词汇进行数据增强；
9.基于所述第一增强处理和所述第二增强处理得到增强文本数据。
10.根据本发明一些实施例提供的数据增强方法，所述第一预设被替换条件为所述图谱词汇的相似概率大于预设概率阈值；所述图谱词汇的数量为n个，n为正整数；
11.所述图谱词汇的相似概率通过如下方法获得：
12.基于n个所述图谱词汇和m个预设标签文本，构建n*m的第一相似度矩阵，所述第一相似度矩阵中的元素v
ij
表征第i个图谱词汇与第j个预设标签文本的相似度值，i为1至n之中的任意一个正整数，j为1至m之中的任意一个正整数；
13.采用第一归一化指数函数对所述第一相似度矩阵中的元素进行处理，得到各个所述图谱词汇的相似概率。
14.根据本发明一些实施例提供的数据增强方法，所述采用第一归一化指数函数对所述第一相似度矩阵中的元素进行处理，得到各个所述图谱词汇的相似概率，包括：
15.针对所述第一相似度矩阵中的每个元素，分别采用第一归一化指数函数计算所述元素对应的第一归一化值；
16.针对每个所述图谱词汇，获取与所述图谱词汇对应的元素的第一归一化值，在去除最大的第一归一化值之后，基于剩余的第一归一化值确定第二归一化值，并将所述第二归一化值作为所述图谱词汇的指数参数；
17.采用第一归一化指数函数对所述n个图谱词汇的指数参数进行处理，得到每个所述图谱词汇对应的相似概率。
18.根据本发明一些实施例提供的数据增强方法，所述从所述领域知识图谱中选取替换用图谱词汇，包括：
19.从所述领域知识图谱中确定与所述待替换图谱词汇对应的目标上级实体；
20.从目标上级实体的下级词汇中随机选取出所述替换用图谱词汇。
21.根据本发明一些实施例提供的数据增强方法，所述增强文本数据包括扩充数据；所述第一增强处理还包括数据扩充处理，所述数据扩充处理包括：
22.获取待扩充图谱词汇，所述待扩充图谱词汇包括所述保留的图谱词汇和所述替换后的图谱词汇；
23.针对每个所述待扩充图谱词汇，从所述领域知识图谱中确定与所述待扩充图谱词汇对应的关系元组；
24.将各个所述待扩充图谱词汇对应的关系元组作为扩充数据。
25.根据本发明一些实施例提供的数据增强方法，所述非图谱词汇的数量为k个，k为正整数；所述采用eda算法对所述非图谱词汇进行数据增强，包括：
26.基于k个所述非图谱词汇和m个预设标签文本，构建k*m的第二相似度矩阵，所述第二相似度矩阵中的元素w
pj
表征第p个非图谱词汇与第j个预设标签文本的相似度值，p为1至k之中的任意一个正整数，j为1至m之中的任意一个正整数；
27.采用第二归一化指数函数对所述第二相似度矩阵中的元素进行处理，得到各个所述非图谱词汇的相似概率；
28.采用eda算法对满足第二预设被替换条件的所述非图谱词汇进行数据增强，其中，所述第二预设被替换条件为所述非图谱词汇的相似概率小于等于预设概率阈值。
29.根据本发明一些实施例提供的数据增强方法，所述采用第二归一化指数函数对所述第二相似度矩阵中的元素进行处理，得到各个所述非图谱词汇的相似概率，包括：
30.针对每个所述非图谱词汇，获取与所述非图谱词汇对应的元素的平均值，采用第二归一化指数函数对所述平均值进行处理，得到所述非图谱词汇的相似概率。
31.为实现上述目的，本技术实施例的第二方面提出了一种基于领域知识图谱的数据增强装置，包括：
32.分词模块，用于将待增强的文本数据进行分词，得到多个词汇；
33.划分模块，用于将所述多个词汇划分为图谱词汇和非图谱词汇，其中，所述图谱词汇表征存在于预设的领域知识图谱中的词汇，所述非图谱词汇表征不存在于预设的领域知识图谱中的词汇；
34.第一增强处理模块，用于对各个所述图谱词汇进行第一增强处理，其中，所述第一增强处理包括替换处理，所述替换处理包括：将满足第一预设被替换条件的所述图谱词汇作为待替换图谱词汇，将未满足第一预设被替换条件的所述图谱词汇作为保留的图谱词汇；对于所述待替换图谱词汇，从所述领域知识图谱中选取替换用图谱词汇，使用所述替换用图谱词汇替换所述待替换图谱词汇，得到替换后的图谱词汇；
35.第二增强处理模块，用于对各个所述非图谱词汇进行第二增强处理，所述第二增强处理包括：采用eda算法对所述非图谱词汇进行数据增强；
36.结果获取模块，用于基于所述第一增强处理和所述第二增强处理得到增强文本数据。
37.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的方法。
38.为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
39.本技术提出一种基于领域知识图谱的数据增强方法、装置、电子设备及存储介质，本技术实施例将待增强的文本数据中的词汇划分为图谱词汇和非图谱词汇，然后针对图谱词汇和非图谱词汇分别采取不同的数据增强方法，其中，所述图谱词汇表征存在于预设的领域知识图谱中的词汇，所述非图谱词汇表征不存在于预设的领域知识图谱中的词汇。对于非图谱词汇采用传统的eda方法进行数据增强。对于图谱词汇，本技术首先判断图谱词汇是否满足第一预设被替换条件，然后将满足第一预设被替换条件的所述图谱词汇作为待替换图谱词汇，将未满足第一预设被替换条件的所述图谱词汇作为保留的图谱词汇；对于所述待替换图谱词汇，从所述领域知识图谱中选取替换用图谱词汇，使用所述替换用图谱词汇替换所述待替换图谱词汇，得到替换后的图谱词汇。如此，基于领域知识图谱实现对图谱词汇进行替换，有效避免与行业知识有关联的图谱词汇替换为其他低相关度的词汇，而无法有效涵盖行业话术和行业产品特性，有效减少样本文本增强时出现的信息丢失、语义丢失等问题，保证了增强后样本文本的有效性。在使用通过本技术的数据增强方法得到的增强文本数据进行训练，可以充分利用预先学习的知识，在样本数量较少的情况下也可以做到比较好的训练效果，提高机器学习的效率。
附图说明
40.图1是本技术实施例提供的一种基于领域知识图谱的数据增强方法的流程示意
图；
41.图2是本技术的一个实施例提供的第一增强处理的流程示意图；
42.图3是图2中的步骤s131的子步骤流程示意图；
43.图4是本技术的一个实施例提供的获取图谱词汇的相似概率的流程示意图；
44.图5是图4中的步骤s320的子步骤流程示意图；
45.图6是图3中的步骤s230的子步骤流程示意图；
46.图7a是本技术的另一个实施例提供的第一增强处理的流程示意图；
47.图7b是图7a中的步骤s132的子步骤结构示意图；
48.图8是图1中的步骤s140的子步骤流程示意图；
49.图9是本技术的一个具体实施例提供的数据增强方法的流程示意图；
50.图10是本技术实施例提供的基于领域知识图谱的数据增强装置的结构示意图；
51.图11是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
53.需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
54.首先，对本技术中涉及的若干名词进行解析：
55.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
56.机器学习：机器学习是研究怎样使用计算机模拟或实现人类学习活动的科学，是人工智能中最具智能特征，最前沿的研究领域之一。自20世纪80年代以来，机器学习作为实现人工智能的途径，在人工智能界引起了广泛的兴趣，特别是近十几年来，机器学习领域的研究工作发展很快，它已成为人工智能的重要课题之一。机器学习不仅在基于知识的系统中得到应用，而且在自然语言理解、非单调推理、机器视觉、模式识别等许多领域也得到了广泛应用。一个系统是否具有学习能力已成为是否具有“智能”的一个标志。机器学习的研究主要分为两类研究方向：第一类是传统机器学习的研究，该类研究主要是研究学习机制，注重探索模拟人的学习机制；第二类是大数据环境下机器学习的研究，该类研究主要是研究如何有效利用信息，注重从巨量数据中获取隐藏的、有效的、可理解的知识。
57.自然语言处理(natural language processing,nlp)技术：自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言
进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文ocr等方面。
58.数据增强技术，(data augmentation)是一种通过利用算法来扩展训练数据的技术。人工智能三要素之一为数据，但获取大量数据成本高，但数据又是提高模型精度和泛化效果的重要因素。当数据量不足时，模型很容易过拟合，精度也无法继续提升，因此数据增强技术应运而生：利用算法，自动增强训练数据。目前常用的文本数据增强方法有：(1)同义词替换，去停用词；(2)随机插入，随机删除；(3)随机打乱句子的顺序(对不注重语义信息的文本可能有用)；(4)随机遮掩(mask)掉原始文本中的某些词；(5)回译/回翻译：指的是将目标语言翻译成另外一种语言再翻译回来的一种方法。
59.eda技术(easy data augmentation techniques)：eda是一种文本数据增强技术，其主要包括如下几种数据增强手段：(1)同义词替换(synonyms replace，sr)：不考虑stopwords，在句子中随机抽取n个词，然后从同义词词典中随机抽取同义词，并进行替换；(2)随机插入(randomly insert，ri)：不考虑stopwords，随机抽取一个词，然后在该词的同义词集合中随机选择一个，插入原句子中的随机位置。该过程可以重复n次；(3)随机交换(randomly swap，rs)：句子中，随机选择两个词，位置交换。该过程可以重复n次；(4)随机删除(randomly delete，rd)：句子中的每个词，以概率p随机删除。
60.知识图谱(knowledge graph)：知识是人类智能的象征，知识对人工智能而言有着同样重要的意义。知识表示、获取和应用一直是人工智能的重要研究方向，知识图谱则是随着人工智能的历史逐渐发展和演变出的一个概念。知识图谱是一种用图模型来描述知识和建模世界万物之间的关联关系的技术方法，由节点和边组成，节点表示实体(entity)、概念(concept)或属性值(value)；边表示实体的属性(property)或实体间的关系(relation)，三元组是知识图谱的基本表示形式。在逻辑上可将知识图谱分为模式层和数据层，模式层一般指schema，是知识图谱的概念模型和逻辑基础，是数据层的规范约束；数据层主要由一系列的事实组成，主要基于模式层定义的模型构建数据，以三元组形式存储。关于知识图谱的分类，按领域划分是行业较为常见的一种分类方法，可分为通用知识图谱和领域知识图谱。知识图谱在语义搜索和知识问答具有广泛的应用前景。
61.归一化：把数据变成(0，1)或者(-1,1)之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。
62.自然语言处理要求机器对人类语言进行理解和分析。有效理解人类语言和意图是其下游产业的基础。例如在保险行业，存在许多需要理解人类语言的场景，如分类业务员与客户之间对话的意图。这类任务中，往往存在训练机器使用的样本少、质量差等问题，影响机器的学习效果。数据增强即基于现有样本，通过特定算法对样本数据进行拓展的方法，可以有效解决上述机器学习中存在的问题。但是目前主流的数据增强方法存在以下问题：目
前主流的数据增强系统多是使用eda数据增强方法对数据集进行增强，例如随机对文本进行替换、重复、添加和删除。此类方法的数据增强效果有限，不仅没有针对分类问题进行优化，许多eda方法增强还存在产生的样本质量低等问题，常常严重影响模型的准确性。尤其是重复、替换等eda方法，直接通过随机选取的方式进行文本编辑，很容易导致删减、改动文本中的重要信息，打乱、干扰文本的叙述语义逻辑等问题，进而使得采用此类增强文本进行模型训练时存在训练效果差、效率低等问题。
63.另外，相关技术主要是通用领域的文本数据增强方法，而未考虑具体行业领域的特性。同义词替换、回译等业界常用数据增强方法容易将行业术语替换为其他低相关度的词汇，从而无法有效涵盖行业话术和产品特性。使用缺少行业领域特性的增强文本样本进行模型训练，会导致模型无法有效学习行业相关知识，从而使得训练效率降低、训练效果受限。
64.基于此，本技术实施例提供了一种基于领域知识图谱的数据增强方法、装置、电子设备及存储介质，旨在提高文本数据增强的语义准确性，使得增强文本更加贴近行业领域的知识。
65.本技术实施例提供的一种基于领域知识图谱的数据增强方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的基于领域知识图谱的数据增强方法。
66.本技术实施例提供的数据增强方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集合群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现数据增强方法的应用等，但并不局限于以上形式。
67.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
68.请参见图1，图1示出了本技术实施例提供的一种基于领域知识图谱的数据增强方法的流程示意图。如图1所示，该数据增强方法包括但不限于以下步骤s110-s150。
69.s110，将待增强的文本数据进行分词，得到多个词汇。
70.具体地，可以将待增强的文本数据输入至分词工具中，通过分词工具对待增强的文本数据进行分词，输出分词结果，该分词结果包含了多个分词所得的词汇。示例性的，分词工具可以采用jieba、snownlp、thulac、nlpir等工具。
71.s120，将所述多个词汇划分为图谱词汇和非图谱词汇。
72.其中，本技术实施例描述的所述图谱词汇表征存在于预设的领域知识图谱中的词汇，本技术实施例描述的所述非图谱词汇表征不存在于预设的领域知识图谱中的词汇。这里的领域知识图谱为预先构建的。
73.可以理解的是，本技术实施例为了使数据增强结果能够更加符合行业领域的知识，因此采用领域知识图谱作为数据增强用的知识图谱。例如，当前需要对保险领域的问答系统模型进行预训练，训练前需要对训练样本进行文本数据增强，则可基于保险领域的知识图谱实施本技术实施例提供的数据增强方法。
74.s130，对各个所述图谱词汇进行第一增强处理。
75.作为示例，请参见图2，所述第一增强处理包括如下步骤：s131,替换处理。
76.作为示例，请参见图3，所述步骤s131中的替换处理可以包括如下子步骤：
77.s210，针对各个所述图谱词汇，分别判断所述图谱词汇是否满足第一预设被替换条件；
78.s220，将满足第一预设被替换条件的所述图谱词汇作为待替换图谱词汇，将未满足第一预设被替换条件的所述图谱词汇作为保留的图谱词汇；
79.s230，对于所述待替换图谱词汇，从所述领域知识图谱中选取替换用图谱词汇，使用所述替换用图谱词汇替换所述待替换图谱词汇，得到替换后的图谱词汇。
80.在一种可能的实现方式中，步骤s210中的判断所述图谱词汇是否满足第一预设被替换条件的过程如下：
81.判断所述图谱词汇的相似概率是否大于预设概率阈值，若大于预设概率阈值，则认为所述图谱词汇满足第一预设被替换条件；若小于或等于预设概率阈值，则认为所述图谱词汇不满足第一预设被替换条件。也就是说，步骤s210中的所述第一预设被替换条件为所述图谱词汇的相似概率大于预设概率阈值。
82.请参见图4，作为示例，上面描述的图谱词汇的相似概率可以通过如下步骤获得：
83.s310，基于图谱词汇和预设标签文本，构建第一相似度矩阵。这里假定所述图谱词汇的数量为n个，预设标签文本的数量为m个，n、m均为正整数，则这里构建的第一相似度矩阵的维度为n*m。
84.该n*m第一相似度矩阵中的元素v
ij
表征第i个图谱词汇与第j个预设标签文本的相似度值，i为1至n之中的任意一个正整数，j为1至m之中的任意一个正整数。
85.这里，标签文本是预先设置的，相似度的计算可以通过如下四种方式实现：
86.第一种，基于字面匹配的方法，利用诸如tf-idf、bm25或者simhash算法，计算高相似度词与标签文本之间的字面距离，根据字面距离确定相似度值；
87.第二种，基于语义匹配的方法，具体可以通过lsa类模型，将高相似度词和标签文本分别映射到主题空间，比较两个文本的主题相似性，进而确定相似度值；
88.第三种，基于深度学习的文本匹配模型，输出高相似度词和标签文本的相似度值；
89.第四种，基于文本距离的方法(计算文本向量间的距离)，具体可通过计算高相似度词和标签文本的欧几里德距离、曼哈顿距离、切比雪夫距离、汉明距离、余弦距离中的任意一种，确定高相似度词和标签文本的相似度值。
90.s320，采用第一归一化指数函数对所述第一相似度矩阵中的元素进行处理，得到各个所述图谱词汇的相似概率。
91.请参见图5，作为示例，在步骤s320中，所述采用第一归一化指数函数对所述第一相似度矩阵中的元素进行处理，得到各个所述图谱词汇的相似概率，具体可以包括如下步骤：
92.s321，针对所述第一相似度矩阵中的每个元素，分别采用第一归一化指数函数计算所述元素对应的第一归一化值。
93.作为示例，这里的第一归一化指数函数可以采用softmax函数。
[0094][0095]
上述公式(1)中，softmax(v
ij
)表示第一相似度矩阵中的元素v
ij
对应的第一归一化值；表示第一相似度矩阵中的元素v
ij
(即第i个图谱词汇与第j个预设标签文本的相似度值)的指数；表示v
i1
、v
i2
、
……
、v
im
的指数的和。
[0096]
该步骤通过采用第一归一化函数，以将相似度值进行简化，将相似度值映射到0到1之间，保证了接下来步骤获得的数值转化为总数的百分比，进而得到概率；并且采用，采用第一归一化函数处理相似度值，可以将数据处理为非负值，保证获得的概率为非负数概率。
[0097]
s322，针对每个所述图谱词汇，获取与所述图谱词汇对应的元素的第一归一化值，在去除最大的第一归一化值之后，基于剩余的第一归一化值确定第二归一化值，并将所述第二归一化值作为所述图谱词汇的指数参数；
[0098]
mi＝1-max(softmax(v
ij
))，j＝(1，2，
……
，m)；
ꢀꢀꢀꢀꢀ
(2)
[0099]
上述公式(2)中，mi表征去除图谱词汇对应的最大第一归一化值得到的第二归一化值。
[0100]
该步骤通过此方式剔除最高概率的图谱词汇，保证了重要信息的相对完整。最高概率的图谱词汇与标签文本极为相似，根据本技术方案而言，相对于其他高概率的图谱词汇而言会更有概率进行替换，此种替换具有造成重要信息丢失的可能性，采用该方式有效避免了重要信息的损失。
[0101]
s323，采用第一归一化指数函数对所述n个图谱词汇的指数参数进行处理，得到每个所述图谱词汇对应的相似概率。
[0102][0103]
上述公式(3)中，pi表示第i个图谱词汇对应的相似概率；表示第i个图谱词汇对应的第二归一化值的指数；表示第1、2、
……
、n个图谱词汇对应的第二归一化值的指数的和。
[0104]
该步骤通过采用第一归一化函数，将步骤s322中的处理后的数值再次归一化，映射到零到正无穷，获得图谱词汇的替换概率。通过处理后的替换概率进行词汇替换避免了重要信息的损失。
[0105]
请参见图6，对于步骤s230，所述从所述领域知识图谱中选取替换用图谱词汇，具体可以包括如下步骤：
[0106]
s410,从所述领域知识图谱中确定与所述待替换图谱词汇对应的目标上级实体；
[0107]
s420,从目标上级实体的下级词汇中随机选取出所述替换用图谱词汇。
[0108]
示例性的，对于保险领域的图谱词汇“重疾险”，从对应的保险领域知识图谱可得到三元组[重疾险,isa,养老险]、[爱无忧,isa,养老险]，基于上述两个三元组可知“爱无忧”、“重疾险”拥有同样上级实体的词汇“养老险”,因此“爱无忧”是“重疾险”的同类词，所以可以使用“爱无忧”替换图谱词汇“重疾险”。
[0109]
请参见图7a，作为可选的实施方式，步骤s130中的所述第一增强处理还包括：s132,数据扩充处理。请参见图7b，所述数据扩充处理具体可以包括如下步骤：
[0110]
s510，获取待扩充图谱词汇，所述待扩充图谱词汇包括所述保留的图谱词汇和所述替换后的图谱词汇；
[0111]
s520，针对每个所述待扩充图谱词汇，从所述领域知识图谱中确定与所述待扩充图谱词汇对应的关系元组；
[0112]
s530，将各个所述待扩充图谱词汇对应的关系元组作为扩充数据。
[0113]
具体实现时，可以通过从领域知识图谱中抽取与图谱词汇有关联关系的元组添加进原文本中作为拓展。拓展范围包括与图谱词汇有直接关联的元组以及与这些元组有关联的元组，并以文本形式直接拼接至增强数据文本末尾。
[0114]
举例来说，图谱词汇“爱无忧”存在关联关系的元组[爱无忧,isa,养老险]、[养老险,subof,人寿],那么元组[爱无忧,isa,养老险]、[养老险,subof,人寿]将会被添加进文本末尾作为数据增强的元素。
[0115]
s140，对各个所述非图谱词汇进行第二增强处理，所述第二增强处理包括：采用eda算法对所述非图谱词汇进行数据增强。
[0116]
可以理解的是，对于文本数据中的非图谱词汇，采用eda的增强方式，这里述eda增强包括：同义词替换、随机插入、随机交换和随机增强等。
[0117]
假定文本数据中的所述非图谱词汇的数量为k个，k为正整数；请参见图8，步骤s140中，所述采用eda算法对所述非图谱词汇进行数据增强，具体可以包括如下步骤：
[0118]
s610，基于k个所述非图谱词汇和m个预设标签文本，构建k*m的第二相似度矩阵，所述第二相似度矩阵中的元素w
pj
表征第p个非图谱词汇与第j个预设标签文本的相似度值，p为1至k之中的任意一个正整数，j为1至m之中的任意一个正整数。
[0119]
这里，非图谱词汇与预设标签文本的相似度的计算方式可以参照上述步骤s310的相关说明，此处不再赘述。
[0120]
s620，采用第二归一化指数函数对所述第二相似度矩阵中的元素进行处理，得到各个所述非图谱词汇的相似概率。
[0121]
示例性的，这里的第二归一化指数函数可以采用sigmoid函数，通过sigmoid函数将各个元素的相似度值映射至(0，1)的区间，得到与元素对应的非图谱词汇的相似概率。
[0122]
s630，采用eda算法对满足第二预设被替换条件的所述非图谱词汇进行数据增强，其中，所述第二预设被替换条件为所述非图谱词汇的相似概率小于等于预设概率阈值。
[0123]
可以理解的是，本发明实施例将第二预设被替换条件为所述非图谱词汇的相似概率小于等于预设概率阈值，这样使得与行业领域相关度更低的无关词汇有更高的被eda增强概率，与行业领域相关度较高的非图谱词汇则原文保留、不进行增强，以减少信息丢失和
语义丢失的概率。
[0124]
示例性的，步骤s620中，所述采用第二归一化指数函数对所述第二相似度矩阵中的元素进行处理，得到各个所述非图谱词汇的相似概率，具体过程可以如下：针对每个所述非图谱词汇，获取与所述非图谱词汇对应的元素的平均值，采用第二归一化指数函数对所述平均值进行处理，得到所述非图谱词汇的相似概率。
[0125]
s150，基于所述第一增强处理和所述第二增强处理得到增强文本数据。
[0126]
示例性的，将原始文本数据中每个分词经过第一增强/第二增强/保留处理得到的处理后分词进行合并，得到增强文本数据，且增强文本数据中的每个处理后分词与原来分词在文本数据中的位置一致，对于数据扩充处理得到的扩充数据则放在文本句子的末尾，如此得到增强文本数据。
[0127]
下面结合图9，通过具体的实施例对本发明实施例提供的基于领域知识图谱的数据增强方法进行说明。
[0128]
对待增强的文本数据“老人购买重疾险可以在四十年里得到保障”，进行分词，得到词汇“老人”、“购买”、“重疾险”、“可以”、“在”、“四十年”、“里”、“得到”、“保障”。
[0129]
将分词词汇划分为图谱词汇和非图谱词汇，具体地，上述词汇中，图谱词汇包括：“购买”、“重疾险”、“保障”；非图谱词汇包括：“老人”、“可以”、“在”、“四十年”、“里”、“得到”。对于图谱词汇，执行第一增强处理(包括替换处理和数据扩充处理)；对于非图谱词汇，执行第二增强处理(eda增强处理)。
[0130]
在进行图谱词语的第一增强处理时，首先进行的是替换处理操作。具体地，确定每个图谱词汇与标签文本的相似概率，对于相似概率大于预设概率阈值的图谱词汇则确定要进行替换处理。上述图谱词汇中，确定要进行替换处理的图谱词汇包括：“购买”、“重疾险”。对于词汇“购买”，从领域知识图谱中选取同义词“购置”对其进行替换，对于“重疾险”从领域知识图谱中选取具有相同上级实体的词汇“爱无忧”进行替换。
[0131]
经过替换处理后，得到图谱词汇“购置”、“爱无忧”、“保障”，针对以上图谱词汇进行第一增强处理的第二步：数据扩充处理。具体地，将“购置”、“爱无忧”、“保障”作为待扩充图谱词汇，从所述领域知识图谱中查找与所述待扩充图谱词汇对应的关系元组。针对上述待扩充图谱词汇，查找到关系元组[爱无忧,isa,养老险]、[养老险,subof,人寿]，进而将这两个关系元组作为扩充数据。
[0132]
在进行非图谱词语的第二增强处理时，首先确定每个非图谱词汇与标签文本的相似概率，对于相似概率小于等于预设概率阈值的非图谱词汇则确定要进行eda增强，这里的eda增强可以是同义词替换、随机插入、随机交换、随机重复和随机增强之中的任意一种。上述非图谱词汇经过eda增强处理后，得到词汇“长辈”、“可以”、“可以”、“在”、“二十年”、“得到”。
[0133]
最后，根据上面第一增强处理的结果和第二增强处理的结果，得到增强数据文本长辈购置爱无忧可以可以在二十年得到保障[爱无忧,isa,养老险][养老险,subof,人寿]。
[0134]
上述结果中，将扩充数据的元组以文本形式直接拼接至文本末尾，此方式可以有效融入知识图谱并避免影响句意。
[0135]
本发明实施例，将待增强的文本数据中的词汇划分为图谱词汇和非图谱词汇，然后针对图谱词汇和非图谱词汇分别采取不同的数据增强方法，其中，所述图谱词汇表征存
在于预设的领域知识图谱中的词汇，所述非图谱词汇表征不存在于预设的领域知识图谱中的词汇。对于非图谱词汇采用传统的eda方法进行数据增强。对于图谱词汇，本技术首先判断图谱词汇是否满足第一预设被替换条件，然后将满足第一预设被替换条件的所述图谱词汇作为待替换图谱词汇，将未满足第一预设被替换条件的所述图谱词汇作为保留的图谱词汇；对于所述待替换图谱词汇，从所述领域知识图谱中选取替换用图谱词汇，使用所述替换用图谱词汇替换所述待替换图谱词汇，得到替换后的图谱词汇。如此，基于领域知识图谱实现对图谱词汇进行替换，有效避免与行业知识有关联的图谱词汇替换为其他低相关度的词汇，而无法有效涵盖行业话术和行业产品特性，有效减少样本文本增强时出现的信息丢失、语义丢失等问题，保证了增强后样本文本的有效性。在使用通过本技术的数据增强方法得到的增强文本数据进行训练，可以充分利用预先学习的知识，在样本数量较少的情况下也可以做到比较好的训练效果，提高机器学习的效率。
[0136]
进一步可以理解的是，本技术实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
[0137]
请参见图10，本技术实施例还提供了一种基于领域知识图谱的数据增强装置，包括：
[0138]
分词模块801，用于将待增强的文本数据进行分词，得到多个词汇；
[0139]
划分模块802，用于将所述多个词汇划分为图谱词汇和非图谱词汇，其中，所述图谱词汇表征存在于预设的领域知识图谱中的词汇，所述非图谱词汇表征不存在于预设的领域知识图谱中的词汇；
[0140]
第一增强处理模块803，用于对各个所述图谱词汇进行第一增强处理，其中，所述第一增强处理包括替换处理，所述替换处理包括：将满足第一预设被替换条件的所述图谱词汇作为待替换图谱词汇，将未满足第一预设被替换条件的所述图谱词汇作为保留的图谱词汇；对于所述待替换图谱词汇，从所述领域知识图谱中选取替换用图谱词汇，使用所述替换用图谱词汇替换所述待替换图谱词汇，得到替换后的图谱词汇；
[0141]
第二增强处理模块804，用于对各个所述非图谱词汇进行第二增强处理，所述第二增强处理包括：采用eda算法对所述非图谱词汇进行数据增强；
[0142]
结果获取模块805，用于基于所述第一增强处理和所述第二增强处理得到增强文本数据。
[0143]
需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0144]
本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述数据增强方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0145]
请参见图11，图11示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0146]
处理器901，可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集合成电路(application specific integrated circuit，asic)、或者一
个或多个集合成电路等方式实现，用于执行相关计算机程序，以实现本技术实施例所提供的技术方案；
[0147]
存储器902，可以采用只读存储器(read only memory，rom)、静态存储设备、动态存储设备或者随机存取存储器(random access memory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的数据增强方法；
[0148]
输入/输出接口903，用于实现信息输入及输出；
[0149]
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；和
[0150]
总线905，在设备的每个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
[0151]
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
[0152]
本技术实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个计算机程序，一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述数据增强方法。
[0153]
存储器作为一种计算机可读存储介质，可用于存储软件程序以及计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0154]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0155]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0156]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0157]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0158]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0159]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0160]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集合成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0161]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0162]
另外，在本技术每个实施例中的各功能单元可以集合成在一个处理单元中，也可以是每个单元单独物理存在，也可以两个或两个以上单元集合成在一个单元中。上述集合成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0163]
集合成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术每个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0164]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。