下位词的上位词确定方法、装置、电子设备及存储介质与流程

文档序号:22085855发布日期:2020-09-01 20:02阅读:1279来源:国知局
下位词的上位词确定方法、装置、电子设备及存储介质与流程

本申请涉及机器学习技术领域,具体而言,本申请涉及一种下位词的上位词确定方法、装置、电子设备及存储介质。



背景技术:

现有技术中,确定下位词的上位词,通常需要基于预先设定的规则,从下位词的相关文本中确定出该下位词的上位词,即需要相关文本包含符合设定规则的信息,才可确定出下位词的上位词,那么,如果下位词的相关文本中不包含符合设定规则的相关文本,可能无法准确确定出该下位词的上位词。由此,现有技术中确定下位词的上位词的方案,对数据要求较高,需要设定规则,使得该方案不具有普适性。



技术实现要素:

本申请实施例的主要目的在于提供一种下位词的上位词确定方法、装置、电子设备及存储介质,通过本申请实施例的方案,能够简单有效的确定出下位词的上位词。

第一方面,本申请实施例提供了一种下位词的上位词确定方法,该方法包括:

获取待处理下位词对应的描述文本;

基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率;

基于各候选上位词对应的概率,从各候选上位词中确定待处理下位词对应的目标上位词。

第二方面,本申请提供了一种下位词的上位词确定装置,该装置包括:

待处理信息获取模块,用于获取待处理下位词对应的描述文本;

信息处理模块,用于基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率;

目标上位词确定模块,用于基于各候选上位词对应的概率,从各候选上位词中确定待处理下位词对应的目标上位词。

第三方面,本申请实施例提供了一种电子设备,电子设备包括处理器和存储器;存储器中存储有可读指令,可读指令由处理器加载并执行时,实现如上述第一方面或第一方面中的任一可选实施例中所示的方法。

第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有一条计算机程序,至少一条计算机程序由处理器加载并执行时,实现如上述第一方面或第一方面中的任一可选实施例中所示的方法。

本申请提供的技术方案带来的有益效果是:

在需要确定待处理下位词的上位词时,基于待处理下位词对应的描述文本,可确定出待处理下位词对应于上位词集合中每个候选上位词对应的概率,其中,描述文本可以不需要符合任何设定规则,基于各候选上位词对应的概率即可确定出各候选上位词中待处理下位词的上位词,在本申请的方案中,对描述文本没有要求,相对于基于规则的方法,本方案的通用性更强,能够简单有效的适用与各种数据的场景,并且通过本方案所确定的上位词的召回率更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请一个实施例提供的一种下位词的上位词确定方法的流程示意图;

图2为本申请一个实施例提供的一种上位词确定模型训练流程示意图;

图3为本申请一个实施例提供的一种下位词的上位词确定装置的结构示意图;

图4为本申请又一实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中,机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、对抗学习等技术。

随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。

为了更好的理解及说明本申请实施例的方案,下面对本申请实施例中所涉及到的一些技术用语进行简单说明。

神经网络(neuralnetwork,nn):是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度,通过调整内部大量节点之间相互连接的关系,从而达到处理信息的目的。

在现有技术中,对于知识图谱的构建,通常需要挖掘下位词的上位词,目前挖掘下位词的上位词的方法通常为基于规则的方法,即基于预设规则,从下位词的描述文本中抽取符合规则的上位词,比如:下位词“苹果”的描述为本为:“苹果是一种水果”,该描述文本中包括了“水果”这一上位词,则基于该描述文本,可以得到苹果的上位词是水果。由此可知,现有技术中,描述文本包含符合设定规则的信息,才可确定出下位词的上位词。

通过现有技术中的方案确定下位词的上位词存在以下几个问题:

1、如果下位词的描述文本中不包含符合设定规则的信息,可能无法准确确定出该下位词的上位词。

2、该方案需要预先设定规则,且对数据要求较高,使得该方案不具有普适性,使得召回率较低。

针对上述技术问题,本申请提供了一种下位词的上位词确定方法、装置、电子设备及存储介质,基于本申请方案,在需要确定待处理下位词的上位词时,基于待处理下位词,待处理下位词对应的描述文本,可确定出待处理下位词对应于上位词集合中每个候选上位词对应的概率,其中,描述文本可以不需要符合任何设定规则,基于各候选上位词对应的概率即可确定出各候选上位词中待处理下位词的上位词,在本申请的方案中,对描述文本没有要求,相对于基于规则的方法,本方案的通用性更强,能够简单有效的适用与各种数据的场景,并且通过本方案所确定的上位词的召回率更高。

另外,基于待处理下位词和待处理下位词对应的描述文本,可以通过上位词确定模型确定待处理下位词对应于上位词集合中每个候选上位词的概率,其中,上位词确定模型是通过多任务学习的方式训练得到的,即在训练上位词确定模型过程中,基于训练样本(样本下位词以及样本下位词对应的描述文本)可以同时训练两个模型,分别为上位词预测模型和语义匹配结果预测模型,其中,上位词预测模型用于基于训练样本预测样本下位词的上位词预测结果,语义匹配结果预测模型用于基于训练样本预测样本下位词与样本上位词之间的语义相似度,基于上述多任务学习的方式训练得到的上位词确定模型,不但相对于基于规则的方案,数据要求较低,从而提升了模型的泛化能力和上位词的挖掘效果。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。

图1示出了本申请提供的一种下位词的上位词确定方法的流程示意图,本申请方案的执行主体可以是服务器,本方案以服务器为执行主体对本方案进行说明,如图1所示,该方法可以包括步骤s110至步骤s130,其中:

步骤s110,获取待处理下位词对应的描述文本。

其中,待处理下位词指的是需要确定其上位词的下位词,描述文本可以是与待处理下位词相关的描述文本,比如,一段话。在本申请的可选方案中,如果获取的是待处理下位词对应的非文本的描述信息,比如,语音信息,可以将语音信息转换为文本信息,将该文本信息作为待处理下位词对应的描述文本。

步骤s120,基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率。

步骤s130,基于各候选上位词对应的概率,从各候选上位词中确定待处理下位词对应的目标上位词。

其中,上位词集合是预先创建的集合,在该上位词集合中,包括不同下位词对应的上位词,一个下位词可以对应至少一个上位词,比如,苹果(下位词),对应的上位词可以为水果,电子品牌,电影名称等等。上位词集合中的上位词都可以作为待处理下位词的候选上位词,在确定待处理下位词对应的目标上位词时,可以基于待处理下位词对应于上位词集合中每个候选上位词的概率,概率的大小可以反应出上位词集合中各候选上位词是待处理下位词的目标上位词的可能性,概率值越大,可能性越大。则可将基于各候选上位词对应的概率,确定目标上位词,该目标上位词可以为至少一个。

在一可选方案中,可以将概率大于设定值时所对应的上位词作为目标上位词。其中,设定值可以基于实际需求配置。

可以理解的是,待处理下位词对应于上位词集合中每个候选上位词的概率可以是一个不大于1的正数,也可以是0或者1。

本申请实施例的方案,在需要确定待处理下位词的上位词时,基于待处理下位词,待处理下位词对应的描述文本,可确定出待处理下位词对应于上位词集合中每个候选上位词对应的概率,其中,描述文本可以不需要符合任何设定规则,基于各候选上位词对应的概率即可确定出各候选上位词中待处理下位词的上位词,在本申请的方案中,对描述文本没有要求,相对于基于规则的方法,本方案的通用性更强,能够简单有效的适用与各种数据的场景,并且通过本方案所确定的上位词的召回率更高。

本申请的一可选方案中,该方法还包括:

获取待处理下位词;

基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率,可以包括:

基于待处理下位词和待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率。

其中,在确定待处理下位词对应于上位词集合中每个候选上位词的概率时,可以基于待处理下位词和待处理下位词对应的描述文本来圈定,描述文本是与待处理下位词描述相关的信息,在此基础上,结合待处理下位词,可以在确定概率时,强调该待处理下位词,以使得确定的概率更加准确。

在描述文本中,可以包括待处理下位词,则待处理下位词可以从对应的描述文本中获取。

本申请的一可选方案中,基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率,包括:

对描述文本进行分词处理,得到描述文本对应的各分词;

基于各分词的词向量,提取至少两种尺度的特征;

拼接各尺度的特征,得到描述文本对应的文本特征。

其中,在确定待处理下位词对应于上位词集合中每个候选上位词的概率时,可先基于描述文本,提取至少两种尺度的特征,不同尺度的特征包括的信息不同,则基于不同尺度的特征所确定的文本特征可以更加准确反映出文本的特点。

在本申请的可选方案中,可以通过分词工具对描述文本进行分词处理,得到描述文本对应的各分词。

在本申请的可选方案中,基于各分词的词向量,提取至少两种尺度的特征,可以包括:

基于各分词的词向量,通过至少两种尺度的卷积处理模块,提取至少两种尺度的特征。

卷积处理模块中包括卷积层,则可通过卷积层提取至少两种尺度的特征。

卷积处理模块中还可以包括池化层,通过池化层可将卷积层提取的特征转换为同一维度的特征,便于后续处理。

作为一个示例,描述文本中包括待处理下位词,基于待处理下位词和描述文本,提取文本特征,具体可以包括:对描述文本进行分词处理,得到描述文本对应的各分词,基于各分词,确定各分词对应的词序列矩阵,可以表示为:wi={w1,w2,…,wn},其中,n为分词的个数,wi表示第i个分词对应的词序列,wi表示各词序列对应的矩阵,其中,n≥i≥1。

基于上述各分词对应的词序列,得到各分词对应的词向量矩阵,可以表示为:其中,xi表示第i个分词对应的词向量,其中,n≥i≥1,c表示每个词向量的维度为c,x为各词向量组成的向量矩阵,每一行代表一个分词的词向量,该向量矩阵的列数代表c。

通过卷积层对各分词的词向量和进行卷积,卷积结果可以表示为:其中,cij表示第i个卷积核在第j个位置上的卷积结果。

在本示例中,在上述卷积处理过程中,选择三个不同尺度的卷积核对各分词的词向量分别进行卷积,卷积核的尺度包括卷积核的宽和长,在本示例中,三个卷积核的宽是一样的,则三个卷积核的尺度不同指的是卷积核的长度不同,在本示例中,卷积核的长分别为2,3和4。

对上述每种尺度对应的卷积结果进行最大池化,池化结果表示为:yi,此处,i=2,3,4,i表示不同长度的卷积核。其中,y2表示卷积核的长为2时所对应的池化结果,y3表示卷积核的长为3时所对应的池化结果,y4表示卷积核的长为4时所对应的池化结果。

然后拼接多个池化结果作为文本特征,记为:f表示将y2,y3和y4进行拼接得到的文本特征。

如果是基于待处理下位词和待处理下位词对应的描述文本,确定的待处理下位词对应于上位词集合中每个候选上位词的概率,则在确定文本特征时,可先确定待处理下位词对应的词向量,然后基于该待处理下位词对应的词向量和描述文本对应的各分词的词向量,得到待处理下位词和描述文本对应的文本特征。比如,基于上述示例,可在词向量矩阵中添加一行词向量,该词向量为待处理下位词对应的词向量。

本申请的一可选方案中,基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率,可以包括:

基于待处理下位词对应的描述文本,通过上位词确定模型确定待处理下位词对应于上位词集合中每个候选上位词的概率。

其中,上位词确定模型是预先训练好的,上位词确定模型的输入可以描述文本,也可以是描述文本对应的文本特征,输出为待处理下位词对应于上位词集合中每个候选上位词的概率。如果上位词确定模型的输入是文本特征,则需要先基于待处理下位词对应的描述文本,提取文本特征,将该文本特征输入至上位词确定模型。

在本申请的方案中,上位词确定模型是基于以下方式训练得到的:

获取各训练样本,训练样本包括样本下位词对应的样本描述文本、以及样本下位词对应的各样本上位词,其中,各样本上位词包括至少一个正确上位词和至少一个错误下位词,每个样本上位词标注有第一标签,第一标签表征了样本上位词为样本下位词对应的上位词的上位词标注结果,上位词集合中包含各样本上位词;

基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练,直至初始神经网络模型的总损失函数收敛,其中,总损失函数包括第一损失函数,将训练结束时的上位词预测模型作为上位词确定模型;

其中,上位词预测模型的输出为训练样本的下位词对应于各候选上位词的上位词预测结果,第一损失函数的值表征了样本下位词所对应的上位词标注结果和上位词预测结果之间的差异。

其中,一个训练样本中包括样本下位词所对应的描述文本,以及该样本下位词所对应的样本上位词,一个样本下位词可以对应至少一个样本上位词,若该样本下位词所对应的至少一个样本上位词为至少两个,这至少两个样本上位词中可以包络正确上位词和错误上位词。正确上位词指的是该上位词是下位词所对应的正确的上位词,比如,下位词为“苹果”,上位词为“水果”,“水果”是“苹果”的正确上位词。错误上位词指的是该上位词是下位词所对应的错误的上位词,比如,下位词为“苹果”,上位词为“蔬菜”,“蔬菜”是“苹果”的错误下位词。

在本申请的方案中,上位词预测模型的输入为各训练样本的样本下位词对应的样本描述文本,输出为训练样本的下位词对应于各候选上位词的上位词预测结果。训练样本中的各样本上位词中包括正确上位词和错误上位词,基于正确上位词和错误上位词,可提高模型训练的精度。

其中,可将训练样本中的各样本上位词作为上位词集合,该上位词集合中包括正确上位词和错误上位词,从该上位词集合中的各候选上位词中确定下位词的目标上位词。

在本申请的方案中,可以通过人工构建的方式构建样本下位词所对应的各样本上位词。不同样本下位词所对应的样本上位词中可存在相同的上位词。

在本申请的方案中,所构建的每个样本上位词所对应的样本上位词的数量可以是相同的,也可以是不同的。

其中,每个样本上位词标注有第一标签,第一标签表征了样本上位词为样本下位词对应的上位词的上位词标注结果,即第一标签表征了所标注的样本上位词是哪个下位词的上位词。第一标签可以通过人工的方式进行标注,也可以采用映射的方式,将各样本上位词对应映射成多个第一标签。该第一标签可以是字符串、文字、数字等,本申请中不限定第一标签的具体表现形式。

在本申请的方案中,上位词预测模型的输入可以是各训练样本的样本下位词对应的样本描述文本,也可以基于训练样本的样本下位词对应的样本描述文本所提取的文本特征。可以理解的是,提取文本特征可以在上位词预测模型的外部实现,也可以在上位词预测模型的内部实现。

在本申请的方案中,上位词预测结果可以为下位词对应于上位词集合中每个候选上位词的概率,上位词预测模型的输出可以表示为:[p1,p2,…,pm],其中,m为上位词集合中候选上位词(样本上位词)的数量,m≥i≥1,此处,i表示上位词集合中的第i个上位词,pi表示第i个上位词对应的概率。在实际应用中,可将设定值设为α,将概率大于α的上位词作为目标上位词。

在本申请的方案中,上位词预测模型包括全链接层和归一化层,其中,全链接层用于将文本特征映射为m维向量,归一化层用于对m维向量进行归一化处理,通过归一化结果表示上位词预测结果。作为一个可选方案,归一化层可选用softmax,归一化结果可以表示为:[p1,p2,…,pm]。

在本申请的方案中,第一损失函数的值表征了样本下位词所对应的上位词标注结果和上位词预测结果之间的差异,对于正训练样本,差异越小,表明上位词预测结果与对应的上位词标注结果之间越接近,即上位词预测结果所对应的上位词是样本下位词所对应的正确上位词(上位词标注结果所对应的上位词)的概率越大。反之,差异越大,表明上位词预测结果与对应的上位词标注结果之间差异越大,即上位词预测结果所对应的上位词是样本下位词所对应的正确上位词的概率越小。对于负训练样本,差异越小,表明上位词预测结果与对应的上位词标注结果之间越接近,即上位词预测结果所对应的上位词是样本下位词的错误上位词(上位词标注结果所对应的上位词)的概率越大。反之,差异越大,表明上位词预测结果与对应的上位词标注结果之间差异越大,即上位词预测结果所对应的上位词是样本下位词所对应的错误上位词的概率越小。

在本申请的方案中,对于一个训练样本,第一损失函数可以为交叉熵损失函数(cross-entropy),具体表示为:其中,m表示上位词集合中样本上位词的数量,pi表示第i个上位词所对应的概率(上位词预测结果),pi中的i表示上位词集合中的第i个上位词,yi表示上位词集合中是否含有第i个上位词,yi中的i表示也表示上位词集合中的第i个上位词。比如,如果上位词集合中含有第i个上位词,yi=1,如果上位词集合中不含有第i个上位词,yi=0时。

可以理解的是,上述第一损失函数是针对一个训练样本的损失函数,则对于总损失函数,需要基于训练样本的数量对上述第一损失函数进行求和。

本申请的一可选方案中,训练样本中还包括样本下位词,基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练,包括:

基于各训练样本的样本下位词、以及样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练。

其中,训练样本中还可以包括样本下位词,则上位词预测模型的输入为各训练样本的样本下位词,以及样本下位词对应的样本描述文本,输出为训练样本的下位词对应于各候选上位词的上位词预测结果。

本申请的一可选方案中,对于一个训练样本,样本上位词还标注有第二标签,第二标签表征了样本上位词和样本描述文本的语义匹配标注结果,初始神经网络模型还包括语义匹配结果预测模型;

基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练,包括:

基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练;

基于各训练样本,对语义匹配结果预测模型进行训练;

其中,语义匹配结果预测模型的输出为训练样本的样本描述文本与各候选上位词的语义匹配预测结果,总损失函数还包括第二损失函数,第二损失函数的值表征了样本描述文本所对应的语义匹配标注结果和语义匹配预测结果之间的差异。

其中,在上位词确定模型训练过程中,还可以基于样本上位词与样本下位词对应的样本描述文本之间的语义相似度对语义匹配结果预测模型进行训练,即在基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练的同时,还可基于各训练样本,对语义匹配结果预测模型进行训练,以使得训练得到的上位词确定模型的精度更高。

其中,每个样本上位词还标注有第二标签,第二标签表征了样本上位词和样本描述文本的语义匹配标注结果,即一个样本下位词对应的样本描述文本与该第二标签所标注的样本上位词之间的语义相似度。第二标签也可以通过人工的方式进行标注,也可以采用映射的方式,将各样本上位词对应映射成多个第二标签。该第二标签可以是字符串、文字、数字等,本申请中同样不限定第二标签的具体表现形式。

在本申请的方案中,语义匹配结果预测模型的输出为训练样本的样本描述文本与各候选上位词的语义匹配预测结果,即语义相似度,在本申请的方案中,可通过概率表示两个词(一个上位词和一个样本描述文本)之间的相似程度,比如,大于设定阈值的概率表示这两个词语义相似,不大于该设定阈值的概率表示两个词语义不相似。还可以通过二分类结果表示这两个词之间是否相似,比如,二分类结果为0时,表示两个词之间语义相似,二分类结果为1时,表示两个词之间语义不相似。需要说明的是,本申请方案中不限定语义匹配预测结果的具体表现形式,均在本申请的保护范围内。

作为一个示例,如果语义匹配预测结果通过概率表示,则语义匹配预测结果可以表示为:[p1,p2],p1,p2分别表示两个词之间相似与不相似的概率,p1+p2=1,假设,设定阈值为β,如果p1大于β,p2不大于β,则这两个词相似。反之,如果p1不大于β,p2大于β,则这两个词不相似。

另外,还可以基于上述概率,进行二分类,得到二分类结果,即概率大于β时,二分类结果为0,表示两个词相似,概率不大于β时,二分类结果为1表示两个词不相似。上述二分类结果可以记为:y′,y′=0表示相似,y′=1表示不相似。

可以理解的是,上述[p1,p2]为一个样本描述文本与一个样本上位词之间的语义相似度,如果一个训练样本中有一个样本下位词和k个样本上位词,则可对应可得到k个[p1,p2]。

在本申请的方案中,语义匹配结果预测模型中包括全链接层和归一化层,其中,全链接层用于将关联特征映射为二维向量,归一化层用于对二维向量进行归一化处理,通过归一化结果表示语义匹配预测结果。作为一个可选方案,归一化层可选用softmax,归一化结果可以表示为:[p1,p2]。

在本申请的可选方案中,第二损失函数的值表征了样本描述文本所对应的语义匹配标注结果和语义匹配预测结果之间的差异,差异越小,对于训练样本中的正确上位词,表明样本描述文本所对应的语义匹配标注结果和语义匹配预测结果之间越接近,即语义匹配预测结果所对应的上位词和样本描述文本之间语义相似度越接近语义匹配标注结果(相似)。反之,差异越大,表明样本描述文本所对应的语义匹配标注结果(相似)和语义匹配预测结果之间差异越大,即语义匹配预测结果所对应的上位词和样本描述文本之间语义相似度与语义匹配标注结果(相似)越不相近。对于训练样本中的错误上位词,差异越小,表明样本描述文本所对应的语义匹配标注结果(不相似)和语义匹配预测结果之间越接近,即语义匹配预测结果所对应的上位词和样本描述文本之间语义相似度越接近语义匹配标注结果(不相似)。反之,差异越大,表明样本描述文本所对应的语义匹配标注结果(不相似)和语义匹配预测结果之间差异越大,即语义匹配预测结果所对应的上位词和样本描述文本之间语义相似度与语义匹配标注结果(不相似)越不相近。

在本申请的一可选方案中,第二损失函数可以为最大间隔损失函数(max-margin),具体表示为:lp=max(0,λ-y′·y),其中,λ为超参数,p表示第p个样本描述文本,y,y′分别表示语义匹配标注结果和语义匹配预测结果。针对一个训练样本的损失函数

可以理解的是,上述第二损失函数是针对一个训练样本的损失函数,则对于总损失函数,需要基于训练样本的数量对上述第二损失函数进行求和。

语义匹配结果预测模型的输入可以是各训练样本,如果训练样本中包括样本下位词对应的样本描述文本以及该样本下位词所对应的各样本上位词,则语义匹配结果预测模型的输入为样本下位词对应的样本描述文本以及该样本下位词所对应的各样本上位词,如果训练样本中包括样本下位词、样本下位词对应的样本描述文本以及该样本下位词所对应的各样本上位词,则语义匹配结果预测模型的输入样本下位词、样本下位词对应的样本描述文本以及该样本下位词所对应的各样本上位词。

在本申请的可选方案中,基于各训练样本,对语义匹配结果预测模型进行训练,可以包括:

对于任一训练样本,分别提取该训练样本中的样本描述文本的第一特征,以及该训练样本中的各样本上位词对应的第二特征;

基于第一特征和第二特征,通过语义匹配结果预测模型,确定样本下位词与各样本上位词之间的关联特征,并基于关联特征,得到该训练样本所对应的语义匹配预测结果。

其中,语义匹配结果预测模型的输入可以是各训练样本,各训练样本中包括样本下位词对应的样本描述文本以及该样本下位词所对应的各样本上位词,则在训练语义匹配结果预测模型,可以基于训练样本所提取的关联特征对语义匹配结果预测模型进行训练。关联特征可以体现出样本描述文本与样本上位词之间的语义关联性,基于关联特征对模型进行训练,可进一步提高模型训练精度。

可以理解的是,关联特征的提取可以在语义匹配结果预测模型的外部实现,也可以在语义匹配结果预测模型的内部实现。

第一特征与前文描述的文本特征的提取原理相同,在此不再赘述,且在训练上位词预测模型时提取到的文本特征可直接作为第一特征。即在训练上位词预测模型和语义匹配结果预测模型,可以共用文本特征。因此提取第一特征可以只在上位词预测模型中提取一次,在语义匹配结果预测模型中可直接用文本特征,不需要再提取一次,节省数据计算量,提高模型训练速度。

可以理解的是,上述是对一个训练样本提取关联特征的描述,对于其他训练样本可采用同样的方式提取关联特征,然后基于各训练样本各自对应的关联特征,对语义匹配结果预测模型进行训练。

第二特征指的是一个训练样本中各样本上位词所对应的特征,作为一个示例,假如一个训练样本中有5个样本上位词,该第二特征指的是这5个样本上位词所对应的特征。对于一个训练样本,语义匹配预测结果指的是该训练样本中的样本描述文本与该训练样本中所有样本上位词之间的语义相似度,即将该训练样本中所有样本上位词看作一个整体。如果语义匹配预测结果为相似,则说明在该训练样本中,其中的样本描述文本与各样本上位词之间的语义均相似,反之,如果语义匹配预测结果为不相似,则说明在该训练样本中,其中的样本描述文本与各样本上位词之间的语义均不相似。

在本申请的方案中,对于任一训练样本,提取各样本上位词对应的第二特征,可以包括:

将该训练样本中的各样本上位词进行拼接,得到上位词文本;

对上位词文本进行分词处理,得到上位词文本对应的各分词;

基于上位词文本对应的各分词,得到第二特征。

其中,也可基于前文描述的卷积处理模块提取第二特征,其原理与提取文本特征的原理一致,在此不再赘述。

作为一个示例,对于一个样本下位词对应的各样本上位词,比如,一个样本下位词对应5个样本上位词,先将这5个样本上位词进行拼接,得到上位词文本,即一段文本,对该上位词文本进行分词处理,各分词的词序列矩阵可表示为:wi’={w′1,w′2,…,w′k},其中,k为一个上位词文本中对应的分词的个数,本示例中,k=5,w′i表示第i个分词对应的词序列,k≥i≥1,wi’表示各词序列对应的矩阵。再基于各分词的词序列,确定该各分词对应的文本词向量矩阵,可以表示为:其中,xi′表示第i个分词对应的词向量,l表示每个词向量的维度为l,x′1:l表示各分词的文本词向量对应的矩阵,每一行代表一个分词的词向量,该向量矩阵的列数代表l。再基于各分词的词向量,通过前文文本特征的提取方法得到第二特征,记为:其中,y2′表示卷积核的长为2时所对应的特征,y3′表示卷积核的长为3时所对应的特征,y4′表示卷积核的长为4时所对应的特征,f′表示将y2′,y3′和y4′进行拼接得到的第二特征。

进一步地,语义匹配结果预测模型中还包括特征交互层,基于第一特征和第二特征,确定样本上位词和样本下位词之间的关联特征,具体可以为:

基于第一特征与第二特征,通过特征交互层,确定样本下位词与各样本上位词之间的关联特征。

作为一个示例,第一特征记为f,第二特征记为f′,关联特征可记为:

在本申请的可选方案中,可采用交替训练的方式,交替训练上述两个模型(上位词预测模型和语义匹配结果预测模型),具体的,每一个任务训练可迭代训练n次,n=50,则采用交替训练的方式,可对上位词预测模型训练x次后,接着对语义匹配结果预测模型训练y次,其中,x<n,y<n,直到每个任务训练达到n次,停止训练。对于多任务训练的情况,采用交替训练的方式,可以基于每次的训练结果对模型参数进行相应的调整,以使得训练的模型的精度更高。

需要说明的是,在本申请的方案中,可以采用交替训练的方式训练上述两个模型,也可以采用非交替训练的方式训练上述两个模型,比如,对上位词预测模型训练n次后,在对语义匹配结果预测模型训练n次。

在本申请的一可选方案中,训练样本的各样本上位词是通过以下方式确定的:

获取各训练样本各自对应的初始样本上位词集,初始样本上位词集中包含至少两个初始正确上位词;

对于每一初始正确上位词,基于该初始正确上位词在所有初始样本上位词集中出现的次数,确定该初始正确上位词的负采样概率;

对于任一训练样本,基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词,将该训练样本对应的初始样本上位词集中,除至少一个错误上位词所对应的初始正确上位词之外的其他初始正确上位词作为该训练样本对应的正确上位词。

其中,训练样本的各样本上位词中包括正确上位词和错误上位词,确定训练样本的各样本上位词指的就是确定训练样本对应的正确上位词和错误上位词。每个训练样本对应一个初始样本上位词集,在该初始上位词集中,可以包括初始正确上位词和初始错误上位词,为了使初始样本上位词集中的初始样本上位词的数据更加丰富,初始样本上位词集中包含至少两个初始正确上位词。

在确定训练样本的各样本上位词时,可以基于人工的方式确定,也可以基于各样本下位词对应的所有初始正确上位词确定。由于不同样本下位词所对应的所有初始正确上位词中,有重复的初始正确上位词,即初始正确上位词集中包括重复的初始正确上位词。由此,可确定每个初始正确上位词在所有初始样本上位词集中出现的次数,记为ni,表示第i个初始正确上位词在所有初始样本上位词集中出现的次数。

然后,基于每个初始正确上位词在所有初始样本上位词集中出现的次数,通过采样概率计算公式确定每个初始正确上位词的负采样概率,其中,采样概率计算公式记为:pi=ni/n,其中,n为所有初始样本上位词集中初始正确上位词的个数。

接着,对于任一训练样本,基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词,将该训练样本对应的初始样本上位词集中,除至少一个错误上位词所对应的初始正确上位词之外的其他初始正确上位词,作为该训练样本对应的正确上位词。

在本申请的可选方案中,通常可以按照该训练样本对应的各初始正确上位词的负采样概率的大小,基于负采样概率较高的(比如,大于设定阈值)的初始正确上位词,确定至少一个错误上位词。

可以理解的是,该训练样本对应的错误上位词可以是其他训练样本对应的正确上位词。

在本申请的方案中,对于一个训练样本,其中错误上位词的个数与正确上位词的个数可以相同,即如果在该训练样本中,一个样本下位词所对应的正确上位词的个数为k,则该样本下位词所对应的错误上位词的个数也为k个。

在本申请的一可选方案中,基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词,包括:

基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始正确上位词中的至少一个,确定为该训练样本对应的至少一个错误上位词,和/或,基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词。

其中,在基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词时,可以包括以下至少一种方式:

第一种:基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始正确上位词中的至少一个,确定为该训练样本对应的至少一个错误上位词。

作为一个示例,该训练样本对应的初始正确上位词为a个,a为不小于2的正整数,该训练样本对应的初始正确上位词指的是所有初始样本上位词集中的初始正确上位词。在这a个初始正确上位词中,可以基于这a个初始正确上位词的负采样概率,确定其中的至少一个初始正确上位词为错误上位词。比如,可按照负采样概率的大小,选择负采样概率大于设定阈值的初始正确上位词作为该训练样本对应的错误上位词。

在此方案中,该训练样本对应的正确上位词的个数和错误上位词的个数可以相同,也可以不同。

第二种:基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词。

作为一个示例,该训练样本对应的初始正确上位词为b个,b为不小于2的正整数,该训练样本对应的初始正确上位词指的是所有初始样本上位词集中的初始正确上位词。在这b个初始正确上位词中,可以基于这b个初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词。

在本申请的一可选方案中,基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词,包括:

基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中概率较高的,设定数量的初始正确上位词替换为错误上位词。

其中,设定数量不大于初始样本上位词集中样本上位词的数量。设定数量可以基于设定比例确定,设定比例可以基于实际需求配置。作为一个示例,比如,设定比例为80%,初始样本上位词集中样本上位词的数量为10个,这10个都是初始正确上位词,则可基于该训练样本对应的各初始正确上位词的负采样概率,将其中概率较高的8个初始正确上位词替换为该训练样本对应的错误上位词,将剩余2个初始正确上位词作为该训练样本对应的正确上位词。

以设定数量的方式替换初始样本上位词集中初始正确上位词,可以保证各训练样本所对应的各错误上位词之间具有差异性,即各训练样本所对应的各错误上位词是不同的,提高模型的泛化能力。

在此方案中,该训练样本对应的正确上位词的个数和错误上位词的个数可以相同,也可以不同。

第三种,基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始正确上位词中的至少一个,确定为该训练样本对应的至少一个错误上位词,以及将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词。

作为一个示例,该训练样本对应的初始正确上位词为c个,c为不小于2的正整数,该训练样本对应的初始正确上位词指的是所有初始样本上位词集中的初始正确上位词。在这c个初始正确上位词中,可以基于这c个初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词,同时,从c个初始正确上位词中确定至少一个初始正确上位词作为错误上位词。

此时,如果该训练样本对应的正确上位词的个数和错误上位词的个数相同,则采用替换方式确定的错误上位词的个数和采用非替换方式确定的错误上位词的个数之和等于正确上位词的个数。

同样,在该示例中,可按照负采样概率的大小,选择负采样概率大于设定阈值的初始正确上位词作为错误上位词,以及负采样概率大于设定阈值的初始正确上位词替换为错误上位词。

在本申请的一可选方案中,对于任一训练样本,若各初始正确上位词的负采样概率中存在至少两个相同的概率,且该负采样概率大于设定阈值;

基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词,包括:

将至少两个相同的概率对应的初始正确上位词中的至少一个确定为至少一个错误上位词。

其中,在各初始正确上位词的负采样概率中,如果存在相同的负采样概率,则表明在所有初始样本上位词集中,有至少两个初始正确上位词出现的次数是相同的。则在该相同的概率大于设定阈值时,表明需要从相同概率对应的初始正确上位词中确定至少一个错误上位词,此时,基于该训练样本对应的各初始正确上位词的负采样概率,所确定的该训练样本对应的至少一个错误上位词中包括该至少两个相同的概率对应的初始正确上位词。

可以理解的是,如果对于任一训练样本,若各初始正确上位词的负采样概率中存在至少两个相同的概率,且该负采样概率不大于设定阈值;则不从至少两个相同的概率对应的初始正确上位词中确定错误上位词。

在各初始正确上位词的负采样概率中存在至少两个相同的概率,且该负采样概率大于设定阈值时,可以以一定概率从该至少两个相同的概率对应的初始正确上位词中的确定出错误上位词,这样,至少两个训练样本所对应的错误上位词均是基于该至少两个相同的概率对应的初始正确上位词确定的情况,可以保证该至少两个训练样本对应的错误上位词之间的差异性。

可以理解的是,对于任一训练样本,若各初始正确上位词的负采样概率中存在至少两个相同的概率,且该负采样概率大于设定阈值时所对应的方案适用于上述确定训练样本的各样本上位词的任一方案。

结合图2,以及以下具体示例对本申请的上位词确定模型的训练过程进行详细描述,具体方案如下:

步骤1,构建训练样本,一个训练样本中包括一个样本下位词,该样本下位词对应的样本描述文本,以及该样本下位词对应的各样本上位词。

在构建训练样本时,一个样本下位词可对应多个样本上位词,在该示例中,一个样本下位词对应k个样本上位词,各样本上位词中包括至少一个正确上位词和至少一个错误上位词。

步骤2,在构建完训练样本后,可通过前文描述的文本特征提取方式,提取各样本下位词对应的样本描述文本的文本特征,在该示例中,如图2所示,可对样本描述文本进行分词,词嵌入处理,再通过文本分类模型textcnn(textconvolutionalneuralnetworks(卷积神经网络)提取处理后的分词文本特征,将提取的文本特征作为后续训练上位词预测模型和语义匹配结果预测模型的底层特征。

步骤3,对于各训练样本中的样本上位词(图2中所示的上位词),每个样本上位词都标注有第一标签(图2在所示的上位标签),该第一标签表征了样本上位词为样本下位词对应的上位词的上位词标注结果。

步骤4,基于步骤2中的文本特征对初始神经网络模型的上位词预测模型(图2中所示的多标签分类任务)进行训练,直至初始神经网络模型的总损失函数收敛,其中,总损失函数包括第一损失函数(图2中所示的交叉熵损失),将训练结束时的上位词预测模型作为上位词确定模型;其中,在该示例中,上位词预测模型的输出为训练样本的下位词对应于各候选上位词(所有样本上位词)的上位词预测结果,第一损失函数的值表征了样本下位词所对应的上位词标注结果和上位词预测结果之间的差异。

步骤5,样本上位词还标注有第二标签,第二标签表征了样本上位词和样本描述文本的语义匹配标注结果,初始神经网络模型还包括语义匹配结果预测模型。

对于一个训练样本中的各样本上位词,对该各样本上位词对应的上位词文本(将各样本上位词进行拼接得到的一段文本)进行分词、词嵌入处理,再通过文本分类模型textcnn提取处理后的分词文本特征(第二特征);上述步骤2中提取的文本特征作为第一特征,基于第一特征和第二特征,通过特征交互层确定样本描述文本与各样本上位词之间的关联特征,基于关联特征对语义匹配结果预测模型(图2中所示的语义匹配任务)进行训练,语义匹配结果预测模型的输出为训练样本的样本描述文本与各候选上位词的语义匹配预测结果(一个训练样本中的样本描述文本与该训练样本中各样本上位词的语义匹配结果),总损失函数还包括第二损失函数(语义相似度损失),第二损失函数的值表征了样本描述文本对应的语义匹配标注结果和语义匹配预测结果之间的差异。

需要说明的是,可以不限定上述步骤4和步骤5的执行顺序,可基于实际需求进行配置,比如,可以同时执行步骤4和步骤5,以加快模型训练速度。

在该示例,可采用交替训练的方式,交替训练上述两个模型(上位词预测模型和语义匹配结果预测模型),具体的,每一个任务训练可迭代训练50次,以得到训练好的上位词确定模型。

基于与图1中所示的方法相同的原理,本申请实施例还提供了一种下位词的上位词确定装置20,如图3中所示,该下位词的上位词确定装置20可以包括待处理信息获取模块210,信息处理模块220和目标上位词确定模块230,其中:

待处理信息获取模块210,用于获取待处理下位词对应的描述文本;

信息处理模块220,用于基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率;

目标上位词确定模块230,用于基于各候选上位词对应的概率,从各候选上位词中确定待处理下位词对应的目标上位词。

本申请实施例的方案,在需要确定待处理下位词的上位词时,基于待处理下位词对应的描述文本,可确定出待处理下位词对应于上位词集合中每个候选上位词对应的概率,其中,描述文本可以不需要符合任何设定规则,基于各候选上位词对应的概率即可确定出各候选上位词中待处理下位词的上位词,在本申请的方案中,对描述文本没有要求,相对于基于规则的方法,本方案的通用性更强,能够简单有效的适用与各种数据的场景,并且通过本方案所确定的上位词的召回率更高。

可选的,该装置还包括:

待处理下位词获取模块,用于获取待处理下位词;

信息处理模块220在基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率时,具体用于:

基于待处理下位词和待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率。

可选的,信息处理模块220在基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率时,具体用于:

对描述文本进行分词处理,得到描述文本对应的各分词;

基于各分词的词向量,提取至少两种尺度的特征;

拼接各尺度的特征,得到描述文本对应的文本特征。

可选的,信息处理模块220在基于待处理下位词对应的描述文本,确定待处理下位词对应于上位词集合中每个候选上位词的概率时,具体用于:

基于待处理下位词对应的描述文本,通过上位词确定模型确定待处理下位词对应于上位词集合中每个候选上位词的概率;

其中,该装置还包括模型训练模块,该模型训练模块用于训练上位词确定模型,上位词确定模型是通过以下方式训练得到的:

获取各训练样本,训练样本包括样本下位词对应的样本描述文本、以及样本下位词对应的各样本上位词,其中,各样本上位词包括至少一个正确上位词和至少一个错误下位词,每个样本上位词标注有第一标签,第一标签表征了样本上位词为样本下位词对应的上位词的上位词标注结果,上位词集合中包含各样本上位词;

基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练,直至初始神经网络模型的总损失函数收敛,其中,总损失函数包括第一损失函数,将训练结束时的上位词预测模型作为上位词确定模型;

其中,上位词预测模型的输出为训练样本的样本描述文本对应于各候选上位词的上位词预测结果,第一损失函数的值表征了样本描述文本所对应的上位词标注结果和上位词预测结果之间的差异。

可选的,训练样本中还包括样本下位词,模型训练模块在基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练时,具体用于:

基于各训练样本的样本下位词、以及样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练。

可选的,对于一个训练样本,样本上位词还标注有第二标签,第二标签表征了样本上位词和样本描述文本的语义匹配标注结果,初始神经网络模型还包括语义匹配结果预测模型;

模型训练模块在基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练时,具体用于:

基于各训练样本的样本下位词对应的样本描述文本,对初始神经网络模型的上位词预测模型进行训练;

基于各训练样本,对语义匹配结果预测模型进行训练;

其中,语义匹配结果预测模型的输出为训练样本的样本描述文本与各候选上位词的语义匹配预测结果,总损失函数还包括第二损失函数,第二损失函数的值表征了样本描述文本所对应的语义匹配标注结果和语义匹配预测结果之间的差异。

可选的,采用交替训练的方式对上位词预测模型和语义匹配结果预测模型进行训练。

可选的,模型训练模块在基于各训练样本,对语义匹配结果预测模型进行训练时,具体用于:

对于任一训练样本,分别提取该训练样本中的样本描述文本的第一特征,以及该训练样本中的各样本上位词对应的第二特征;

基于第一特征和第二特征,通过语义匹配结果预测模型,确定样本下位词与各样本上位词之间的关联特征,并基于关联特征,得到该训练样本所对应的语义匹配预测结果。

可选的,该装置还包括样本上位词确定模块,用于确定训练样本的各样本上位词,其中,训练样本的各样本上位词是通过以下方式确定的:

获取各训练样本各自对应的初始样本上位词集,初始样本上位词集中包含至少两个初始正确上位词;

对于每一初始正确上位词,基于该初始正确上位词在所有初始样本上位词集中出现的次数,确定该初始正确上位词的负采样概率;

对于任一训练样本,基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词;

将该训练样本对应的初始样本上位词集中,除至少一个错误上位词所对应的初始正确上位词之外的其他初始正确上位词作为该训练样本对应的正确上位词。

可选的,样本上位词确定模块在基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词时,具体用于:

基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始正确上位词中的至少一个,确定为该训练样本对应的至少一个错误上位词,和/或,基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词。

可选的,样本上位词确定模块在基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中的至少一个初始正确上位词,替换为至少一个错误上位词时,具体用于:

基于该训练样本对应的各初始正确上位词的负采样概率,将该训练样本对应的初始样本上位词集中概率较高的,设定数量的初始正确上位词替换为错误上位词。

可选的,对于任一训练样本,若各初始正确上位词的负采样概率中存在至少两个相同的概率,且该负采样概率大于设定阈值;

样本上位词确定模块在基于该训练样本对应的各初始正确上位词的负采样概率,确定该训练样本对应的至少一个错误上位词时,具体用于:

将至少两个相同的概率对应的初始正确上位词中的至少一个确定为至少一个错误上位词。

可选的,对于一个训练样本,错误上位词的数量与正确上位词的数量相同。

由于本申请实施例所提供的下位词的上位词确定装置为可以执行本申请实施例中的下位词的上位词确定方法的装置,故而基于本申请实施例中所提供的下位词的上位词确定方法,本领域所属技术人员能够了解本申请实施例的下位词的上位词确定装置的具体实施方式以及其各种变化形式,所以在此对于该下位词的上位词确定装置如何实现本申请实施例中的下位词的上位词确定方法不再详细介绍。只要本领域所属技术人员实施本申请实施例中的下位词的上位词确定方法所采用的下位词的上位词确定装置,都属于本申请所欲保护的范围。

基于与本申请实施例所提供的下位词的上位词确定方法和下位词的上位词确定装置相同的原理,本申请实施例还提供了一种电子设备,该电子设备可以包括处理器和存储器。其中,存储器中存储有可读指令,可读指令由处理器加载并执行时,可以实现本申请任一实施例中所示的方法。

作为一个示例,图4中示出了本申请实施例的方案所适用的一种电子设备4000的结构示意图,如图4所示,该电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。

处理器4001可以是cpu(centralprocessingunit,中央处理器),通用处理器,dsp(digitalsignalprocessor,数据信号处理器),asic(applicationspecificintegratedcircuit,专用集成电路),fpga(fieldprogrammablegatearray,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。

总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是pci(peripheralcomponentinterconnect,外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是rom(readonlymemory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,ram(randomaccessmemory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是eeprom(electricallyerasableprogrammablereadonlymemory,电可擦可编程只读存储器)、cd-rom(compactdiscreadonlymemory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。

存储器4003用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现前述任一方法实施例所示的内容。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1