推理模型的训练方法、推理方法及装置与流程

1.本公开涉及人工智能技术领域，尤其涉及自然语言处理、知识图谱、深度学习技术领域，具体涉及一种推理模型的训练方法及装置、推理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。


背景技术：

2.深度学习技术，尤其是预训练语言模型(例如bert模型、gpt模型等)，被广泛应用于自然语言处理任务中。目前，预训练语言模型多用于处理序列标注、文本情感分析、语句匹配、机器翻译等任务。
3.在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。


技术实现要素：

4.本公开提供了一种推理模型的训练方法及装置、推理方法及装置、电子设备、计算机可读存储介质和计算机程序产品。
5.根据本公开的一方面，提供了一种推理模型的训练方法，包括：从知识图谱中采样环状子图；生成环状子图对应的推理语句；以及以推理语句为训练样本，训练推理模型。
6.根据本公开的另一方面，提供了一种推理方法，包括：将问题文本输入推理模型，推理模型为根据上述推理模型的训练方法训练得到；以及获取推理模型输出的问题文本对应的答案。
7.根据本公开的另一方面，提供了一种推理模型的训练装置，包括：采样模块，被配置为从知识图谱中采样环状子图；生成模块，被配置为生成环状子图对应的推理语句；以及训练模块，被配置为以推理语句为训练样本，训练推理模型。
8.根据本公开的另一方面，提供了一种推理装置，包括：问题输入模块，被配置为将问题文本输入推理模型，推理模型为根据上述推理模型的训练方法训练得到；以及答案获取模块，被配置为获取推理模型输出的问题文本对应的答案。
9.根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器。该存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述推理模型的训练方法和/或推理方法。
10.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质。该计算机指令用于使计算机执行上述推理模型的训练方法和/或推理方法。
11.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序。该计算机程序在被处理器执行时实现上述推理模型的训练方法和/或推理方法。
12.根据本公开的一个或多个实施例，从知识图谱中采样环状子图，生成环状子图对
应的推理语句，并以推理语句为训练样本来训练推理模型。知识图谱中的环状子图是由多个实体通过关系边连接而形成的闭环，能够表示多个实体间的关系推理过程。推理语句是环状子图对应的文本表示，相应地，推理语句是一种能够表示推理过程的推理性的语料。采用推理语句来训练推理模型，能够使推理模型直接学习到知识图谱中的知识推理过程，从而使推理模型具有知识推理能力，实现了准确、高效的知识推理。
13.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
15.图1示出了根据本公开实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
16.图2示出了根据本公开实施例的推理模型的训练方法的流程图；
17.图3示出了根据本公开实施例的示例性知识图谱的示意图；
18.图4a
‑
图4c示出了从图3所示的知识图谱中采样得到的三个环状子图的示意图；
19.图5示出了根据本公开实施例的推理方法的流程图；
20.图6示出了根据本公开实施例的推理模型的训练装置的结构框图；
21.图7示出了根据本公开实施例的推理装置的结构框图；以及
22.图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
25.在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
26.下面将结合附图详细描述本公开的实施例。
27.图1示出了根据本公开实施例的可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通
信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。
28.在本公开的实施例中，服务器120可以运行使得能够执行推理模型的训练方法和/或推理方法的一个或多个服务或软件应用。
29.在某些实施例中，服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中，这些服务可以作为基于web的服务或云服务提供，例如在软件即服务(saas)模型下提供给客户端设备101、102、103、104、105和/或106的用户。
30.在图1所示的配置中，服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解，各种不同的系统配置是可能的，其可以与系统100不同。因此，图1是用于实施本文所描述的各种方法的系统的一个示例，并且不旨在进行限制。
31.用户可以使用客户端设备101、102、103、104、105和/或106来浏览网页。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备，但是本领域技术人员将能够理解，本公开可以支持任何数量、任何类型的客户端设备。
32.客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备，例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算机设备可以运行各种类型和版本的软件应用程序和操作系统，例如microsoft windows、apple ios、类unix操作系统、linux或类linux操作系统(例如google chrome os)；或包括各种移动操作系统，例如microsoft windows mobile os、ios、windows phone、android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(pda)等。可穿戴设备可以包括头戴式显示器和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序，例如各种与internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(sms)应用程序，并且可以使用各种通信协议。
33.网络110可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协议中的任何一种(包括但不限于tcp/ip、sna、ipx等)来支持数据通信。仅作为示例，一个或多个网络110可以是局域网(lan)、基于以太网的网络、令牌环、广域网(wan)、因特网、虚拟网络、虚拟专用网络(vpn)、内部网、外部网、公共交换电话网(pstn)、红外网络、无线网络(例如蓝牙、wi
‑
fi)和/或这些和/或其他网络的任意组合。
34.服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如pc(个人计算机)服务器、unix服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机，或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中，服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。
35.服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个，包括http服务器、ftp服务器、cgi服务器、java服务器、数据库服务器等。
36.在一些实施方式中，服务器120可以包括一个或多个应用程序，以分析和合并从客户端设备101、102、103、104、105和106的用户接收的数据馈送和/或事件更新。服务器120还可以包括一个或多个应用程序，以经由客户端设备101、102、103、104、105和106的一个或多个显示设备来显示数据馈送和/或实时事件。
37.在一些实施方式中，服务器120可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器120也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(vps，virtual private server)服务中存在的管理难度大、业务扩展性弱的缺陷。
38.系统100还可以包括一个或多个数据库130。在某些实施例中，这些数据库可以用于存储数据和其他信息。例如，数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据存储库130可以驻留在各种位置。例如，由服务器120使用的数据存储库可以在服务器120本地，或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据存储库130可以是不同的类型。在某些实施例中，由服务器120使用的数据存储库可以是数据库，例如关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。
39.在某些实施例中，数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库，例如键值存储库，对象存储库或由文件系统支持的常规存储库。
40.图1的系统100可以以各种方式配置和操作，以使得能够应用根据本公开所描述的各种方法和装置。
41.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
42.预训练语言模型(permutation language model，plm，下简称“语言模型”)，例如bert(bidirectional encoder representations from transformers，基于变换器的双向编码器表示)模型、gpt(generative pre
‑
training，生成式预训练)模型等，被广泛应用于处理序列标注、文本情感分析、语句匹配、机器翻译等自然语言处理(natural language processing，nlp)任务。现有的语言模型通常采用大量的无标注语料训练得到。这些无标注语料通常为描述性的语料，而缺少推理性的语料，即缺少同时包含推理过程中的原因信息(问题条件)和结果信息(问题答案)的语料，导致现有的语言模型无法学习到知识推理过程，不具备知识推理能力。
43.为了使语言模型更好地捕获知识，可以将语言模型与知识图谱相结合。知识图谱是一种结构化的语义知识库，其可以被表示为由节点和边组成的网络拓扑图的形式，其中节点代表实体，节点之间的边代表实体之间的关系。在知识图谱中，两个相连的节点及其关系可以表示为一个三元组(h，r，t)，其中，h为第一实体(又称头实体、主体等)，t为第二实体
(又称尾实体、客体等)，r为第一实体与第二实体的关系。
44.在相关技术中，可以通过训练transe模型来学习知识图谱中的每个三元组的语义，生成各实体的词向量表示；然后将transe模型生成的词向量表示注入语言模型(通常是将transe生成的词向量表示与语言模型原本的输入词向量进行加和)，来训练语言模型。这种方法虽然可以使语言模型学习到一定的知识，但transe仅能针对知识图谱中的单个三元组进行建模，不能进行跨元组间的关系建模，而知识推理能力是一种跨元组间的推理预测，因此transe的推理能力非常有限。此外，上述方法是一个两阶段的训练过程(即先训练transe，再训练语言模型)，最终语言模型的推理能力是间接学习到的，极易导致推理失准。
45.为了使语言模型具有准确推理的能力，本公开实施例提供一种推理模型的训练方法，从知识图谱中采样环状子图，生成环状子图对应的推理语句，并以推理语句为训练样本来训练推理模型，能够使推理模型直接学习到知识图谱中的知识推理过程，从而使推理模型具有准确的知识推理能力，并且简化了模型训练过程(无需像上文的相关技术一样采用两阶段的训练过程)，提高了模型训练效率。
46.本公开实施例的推理模型的训练方法例如可以在图1所示的服务器120中执行。例如，服务器120可以基于数据库130中存储的知识图谱，执行本公开实施例的推理模型的训练方法，训练得到推理模型。
47.在另一些实施例中，推理模型的训练方法也可以在图1所示的客户端设备101、102、103、104、105和106中执行。例如，客户端设备可以通过网络110，向服务器120发起获取知识图谱的请求。服务器120响应于该请求，从数据库130中获取知识图谱并返回给客户端设备。客户端设备基于服务器120返回的知识图谱，执行本公开实施例的推理模型的训练方法，训练得到推理模型。在另一些实施例中，客户端设备也可以基于本地存储的知识图谱来执行本公开实施例的推理模型的训练方法，训练得到推理模型，而无需从服务器120处获取知识图谱。
48.基于训练好的推理模型，本公开实施例进一步提供一种推理方法，能够对问题文本进行推理，准确、高效地确定问题文本对应的答案。
49.本公开实施例的推理方法例如可以在图1所示的服务器120中执行。服务器120基于训练好的推理模型，可以执行本公开实施例的推理方法，向客户端设备101、102、103、104、105和106提供推理服务(或称问答服务)。例如，服务器120可以接收客户端设备上传的问题文本，并将问题文本输入推理模型，得到问题文本对应的答案，并将答案返回给客户端设备。
50.在另一些实施例中，本公开实施例的推理方法也可以在图1所示的客户端设备101、102、103、104、105和106中执行。例如，客户端设备可以接收用户(例如通过文字、语音等方式)输入的问题文本，将问题文本输入存储于客户端本地的推理模型，得到问题文本对应的答案，并将答案通过文字或语音的形式反馈给用户。
51.图2示出了根据本公开实施例的推理模型的训练方法200的流程图。如前所述，方法200可以在服务器(例如图1中所示的服务器120)或客户端设备(例如图1中所示的客户端设备101、102、103、104、105、106)处执行，也即，方法200的各个步骤的执行主体可以是图1中所示的服务器120，也可以是客户端设备101、102、103、104、105、106。
52.如图2所示，方法200包括：
53.步骤210、从知识图谱中采样环状子图；
54.步骤220、生成环状子图对应的推理语句；以及
55.步骤230、以推理语句为训练样本，训练推理模型。
56.根据本公开的实施例，从知识图谱中采样环状子图，生成环状子图对应的推理语句，并以推理语句为训练样本来训练推理模型。知识图谱中的环状子图是由多个实体通过关系边连接而形成的闭环，能够表示多个实体间的关系推理过程。推理语句是环状子图对应的文本表示，相应地，推理语句是一种能够表示推理过程的推理性的语料。采用推理语句来训练推理模型，能够使推理模型直接学习到知识图谱中的知识推理过程，从而使推理模型具有知识推理能力，实现了准确、高效的知识推理。
57.以下详细描述方法200的各个步骤。
58.步骤210、从知识图谱中采样环状子图。
59.如前所述，知识图谱是一种结构化的语义知识库，其可以被表示为由节点和边组成的网络拓扑图的形式，其中，节点代表实体，边代表实体之间的关系。知识图谱可以是不同的类型，其所包括的实体的类型、实体之间的关系的类型均可以有多种。实体之间的关系可以具有方向性(相应地，知识图谱为有向图)，也可以不具有方向性(相应地，知识图谱为无向图)。根据实体的类型和实体间的关系类型的不同，知识图谱可以存储不同的知识，应用于不同的领域。本公开对知识图谱的具体内容不作限制。
60.例如，在社会关系分析领域的知识图谱中，实体可以是自然人，实体之间的关系可以是人际关系，例如父子关系、夫妻关系、朋友关系等。又例如，在医疗分析领域的知识图谱中，实体可以是疾病、症状、检查项等，实体之间的关系可以包括(疾病与症状之间的)阳性关系、阴性关系、疾病与检查项之间的)实施关系等。还例如，在工商分析领域的知识图谱中，实体可以是自然人、企业、合同、账户等，实体之间的关系包括(自然人与企业之间的)高管关系、(自然人与企业、企业与企业之间的)持股关系、担保关系等。
61.在本公开的实施例中，环状子图是知识图谱的一部分，其包括多个实体，这多个实体通过关系边连接形成闭环。
62.如前所述，知识图谱可以是有向图也可以是无向图。考虑到只要两个实体之间通过关系边连接，不论该关系边是何种方向，均表示这两个实体之间存在联系，可以用于形成推理过程(即作为推理过程中的一环)。因此，根据一些实施例，在通过步骤210采样环状子图时，可以不考虑关系边的方向性，即，将知识图谱均作为无向图处理。但是，通常地，在三元组表示，以及后续步骤220生成推理语句时，需要考虑关系边的方向性。三元组的表示以及生成推理语句的具体步骤将于下文进行详述。
63.可以理解地，在另一些实施例中，在通过步骤210采样环状子图时，也可以考虑边的方向性。即，对于有向的知识图谱，在采样得到的环状子图中，各条关系边首尾相接，一条关系边所指向的终点实体为下一条关系边的起点实体。
64.通常地，为了形成环，环状子图中需要包括至少三条关系边，即，环状子图包括至少三个三元组。每个三元组包括第一实体、第二实体、以及第一实体与第二实体的关系，可以被表示成(第一实体，关系，第二实体)的形式。具体地，在知识图谱为有向图(即关系为有向关系)的情况下，第一实体为关系边的起点实体；第二实体为关系边的终点实体；在知识图谱为无向图(即关系为无向关系)的情况下，第一实体、第二实体可以是关系边所连接的
任一实体。
65.根据一些实施例，为了提高采样效率和模型的训练效率，以及提高模型学习推理过程的有效性，可以设置环状子图所包括的三元组的数量阈值，例如，可以将数量阈值设置为6，则采样得到的环状子图最多包括6个三元组，包含的三元组的数量大于6的环状子图将不会被采样。
66.图3示出了根据本公开实施例的示例性知识图谱300的结构图。知识图谱300是一个有向的社会关系知识图谱，其中的节点为自然人实体(例如张三、李五、王六等)，边为自然人实体之间的人际关系(例如父亲、母亲、妻子等)。
67.图4a、4b、4c示出了从图3所示的知识图谱300中采样得到的三个环状子图400a、400b、400c的示意图，采样过程中将知识图谱300作为无向图处理，即不考虑关系边的方向性。
68.如图4a所示，环状子图400a包括三个实体，即张一、张三、李五，这三个实体通过相应的关系边连接形成闭环。环状子图400a包括三个三元组，即(张三，父亲，张一)，(张三，母亲，李五)，(李五，丈夫，张一)。
69.如图4b所示，环状子图400b包括四个实体，即张一、张二、张三、李五，这四个实体通过相应的关系边连接形成闭环。环状子图400b包括四个三元组，即(张三，母亲，李五)，(李五，丈夫，张一)，(张一，兄弟，张二)，(张三，叔父，张二)。
70.如图4c所示，环状子图400c包括五个实体，即张一、张二、张三、张四、李五，这五个实体通过相应的关系边连接形成闭环。环状子图400c包括五个三元组，即(张三，儿子，张四)，(张四，祖母，李五)，(李五，丈夫，张一)，(张一，兄弟，张二)，(张三，叔父，张二)。
71.步骤220、生成环状子图对应的推理语句。
72.根据一些实施例，推理语句可以按照以下步骤222和224生成：
73.步骤222、分别生成环状子图所包括的至少三个三元组中的每一个三元组对应的子句；以及
74.步骤224、将上述至少三个三元组各自对应的子句进行拼接，得到推理语句。
75.根据一些实施例，针对步骤222，可以基于模板来生成各三元组对应的子句，即：获取预设的模板，模板包括用于填充第一实体的第一槽位、用于填充第一实体与第二实体的关系的第二槽位、以及用于填充第二实体的第三槽位；以及将三元组的第一实体、第一实体与第二实体的关系、以及第二实体填充至模板的相应槽位中，得到三元组对应的子句。
76.例如，模板可以是“[slot1]的[slot2]是[slot3]”，其中slot1、slot2、slot3分别表示用于填充第一实体的第一槽位、用于填充第一实体与第二实体的关系的第二槽位、以及用于填充第二实体的第三槽位。以图4a所示的环状子图400a中的三元组(张三，父亲，张一)为例，将张三、父亲、张一分别填充至模板的slot1、slot2、slot3中，得到子句“张三的父亲是张一”。
[0077]
可以理解地，模板的形式不限于上述实施例。除上述实施例中的模板之外，还可以采用其他形式的模板，例如“[slot3]是[slot1]的[slot2]”“[slot1]和[slot3]是[slot2]”，“[slot1]与[slot3]具有[slot2]关系”，等等。
[0078]
并且，根据一些实施例，针对环状子图中的不同的三元组，可以采用不同的模板。例如，可以将环状子图中的一个三元组作为答案三元组，其他三元组作为问题条件三元组。
对于条件三元组，可以采用模板“[slot1]的[slot2]是[slot3]”来生成子句；对于答案三元组，可以采用模板“则[slot1]的[slot2]是[slot3]”来生成子句。例如，图4a所示的环状子图400a包括三个三元组，(张三，父亲，张一)，(张三，母亲，李五)，(李五，丈夫，张一)。可以将前两个三元组，即(张三，父亲，张一)，(张三，母亲，李五)作为问题条件三元组，将最后一个三元组，即(李五，丈夫，张一)作为答案三元组。采用模版“[slot1]的[slot2]是[slot3]”，生成(张三，父亲，张一)对应的子句“张三的父亲是张一”，以及生成(张三，母亲，李五)对应的子句“张三的母亲是李五”；采用模板“则[slot1]的[slot2]是[slot3]”，生成(李五，丈夫，张一)对应的子句“则李五的丈夫是张一”。
[0079]
根据另一些实施例，针对步骤222，可以基于序列化的方式来生成各三元组对应的子句，即：将三元组的第一实体、第一实体与第二实体的关系、第二实体进行拼接，得到该三元组对应的子句。
[0080]
以图4a所示的环状子图400a中的三元组(张三，父亲，张一)为例，将张三、父亲、张一进行拼接，得到子句“张三父亲张一”。
[0081]
在通过步骤222生成环状子图中各三元组对应的子句后，通过步骤224，将各三元组的子句进行拼接，得到推理语句。根据一些实施例，推理语句中的相邻的两个子句由分隔符分隔开，以表明两个子句是来源于不同三元组的知识内容，从而使推理模型能够更好地对推理语句中的内容进行区分，更准确地学习推理语句中的推理过程。分隔符例如可以是逗号“，”，分号“；”等。
[0082]
仍以图4a所示的环状子图400a为例，利用模板“[slot1]的[slot2]是[slot3]”，分别生成三元组(张三，父亲，张一)，(张三，母亲，李五)，(李五，丈夫，张一)对应的子句“张三的父亲是张一”，“张三的母亲是李五”，“李五的丈夫是张一”，然后将这三个子句进行拼接，并采用逗号分隔符来将各子句区分开，得到推理语句“张三的父亲是张一，张三的母亲是李五，李五的丈夫是张一”。
[0083]
类似地，针对图4b所示的环状子图400b，可以得到推理语句“张三的母亲是李五，李五的丈夫是张一，张一的兄弟是张二，张三的叔父是张二”。针对图4c所示的环状子图400c，可以得到推理语句“张三的儿子是张四，张四的祖母是李五，李五的丈夫是张一，张一的兄弟是张二，张三的叔父是张二”。
[0084]
步骤230、以推理语句为训练样本，训练推理模型。
[0085]
根据一些实施例，步骤230可以包括以下步骤232
‑
236：
[0086]
步骤232、将推理语句中的一个元素替换为预设的掩码，得到问题语句，其中，该元素来源于环状子图；
[0087]
步骤234、将问题语句输入推理模型，并获得推理模型输出的预测答案；以及
[0088]
步骤236、基于上述元素和预测答案，调整推理模型的参数。
[0089]
可以理解地，参见上文对步骤220(尤其是步骤222)的描述，在三元组对应的子句为采用模板生成的情况下，推理语句中的语言元素包括两部分，一部分来源于环状子图中的三元组，另一部分来源于模板。针对步骤232，被替换为掩码的元素为来源于环状子图，即，被替换为掩码的元素可以是环状子图中的任一个三元组的第一实体、第二实体、或第一实体与第二实体的关系，从而使推理模型能够学习推理过程并预测出该元素，达到知识推理的效果。
[0090]
如前所述，推理语句包括多个子句，每个子句对应于环状子图中的一个三元组。根据一些实施例，步骤232中被替换为掩码的元素可以位于推理语句的最后一个子句中。通过将推理语句的最后一个子句中的元素替换为掩码，即统一将推理语句中的最后一个子句作为待预测的问题答案，将前几个子句作为问题条件，使推理模型更加专注于对知识推理过程的学习，避免位置因素的干扰，提高模型推理的准确性。
[0091]
根据一些实施例，掩码可以是一个预设的字符串，例如“[mask]”。根据另一些实施例，也可以预设包括多个掩码的掩码表，从掩码表中随机选择一个掩码来替换推理语句中的元素。
[0092]
仍以图4a所示的环状子图400a为例，其对应的推理语句为“张三的父亲是张一，张三的母亲是李五，李五的丈夫是张一”。将该语句中的一个来源于三元组的元素，例如第二个子句中的“李五”替换为掩码“[mask]”，得到问题语句“张三的父亲是张一，张三的母亲是[mask]，李五的丈夫是张一”。又例如，可以将最后一个子句中的“丈夫”替换为掩码“[mask]”，得到问题语句“张三的父亲是张一，张三的母亲是李五，李五的[mask]是张一”。
[0093]
推理模型可以是任意语言模型，例如bert模型、gpt模型等，本公开不限制推理模型的具体结构。
[0094]
根据一些实施例，针对步骤236，基于被掩码替换的元素和推理模型输出的预测答案，调整推理模型的参数。被掩码替换的元素即为真实答案，可以根据该元素与推理模型输出的预测答案来确定损失值，并根据损失值来调整推理模型的参数。确定损失值以及调整模型参数的过程可以迭代执行多次，使得模型的参数逐渐被优化，模型输出的预测答案逐渐接近真实答案(即被掩码替换的元素)。通常地，当损失值小于一阈值，或迭代次数达到一阈值时，推理模型训练完成。
[0095]
根据上述推理模型的训练方法200，可以生成具有知识推理能力的推理模型。基于该推理模型，本公开实施例还提供一种推理方法，能够实现准确、高效的知识推理。具体地，本公开的推理方法可以应用于问答系统中，用于向用户提供问答服务。
[0096]
图5示出了根据本公开实施例的推理方法500的流程图。如前所述，方法500可以在服务器(例如图1中所示的服务器120)或客户端设备(例如图1中所示的客户端设备101、102、103、104、105、106)处执行，也即，方法500的各个步骤的执行主体可以是图1中所示的服务器120，也可以是客户端设备101、102、103、104、105、106。
[0097]
如图5所示，方法500包括：
[0098]
步骤510、将问题文本输入推理模型，推理模型为根据本公开实施例的推理模型的训练方法训练得到；以及
[0099]
步骤520、获取推理模型输出的问题文本对应的答案。
[0100]
根据本公开的实施例，基于推理模型，能够实现准确、高效的知识推理。
[0101]
根据一些实施例，方法500还包括步骤530(步骤530未在图5中示出)：获取用户输入的问题文本，问题文本包括多个实体以及该多个实体之间的关系。
[0102]
根据一些实施例，客户端设备可以接收用户通过文字方式输入的问题文本。根据另一些实施例，客户端设备也可以接收用户的语音输入，通过对用户的语音进行识别，得到问题文本。在方法500的执行主体为服务器的情况下，客户端设备将用户输入的问题文本上传至服务器，相应地，在步骤530中，服务器获取用户输入的问题文本，随后执行步骤510，将
问题文本输入推理模型。在方法500的执行主体为客户端设备的情况下，在步骤530中，客户端设备可以获取用户输入的问题文本，随后执行步骤510，将问题文本输入推理模型。
[0103]
根据另一些实施例，客户端设备可以接收用户输入的问题文本的存储位置(例如云存储地址、本地数据库的标识等)。在方法500的执行主体为服务器的情况下，客户端设备将用户输入的问题文本的存储位置上传至服务器，相应地，在步骤530中，服务器可以从相应的存储位置获取用户指定的问题文本，随后执行步骤510，将问题文本输入推理模型。在方法500的执行主体为客户端设备的情况下，在步骤530中，客户端设备可以获取用户输入的问题文本的存储位置，从该存储位置获取问题文本，随后执行步骤510，将问题文本输入推理模型。
[0104]
推理模型可以对问题文本中的实体及关系进行推理，并输出相应的答案。
[0105]
根据一些实施例，步骤510的问题文本中所包括的实体可以是推理模型的训练样本(即推理语句)中曾经出现过的实体。针对这种情况，推理模型可以准确输出该问题文本对应的答案。例如，问题文本可以是“张三的母亲是李五，李五的丈夫是张一，张一的兄弟是张二，那么张二是张三的什么人？”，推理模型可以输出相应的答案“叔父”。
[0106]
根据另一些实施例，在问题文本所包括的实体中，存在部分或全部实体在推理模型的训练样本(即推理语句)中从未出现过。针对这种情况，尽管推理模型的训练样本中不包括这些实体，但是推理模型已经根据其他实体(即推理语句中的实体)学习到了实体间的关系推理过程，因此在问题文本中包括未知的实体时，推理模型仍能够根据问题文本中的这些未知的实体及其相互关系，准确推理出相应的答案。
[0107]
例如，问题文本可以是“吴一的父亲是吴二，吴一的母亲是郑三，则吴二是郑三的”，其中，吴一、吴二、郑三在推理模型的训练样本中均未出现过。但是，推理模型根据训练样本“张三的父亲是张一，张三的母亲是李五，李五的丈夫是张一”已经学习到实体间的父母、夫妻关系的推理过程，因此针对该问题文本，推理模型可以推理出答案为“丈夫”。
[0108]
根据本公开的实施例，还提供一种推理模型的训练装置。
[0109]
图6示出了根据本公开的实施例的推理模型的训练装置600的结构框图。如图6所示，装置600包括：
[0110]
采样模块610，被配置为从知识图谱中采样环状子图；
[0111]
生成模块620，被配置为生成环状子图对应的推理语句；以及
[0112]
训练模块630，被配置为以推理语句为训练样本，训练推理模型。
[0113]
根据本公开的实施例，从知识图谱中采样环状子图，生成环状子图对应的推理语句，并以推理语句为训练样本来训练推理模型。知识图谱中的环状子图是由多个实体通过关系边连接而形成的闭环，能够表示多个实体间的关系推理过程。推理语句是环状子图对应的文本表示，相应地，推理语句是一种能够表示推理过程的推理性的语料。采用推理语句来训练推理模型，能够使推理模型直接学习到知识图谱中的知识推理过程，从而使推理模型具有知识推理能力，实现了准确、高效的知识推理。
[0114]
根据一些实施例，所述环状子图包括至少三个三元组，并且其中，所述生成模块包括：子句生成单元，被配置为分别生成所述至少三个三元组中的每一个三元组对应的子句；以及拼接单元，被配置为将所述至少三个三元组各自对应的子句进行拼接，得到所述推理语句。
on chip,soc)中。soc可以包括集成电路芯片(其包括处理器(例如，中央处理单元(central processing unit,cpu)、微控制器、微处理器、数字信号处理器(digital signal processor,dsp)等)、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件)，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能。
[0128]
根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0129]
参考图8，现将描述可以作为本公开的服务器或客户端的电子设备800的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0130]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0131]
设备800中的多个部件连接至i/o接口805，包括：输入单元806、输出单元807、存储单元808以及通信单元809。输入单元806可以是能向设备800输入信息的任何类型的设备，输入单元806可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元807可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元808可以包括但不限于磁盘、光盘。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙
tm
设备、1302.11设备、wi
‑
fi设备、wimax设备、蜂窝通信设备和/或类似物。
[0132]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如上文描述的方法200和/或方法500。例如，在一些实施例中，方法200和/或方法500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的方法200和/或方法500的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200和/或方法500。
[0133]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电
路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0134]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0135]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0136]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0137]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0138]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0139]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够
实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0140]
虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。