一种问答交互的方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种问答交互的方法和装置。


背景技术：

2.智能人机问答交互技术是指让机器理解和运用自然语言实现人机通信的技术，最近几年随着人工智能的兴起，智能人机问答交互技术的研究也越来越深入，从一问一答问答类型，到任务完成类型，再到多轮对话问答类型。对于多轮对话问答需要从给定的候选回复中，选取与问题最匹配的回复，现有的多轮对话应答选择方法可以分为两大类：一类通过将多轮对话拼接起来进行编码，然后与候选应答语句进行匹配；另外一类基于多轮对话中的每个语句与候选应答语句之间的交互特征进行建模，再对候选应答语句进行筛选。
3.在实现本发明过程中，发明人发现现有技术中存在如下问题：
4.目前采用的多轮对话应答语句的选择方法不是仅考虑了多轮对话上下文整体与候选应答语句之间的匹配关系，就是仅考虑了多轮对话中的每个语句与候选应答语句之间的交互特征，不能最大程度的提取多轮对话中的交互特征，影响了智能人机多轮对话问答中应答语句的准确率，不能很好的满足实际应用需要。


技术实现要素：

5.有鉴于此，本发明实施例提供一种问答交互的方法和装置，基于咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示，得到表征每个咨询语句与每个候选应答语句的第一匹配特征矩阵和表征咨询上下文与每个候选应答语句的第二匹配特征矩阵，通过将第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算并选择候选应答语句中匹配分值最大的候选应答语句作为应答语句，实现了既考虑了咨询语句层面的匹配特征，又兼顾了咨询上下文层面的匹配特征的候选应答语句的筛选，提高了智能人机多轮对话问答中应答语句的准确率，更好的满足了实际应用。
6.为实现所述目的，根据本发明实施例的一个方面，提供了一种问答交互的方法，包括：
7.根据接收到的咨询语句，获取与所述咨询语句相关的咨询上下文，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；
8.根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，所述候选应答语句的语义表示通过对候选应答语句进行编码得到；
9.将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；
10.将所述匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互。
11.可选地，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示，包括：基于所述咨询上下文中的每个咨询语句的词汇，通过词嵌入层，得到所述咨询上下文中的每个咨询语句的词向量表示；将所述咨询上下文中的每个咨询语句的词向量表示进行拼接，得到所述咨询上下文的词向量表示；根据所述每个咨询语句的词向量表示和所述咨询上下文的词向量表示，通过语义分析模型，分别得到所述咨询上下文中的每个咨询语句的语义表示和所述咨询上下文的语义表示。
12.可选地，根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，包括：根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示，通过计算所述每个咨询语句和候选应答语句的词汇匹配度，得到每个咨询语句和候选应答语句的交互矩阵；通过对所述交互矩阵进行卷积和池化操作，得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵。
13.可选地，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，包括：根据所述咨询上下文的语义表示和每个候选应答语句的语义表示，采用注意力机制，通过提取所述咨询上下文和每个候选应答语句之间的关键信息匹配度，得到注意力权重；根据所述注意力权重，对所述咨询上下文进行加权表示，得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵。
14.可选地，将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值，包括：根据所述第一匹配特征矩阵和所述第二匹配特征矩阵，计算交互融合的注意力权重矩阵；根据所述交互融合的注意力权重矩阵，对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，得到每个候选应答语句对应的融合特征表示；将所述融合特征表示进行逻辑回归处理，得到每个候选应答语句的匹配分值。
15.可选地，对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合之前，还包括：使用激活函数分别对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行变换，得到第一变换匹配特征矩阵和第二变换匹配特征矩阵；所述对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，包括：对所述第一变换匹配特征矩阵和所述第二变换匹配特征矩阵进行交互融合。
16.可选地，根据所述第一匹配特征矩阵和所述第二匹配特征矩阵，计算交互融合的注意力权重矩阵，包括：根据所述第一匹配特征矩阵和第二匹配特征矩阵，得到二阶交互特征表示；对所述二阶交互特征表示中的交互权重矩阵进行降秩拆分，以将所述交互权重矩阵表示为两个二维交互子权重矩阵相乘的形式；基于所述降秩拆分后的交互权重矩阵，将所述第一匹配特征矩阵和所述第二匹配特征矩阵中的对应元素两两进行二阶交互，并进行池化处理，得到交互融合的注意力权重矩阵。
17.可选地，所述方法基于预先训练的问答交互模型来实现，且所述问答交互模型在进行训练时采用交叉熵作为损失函数。
18.根据本发明实施例的第二方面，提供一种问答交互的装置，包括：
19.语义表示获取模块，用于根据接收到的咨询语句，获取与所述咨询语句相关的咨询上下文，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；
20.匹配特征向量获取模块，用于根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，所述候选应答语句的语义表示通过对候选应答语句进行编码得到；
21.交互融合模块，用于将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；
22.应答语句获取模块，用于将所述匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互。
23.根据本发明实施例的第三方面，提供一种问答交互的电子设备，其特征在于，包括：
24.一个或多个处理器；
25.存储装置，用于存储一个或多个程序，
26.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
27.根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
28.所述发明中的一个实施例具有如下优点或有益效果：通过根据接收到的咨询语句，获取与咨询语句相关的咨询上下文，对咨询上下文进行编码，得到咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；根据咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到每个咨询语句与候选应答语句的第一匹配特征矩阵，根据咨询上下文的语义表示和每个候选应答语句的语义表示得到咨询上下文与候选应答语句的第二匹配特征矩阵，候选应答语句的语义表示通过对候选应答语句进行编码得到；将第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；将匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互的技术方案，实现了基于咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示，得到表征每个咨询语句与每个候选应答语句的第一匹配特征矩阵和表征咨询上下文与每个候选应答语句的第二匹配特征矩阵，通过将第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算并选择候选应答语句中匹配分值最大的候选应答语句作为应答语句，实现了既考虑了咨询语句层面的匹配特征，又兼顾了咨询上下文层面的匹配特征的候选应答语句的筛选，提高了智能人机多轮对话问答中应答语句的准确率，更好的满足了实际应用。
附图说明
29.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
30.图1是根据本发明实施例的问答交互方法的主要流程的示意图；
31.图2是本发明实施例问答交互模型的整体框架示意图；
32.图3是根据本发明实施例的问答交互装置的主要模块示意图；
33.图4是本发明实施例可以应用于其中的示例性系统架构图；
34.图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意
图。
具体实施方式
35.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
36.目前采用的多轮对话应答语句的选择方法不是仅考虑了多轮对话中的每个语句与候选应答语句之间的交互特征，就是仅考虑了多轮对话上下文整体与候选应答语句之间的匹配关系，不能最大程度的提取多轮对话中的交互特征，影响了智能人机多轮对话问答中应答语句的准确率，不能很好的满足实际应用需要。
37.为了解决现有技术中存在的上述问题，本发明提出一种问答交互方法，基于咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示，得到表征每个咨询语句与每个候选应答语句的第一匹配特征矩阵和表征咨询上下文与每个候选应答语句的第二匹配特征矩阵，通过将第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算并选择候选应答语句中匹配分值最大的候选应答语句作为应答语句，实现了既考虑了咨询语句层面的匹配特征，又兼顾了咨询上下文层面的匹配特征的候选应答语句的筛选，提高了智能人机多轮对话问答中应答语句的准确率，更好的满足了实际应用。
38.在本发明的实施例介绍中，所涉及的名词及其含义如下：
39.transformer：是一种nlp经典模型，使用了self-attention机制，不采用rnn的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息；
40.max-pooling：是cnn当中的最大值池化操作；
41.adam优化器：是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重；
42.softmax函数：一种归一化的指数函数，用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内；
43.softmax层：最常用的一种通过神经网络解决多分类问题；
44.es：elasticsearch，一个基于lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，是一种流行的企业级搜索引擎。
45.图1是根据本发明实施例的问答交互方法的主要流程的示意图，如图1所示，本发明实施例的问答交互方法包括如下的步骤s101至步骤s104。
46.步骤s101、根据接收到的咨询语句，获取与所述咨询语句相关的咨询上下文，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示。
47.具体地，在智能人机多轮问答交互中，由于咨询语句可能是片段化的，也有可能随着对话的进行发生变化和修改，所以需要根据接收到的咨询语句，获取与咨询语句相关的咨询上下文。系统根据当前接收到的咨询语句，将本次多轮问答交互中在咨询语句之前的接收到的所有咨询语句和当前接收到的咨询语句组成咨询上下文。
48.根据本发明的一个实施例，对所述咨询上下文进行编码，得到所述咨询上下文中
的每个咨询语句的语义表示和咨询上下文的语义表示，包括：基于所述咨询上下文中的每个咨询语句的词汇，通过词嵌入层，得到所述咨询上下文中的每个咨询语句的词向量表示；将所述咨询上下文中的每个咨询语句的词向量表示进行拼接，得到所述咨询上下文的词向量表示；根据所述每个咨询语句的词向量表示和所述咨询上下文的词向量表示，通过语义分析模型，分别得到所述咨询上下文中的每个咨询语句的语义表示和所述咨询上下文的语义表示。
49.具体地，设定上述的咨询上下文用来表示，而sk＝{w1,w2,
…
,wn}，其中sk表示咨询上下文中的第k个咨询语句，wn表示在sk咨询语句中的第n个词汇。对咨询上下文s中的每个咨询语句，通过词嵌入层，得到每个咨询语句的词向量表示，设定其中一个咨询语句的词向量表示为es＝[e1,e2…en
]；根据每个咨询语句的词向量表示，将咨询上下文中的每个咨询语句的词向量表示进行拼接，设定咨询上下文中共计l个词汇，得到咨询上下文的词向量表示ec＝[e1,e2…el
]；根据每个咨询语句的词向量表示和咨询上下文的词向量表示，通过基于自注意力机制的transformer语义分析模型，得到每个咨询语句的语义表示和咨询上下文的语义表示，以上述的一个咨询语句的词向量表示es为例，其语义表示s为：
[0050]
s＝transformer
encoder
(es)，
[0051]
相应的，咨询上下文的语义表示c为：
[0052]
c＝transformer
encoder
(ec)。
[0053]
步骤s102、根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，所述候选应答语句的语义表示通过对候选应答语句进行编码得到。
[0054]
具体地，根据上述咨询上下文，可以通过es检索出多个候选应答语句，将每个候选应答语句按照上述的编码方法进行编码，得到候选应答语句的语义表示，以其中的一个候选应答语句r为例，r＝{w1,w2,
…
,wq}，w
p
表示在候选应答语句r中的第q个词汇，在获取到此候选应答语句的词向量表示er＝[e1,e2…eq
]后，通过基于自注意力机制的transformer语义分析模型，得到此候选应答语句的语义表示r为：
[0055]
r＝transformer
encoder
(er)。
[0056]
根据本发明的一个实施例，根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，包括：根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示，通过计算所述每个咨询语句和候选应答语句的词汇匹配度，得到每个咨询语句和候选应答语句的交互矩阵；通过对所述交互矩阵进行卷积和池化操作，得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵。
[0057]
具体地，根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示，以候选应答语句中的一个候选应答语句为匹配对象，在计算所述咨询上下文中每个咨询语句和匹配对象的词汇匹配度后，按照上述每个咨询语句和匹配对象的词汇匹配度计算的方法，遍历候选应答语句中的其它候选应答语句，计算所述每个咨询语句和候选应答语句的词汇匹配度，进而得到每个咨询语句和候选应答语句的交互矩阵；在此基础
上，通过对所述交互矩阵进行卷积和池化操作，将提取到的匹配特征进行拼接和投影，得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵。
[0058]
示例性地，以候选应答语句中的一个候选应答语句为匹配对象，根据上述的一个咨询语句的语义表示s和一个候选应答语句的语义表示r，计算两个句子相应位置上的词汇匹配度为：
[0059]mij
＝si·
trj
·
，
[0060]
其中si·
表示此咨询语句中的第i个词的语义表示，rj·
表示此候选应答语句的第j个词的语义表示，由此得到此咨询语句和此候选应答语句之间的交互矩阵m，按照此方法，可以得到每个咨询语句和此候选应答语句的交互矩阵，进而得到每个咨询语句和所有候选应答语句的交互矩阵；对于上述交互矩阵m，通过在这个交互矩阵上进行卷积以及池化操作，提取此咨询语句和词候选应答语句之间的关键匹配信息，将池化操作中max-pooling的匹配特征进行拼接，并投影到低维匹配特征空间，得到第i个咨询语句与此候选应答语句之间的第一匹配特征向量可以用卷积神经网络表示为：
[0061][0062]
按照上述相似的方式，依次对咨询上下文中剩余的m-1个咨询语句计算第一匹配特征向量，得到每个咨询语句与此候选应答语句之间的第一匹配特征矩阵对于所有的候选应答语句，与此相似，通过对交互矩阵进行卷积和池化操作，计算每个咨询语句与所述候选应答语句的第一匹配特征矩阵，进而得到每个咨询语句与所有候选应答语句的第一匹配特征矩阵的集合。
[0063]
根据本发明的另一个实施例，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，包括：根据所述咨询上下文的语义表示和每个候选应答语句的语义表示，采用注意力机制，通过提取所述咨询上下文和每个候选应答语句之间的关键信息匹配度，得到注意力权重；根据所述注意力权重，对所述咨询上下文进行加权表示，得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵。
[0064]
具体地，由于咨询上下文的规模一般相对大，对于咨询上下文和候选应答语句的匹配度提取优选采用注意力机制，提取关键信息的匹配度，根据咨询上下文的语义表示和每个候选应答语句的语义表示，采用注意力机制，提取咨询上下文和每个候选应答语句之间的关键信息匹配度，得到注意力权重，例如，对于一个候选应答语句response，咨询上下文context和response之间的关键信息匹配度d
i,j
为：
[0065]di,j
＝tanh(cj·
t
wri·
+b)，
[0066]
其中cj·
为咨询上下文context中第j个词的语义表示，ri·
为候选应答语句response中第i个词的语义表示，w为权重矩阵，b为偏置项，相应地，其注意力权重α
i,j
为：
[0067][0068]
类似的，按照此方法，遍历所有的候选应答语句，提取咨询上下文和每个候选应答语句之间的关键信息匹配度，得到注意力权重；根据上述注意力权重，对咨询上下文context进行加权表示，得到咨询上下文context与所述候选应答语句response的第二匹配
特征矩阵，进而得到咨询上下文context与所有候选应答语句的第二匹配特征矩阵集合。例如上述的一个候选应答语句response，咨询上下文context可以被表示为各个词的加权表示∑jα
i,jcj
·
，得到咨询上下文context与候选应答语句response的第i个词的第二匹配特征向量其中，表示对应元素相乘，最后得到咨询上下文context与候选应答语句response中每个词的第二匹配特征矩阵n表示response中词汇的总个数。类似的，按照这种方法，遍历所有的候选应答语句，得到咨询上下文context与所有候选应答语句的第二匹配特征矩阵集合。
[0069]
通过上述第一匹配特征矩阵和第二匹配特征矩阵的计算，既得到了咨询上下文和候选应答语句之间语句层面的匹配特征，又得到了咨询上下文和候选应答语句之间更细粒度的词汇匹配特征，实现了咨询语句和候选应答语句多层面的匹配特征提取。
[0070]
步骤s103、将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值。
[0071]
具体地，候选应答语句中的每个候选应答语句均对应着第一匹配特征矩阵和第二匹配特征矩阵，将每个候选应答语句的第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值。
[0072]
根据本发明的一个实施例，将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值，包括：根据所述第一匹配特征矩阵和所述第二匹配特征矩阵，计算交互融合的注意力权重矩阵；根据所述交互融合的注意力权重矩阵，对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，得到每个候选应答语句对应的融合特征表示；将所述融合特征表示进行逻辑回归处理，得到每个候选应答语句的匹配分值。
[0073]
根据本发明的另一个实施例，根据所述第一匹配特征矩阵和所述第二匹配特征矩阵，计算交互融合的注意力权重矩阵，包括：根据所述第一匹配特征矩阵和第二匹配特征矩阵，得到二阶交互特征表示；对所述二阶交互特征表示中的交互权重矩阵进行降秩拆分，以将所述交互权重矩阵表示为两个二维交互子权重矩阵相乘的形式；基于所述降秩拆分后的交互权重矩阵，将所述第一匹配特征矩阵和所述第二匹配特征矩阵中的对应元素两两进行二阶交互，并进行池化处理，得到交互融合的注意力权重矩阵。
[0074]
示例性地，对上述第二匹配特征矩阵中的第i个词汇的第二匹配特征向量以及第一匹配特征矩阵中的第j个咨询语句的第一匹配特征向量其二阶交互特征表示为：
[0075][0076]
其中vi是交互权重矩阵的第i个矩阵；为了减少参数量，对交互权重矩阵v进行降秩拆分，使用两个
[0077]
低秩的二维矩阵的相乘来代替，其中s≤min(dw,dc)；基于降秩拆分后的交互权重矩阵，将第二匹配特征矩阵中的第i个词汇的第二匹配特征向量以及第一匹配特征矩阵中的第j个咨询语句的第一匹配特征向量中的对应元素两两相
乘，使用池化矩阵去达到同样产生二阶交互特征向量的效果，得到：
[0078][0079]
根据上述二阶交互特征向量的表示，可以得到交互融合的注意力权重矩阵a中的每个元素为：
[0080][0081]
其中得到标量a
ij
，为了便于后续的运算效率，根据元素a
ij
，可以得到交互融合的注意力权重矩阵a的计算方法：
[0082][0083]h′
t
＝u(h
t
；v,bv)
[0084][0085]
其中，g函数表示逐元素的softmax，u函数为：u(x；θ,b
θ
)＝σ(xθ+b
θ
)，σ表示激活函数，b
θ
表示偏置项。
[0086]
基于上述计算得到的交互融合的注意力权重矩阵a，对第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，得到每个候选应答语句对应的融合特征表示。
[0087]
根据本发明的再一个实施例，对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合之前，还包括：使用激活函数分别对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行变换，得到第一变换匹配特征矩阵和第二变换匹配特征矩阵；所述对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，包括：对所述第一变换匹配特征矩阵和所述第二变换匹配特征矩阵进行交互融合。
[0088]
具体地，在对第一匹配特征矩阵和第二匹配特征矩阵进行交互融合之前，使用激活函数u函数，对第一匹配特征矩阵h
t
进行变换，得到第一变换匹配特征矩阵h
″
t
：
[0089]h″
t
＝u(h
t
；v1
′
,b
′v)
[0090]
其中v1
′
为激活函数u函数的参数，b
′v为偏置项，同样对第二匹配特征矩阵hr进行变换，得到第二变换匹配特征矩阵h
″r：
[0091]h″r＝u(hr；u1
′
,b
′u)；
[0092]
其中u1
′
为激活函数u函数的参数，b
′u为偏置项，
[0093]
根据上述计算得到的交互融合的注意力权重矩阵a，结合第一变换匹配特征矩阵和第二变换匹配特征矩阵，对第一变换匹配特征矩阵和第二变换匹配特征矩阵进行交互融合。
[0094]
示例性地，对第一变换匹配特征矩阵h
″
t
和第二变换匹配特征矩阵h
″r，取第i维特征也就是h
″
t
和h
″r的第i个列向量：的第i个列向量：根据交互融合的注意力权重矩阵a，进行二阶交互融合，即：
[0095][0096]
其中，f
′i是个标量，为了使其变为向量，仍旧引入池化矩阵那么对每一维特征如上操作后，得到上述候选应答语句response对应的融合特征表示：
[0097]ff
＝p
tf′
；
[0098]
其中，f
′i为ff中的一个元素，按照上述方法，对每个候选应答语句对应的第一匹配特征矩阵和第二匹配特征矩阵进行二阶交互，得到每个候选应答语句对应的融合特征表示。
[0099]
基于上述每个候选应答语句对应的融合特征表示，将融合特征表示输入到softmax层，进行逻辑回归处理，得到每个候选应答语句的匹配分值，例如基于上述候选应答语句response的融合特征表示ff，其匹配得分z为：
[0100]
z＝softmax(w1ff)；
[0101]
其中w1为运算参数。
[0102]
步骤s104、将所述匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互。
[0103]
根据本发明的一个实施例，所述方法基于预先训练的问答交互模型来实现，且所述问答交互模型在进行训练时采用交叉熵作为损失函数。
[0104]
具体地，本发明所述的方法的实现是基于预先训练的问答交互模型，按照上述问答交互的方法，建立问答交互模型，采用交叉熵函数作为损失函数l：
[0105]
l＝ce(p,y)；
[0106]
其中，ce表示交叉熵函数，y为真实标签，使用基于adam的优化器进行梯度下降训练。
[0107]
通过上述咨询上下文和候选应答语句之间语句层面的第一匹配特征矩阵、咨询上下文和候选应答语句之间更细粒度的词汇层面的第二匹配特征矩阵，使得建立的问答交互模型兼顾了多个层面的匹配信息，基于多层面的匹配特征，采用二阶交互融合的方法，有效融合了不同体层面的匹配特征，使得预测的匹配分值更为精确，提高了多轮对话问答中应答语句的准确率。
[0108]
图2是本发明实施例问答交互模型的整体框架示意图，图中以一个候选应答语句response为例，根据咨询语句获取咨询上下文，咨询上下文由咨询语句1咨询语句2和咨询语句3组成，将候选应答语句response、咨询语句1、咨询语句2、咨询语句3和3个咨询语句拼接组成的咨询上下文进行编码，得到各自的语义表示，如图中的空心圆形；分别计算咨询语句1、2、3与候选应答语句response的匹配度，得到第一匹配特征矩阵如图中的深色实心圆形，计算咨询上下文与候选应答语句response的匹配度，得到第二匹配特征矩阵矩阵如图中的浅色实心圆形；将第一匹配特征矩阵进行组合，得到第二匹配特征矩阵进行组合，得到将h
t
和hr的二阶交互特征表示中的交互权重矩阵降秩拆分为v和u两个低秩的二维矩阵，通过h
t
v与hru的二阶交互计算，得到交互融合的注意力权重矩阵a，使用激活函数对h
t
和hr进行变换，得到h
tv′
和hru
′
，对变换后的h
tv′
和hru
′
，结合交互融合的注意力权重矩阵a，进行二阶交互融合，得到候选应答语句response对应的融合特征表示，最后将融合特征表示输入到softmax层，预测最终的匹配得分。
[0109]
图3是根据本发明实施例的问答交互装置的主要模块示意图。如图3所示，问答交互装置300主要包括语义表示获取模块301、匹配特征向量获取模块302、交互融合模块303
和应答语句获取模块304。
[0110]
语义表示获取模块301，用于根据接收到的咨询语句，获取与所述咨询语句相关的咨询上下文，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；
[0111]
匹配特征向量获取模块302，用于根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，所述候选应答语句的语义表示通过对候选应答语句进行编码得到；
[0112]
交互融合模块303，用于将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；
[0113]
应答语句获取模块304，用于将所述匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互。
[0114]
具体地，所述语义表示获取模块301还可以用于：基于所述咨询上下文中的每个咨询语句的词汇，通过词嵌入层，得到所述咨询上下文中的每个咨询语句的词向量表示；将所述咨询上下文中的每个咨询语句的词向量表示进行拼接，得到所述咨询上下文的词向量表示；根据所述每个咨询语句的词向量表示和所述咨询上下文的词向量表示，通过语义分析模型，分别得到所述咨询上下文中的每个咨询语句的语义表示和所述咨询上下文的语义表示。
[0115]
具体地，所述匹配特征向量获取模块302还可以用于：根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示，通过计算所述每个咨询语句和候选应答语句的词汇匹配度，得到每个咨询语句和候选应答语句的交互矩阵；通过对所述交互矩阵进行卷积和池化操作，得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵。
[0116]
具体地，所述匹配特征向量获取模块302还可以用于：根据所述咨询上下文的语义表示和每个候选应答语句的语义表示，采用注意力机制，通过提取所述咨询上下文和每个候选应答语句之间的关键信息匹配度，得到注意力权重；根据所述注意力权重，对所述咨询上下文进行加权表示，得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵。
[0117]
具体地，所述交互融合模块303还可以用于：根据所述第一匹配特征矩阵和所述第二匹配特征矩阵，计算交互融合的注意力权重矩阵；根据所述交互融合的注意力权重矩阵，对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，得到每个候选应答语句对应的融合特征表示；将所述融合特征表示进行逻辑回归处理，得到每个候选应答语句的匹配分值。
[0118]
具体地，所述问答交互装置300还可以包括变换模块(图中未示出)，用于：对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合之前，使用激活函数分别对所述第一匹配特征矩阵和所述第二匹配特征矩阵进行变换，得到第一变换匹配特征矩阵和第二变换匹配特征矩阵；所述交互融合模块303还可以用于：对所述第一变换匹配特征矩阵和所述第二变换匹配特征矩阵进行交互融合。
[0119]
具体地，所述交互融合模块303还可以用于：根据所述第一匹配特征矩阵和第二匹
配特征矩阵，得到二阶交互特征表示；对所述二阶交互特征表示中的交互权重矩阵进行降秩拆分，以将所述交互权重矩阵表示为两个二维交互子权重矩阵相乘的形式；基于所述降秩拆分后的交互权重矩阵，将所述第一匹配特征矩阵和所述第二匹配特征矩阵中的对应元素两两进行二阶交互，并进行池化处理，得到交互融合的注意力权重矩阵。
[0120]
具体地，所述问答交互装置300基于预先训练的问答交互模型来实现，且所述问答交互模型在进行训练时采用交叉熵作为损失函数。
[0121]
图4是本发明实施例可以应用于其中的示例性系统架构图。
[0122]
如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0123]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如问答交互应用、人机对话应用等(仅为示例)。
[0124]
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0125]
服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所进行的问答交互提供支持的后台管理服务器(仅为示例)。后台管理服务器可以根据接收到的咨询语句，获取与所述咨询语句相关的咨询上下文，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，所述候选应答语句的语义表示通过对候选应答语句进行编码得到；将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；将所述匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互等处理，并将处理结果(例如应答语句等
‑‑
仅为示例)反馈给终端设备。
[0126]
需要说明的是，本发明实施例所提供的问答交互的方法一般由服务器405执行，相应地，问答交互的装置一般设置于服务器405中。
[0127]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0128]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0129]
如图5所示，计算机系统500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有系统500操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0130]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射
线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0131]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的系统中限定的上述功能。
[0132]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是所述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者所述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或所述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者所述的任意合适的组合。
[0133]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0134]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括：语义表示获取模块、匹配特征向量获取模块、交互融合模块和快照模块。
[0135]
其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，交互融
合模块还可以被描述为“用于将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值的模块”。
[0136]
另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是所述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。所述计算机可读介质承载有一个或者多个程序，当所述一个或者多个程序被一个该设备执行时，使得该设备包括：根据接收到的咨询语句，获取与所述咨询语句相关的咨询上下文，对所述咨询上下文进行编码，得到所述咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；根据所述咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到所述每个咨询语句与所述候选应答语句的第一匹配特征矩阵，根据所述咨询上下文的语义表示和每个候选应答语句的语义表示得到所述咨询上下文与所述候选应答语句的第二匹配特征矩阵，所述候选应答语句的语义表示通过对候选应答语句进行编码得到；将所述第一匹配特征矩阵和所述第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；将所述匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互。
[0137]
根据本发明实施例的技术方案，具有如下优点或有益效果：通过根据接收到的咨询语句，获取与咨询语句相关的咨询上下文，对咨询上下文进行编码，得到咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示；根据咨询上下文中的每个咨询语句的语义表示和每个候选应答语句的语义表示得到每个咨询语句与候选应答语句的第一匹配特征矩阵，根据咨询上下文的语义表示和每个候选应答语句的语义表示得到咨询上下文与候选应答语句的第二匹配特征矩阵，候选应答语句的语义表示通过对候选应答语句进行编码得到；将第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算每个候选应答语句的匹配分值；将匹配分值最大的候选应答语句作为应答语句输出，以进行问答交互的技术方案，实现了基于咨询上下文中的每个咨询语句的语义表示和咨询上下文的语义表示，得到表征每个咨询语句与每个候选应答语句的第一匹配特征矩阵和表征咨询上下文与每个候选应答语句的第二匹配特征矩阵，通过将第一匹配特征矩阵和第二匹配特征矩阵进行交互融合，计算并选择候选应答语句中匹配分值最大的候选应答语句作为应答语句，实现了既考虑了咨询语句层面的匹配特征，又兼顾了咨询上下文层面的匹配特征的候选应答语句的筛选，提高了智能人机多轮对话问答中应答语句的准确率，更好的满足了实际应用。
[0138]
所述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。