问答模型的训练方法、装置及电子设备与流程

1.本公开涉及数据处理领域，尤其涉及计算机视觉、深度学习和智能问答等人工智能领域，具体涉及一种问答模型的训练方法、装置及电子设备。


背景技术：

2.随着社会的发展，网络用户的基数日益增长，人工客服为用户提供实时的问答服务的难度也随之变高。相关技术中，通过问答系统为用户提供线上问答服务，然而现有的问答系统多为单模态问答系统，无法满足多模态的问答所需。


技术实现要素：

3.本公开提出了一种问答模型的训练方法、装置及电子设备。
4.根据本公开的第一方面，提出了一种问答模型的训练方法，包括：获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关联特征向量，以生成第一特征向量集合；获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第二关联特征向量，以生成第二特征向量集合；基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本文本问题对应的第一融合特征向量和所述样本图像问题对应的第二融合特征向量；根据所述第一融合特征向量和所述第二融合特征向量，得到样本融合向量；根据所述样本融合向量，对待训练的问答模型进行训练，以生成目标问答模型。
5.根据本公开的第二方面，提出了一种答案的获取方法，包括：获取针对待解答问题的文本问题和图像问题；获取所述文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度间的第一待解答关联特征向量，以生成第一待解答特征向量集合；获取所述图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二待解答关联特征向量，以生成第二待解答特征向量集合；基于所述第一待解答特征向量集合和所述第二待解答特征向量集合，生成所述文本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融合特征向量；根据所述第一待解答融合特征向量和所述第二待解答融合特征向量，得到问题融合向量，并根据所述问题融合向量，获取所述问题的目标答案。
6.根据本公开的第三方面，提出了一种问答模型的训练装置，包括：获取模块，用于获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关联特征向量，以生成第一特征向量集合；以及，获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第二关联特征向量，以生成第二特征向量集合；融合模块，用于基于所述第一特征向量集合和所述第二特征向量集合，生成所述样本文本问题对应的第一融合特征向量和所述样本图像问题对应的第二融合特征向量；以及，根据所述第一融合特征向量和所述第二融合特征向量，得到样本融合向量；训练模块，用于根据所述样本融合向量，对待训练的问答模型进行训练，以生成目标问答模型。
7.根据本公开的第四方面，提出了一种答案的获取装置，包括：提取模块，用于获取针对待解答问题的文本问题和图像问题；生成模块，用于获取所述文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度间的第一待解答关联特征向量，以生成第一待解答特征向量集合；以及，获取所述图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二待解答关联特征向量，以生成第二待解答特征向量集合；修正模块，用于基于所述第一待解答特征向量集合和所述第二待解答特征向量集合，生成所述文本问题对应的第一待解答融合特征向量和所述图像问题对应的第二待解答融合特征向量；答案模块，用于根据所述第一待解答融合特征向量和所述第二待解答融合特征向量，得到问题融合向量，并根据所述问题融合向量，获取所述问题的目标答案。
8.根据本公开的第五方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的问答模型的训练方法或上述第二方面所述的答案的获取方法。
9.根据本公开的第六方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的问答模型的训练方法或上述第二方面所述的答案的获取方法。
10.根据本公开的第七方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的问答模型的训练方法或上述第二方面所述的答案的获取方法。
11.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案，不构成对本公开的限定。其中：
13.图1为本公开一实施例的问答模型的训练方法的流程示意图；
14.图2为本公开另一实施例的问答模型的训练方法的流程示意图；
15.图3为本公开另一实施例的问答模型的训练方法的流程示意图；
16.图4为本公开另一实施例的问答模型的训练方法的流程示意图；
17.图5为本公开另一实施例的问答模型的训练方法的流程示意图；
18.图6为本公开另一实施例的问答模型的训练方法的流程示意图；
19.图7为本公开一实施例的答案的获取方法的流程示意图；
20.图8为本公开另一实施例的答案的获取方法的流程示意图；
21.图9为本公开另一实施例的答案的获取方法的流程示意图；
22.图10为本公开另一实施例的答案的获取方法的流程示意图；
23.图11为本公开一实施例的问答模型的训练装置的结构示意图；
24.图12为本公开另一实施例的问答模型的训练装置的结构示意图；
25.图13为本公开一实施例的答案的获取装置的结构示意图；
26.图14为本公开另一实施例的答案的获取装置的结构示意图
27.图15为本公开一实施例的电子设备的示意性框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.数据处理(data processing)，是对数据进行分析和加工的技术过程，包括对各种原始数据的分析、整理、计算、编辑等的加工和处理，以及对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。
30.计算机视觉(computer vision)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取
‘
信息’的人工智能系统。这里所指的信息指shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
31.深度学习(deep learning，简称dl)，是机器学习(machine learning，简称ml)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
32.人工智能(artificial intelligence，简称ai)，是研究使计算机来模拟人类的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图技术等几大方面。
33.图1为本公开一实施例的问答模型的训练方法的流程示意图，如图1所示，该方法包括：
34.s101，获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关联特征向量，以生成第一特征向量集合。
35.随着社会的发展，越来越多的问题可以通过系统实现对答案的获取。其中，智能问答系统可以更加准确的获取输入其中的问题的答案。
36.实现中，人们可以使用文字和图像结合的方式，向智能问答系统进行提问，通过文字的描述和图像的呈现，进而更加准确的进行问题的表达。
37.因此，智能问答系统可以通过对问题中的文本问题和图像问题分别进行特征的提取，并通过文本特征与图像特征之间的融合，从而更好的获取输入系统的问题的含义，进而实现对正确答案的输出。
38.进一步地，可以基于样本文本问题和样本图像问题的融合获取到的融合特征，实现对于问答模型的模型训练。
39.可选地，可以分别提取样本文本问题中的文本特征，以及样本图像问题中的图像特征，基于单个文本特征与对应的图像特征之间的融合，实现样本文本问题中的文本特征和样本图像问题中的图像特征的整体特征融合。
40.进一步地，以样本文本问题中的文本特征为融合基准，可以将待融合的文本特征确定为样本文本问题在文本维度的第一特征向量，将样本图像问题中与确定为第一特征向量的文本特征进行特征融合的图像特征确定为样本文本问题在图像维度上的第一特征向量。
41.需要说明的是，可以从样本文本问题的全部文本特征中随机选择一个作为第一特征向量的文本特征，以及从样本图像问题的全部图像特征中随机选择一个作为第一特征向量的图像特征。
42.进一步地，基于第一特征向量中的文本特征和图像特征，确定该文本特征和图像特征对应的第一关联特征向量，并基于两个第一特征向量和第一关联特征向量，生成第一特征向量集合。
43.s102，获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第二关联特征向量，以生成第二特征向量集合。
44.本公开实施例提出的特征融合方法，是通过对单个的文本特征和单个的图像特征维度上，实现的全部的文本特征和全部的图像特征的特征融合。
45.进一步地，可以生成与第一特征向量集合性质相同的第二特征向量集合，并对第一特征向量集合与第二特征向量集合中文本特征和图像特征进行特征融合，通过特征向量集合与特征向量集合之间的特征融合，使得样本文本问题和样本图像问题中的重要特征可以有效放大，在实现样本文本问题和样本图像问题的特征融合的同时，有效过滤样本文本问题和样本图像问题中的噪声。
46.可选地，可以选择另一个文本特征并将其确定为样本图像问题在文本维度上的第二特征向量，选择另一个图像特征并将其确定为样本图像问题在图像维度上的第二特征向量。
47.需要说明的是，可以从样本文本问题的没有被确定为第一特征向量的文本特征中，随机选择一个作为第二特征向量的文本特征，以及从样本图像问题的没有被确定为第一特征向量的图像特征中随机选择一个作为第二特征向量的图像特征。
48.进一步地，基于确定为第二特征向量的文本特征和图像特征，确定对应的第二关联向量，并与两个第二特征向量组成第二特征向量集合。
49.s103，基于第一特征向量集合和第二特征向量集合，生成样本文本问题对应的第一融合特征向量和样本图像问题对应的第二融合特征向量。
50.本公开实施例中，可以通过第一特征向量集合和第二特征向量集合之间的特征融合，实现样本文本问题和样本图像问题之间的特征融合。
51.进一步地，为了融合后的特征可以实现对于样本文本问题和样本图像问题中的重要特征的有效突出，从而使得问答模型可以更加准确的获取到样本问题的准确含义，可以分别从第一特征向量集合和第二特征向量集合为融合基准，进而获取样本文本问题对应的第一融合特征向量和样本图像问题对应的第二融合特征向量。
52.可选地，基于第一特征向量集合中的文本特征和图像特征，与第二特征向量集合
中的图像特征进行融合，进而获取样本文本问题对应的第一融合特征向量。相应地，基于第二特征向量集合中的文本特征和图像特征，与第一特征向量集合中的图像特征进行融合，进而获取样本图像问题对应的第二融合特征向量。
53.s104，根据第一融合特征向量和第二融合特征向量，得到样本融合向量。
54.实现中，第一融合特征向量是第一特征向量集合中的文本特征，与两个特征向量集合中的图像特征的融合特征向量，第二融合特征向量是第二特征向量中的文本特征，与两个特征向量集合中的头像特征的融合特征向量。
55.通过对第一融合特征向量和第二融合特征向量的进一步融合，样本文本问题和样本图像问题中可以表示问题准确含义的主要特征可以被重点强化，以及噪声特征的有效过滤。
56.进一步地，基于第一融合特征向量和第二融合特征向量进一步的特征获取样本融合向量。
57.需要说明的是，样本融合向量携带有可以表达样本问题准确含义的全部的样本文本特征和样本图像特征，并对重要的文本特征和图像特征进行了有效的强化。
58.s105，根据样本融合向量，对待训练的问答模型进行训练，以生成目标问答模型。
59.本公开实施例中，可以将样本融合向量作为问答模型的训练样本，并输入待训练的问答模型进行模型训练，通过每一轮次的模型训练的输出结果对问答模型进行模型参数的调整，进而获取训练好的目标问答模型。
60.可选地，可以基于模型训练的输出结果设定模型训练的结束条件。当某一轮次的模型训练的输出结果满足设定的模型训练结束的条件时，则可以判断，当前轮次训练结束的模型的性能可以满足实际所需。则结束训练，并将当前轮次训练结束之后的问答模型，确定为目标问答模型。
61.可选地，可以基于模型训练的次数设定模型训练的结束条件。可以在模型训练的同时，监控训练轮次并记录，若某一轮次的模型训练对应的训练次数满足设定的模型训练结束的条件时，则可以判断，当前轮次训练结束的模型的性能可以满足实际所需。则结束训练，并将当前轮次训练结束之后的问答模型，确定为目标问答模型。
62.本公开提出的问答模型的训练方法，获取样本文本问题对应的第一特征向量集合，和样本图像问题对应的第二特征向量集合，通过对第一特征向量集合和第二特征向量集合中的文本特征和图像特征之间的特征融合，获取样本文本问题对应的第一融合特征向量和样本图像问题对应的第二融合特征向量。进一步地，基于第一融合特征向量和第二融合特征向量，获取可以对问答模型进行模型训练的样本融合向量。基于样本融合向量对待训练的问答模型进行训练，以生成目标问答模型。本公开中，通过特征向量集合之间的特征融合，使得样本文本问题中的文本特征和样本图像问题中的图像特征得到了更有效的强化，从而使得问答模型在训练过程中可以更准确的获取样本问题的有效特征，提高了问答模型的训练效率，优化了问答模型的训练效果。
63.上述实施例中，关于第一融合特征向量和第二融合特征向量的获取，可结合图2进一步理解，图2为本公开另一实施例的问答模型的训练方法的流程示意图，如图2所示，该方法包括：
64.s201，基于第一特征向量和第二特征向量，获取文本与图像之间的两个关联度，两
个关联度包括样本对象内的关联度和样本对象间的关联度，样本对象为样本文本问题和样本图像问题中的一个。
65.本公开实施例中，可以通过关联程度实现第一特征向量集合与第二特征向量集合中文本特征和图像特征之间的特征融合。可以将两个文本特征作为特征融合的基准，分别获取两个文本特征和两个图像特征之间的关联度。
66.可选地，可以分别获取一个文本特征和两个图像特征之间的两个关联度，然后获取另一个文本特征和两个图像特征之间的两个关联度，进而通过四个关联度，实现两个文本特征和两个图像特征之间的特征融合。
67.其中，可以将样本文本问题和样本图像问题可以被标记为样本对象。
68.针对样本文本问题对应的第一特征向量集合，其中的文本特征和图像特征之间的关联度可以被确定为样本对象内的关联度，第一特征向量集合中的文本特征与第二特征向量中的图像特征之间的关联度可以被确定为样本对象间的关联度。
69.进一步地，针对第一特征向量集合对应的关联度：
70.可以获取两个维度上的第一特征向量之间的第一关联度，第一关联度用于表征样本文本问题内文本与图像之间的关联度。
71.本公开实施例中，可以获取第一特征向量集合中，两个被确定为第一特征向量的文本特征和图像特征之间的关联度，并将其确定为第一关联度。其中，第一关联度可以理解为，第一特征向量集合中被确定为第一特征向量的文本特征与图像特征之间的关联程度。
72.比如，设定第一特征向量中，文本特征是样本文本问题中物体a的颜色特征，图像特征是样本图像问题中物体a的颜色特征，则该两个被确定为第一特征向量的文本特征和图像特征的关联程度较高，则第一关联度的取值较大。
73.相应地，设定第一特征向量中，文本特征是样本文本问题中物体a的颜色特征，图像特征是样本图像问题中物体b的颜色特征，则该两个被确定为第一特征向量的文本特征和图像特征的关联程度较低，则第一关联度的取值较小。
74.进一步地，获取文本维度上的第一特征向量和图像维度上的第二特征向量之间的第二关联度，第二关联度用于表征样本文本问题和样本图像问题间文本与图像之间的关联度。
75.本公开实施例中，可以获取第一特征向量集合中，被确定为第一特征向量的文本特征和第二特征向量集合中的图像特征之间的关联度，并将其确定为第二关联度。其中，第二关联度可以理解为，第一特征向量集合中被确定为第一特征向量的文本特征与第二特征向量集合中的图像特征之间的关联程度。
76.比如，设定第一特征向量中，文本特征是样本文本问题中物体a的颜色特征，第二特征向量集合中的图像特征是样本图像问题中物体a的颜色特征，则第一特征向量的文本特征和第二特征向量集合中的图像特征的关联程度较高，则第二关联度的取值较大。
77.相应地，设定第一特征向量中，文本特征是样本文本问题中物体a的颜色特征，第二特征向量集合中的图像特征是样本图像问题中物体b的颜色特征，则第一特征向量的文本特征和第二特征向量集合中图像特征的关联程度较低，则第二关联度的取值较小。
78.可选地，可以通过乘积的方法获取第一关联度和第二关联度。
79.比如，如图3所示，第一特征向量集合中的文本特征的第一特征向量为x1、图像特
征的第一特征向量为y1，第二特征向量集合中的文本特征的第二特征向量为x2、图像特征的第二特征向量为y2，则第一关联度w1＝x1
×
y1，第二关联度w2＝x1
×
y2。
80.相应地，针对样本图像问题对应的第二特征向量集合，其中的文本特征和图像特征之间的关联度可以被确定为样本对象内的关联度，第二特征向量集合中的文本特征与第一特征向量中的图像特征之间的关联度可以被确定为样本对象间的关联度。
81.进一步地，针对第二特征向量集合对应的关联度：
82.可以获取两个维度上的第二特征向量之间的第三关联度，第三关联度用于表征样本图像问题内文本与图像之间的关联度。
83.本公开实施例中，可以获取第二特征向量集合中，两个被确定为第二特征向量的文本特征和图像特征之间的关联度，并将其确定为第三关联度。其中，第三关联度可以理解为，第二特征向量集合中被确定为第二特征向量的文本特征与图像特征之间的关联程度。
84.比如，设定第二特征向量中，文本特征是样本文本问题中物体a的形状特征，图像特征是样本图像问题中物体a的形状特征，则该两个被确定为第二特征向量的文本特征和图像特征的关联程度较高，则第三关联度的取值较大。
85.相应地，设定第二特征向量中，文本特征是样本文本问题中物体a的形状特征，图像特征是样本图像问题中物体b的形状特征，则该两个被确定为第二特征向量的文本特征和图像特征的关联程度较低，则第三关联度的取值较小。
86.进一步地，获取图像维度上的第一特征向量和文本维度上的第二特征向量之间的第四关联度，第四关联度用于表征样本图像问题和样本文本问题间文本与图像之间的关联度。
87.本公开实施例中，可以获取第二特征向量集合中，被确定为第二特征向量的文本特征和第一特征向量集合中的图像特征之间的关联度，并将其确定为第四关联度。其中，第四关联度可以理解为，第二特征向量集合中被确定为第二特征向量的文本特征与第一特征向量集合中的图像特征之间的关联程度。
88.比如，设定第二特征向量中，文本特征是样本文本问题中物体a的形状特征，第一特征向量集合中的图像特征是样本图像问题中物体a的形状特征，则第二特征向量的文本特征和第一特征向量集合中的图像特征的关联程度较高，则第四关联度取值较高。
89.相应地，设定第二特征向量中，文本特征是样本文本问题中物体a的形状特征，第一特征向量集合中的图像特征是样本图像问题中物体b的形状特征，则第二特征向量的文本特征和第一特征向量集合中图像特征的关联程度较低，则第四关联度取值较低。
90.可选地，可以通过乘积的方法获取第三关联度和第四关联度。
91.比如，如图3所示，第一特征向量集合中的文本特征的第一特征向量为x1、图像特征的第一特征向量为y1，第二特征向量集合中的文本特征的第二特征向量为x2、图像特征的第二特征向量为y2，则第三关联度w3＝x2
×
y2，第四关联度w4＝x2
×
y1。
92.s202，基于样本对象内的关联度，对样本对象对应的关联特征向量进行修正。
93.本公开实施例中，获取样本对象内的关联度后，可以基于该关联度对样本对象内的关联特征进行修正。可以理解为，基于样本对象内的关联度，获取样本对象内的关联特征向量在特征融合过程中的权重值，并基于该权重值对样本内的关联特征向量进行加权处理，进而获取加权后的目标关联特征向量。
94.因此，为了获取样本对象内的关联特征向量的权重值，可以将样本对象内的关联度和样本对象间的关联度进行进一步地处理，基于两个关联度的取值，从而分别确定样本对象内的关联度和样本对象间的关联度对应的权重值。
95.可选地，对两个关联度进行归一化，以获取两个关联度各自的权重值。
96.本公开实施例中，可以选择归一化的方法，通过对两个关联度进行归一化计算，获取两个关联度对应的权重值。
97.可以通过归一化指数函数对两个关联度进行归一化计算，获取两个关联度对应的一维的概率向量，进而分别确定两个关联度对应的权重值。
98.其中，文本特征与图像特征之间的关联程度越高，则表示文本特征与图像特征的可用性更强，因此，关联度的取值越高，其对应的权重值则越高，进而使得重要的特征可以实现有效的强化。
99.进一步地，基于两个关联度的权重值，对两个关联度各自对应的关联特征向量进行修正，以生成各自的修正后的关联特征向量。
100.本公开实施例中，获取两个关联度对应的权重值后，可以基于权重值对每个权重值关联的特征向量进行加权，进而基于权重的分配实现文本特征和图像特征的融合。
101.进一步地，可以基于样本对象内的关联度对应的权重值，对样本对象对应的关联特征向量进行修正。
102.可选地，作为第一特征向量集合的第一关联度，可以对第一特征向量集合中的第一关联特征向量进行修正。
103.进一步地，基于第一关联度，对第一关联特征向量进行修正，得到第一目标关联特征向量。
104.本公开实施例中，第一关联度可以表示第一特征向量集合中，文本特征的第一特征向量和图像特征的第一特征向量之间的关联程度，因此，基于第一关联度，可以对第一特征向量集合中的样本对象内的第一关联特征向量进行修正，进而获取第一目标关联特征向量。
105.比如，依然以上述示例为例，如图3所示，第一特征向量集合中的文本特征的第一特征向量为x1、图像特征的第一特征向量为y1，第一关联特征向量为z1，第一关联度为w1。
106.基于第一关联度和第二关联度，确定第一关联度w1对应的权重值为w1’，则基于w1’对第一关联特征向量z1进行修正，进而获取第一目标关联特征向量z1’＝w1
’×
z1。
107.可选地，作为第二特征向量集合的第三关联度，可以对第二特征向量集合中的第二关联特征向量进行修正。
108.进一步地，基于第三关联度，对第二关联特征向量进行修正，得到第三目标关联特征向量。
109.本公开实施例中，第三关联度可以表示第二特征向量集合中，文本特征的第二特征向量和图像特征的第二特征向量之间的关联程度，因此，基于第三关联度，可以对第二特征向量集合中的样本对象内的第二关联特征向量进行修正，进而获取第三目标关联特征向量。
110.比如，依然以上述示例为例，如图3所示，第二特征向量集合中的文本特征的第二特征向量为x2、图像特征的第二特征向量为y2，第二关联特征向量为z2，第三关联度为w3。
111.基于第三关联度和第四关联度，确定第三关联度w3对应的权重值为w3’，则基于w3’对第二关联特征向量z2进行修正，进而获取第三目标关联特征向量z3’＝w3
’×
z2。
112.s203，基于样本对象间的关联度，对样本文本问题和样本图像问题中除样本对象之外的另一个对象对应的关联特征向量进行修正。
113.本公开实施例中，样本对象间的关联度可以表示样本对象之间的文本特征和图像特征之间的关联程度，获取样本间的关联度后，可以基于该关联度对另一个样本对象的关联特征向量进行修正。可以理解为，基于样本对象间的关联度，可以获取样本对象间的关联度对应的权重值，基于该权重值可以对另一个样本对象的关联特征向量进行加权处理，进而获取加权后的目标关联特征向量。
114.相应地，为了获取样本对象间的关联特征向量的权重值，可以将样本对象内的关联度和样本对象间的关联度进行进一步地处理，基于两个关联度的取值，从而分别确定样本对象内的关联度和样本对象间的关联度对应的权重值。
115.与上述方法相同，可用对两个关联度进行归一化，以获取两个关联度各自的权重值，基于两个关联度的权重值，对两个关联度各自对应的关联特征向量进行修正，以生成各自的修正后的关联特征向量。
116.进一步地，可以基于样本对象间的关联度对应的权重值，对样本文本问题和样本图像问题中除样本对象之外的另一个对象对应的关联特征向量进行修正。
117.可选地，作为第一特征向量集合的第二关联度，可以对第二特征向量集合中的第二关联特征向量进行修正。
118.进一步地，基于第二关联度，对第二关联特征向量进行修正，得到第二目标关联特征向量。
119.其中，第二关联度可以表示第一特征向量集合中文本特征的第一特征向量和第二特征向量集合中图像特征的第二特征向量之间的关联程度，因此，第二关联度可以对第二特征向量集合中的第二关联特征向量进行修正，进而获取第二目标关联特征向量。
120.比如，依然以上述示例为例，如图3所示，第一特征向量集合中的文本特征的第一特征向量为x1、第二特征向量集合中的图像特征的第二特征向量为y2，第二关联特征向量为z2，第二关联度为w2。
121.基于第一关联度和第二关联度，确定第二关联度w2对应的权重值为w2’，则基于w2’对第二关联特征向量z2进行修正，进而获取第二目标关联特征向量z2’＝w2
’×
z2。
122.可选地，作为第二特征向量集合的第四关联度，可以对第一特征向量集合中的第一关联特征向量进行修正。
123.进一步地，基于第四关联度，对第一关联特征向量进行修正，得到第四目标关联特征向量。
124.本公开实施例中，第四关联度可以表示第二特征向量集合中，文本特征的第二特征向量和图像特征的第一特征向量之间的关联程度，因此，基于第四关联度，可以对第二特征向量集合中的样本对象内的第二关联特征向量进行修正，进而获取第三目标关联特征向量。
125.比如，依然以上述示例为例，如图3所示，第二特征向量集合中的文本特征的第二特征向量为x2、第一特征向量中的图像特征的第二特征向量为y1，第一关联特征向量为z2，
第四关联度为w4。
126.基于第三关联度和第四关联度，确定第四关联度w4对应的权重值为w4’，则基于w4’对第一关联特征向量z1进行修正，进而获取第四目标关联特征向量z4’＝w4
’×
z1。
127.s204，根据两个修正后的两个关联特征向量，得到样本对象的融合特征向量。
128.本公开实施例中，基于各自的关联度对应的权重值，可以对对应的关联特征向量进行加权处理，进而获取加权后的关联特征向量，其中，加权后的关联特征向量即为修正后的关联特征向量。
129.进一步地，对关联特征向量进行加权处理后，对处理后的目标关联特征向量进行进一步融合处理，进而获取样本对象的融合特征向量。
130.其中，可以将第一特征向量集合中的第一关联特征向量进行加权，以生成加权后的第一目标关联特征向量，将第二特征向量集合中的第二关联特征向量进行加权，以生成加权后的第二目标关联特征向量，进而生成样本文本问题对应的第一融合特征向量以及样本图像问题对应的第二融合特征向量。
131.可选地，根据第一目标关联特征向量和第二目标关联特征向量，生成第一融合特征向量。
132.本公开实施例中，第一目标关联特征向量基于第一关联特征向量与第一关联度生成，第二目标关联特征向量基于第二关联特征向量与第二关联度生成，因此，可以将第一目标关联特征向量与第二目标关联特征向量相加，基于两个目标关联特征向量相加的结果，生成对应的第一融合特征向量。
133.比如，在上述示例的基础上，如图3所示，第一目标关联特征向量为z1’，第二目标关联特征向量为z2’，则对应的第一融合特征向量为v1＝z1’+z2’。
134.可选地，根据第三目标关联特征向量和第四目标关联特征向量，生成第二融合特征向量。
135.本公开实施例中，第三目标关联特征向量基于第二关联特征向量与第三关联度生成，第四目标关联特征向量基于第一关联特征向量与第四关联度生成，因此，可以将第三目标关联特征向量与第四目标关联特征向量相加，基于两个目标关联特征向量相加的结果，生成对应的第二融合特征向量。
136.再比如，在上述示例的基础上，如图3所示，第三目标关联特征向量为z3’，第四目标关联特征向量为z4’，则对应的第二融合特征向量为v2＝z3’+z4’。
137.本公开提出的问答模型的训练方法，获取样本对象内的关联度和样本对象间的关联度，基于关联度对对应的关联特征向量进行修正，进而获取修正后的目标关联特征向量。进一步地，基于修正后的目标关联特征向量，获取样本对象的融合特征向量。本公开中，根据关联程度实现样本对象中的文本特征和图像特征之间的特征融合，对样本文本问题中的文本特征和样本图像问题中的图像特征实现了特征强化，提高了问答模型获取样本文本问题和样本图像问题中的文本特征和图像特征的准确性，优化了问答模型的训练效果。
138.上述实施例中，关于样本对象中的文本特征和图像特征的提取，可结合图3进一步理解，图4为本公开另一实施例的问答模型的训练方法的流程示意图，如图4所示，该方法包括：
139.s401，获取样本对象的特征信息，并基于特征信息和文本提取矩阵，获取文本维度
上的特征向量，其中，样本对象为样本文本问题和样本图像问题中的一个。
140.本公开实施例中，为了更好的实现样本文本问题中的文本特征与样本图像问题中的图像特征之间的特征融合，可以通过对样本文本问题和样本图像问题分别进行特征提取，从而获取样本文本问题中的全部文本特征和样本图像问题中的全部图像特征。
141.其中，可以将样本文本问题和样本图像问题确定为样本对象。
142.可选地，可以获取样本对象的特征信息，并根据不同的特征信息选择不同的提取矩阵，从而获取对应的特征，比如，可以通过文本提取矩阵获取样本文本问题中的文本矩阵。
143.需要说明的是，基于文本提取矩阵，可以提取样本文本问题中的单个文本特征，进而获取文本维度上的单个特征向量。
144.比如，如图5所示，矩阵t为文本提取矩阵，基于矩阵t可以从样本文本问题t中提取到单个的文本特征向量t1和t2。
145.进一步地，获取文本维度上的第一特征向量或者文本维度上的第二特征向量。
146.s402，获取样本对象的特征信息，并基于特征信息和图像提取矩阵，获取图像维度上的特征向量，其中，样本对象为样本文本问题和样本图像问题中的一个。
147.本公开实施例中，可以将样本文本问题和样本图像问题确定为样本对象，通过图像特征矩阵，从样本图像问题中提取单个的图像特征。
148.比如，如图5所示，矩阵i为图像提取矩阵，基于矩阵i可以从样本图像问题i中提取单个的图像特征向量i1和i2。
149.进一步地，获取图像维度上的第一特征向量或者图像维度上的第二特征向量。
150.s403，获取样本对象的特征信息，并基于特征信息和关联提取矩阵，获取样本对象的关联特征向量，其中，样本对象为样本文本问题和样本图像问题中的一个。
151.本公开实施例中，可以将样本文本问题和样本图像问题确定为样本对象，为了实现不同的特征向量集合中的文本特征和图像特征的特征融合，每个特征向量集合中，均存在携带有该特征向量集合中的单个文本特征向量和单个图像特征向量的关联特征向量，基于每个特征向量集合中的关联特征向量，实现不同特征向量集合之间的特征融合。
152.如图5所示，文本特征向量t1、图像特征向量i1，对应的关联特征向量g1中携带文本特征向量t1和图像特征向量i1。
153.如图5所示，文本特征向量t2、图像特征向量i2，对应的关联特征向量g2中携带文本特征向量t2和图像特征向量i2。
154.进一步地，基于关联提取矩阵，可以从样本文本问题和样本图像问题中提取对应的关联特征向量。
155.比如，如图5所示，矩阵g为关联提取矩阵，基于矩阵g可以从样本文本问题t和样本图像问题i中，提取文本特征向量t1、图像特征向量i1对应的关联特征向量g1，以及提取文本特征向量t2、图像特征向量i2对应的关联特征向量g2。
156.进一步地，获取第一关联特征向量或者第二关联特征向量。
157.本公开提出的问答模型的训练方法，基于设定的提取矩阵，从样本文本问题和样本图像问题中提取相应的文本特征、图像特征以及关联特征，有效提高了后续文本特征和图像特征的进行特征融合的效率，进而提高了问答模型的训练效率。
158.进一步地，关于问答模型的训练，可结合图6理解，图6为本公开另一实施例的问答模型的训练方法的流程示意图，如图6所示，该方法包括：
159.s601，根据样本融合向量，对待训练的问答模型进行训练，并获取当前轮次的模型训练的损失函数。
160.本公开实施例中，样本融合向量携带了样本文本问题和样本图像问题中的全部有效特征，可以将样本融合向量输入待训练的问答模型中，对问答模型进行训练。
161.进一步地，可以获取每个轮次问答模型输出的训练结果中携带的样本文本问题和样本图像问题对应的训练答案，并将其与样本融合向量中携带的标准答案进行对比，基于对比的结果确定每个轮次的问答模型训练的损失函数。
162.可选地，可以采用交叉熵损失函数。
163.s602，根据损失函数，对待训练的问答模型的模型参数进行调整，生成目标问答模型。
164.本公开实施例中，根据损失函数，可以对待训练的问答模型的模型参数进行调整，从而实现问答模型的性能的优化。
165.实现中，每个轮次的模型训练结束后，若训练结束后的问答模型不满足模型训练结束的条件，则根据当前轮次模型训练输出的损失函数，对当前轮次训练完成的问答模型进行模型参数的调整，使其性能得到进一步优化。
166.进一步地，返回使用下一个样本文本问题和样本图像问题生成的样本融合向量，对参数调整后的问答模型继续进行训练，并获取每个轮次训练输出的损失函数。直至调整参数后的问答模型在某个轮次的训练结束后，满足模型训练结束条件，则停止对其训练，并将该轮次训练结束的问答模型确定为目标问答模型。
167.本公开提出的问答模型的训练方法，通过损失函数实现对于问答模型的参数的调整，使得问答模型可以在训练过程中得到有效的性能优化，为问答模型的训练完成提供了实现基础。
168.基于上述训练完成的目标问答模型，本公开还提出一种答案的获取方法，可结合图7进一步理解，图7为本公开一实施例的答案的获取方法的流程示意图，如图7所示，该方法包括：
169.s701，获取针对待解答问题的文本问题和图像问题。
170.本公开实施例中，可以将待解答的问题通过文本和图像两种方法同时输入至目标问答模型。
171.其中，文本问题和图像问题具有关联性。可选地，可以通过文本问题对待解答问题进行完整的表述，并用图像问题进行辅助。可选地，可以通过图像问题发送待解答问题的待解答对象，并用文本问题进行辅助表述。
172.s702，获取文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度间的第一待解答关联特征向量，以生成第一待解答特征向量集合。
173.本公开实施例中，可以通过目标问答模型对文本问题和图像问题中的文本特征和图像特征进行提取以及融合。
174.可选地，可以从文本问题的全部文本特征中，选择一个作为文本维度的第一待解答特征向量，从图像问题的全部图像特征中，选择一个作为图像维度上的第一待解答特征
向量，并获取该文本特征和图像特征对应的待解答关联特征向量，进而生成样本文本问题对应的第一待解答特征向量集合。
175.s703，获取图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二待解答关联特征向量，以生成第二待解答特征向量集合。
176.本公开实施例中，可以从文本问题的非第一待解答特征向量的文本特征中，选择一个作为文本维度的第二待解答特征向量，从图像问题的非第一待解答特征向量的图像特征中，选择一个作为图像维度的第二待解答特征向量，并获取该文本特征和图像特征对应的待解答关联特征向量，进而生成样本图像问题对应的第二待解答特征向量集合。
177.s704，基于第一待解答特征向量集合和第二待解答特征向量集合，生成文本问题对应的第一待解答融合特征向量和图像问题对应的第二待解答融合特征向量。
178.本公开实施例中，可以将第一待解答特征向量集合中的文本特征向量作为特征融合的基准，基于文本特征的第一待解答特征向量，分别获取与图像特征的第一待解答特征向量和图像特征的第二待解答特征向量的关联程度，进而基于两个关联程度获取样本文本问题对应的第一待解答融合特征向量。
179.相应地，将第二待解答特征向量集合中的文本特征向量作为特征融合的基准，基于文本特征的第二待解答特征向量，分别获取与图像特征的第一待解答特征向量和图像特征的第二待解答特征向量的关联程度，进而基于两个关联程度获取样本图像问题对应的第二待解答融合特征向量。
180.s705，根据第一待解答融合特征向量和第二待解答融合特征向量，得到问题融合向量，并根据问题融合向量，获取问题的目标答案。
181.本公开实施例中，将第一待解答融合特征向量与第二待解答融合特征向量进行进一步融合计算。可选地，可以将第一待解答融合特征向量和第二待解答融合特征向量相加，基于二者的加和获取待解答问题的问题融合向量。
182.进一步地，目标问答模型基于问题融合向量，获取其中携带的待解答问题的准确含义，进而获取待解答问题的目标答案。
183.本公开提出的答案的获取方法，通过目标问答模型获取待解答问题中的文本问题和图像问题的问题融合向量，进而获取待解答问题的目标答案。有效提高了待解答问题的目标答案获取的效率和准确率。
184.上述实施例中，关于待解答融合特征向量的获取，可结合图8进一步理解，图8为本公开一实施例的答案的获取方法的流程示意图，如图8所示，该方法包括：
185.s801，基于第一待解答特征向量和第二待解答特征向量，获取待解答问题中的文本和图像之间的两个关联度，其中，两个关联度包括待解答对象内的关联度和待解答对象间的关联度，待解答对象为文本问题和图像问题中的一个。
186.本公开实施例中，可以将待解答问题中的文本问题和图像问题确定为待解答对象，则待解答对象中的文本特征和图像特征之间的关联度可以被确定为待解答对象内的关联度，待解答对象中的文本特征和另一个待解答对象中的图像特征之间的关联度可以被确定为待解答对象间的关联度。
187.可以理解为，第一待解答特征向量集合中的文本特征的第一待解答特征向量和图像特征的第一待解答特征向量之间的关联度即为待解答对象内的关联度，第一待解答特征
向量集合中的文本特征的第一待解答特征向量和第二待解答特征向量集合中图像特征的第二待解答特征向量之间的关联度，即为待解答对象间的关联度。
188.s802，基于待解答对象内的关联度，对待解答对象对应的待解答关联特征向量进行修正。
189.本公开实施例中，待解答对象内的关联度为待解答对象内的文本特征和图像特征之间的关联程度。
190.可选地，获取两个维度上的第一待解答特征向量之间的第一关联度，第一关联度用于表征文本问题内文本与图像之间的关联度。
191.其中，第一关联度可以表示第一待解答特征向量集合中的文本特征的第一待解答特征向量和图像特征的第一待解答特征向量之间的关联程度，即文本问题内的文本特征和图像特征之间的关联度。
192.进一步地，可以基于待解答对象内的关联度对应的权重值，对待解答对象对应的待解答关联特征向量进行修正。
193.可选地，获取两个维度上的第二待解答特征向量之间的第三关联度，第三关联度用于表征图像问题内文本与图像之间的关联度。
194.其中，第三关联度可以表示第二待解答特征向量集合中的文本特征的第二待解答特征向量和图像特征的第二待解答特征向量之间的关联程度，即图像问题内的文本特征和图像特征之间的关联程度。
195.进一步地，对两个关联度进行归一化，以获取两个关联度各自的权重值。
196.本公开实施例中，为了使得两个待解答对象中的文本特征和图像特征可以实现特征融合，可以将待解答对象内的关联度和待解答对象间的关联度进行归一化，进而获取两个关联度各自对应的权重值。
197.其中，可以用归一化计算的方法获取两个关联度对应的权重值。
198.进一步地，基于两个关联度的权重值，对两个关联度各自对应的待解答关联特征向量进行修正。
199.本公开实施例中，确定两个关联度各自对应的权重值后，可以基于权重值对各自对应的关联特征向量进行修正，可以理解为，基于确定的权重值对各自对应的待解答关联特征向量进行加权计算。
200.可选地，基于第一关联度，对第一待解答关联特征向量进行修正，得到第一待解答目标关联特征向量。
201.其中，第一关联度是第一待解答特征向量集合内的文本特征的第一待解答特征向量和图像特征的第一待解答特征向量之间的关联程度，因此，可以基于第一关联度对应的权重值对第一待解答特征向量集合内的第一待解答关联特征向量进行修正，进而获取第一待解答目标关联特征向量。
202.可选地，基于第三关联度，对第二待解答关联特征向量进行修正，得到第三待解答目标关联特征向量。
203.其中，第三关联度是第二待解答特征向量集合内的文本特征的第二待解答特征向量和图像特征的第二待解答特征向量之间的关联程度，因此，可以基于第三关联度对应的权重值对第二待解答特征向量集合内的第二待解答关联特征向量进行修正，进而获取第三
待解答目标关联特征向量。
204.s803，基于待解答对象间的关联度，对文本问题和图像问题中待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正。
205.本公开实施例中，待解答对象间的关联度，可以理解为一个待解答对象中的文本特征与另一待解答对象中的图像特征之间的关联程度。
206.进一步地，可以基于待解答对象间的关联度对应的权重值，对文本问题和图像问题中除待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正。
207.可选地，获取文本维度上的第一待解答特征向量和图像维度上的第二待解答特征向量之间的第二关联度，第二关联度用于表征文本问题和图像问题间文本与图像之间的关联度。
208.其中，第二关联度可以表示第一待解答特征向量集合中的文本特征的第一待解答特征向量与第二待解答特征向量集合中的图像特征的第二待解答特征向量之间的关联程度，即文本问题对应的文本特征与图像问题对应的图像特征之间的关联程度。
209.可选地，获取图像维度上的第一待解答特征向量和文本维度上的第二待解答特征向量之间的第四关联度，第四关联度用于表征图像问题和文本问题间文本与图像之间的关联度。
210.其中，第四关联度可以表示第二待解答特征向量集合中的文本特征的第二待解答特征向量与第一待解答特征向量集合中的文本特征的第一待解答特征向量之间的关联程度，即图像问题对应的文本特征与文本问题对应的图像特征之间的关联程度。
211.进一步地，对两个关联度进行归一化，以获取两个关联度各自的权重值。基于两个关联度的权重值，对两个关联度各自对应的关联特征向量进行修正，以生成各自的修正后的待解答关联特征向量。
212.可选地，基于第二关联度，对第二待解答关联特征向量进行修正，得到第二待解答目标关联特征向量。
213.其中，第二关联度可以表示第一待解答特征向量集合中的文本特征的第一待解答特征向量和第二待解答特征向量集合中的图像特征的第二待解答特征向量之间的关联程度，因此，可以基于第二关联度对应的权重值对第二待解答特征向量集合内的第二待解答关联特征向量进行修正，进而获取第二待解答目标关联特征向量。
214.可选地，基于第四关联度，对第一待解答关联特征向量进行修正，得到第四待解答目标关联特征向量。
215.其中，第四关联度可以表示第二待解答特征向量集合中的文本特征的第二待解答特征向量和第一待解答特征向量集合中的图像特征的第一待解答特征向量之间的关联程度，因此，可以基于第四待解答关联度对应的权重值对第一待解答特征向量集合内的第一待解答关联特征向量进行修正，进而获取第四待解答目标关联特征向量。
216.s804，根据两个修正后的两个待解答关联特征向量，得到待解答对象对应的待解答融合特征向量。
217.本公开实施例中，基于关联度对待解答关联特征向量进行修正，进而获取对应的待解答目标关联特征向量。为了使得待解答对象可以实现更好的文本特征和图像特征的融合，使得待解答问题的特征可以得到更完整的体现，可以将待解答目标关联特征向量进行
进一步的融合，以生成待解答对象的待解答融合特征向量。
218.其中，可以将第一待解答特征向量集合中的第一待解答关联特征向量进行加权，以生成加权后的第一待解答目标关联特征向量，将第二待解答特征向量集合中的第二待解答关联特征向量进行加权，以生成加权后的第二待解答目标关联特征向量，进而生成文本问题对应的第一待解答融合特征向量以及图像问题对应的第二待解答融合特征向量。
219.可选地，根据第一待解答目标关联特征向量和第二目待解答标关联特征向量，生成第一待解答融合特征向量。
220.其中，可以将第一待解答目标关联特征向量与第二待解答目标关联特征向量相加，基于加和生成文本问题对应的第一待解答融合特征向量。
221.可选地，根据第三待解答目标关联特征向量和第四待解答目标关联特征向量，生成第二待解答融合特征向量。
222.其中，可以将第三待解答目标特征向量与第四待解答目标特征向量相加，基于加和生成图像问题对应的第二待解答融合特征向量。
223.本公开提出的答案的获取方法，通过对文本问题和图像问题中的文本特征和图像特征的融合，使得待解答问题中的重要特征得以强化，提高了目标问答模型获取待解答问题的含义的准确性，提高了答案获取的效率。
224.上述实施例中，关于文本特征和图像特征的提取，可结合图9进一步理解，图9为本公开另一实施例的答案的获取方法的流程示意图，如图9所示，该方法包括：
225.s901，获取待解答对象的特征信息，并基于特征信息和文本提取矩阵，获取文本维度上的待解答特征向量，其中，待解答对象为文本问题和图像问题中的一个。
226.本公开实施例中，可以根据待解答对象的特征信息，采用相应的提取矩阵以提取待解答对象的特征。
227.其中，可以基于文本特征矩阵提取文本问题中的单个文本特征，并将其确定为文本维度上的待解答特征向量。
228.进一步地，获取文本维度上的第一待解答特征向量或文本维度上的第二待解答特征向量。
229.s902，获取待解答对象的特征信息，并基于特征信息和图像提取矩阵，获取图像维度上的待解答特征向量，其中，待解答对象为文本问题和图像问题中的一个。
230.本公开实施例中，可以基于图像提取矩阵提取图像问题中的图像特征，其中，提取到的图像特征为单个图像特征。
231.进一步地，将提取到的单个的图像特征确定为图像维度上的待解答特征向量。
232.进一步地，获取图像维度上的第一待解答特征向量或图像维度上的第二待解答特征向量。
233.s903，获取待解答对象的特征信息，并基于特征信息和关联提取矩阵，获取待解答对象的待解答关联特征向量，其中，待解答对象为文本问题和图像问题中的一个。
234.本公开实施例中，每个待解答特征向量集合中由一个待解答文本特征向量、一个待解答图像特征向量和一个携带有待解答文本特征向量和待解答图像特征向量的待解答关联特征向量组成。
235.因此，基于每个待解答特征向量集合中的文本特征的特征信息和图像特征的特征
信息，可以通过关联提取矩阵从文本问题和图像问题中提取待解答对象的关联特征向量。
236.进一步地，获取第一待解答关联特征向量或第二待解答关联特征向量。
237.本公开提出的答案的获取方法，通过对应的特征提取矩阵，从文本问题和图像问题中提取文本特征、图像特征以及对应的关联特征，为后续的特征融合提供了支持基础，有效提高了后续特征融合的效率。
238.进一步地，关于答案的获取，可结合图10理解，图10为本公开另一实施例的答案的获取方法的流程示意图，如图10所示，该方法包括：
239.s1001，将问题融合向量输入训练好的目标问答模型中，基于目标问答模型，获取待解答问题的目标答案。
240.本公开实施例中，获取待解答问题的问题融合向量后，将其输入至训练好的目标问答模型中，基于训练好的目标问答模型获取待解答问题的目标答案。
241.可选地，目标问答模型可以基于问题融合向量获取待解答问题的准确含义，从而获取准确的目标答案。
242.本公开提出的答案的获取方法，通过目标问答模型获取待解答问题的目标答案，有效提高了答案获取的效率和准确率。
243.与上述几种实施例提出的问答模型的训练方法相对应，本公开的一个实施例还提出了一种问答模型的训练装置，由于本公开实施例提出的问答模型的训练装置与上述几种实施例提出的问答模型的训练方法相对应，因此上述问答模型的训练方法的实施方式也适用于本公开实施例提出的问答模型的训练装置，在下述实施例中不再详细描述。
244.图11为本公开一实施例的问答模型的训练装置的结构示意图，如图11所示，问答模型的训练装置100，包括获取模块11、融合模块12、训练模块13，其中：
245.获取模块11，用于获取样本文本问题分别在文本维度和图像维度上的第一特征向量和两个维度间的第一关联特征向量，以生成第一特征向量集合；以及，获取样本图像问题分别在文本维度和图像维度上的第二特征向量和两个维度间的第二关联特征向量，以生成第二特征向量集合；
246.融合模块12，用于基于第一特征向量集合和第二特征向量集合，生成样本文本问题对应的第一融合特征向量和样本图像问题对应的第二融合特征向量；以及，根据第一融合特征向量和第二融合特征向量，得到样本融合向量；
247.训练模块13，用于根据样本融合向量，对待训练的问答模型进行训练，以生成目标问答模型。
248.图12为本公开一实施例的问答模型的训练装置的结构示意图，如图12所示，问答模型的训练装置200，包括获取模块21、融合模块22、训练模块23，其中：
249.需要说明的是，获取模块11、融合模块12、训练模块13和获取模块21、融合模块22、训练模块23，具备相同的结构和功能。
250.本公开实施例中，问答模型的训练装置200，还用于：基于第一特征向量和第二特征向量，获取文本与图像之间的两个关联度，两个关联度包括样本对象内的关联度和样本对象间的关联度，样本对象为样本文本问题和样本图像问题中的一个；基于样本对象对应的关联度，对样本对象的关联特征向量进行修正；基于样本对象间的关联度，对样本文本问题和样本图像问题中除样本对象之外的另一个对象对应的关联特征向量进行修正；融合模
块22，还用于：根据两个修正后的两个关联特征向量，得到样本对象对应的融合特征向量。
251.本公开实施例中，问答模型的训练装置200，还用于：对两个关联度进行归一化，以获取两个关联度各自的权重值；融合模块22，还用于：基于样本对象内的关联度，对样本对象对应的关联特征向量进行修正，包括：基于样本对象内的关联度对应的权重值，对样本对象对应的关联特征向量进行修正；基于样本对象间的关联度，对样本文本问题和样本图像问题中除样本对象之外的另一个对象对应的关联特征向量进行修正，包括：基于样本对象间的关联度对应的权重值，对样本文本问题和样本图像问题中除样本对象之外的另一个对象对应的关联特征向量进行修正。
252.本公开实施例中，融合模块22，还用于：获取两个维度上的第一特征向量之间的第一关联度，第一关联度用于表征样本文本问题内文本与图像之间的关联度；获取文本维度上的第一特征向量和图像维度上的第二特征向量之间的第二关联度，第二关联度用于表征样本文本问题和样本图像问题间文本与图像之间的关联度；基于第一关联度，对第一关联特征向量进行修正，得到第一目标关联特征向量；基于第二关联度，对第二关联特征向量进行修正，得到第二目标关联特征向量；根据第一目标关联特征向量和第二目标关联特征向量，生成第一融合特征向量。
253.本公开实施例中，融合模块22，还用于：获取两个维度上的第二特征向量之间的第三关联度，第三关联度用于表征样本图像问题内文本与图像之间的关联度；获取图像维度上的第一特征向量和文本维度上的第二特征向量之间的第四关联度，第四关联度用于表征样本图像问题和样本文本问题间文本与图像之间的关联度；基于第三关联度，对第二关联特征向量进行修正，得到第三目标关联特征向量；基于第四关联度，对第一关联特征向量进行修正，得到第四目标关联特征向量；根据第三目标关联特征向量和第四目标关联特征向量，生成第二融合特征向量。
254.本公开实施例中，问答模型的训练装置200，还用于：通过以下方式获取文本维度上的第一特征向量或文本维度上的第二特征向量：获取样本对象的特征信息，并基于特征信息和文本提取矩阵，获取文本维度上的特征向量，其中，样本对象为样本文本问题和样本图像问题中的一个；和/或通过以下方式获取图像维度上的第一特征向量或图像维度上的第二特征向量：获取样本对象的特征信息，并基于特征信息和图像提取矩阵，获取图像维度上的特征向量，其中，样本对象为样本文本问题和样本图像问题中的一个；和/或通过以下方式获取第一关联特征向量或第二关联特征向量：获取样本对象的特征信息，并基于特征信息和关联提取矩阵，获取样本对象的关联特征向量，其中，样本对象为样本文本问题和样本图像问题中的一个。
255.本公开实施例中，训练模块23，还用于：根据样本融合向量，对待训练的问答模型进行训练，并获取当前轮次的模型训练的损失函数；根据损失函数，对待训练的问答模型的模型参数进行调整，生成目标问答模型。
256.本公开提出的问答模型的训练装置，获取样本文本问题对应的第一特征向量集合，和样本图像问题对应的第二特征向量集合，通过对第一特征向量集合和第二特征向量集合中的文本特征和图像特征之间的特征融合，获取样本文本问题对应的第一融合特征向量和样本图像问题对应的第二融合特征向量。进一步地，基于第一融合特征向量和第二融合特征向量，获取可以对问答模型进行模型训练的样本融合向量。基于样本融合向量对待
训练的问答模型进行训练，以生成目标问答模型。本公开中，通过特征向量集合之间的特征融合，使得样本文本问题中的文本特征和样本图像问题中的图像特征得到了更有效的强化，从而使得问答模型在训练过程中可以更准确的获取样本问题的有效特征，提高了问答模型的训练效率，优化了问答模型的训练效果。
257.与上述几种实施例提出的答案的获取方法相对应，本公开的一个实施例还提出了一种答案的获取装置，由于本公开实施例提出的答案的获取装置与上述几种实施例提出的答案的获取方法相对应，因此上述答案的获取方法的实施方式也适用于本公开实施例提出的答案的获取装置，在下述实施例中不再详细描述。
258.图13为本公开一实施例的答案的获取装置的结构示意图，如图13所示，答案的获取装置300，包括提取模块31、生成模块32、修正模块33、答案模块34，其中：
259.提取模块31，用于获取针对待解答问题的文本问题和图像问题；
260.生成模块32，用于获取文本问题分别在文本维度和图像维度上的第一待解答特征向量和两个维度间的第一待解答关联特征向量，以生成第一待解答特征向量集合；以及，获取图像问题分别在文本维度和图像维度上的第二待解答特征向量和两个维度间的第二待解答关联特征向量，以生成第二待解答特征向量集合；
261.修正模块33，用于基于第一待解答特征向量集合和第二待解答特征向量集合，生成文本问题对应的第一待解答融合特征向量和图像问题对应的第二待解答融合特征向量；
262.答案模块34，用于根据第一待解答融合特征向量和第二待解答融合特征向量，得到问题融合向量，并根据问题融合向量，获取问题的目标答案。
263.图14为本公开一实施例的答案的获取装置的结构示意图，如图14所示，答案的获取装置400，包括提取模块41、生成模块42、修正模块43、答案模块44，其中：
264.需要说明的是，提取模块31、生成模块32、修正模块33、答案模块34与提取模块41、生成模块42、修正模块43、答案模块44，具备相同的结构和功能。
265.本公开实施例中，答案的获取装置400，还用于：基于第一待解答特征向量和第二待解答特征向量，获取待解答问题中的文本和图像之间的两个关联度，其中，两个关联度包括待解答对象内的关联度和待解答对象间的关联度，待解答对象为文本问题和图像问题中的一个；基于待解答对象内的关联度，对待解答对象对应的待解答关联特征向量进行修正；基于待解答对象间的关联度，对文本问题和图像问题中待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正；修正模块43，还用于：根据两个修正后的两个待解答关联特征向量，得到待解答对象的待解答融合特征向量。
266.本公开实施例中，答案的获取装置400，还用于：对两个关联度进行归一化，以获取两个关联度各自的权重值；修正模块43，还用于：基于待解答对象内的关联度，对待解答对象对应的待解答关联特征向量进行修正，包括：基于待解答对象内的关联度对应的权重值，对待解答对象对应的待解答关联特征向量进行修正；基于待解答对象间的关联度，对文本问题和图像问题中除待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正，包括：基于待解答对象间的关联度对应的权重值，对文本问题和图像问题中除待解答对象之外的另一个待解答对象对应的待解答关联特征向量进行修正。
267.本公开实施例中，修正模块43，还用于：获取两个维度上的第一待解答特征向量之间的第一关联度，第一关联度用于表征文本问题内文本与图像之间的关联度；获取文本维
度上的第一待解答特征向量和图像维度上的第二待解答特征向量之间的第二关联度，第二关联度用于表征文本问题和图像问题间文本与图像之间的关联度；基于第一关联度，对第一待解答关联特征向量进行修正，得到第一待解答目标关联特征向量；基于第二关联度，对第二待解答关联特征向量进行修正，得到第二待解答目标关联特征向量；根据第一待解答目标关联特征向量和第二待解答目标关联特征向量，生成第一待解答融合特征向量。
268.本公开实施例中，修正模块43，还用于：获取两个维度上的第二待解答特征向量之间的第三关联度，第三关联度用于表征图像问题内文本与图像之间的关联度；获取图像维度上的第一待解答特征向量和文本维度上的第二待解答特征向量之间的第四关联度，第四关联度用于表征图像问题和文本问题间文本与图像之间的关联度；基于第三关联度，对第二待解答关联特征向量进行修正，得到第三待解答目标关联特征向量；基于第四关联度，对第一待解答关联特征向量进行修正，得到第四待解答目标关联特征向量；根据第三待解答目标关联特征向量和第四待解答目标关联特征向量，生成第二待解答融合特征向量。
269.本公开实施例中，修正模块43，还用于：通过以下方式获取文本维度上的第一待解答特征向量或文本维度上的第二待解答特征向量：获取待解答对象的特征信息，并基于特征信息和文本提取矩阵，获取文本维度上的待解答特征向量，其中，待解答对象为文本问题和图像问题中的一个；和/或通过以下方式获取图像维度上的第一待解答特征向量或图像维度上的第二待解答特征向量：获取待解答对象的特征信息，并基于特征信息和图像提取矩阵，获取图像维度上的待解答特征向量，其中，待解答对象为文本问题和图像问题中的一个；和/或通过以下方式获取第一待解答关联特征向量或第二待解答关联特征向量：获取待解答对象的特征信息，并基于特征信息和关联提取矩阵，获取待解答对象的待解答关联特征向量，其中，待解答对象为文本问题和图像问题中的一个。
270.本公开实施例中，答案模块44，还用于：将问题融合向量输入训练好的目标问答模型中，基于目标问答模型，获取待解答问题的目标答案。
271.本公开提出的答案的获取装置，通过目标问答模型获取待解答问题中的文本问题和图像问题的问题融合向量，进而获取待解答问题的目标答案。有效提高了待解答问题的目标答案获取的效率和准确率。
272.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提出和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
273.根据本公开的实施例，本公开还提出了一种电子设备、一种可读存储介质和一种计算机程序产品。
274.图15示出了可以用来实施本公开的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
275.如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(rom)1502中的计算机程序或者从存储单元1509加载到随机访问存储器(ram)1503中的计算机程
序，来执行各种适当的动作和处理。在ram 1503中，还可存储设备1500操作所需的各种程序和数据。计算单元1501、rom 1502以及ram 1503通过总线1504彼此相连。输入/输出(i/o)接口1505也连接至总线1504。
276.设备1500中的多个部件连接至i/o接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1509，例如磁盘、光盘等；以及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
277.计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个方法和处理，例如问答模型的训练方法。例如，在一些实施例中，问答模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1509。在一些实施例中，计算机程序的部分或者全部可以经由rom1502和/或通信单元1509而被载入和/或安装到设备1500上。当计算机程序加载到ram 1503并由计算单元1501执行时，可以执行上文描述的问答模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行问答模型的训练方法。
278.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
279.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提出给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
280.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
281.为了提出与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机
具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提出给计算机。其它种类的装置还可以用于提出与用户的交互；例如，提出给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
282.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
283.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
284.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
285.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。