一种数据预测方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种数据预测方法、装置、设备及存储介质。


背景技术：

2.随着互联网技术的发展，自然语言处理是当前人工智能重要的一部分，其中，数据预测受到了广泛的关注。例如，智能检索系统能及时给用户提供用户疑惑的问题答案，其通常包括问句理解、信息检索、答案抽取和选择三个主要部分，其中，句子相似度计算是问句理解的一部分，它的性能将直接影响到最后答案的准确性。
3.句子相似度指的是两个句子之间匹配的程度，sentence bert模型能帮助快速计算句子相似度。但是目前训练一个表现优秀的sentence bert模型需要大量标注好的句子对，而大量标注好的句子对的获得需要花费大量的资源，如时间、人力、金钱等。因此，如何有效地提升sentence bert模型的性能以及提高数据预测的准确性非常重要。


技术实现要素：

4.本发明实施例提供了一种数据预测方法、装置、设备及存储介质，可以提升sentence bert模型的性能以及提高数据预测的准确性。
5.第一方面，本发明实施例提供了一种数据预测方法，所述方法包括：
6.获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；
7.利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；
8.将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；
9.将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；
10.将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。
11.进一步地，所述利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型，包括：
12.将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量；
13.根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
14.进一步地，所述将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量，包括：
15.在所述测试数据集中各个句子对的两个句子之间添加第一标识符，并在每个句子对的起始位置添加第二标识符；
16.将添加第一标识符和第二标识符的各个句子对输入所述预设的bert模型，得到用于标识所述第二标识符所处位置的所述目标特征向量。
17.进一步地，所述根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型，包括：
18.将所述目标特征向量输入预设的二分类模型，得到所述测试数据集中各个句子对中每两个句子之间的匹配概率；
19.根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
20.进一步地，所述根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型，包括：
21.根据所述匹配概率调整所述预设的bert模型的模型参数，并利用调整后的模型参数重新训练所述预设的bert模型；
22.当利用重新训练后的bert模型得到的匹配概率满足预设阈值时，确定得到所述第一数据预测模型。
23.进一步地，所述新的训练数据集包括多个句子对，每个句子对包括第一句子和第二句子，所述预设的sentence bert模型包括第一bert模型和第二bert模型；所述根据所述新的训练数据集训练预设的sentence bert模型，得到第二数据预测模型，包括：
24.将所述训练数据集中每个句子对的第一句子输入所述第一bert模型中，得到所述每个句子对的第一句子表征向量；
25.将所述训练数据集中每个句子对的第二句子输入所述第二bert模型中，得到所述每个句子对的第二句子表征向量；
26.根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量，训练所述预设的sentence bert模型，得到所述第二数据预测模型。
27.进一步地，所述根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量，训练所述预设的sentence bert模型，得到所述第二数据预测模型，包括：
28.根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量计算所述每个句子对的第一句子与第二句子之间的相似度；
29.根据所述相似度调整所述sentence bert模型的模型参数，并重新训练所述sentence bert模型；
30.当重新训练所述sentence bert模型后得到的相似度满足预设相似度阈值时，确定得到所述第二数据预测模型。
31.第二方面，本发明实施例提供了一种数据预测装置，包括：
32.获取单元，用于获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；
33.第一训练单元，用于利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；
34.处理单元，用于将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；
35.第二训练单元，用于将所述测试数据集与所述第二数据集进行合并处理，并根据
合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；
36.预测单元，用于将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。
37.第三方面，本发明实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持数据预测装置执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
38.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
39.本发明实施例可以获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果，有助于提升sentence bert模型的性能以及提高数据预测的准确性。
附图说明
40.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明实施例提供的一种数据预测方法的示意流程图；
42.图2是本发明实施例提供的一种确定第一数据预测模型的流程示意图；
43.图3是本发明实施例提供的一种确定第二数据预测模型的流程示意图；
44.图4是本发明实施例提供的一种数据预测装置的示意框图；
45.图5是本发明实施例提供的一种计算机设备的示意框图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.本发明实施例提供的数据预测方法可以应用于一种数据预测装置，在某些实施例中，所述数据预测装置设置于计算机设备中。在某些实施例中，所述计算机设备包括但不限于智能手机、平板电脑、膝上型电脑等中的一种或者多种。在某些实施例中，所述数据预测方法可以应用于通过文本问题预测答案等智能检索应用的场景。
48.本发明实施例可以获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；将未标注的句子对作为第一数据集输入所述第一数据
预测模型中，得到第二数据集；将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。
49.本发明实施例利用包括已标注的句子对和未标注的句子对的测试数据集对预设的bert模型进行训练，得到第一数据预测模型，并将未标注的句子对作为第一数据集输入第一数据预测模型得到第二数据集，以及将测试数据集与第二数据集进行合并处理，得到合并后的训练数据集，从而达到数据增强的目的，有效避免了数据资源的浪费，减少了获取更多数据所需的资源开销。然后再利用增强的新的训练数据集训练预设的sentence bert模型，得到第二数据预测模型，有助于提升sentence bert模型的性能以及提高数据预测的准确性。
50.下面结合附图1对本发明实施例提供的数据预测方法进行示意性说明。
51.请参见图1，图1是本发明实施例提供的一种数据预测方法的示意流程图，如图1所示，该方法可以由数据预测装置执行，所述数据预测装置设置于计算机设备中。具体地，本发明实施例的所述方法包括如下步骤。
52.s101：获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对。
53.本发明实施例中，数据预测装置可以获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对。
54.在某些实施例中，所述测试数据集中包括一个或多个已标注的句子对以及一个或多个未标注的句子对。
55.在一个示例中，所述测试数据集可以记为x，x＝{q，a,y},y∈{0,1}，这里的q表示问题，a表示答案，y为标签，当y＝0时表示问题q与答案a不匹配，当y＝1时表示问题q与答案a匹配。例如，问题q为“张三到哪儿了？”，答案a为“张三到学校了”。
56.s102：利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型。
57.本发明实施例中，数据预测装置可以利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型。
58.在一个实施例中，数据预测装置在利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型时，可以将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量，并根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
59.在一个实施例中，数据预测装置在将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量时，可以在所述测试数据集中各个句子对的两个句子之间添加第一标识符，并在每个句子对的起始位置添加第二标识符，并将添加第一标识符和第二标识符的各个句子对输入所述预设的bert模型，得到用于表示所述第二标识符所处位置的所述目标特征向量。
60.在一个实施例中，数据预测装置在根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型时，可以将所述目标特征向量输入预设的二分类模型，得到所述测试数据集中各个句子对中每两个句子之间的匹配概率，并根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型。在某些实施例中，
所述预设的二分类模型可以为多层感知器(multilayer perceptron，mlp)模型。
61.在一个实施例中，数据预测装置在根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型时，可以根据所述匹配概率调整所述预设的bert模型的模型参数，并利用调整后的模型参数重新训练所述预设的bert模型；当利用重新训练后的bert模型得到的匹配概率满足预设阈值时，确定得到所述第一数据预测模型。
62.具体可以图2为例进行说明，图2是本发明实施例提供的一种确定第一数据预测模型的流程示意图，如图2所示，假设测试数据集21为x＝{q，a，y}，其中，问题q＝
″
我是谁
″
，答案a＝
″
我到了
″
，将它们作为bert模型22的输入，得到的标签为y∈(0，1)。这里的标签y为一个概率值即为两个句子“我是谁”和“我到了”之间的匹配概率。此处的bert模型接收句子对q和a作为输入，两个句子q和a之间用第一标识符[sep]作为分隔，在输入的开头加入第二标识符[cls]作为句子的起始位置，如图2所示。然后取bert模型最后输出中第一个位置的目标特征向量，也就是第二标识符[cls]对应的目标特征向量23，在图中记为v_c，作为预设的二分类模型mlp模型24的输入，最后的输出结果25分别表示输入的句子对之间的匹配概率即标签y。该标签y越靠近0就越说明问题q与答案a不匹配，而标签y越靠近1就越说明问题q与答案a匹配。
[0063]
s103：将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集。
[0064]
本发明实施例中，数据预测装置可以从所述测试数据集中随机抽取未标注的第一数据集，所述第一数据集为未标注的句子对集合，并将所述第一数据集输入所述第一数据预测模型中，得到第二数据集。
[0065]
在一个实施例中，数据预测装置可以从测试数据集中随机抽取新的未标注的第一数据集，所述第一数据集为未标注的句子对集合。例如，对于任何测试数据集x中的数据(q
i
，a
i
，y
i
)，都有第一数据集b(q
i
，a
j
)，其中i不等j，是未经过标注的问题
‑
答案组合。
[0066]
在一个实施例中，将随机抽取的未标注的第一数据集作为第一数据预测模型的输入，得到预测结果为第二数据集。在某些实施例中，所述第二数据集为一组具有标签的句子对集合，其中，所述标签为句子对之间的匹配概率。
[0067]
例如，假设第一数据集为b，第二数据集为c，则
[0068]
c＝{q
i
，a
j
，y
ij
}，y
ij
∈(0，1)
[0069]
这里q
i
表示问题，a
j
表示答案，标签y
ij
为0到1的概率值，y
ij
越靠近0就越说明问题q
i
和答案a
j
不匹配，而y
ij
越靠近1就越说明问题q
i
和答案a
j
匹配。
[0070]
s104：将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型。
[0071]
本发明实施例中，数据预测装置可以将所述测试数据集与所述第二数据集进行合并处理，得到新的训练数据集，并根据所述新的训练数据集训练预设的sentence bert模型，得到第二数据预测模型。
[0072]
在一个实施例中，数据预测装置将测试数据集和第二数据集合并，得到新的训练数据集，有助于达到数据增强的目的。
[0073]
在一个实施例中，所述新的训练数据集包括多个句子对，每个句子对包括第一句子和第二句子，所述预设的sentence bert模型包括第一bert模型和第二bert模型；数据预
测装置在根据所述新的训练数据集训练预设的sentence bert模型，得到第二数据预测模型时，可以将所述训练数据集中每个句子对的第一句子输入所述第一bert模型中，得到所述每个句子对的第一句子表征向量；将所述训练数据集中每个句子对的第二句子输入所述第二bert模型中，得到所述每个句子对的第二句子表征向量；根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量，训练所述预设的sentence bert模型，得到所述第二数据预测模型。
[0074]
在一个实施例中，数据预测装置在根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量，训练所述预设的sentence bert模型，得到所述第二数据预测模型时，可以根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量计算所述每个句子对的第一句子与第二句子之间的相似度；根据所述相似度调整所述sentence bert模型的模型参数，并重新训练所述sentence bert模型；当重新训练所述sentence bert模型后得到的相似度满足预设相似度阈值时，确定得到所述第二数据预测模型。
[0075]
具体可以图3为例进行说明，图3是本发明实施例提供的一种确定第二数据预测模型的流程示意图，如图3所示，以一个句子对中的第一句子和第二句子为例，假设第一句子为问题q，第二句子为答案a，sentence bert模型30包括第一bert模型31和第二bert模型32，将问题q输入第一bert模型31，得到第一句子表征向量311，将答案a输入第二bert模型32，得到第二句子表征向量321，根据第一句子表征向量311和第二句子表征向量321计算得到问题q与答案a的相似度33，该相似度33即为问题q与答案a的匹配概率。当相似度33不满足预设相似度阈值时，根据所述相似度33调整所述sentence bert模型30的模型参数，并重新训练所述sentence bert模型30，当重新训练所述sentence bert模型30后得到的相似度33满足预设相似度阈值时，确定得到所述第二数据预测模型34。
[0076]
s105：将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。
[0077]
本发明实施例中，数据预测装置可以将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。在某些实施例中，所述待测试数据为未标注的句子，例如，所述待测试数据可以为问题句子“我在哪儿”。
[0078]
在一个实际的问题与答案的智能检索场景中，所有的答案都可以通过训练好的sentence bert模型(即第二数据预测模型)里面的bert模型将其编码为句子表征向量，存储在特定的问题库中。当待测试数据为一个实际的问题句子时，可以将该问题句子输入第二数据预测模型，得到该问题句子对应的句子表征向量，然后计算跟问题库里所有问题相对应的句子表征向量的距离作为句子之间的相似度，最后选取问题库里相似度最高的问题的答案为待测试的问题句子的输出答案。
[0079]
本发明实施例可以有效地从测试数据集中提取出新的未标注的第一数据集，并利用bert模型标注这个新的第一数据集得到第二数据集，然后将测试数据集和第二数据集这两个数据集进行合并，得到新的训练数据集，从而达到数据增强的效果，通过数据增强方法，有效避免了数据资源浪费，也减少了获取更多数据所需要的资源开销。利用扩充后的训练数据集训练sentence bert模型，从而提高sentence bert模型在句子相似度计算上的性能和准确性。
[0080]
本发明实施例中，数据预测装置可以获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果，有助于提升sentence bert模型的性能以及提高数据预测的准确性。
[0081]
本发明实施例还提供了一种数据预测装置，该数据预测装置用于执行前述任一项所述的方法的单元。具体地，参见图4，图4是本发明实施例提供的一种数据预测装置的示意框图。本实施例的数据预测装置包括：获取单元401、第一训练单元402、处理单元403、第二训练单元404以及预测单元405。
[0082]
获取单元401，用于获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；
[0083]
第一训练单元402，用于利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；
[0084]
处理单元403，用于将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；
[0085]
第二训练单元404，用于将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；
[0086]
预测单元405，用于将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。
[0087]
进一步地，所述第一训练单元402利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型时，具体用于：
[0088]
将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量；
[0089]
根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
[0090]
进一步地，所述第一训练单元402将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量时，具体用于：
[0091]
在所述测试数据集中各个句子对的两个句子之间添加第一标识符，并在每个句子对的起始位置添加第二标识符；
[0092]
将添加第一标识符和第二标识符的各个句子对输入所述预设的bert模型，得到用于表示所述第二标识符所处位置的所述目标特征向量。
[0093]
进一步地，所述第一训练单元402根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型时，具体用于：
[0094]
将所述目标特征向量输入预设的二分类模型，得到所述测试数据集中各个句子对中每两个句子之间的匹配概率；
[0095]
根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
[0096]
进一步地，所述第一训练单元402根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型时，具体用于：
[0097]
根据所述匹配概率调整所述预设的bert模型的模型参数，并利用调整后的模型参数重新训练所述预设的bert模型；
[0098]
当利用重新训练后的bert模型得到的匹配概率满足预设阈值时，确定得到所述第一数据预测模型。
[0099]
进一步地，所述新的训练数据集包括多个句子对，每个句子对包括第一句子和第二句子，所述预设的sentence bert模型包括第一bert模型和第二bert模型；所述第二训练单元404根据所述新的训练数据集训练预设的sentence bert模型，得到第二数据预测模型时，具体用于：
[0100]
将所述训练数据集中每个句子对的第一句子输入所述第一bert模型中，得到所述每个句子对的第一句子表征向量；
[0101]
将所述训练数据集中每个句子对的第二句子输入所述第二bert模型中，得到所述每个句子对的第二句子表征向量；
[0102]
根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量，训练所述预设的sentence bert模型，得到所述第二数据预测模型。
[0103]
进一步地，所述第二训练单元404根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量，训练所述预设的sentence bert模型，得到所述第二数据预测模型时，具体用于：
[0104]
根据所述每个句子对的第一句子表征向量和所述每个句子对的第二句子表征向量计算所述每个句子对的第一句子与第二句子之间的相似度；
[0105]
根据所述相似度调整所述sentence bert模型的模型参数，并重新训练所述sentence bert模型；
[0106]
当重新训练所述sentence bert模型后得到的相似度满足预设相似度阈值时，确定得到所述第二数据预测模型。
[0107]
本发明实施例中，数据预测装置可以获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标注的句子对和未标注的句子对；利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果，有助于提升sentence bert模型的性能以及提高数据预测的准确性。
[0108]
参见图5，图5是本发明实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的设备可以包括：一个或多个处理器501；一个或多个输入设备502，一个或多个输出设备503和存储器504。上述处理器501、输入设备502、输出设备503和存储器504通过总线505连接。存储器504用于存储计算机程序，所述计算机程序包括程序，处理器501用于执行存储器504存储的程序。
[0109]
其中，处理器501被配置用于调用所述程序执行：
[0110]
获取测试数据集，所述测试数据集包括多个句子对，所述多个句子对中包括已标
注的句子对和未标注的句子对；
[0111]
利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型；
[0112]
将未标注的句子对作为第一数据集输入所述第一数据预测模型中，得到第二数据集；
[0113]
将所述测试数据集与所述第二数据集进行合并处理，并根据合并后的训练数据集训练预设的sentence bert模型，得到第二数据预测模型；
[0114]
将待测试数据输入所述第二数据预测模型，得到与所述待测试数据对应的预测结果。
[0115]
进一步地，所述处理器501利用所述测试数据集对预设的bert模型进行训练，得到第一数据预测模型时，具体用于：
[0116]
将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量；
[0117]
根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
[0118]
进一步地，所述处理器501将所述测试数据集中的各个句子对输入预设的bert模型，得到与所述各个句子对对应的目标特征向量时，具体用于：
[0119]
在所述测试数据集中各个句子对的两个句子之间添加第一标识符，并在每个句子对的起始位置添加第二标识符；
[0120]
将添加第一标识符和第二标识符的各个句子对输入所述预设的bert模型，得到用于表示所述第二标识符所处位置的所述目标特征向量。
[0121]
进一步地，所述处理器501根据所述目标特征向量重新训练所述预设的bert模型，确定得到所述第一数据预测模型时，具体用于：
[0122]
将所述目标特征向量输入预设的二分类模型，得到所述测试数据集中各个句子对中每两个句子之间的匹配概率；
[0123]
根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型。
[0124]
进一步地，所述处理器501根据所述匹配概率重新训练所述预设的bert模型，确定得到所述第一数据预测模型时，具体用于：
[0125]
根据所述匹配概率调整所述预设的bert模型的模型参数，并利用调整后的模型参数重新训练所述预设的bert模型；
[0126]
当利用重新训练后的bert模型得到的匹配概率满足预设阈值时，确定得到所述第一数据预测模型。
[0127]
进一步地，所述新的训练数据集包括多个句子对，每个句子对包括第一句子和第二句子，所述预设的sentence bert模型包括第一bert模型和第二bert模型；所述处理器501根据所述新的训练数据集训练预设的sentence bert模型，得到第二数据预测模型时，具体用于：
[0128]
将所述训练数据集中每个句子对的第一句子输入所述第一bert模型中，得到所述每个句子对的第一句子表征向量；
[0129]
将所述训练数据集中每个句子对的第二句子输入所述第二bert模型中，得到所述
media card,smc)，安全数字(secure digisal,sd)卡，闪存卡(flash card)等。进一步地，所述计算机可读存储介质还可以既包括所述数据预测装置的内部存储单元也包括外部存储装置。所述计算机可读存储介质用于存储所述计算机程序以及所述数据预测装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0142]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
[0143]
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0144]
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。