一种替代模型自动提取方法、终端及存储介质

1.本发明涉及人工智能技术领域，尤其涉及的是一种替代模型自动提取方法、终端及存储介质。


背景技术：

2.机器学习即服务帮助客户从机器学习中受益，开发人员可以使用机器学习即服务产品快速有效地进行构建，可以访问预先构建的算法和模型，而无需建立内部机器学习团队的相关成本、时间和风险。
3.已有工作表明，可以通过访问平台上的模型，利用模型输出等信息进行模型模仿学习，从而获取目标模型面向特定任务的能力。这种方式可以对目标模型面向的任务和使用的数据有大致的了解，但对目标模型的架构，训练方式以及具体的训练数据一无所知，只能通过向目标模型查询大量的样本获得模型输出，以此构建替代模型训练数据集训练替代模型；理论上，更多的查询带来更好的模型效果。然而，大量的查询会增加向平台支付的查询费用，导致成本较高。如何选择出更具代表性的样本去查询目标模型，减少查询次数，同时能够保证替代模型的可用性是当前的研究热点。
4.因此，现有技术还有待改进。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种替代模型自动提取方法、终端及存储介质，以解决传统的替代模型构建方式无法在低成本的情况下保证替代模型的可用性的技术问题。
6.本发明解决技术问题所采用的技术方案如下：
7.第一方面，本发明提供一种替代模型自动提取方法，包括：
8.获取目标模型面向的任务及任务数据信息，根据所述目标模型面向的任务确定替代模型的架构，并根据模型提取的特点及为改进提取流程设置模型提取框架；
9.根据所述目标模型的任务数据信息收集任务数据，对收集的所述目标模型的任务数据进行降维处理，并对降维后的数据进行筛选，得到替代模型的训练数据集；
10.根据预设指标度量所述替代模型的分类信心，根据所述分类信心对所述训练数据集进行分类，得到查询样本数据；
11.通过所述模型提取框架中的监督学习算法和一致性正则化算法训练所述替代模型，得到训练后的替代模型。
12.在一种实现方式中，所述获取目标模型面向的任务及任务数据信息，包括：
13.获取所述目标模型面向的任务，并根据所述任务获取所述目标模型的任务数据信息。
14.在一种实现方式中，所述根据所述目标模型面向的任务确定替代模型的架构，并根据模型提取的特点及为改进提取流程设置模型提取框架，包括：
15.根据所述目标模型面向的任务确定替代模型的架构；
16.确定模型提取的特点及改进提取流程；
17.根据所述模型提取的特点及为改进提取流程设置所述模型提取框架。
18.在一种实现方式中，所述对收集的所述目标模型的任务数据进行降维处理，并对降维后的数据进行筛选，得到替代模型的训练数据集，包括：
19.通过自编码器对收集的所述目标模型的任务数据进行降维处理，并对降维后的数据进行聚类；
20.通过预设算法对聚类后的数据进行挑选，去除重复或相似数据，得到所述训练数据集。
21.在一种实现方式中，所述通过自编码器对收集的所述目标模型的任务数据进行降维处理，并对降维后的数据进行聚类，包括：
22.通过聚类算法及给定数据集的类中心数量对目标函数进行优化，得到优化后的目标函数；
23.通过所述自编码器对收集的所述目标模型的任务数据进行降维处理，得到中间数据；
24.根据所述优化后的目标函数对所述中间数据进行聚类，得到所述聚类后的数据。
25.在一种实现方式中，所述根据预设指标度量所述替代模型的分类信心，根据所述分类信心对所述训练数据集进行分类，得到查询样本数据，包括：
26.根据所述预设指标度量所述替代模型的分类信心；
27.将所述训练数据集输入至所述替代模型，根据所述分类信心对所述训练数据集进行分类，得到第一信心数据集和第二信心数据集；
28.将所述第二信心数据集作为所述查询样本数据。
29.在一种实现方式中，所述得到第一信心数据集和第二信心数据集，之后还包括：
30.将所述第一信心数据集中的数据作为无标签数据；
31.根据所述无标签数据引入并改造半监督学习中的一致性正则化算法。
32.在一种实现方式中，所述通过所述模型提取框架中的监督学习算法和一致性正则化算法训练所述替代模型，得到训练后的替代模型，包括：
33.将训练过程分为多个替代循环，在每个替代循环里抽取部分数据让所述替代模型标注；
34.分别得到所述替代模型的第一信心数据集和第二信心数据集，通过所述第二信心数据集查询所述目标模型；
35.保留所述目标模型反馈的第一信心数据及对应的标签集；
36.通过所述监督学习算法和所述一致性正则化算法训练所述替代模型，得到训练后的替代模型。
37.第二方面，本发明还提供一种终端，包括：处理器以及存储器，所述存储器存储有替代模型自动提取程序，所述替代模型自动提取程序被所述处理器执行时用于实现如第一方面所述的替代模型自动提取方法的操作。
38.第三方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有替代模型自动提取程序，所述替代模型自动提取程序被处理器执行时用
于实现如第一方面所述的替代模型自动提取方法的操作。
39.本发明采用上述技术方案具有以下效果：
40.本发明可以最大程度地利用平台中较大的数据集，同时大大减少平台查询的数据量；并且，通过将预训练模型和目标模型任务相关数据作为替代模型架构与训练数据，提高了替代模型的表现，以及通过使用半监督学习的一致性正则化训练替代模型，可以从没有查询目标模型的无标签数据中进行学习；本发明在查询目标模型前先让替代模型标注一下，仅查询替代模型的低信心数据减少了查询工作，而且在得到目标模型的输出后，仅使用目标模型的高信心数据训练替代模型，提高了替代模型的训练效率和输出表现。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
42.图1是本发明的一种实现方式中替代模型自动提取方法的流程图。
43.图2是本发明的一种实现方式中自编码器结构示意图。
44.图3是本发明的一种实现方式中查询样本选择示意图。
45.图4是本发明的一种实现方式中替代模型提取框架示意图。
46.图5是本发明的一种实现方式中替代模型提取算法示意图。
47.图6是本发明的一种实现方式中终端的功能原理图。
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
50.示例性方法
51.如图1所示，本发明实施例提供一种替代模型自动提取方法，包括以下步骤：
52.步骤s100，获取目标模型面向的任务及任务数据信息，根据所述目标模型面向的任务确定替代模型的架构，并根据模型提取的特点及为改进提取流程设置模型提取框架。
53.在本实施例中，所述替代模型自动提取方法应用于终端中，所述终端包括但不限于：计算机以及移动终端等设备。
54.在本实施例中，在本地建立并训练替代模型，获得目标模型的功能。要使替代模型能够在其面向的任务上表现良好，具有更好的可用性，能够与目标模型表现相当，需要提升替代模型针对特定任务的表现。这可以从两方面去做工作，一方面为本地的替代模型选择更好的架构和训练数据，另一方面找到更有效的提升表现的训练模型的方式。
55.本实施例中针对替代模型的问题，在更实用的设置下降低模型提取成本和提升模型表现，得到了一个完整的模型提取框架，该模型提取框架的贡献主要有以下几点：
56.1、提出模型提取的一个通用预处理步骤，在能找到很多数据却只想查询少数数据
时，可以在最大程度地利用这个大的数据集的同时大大减少查询的数据量。
57.2、提出将预训练模型和目标模型任务相关数据作为替代模型架构与训练数据更好的选择，减少了查询量且提高了替代模型的表现。通过使用半监督学习的一致性正则化可以更有效地训练替代模型，可以从没有查询目标模型的无标签数据中学习。
58.3、在查询目标模型前先让替代模型标注一下，仅查询替代模型的低信心数据减少了查询量；在得到目标模型的输出后，仅使用目标模型的高信心数据训练替代模型提高了效率和表现。
59.具体地，在本实施例的一种实现方式中，步骤s100包括以下步骤：
60.步骤s101，获取所述目标模型面向的任务，并根据所述任务获取所述目标模型的任务数据信息。
61.在本实施例中，需要获得云平台上的目标模型的能力，在本地训练一个替代模型以替代平台上目标模型的能力，从而令两个模型在测试数据上的表现相当。通过访问目标模型，了解目标模型所面对的任务，对目标模型的训练数据有粗略的了解，以及通过api与目标模型交互获取目标模型返回的输出，使用目标模型返回的输出来建立替代模型。
62.在本实施例中，根据目标模型返回的输出获取相应的模型信息，以建立替代模型；在建立替代模型时，需要一个去查询目标模型的数据集，即与目标模型任务相关的任务数据有利于更好地建立目标模型。这些相关的任务数据可以来自公开的数据源，也可以来自生产中更加现实的数据。
63.在本实施例中，只有对目标模型有一定的了解，才可去找与目标模型任务相关的数据。使用与目标模型任务相关的数据可以不用查询无关的数据，因此减少了查询数据的数量；对目标模型有所了解后，可以在网络上搜集数据或使用一些公开数据；另一方面，也可能获得一些实际使用的数据，例如：在实际业务中的数据，用google搜索与任务相关的数据以接近实际情况。
64.具体地，在本实施例的一种实现方式中，步骤s100还包括以下步骤：
65.步骤s102，根据所述目标模型面向的任务确定替代模型的架构；
66.步骤s103，确定模型提取的特点及改进提取流程；
67.步骤s104，根据所述模型提取的特点及为改进提取流程设置所述模型提取框架。
68.在本实施例中，在获取有关目标模型的信息后，可以使用这些信息为替代模型选择更好的架构，即面向目标模型任务的预训练模型，此外还可以使用这些信息查找相应的数据。本实施例中不需要从头开始构建替代模型，因为这样做需要大量的数据、资源和复杂的架构。相反，本实施例中可以从一个经过预训练的模型开始，该预训练模型已经在大型数据集上训练过，可以预测各种类别。
69.在本实施例中，预先训练的模型可以从现有的机器学习框架中获得；许多机器学习框架(如pytorch、tensorflow和mxnet)中有各种预训练模型，用于图像、文本和语音等任务。例如，对于图像分类任务，可以使用预先训练的图像分类网络，该网络已学会从自然图像中提取强大且信息丰富的特征，作为学习新任务的起点。大多数预训练网络是基于imagenet大规模视觉识别挑战(ilsvrc)中使用的imagenet数据库的子集进行训练的。这些网络已经在100多万张图像上进行了训练，可以将图像分为1000个对象类，例如键盘、咖啡杯、铅笔和多种动物。一般来说，使用预先训练的网络进行迁移学习比从头开始训练网络更
快、更容易。
70.在本实施例中，在模型提取过程中，可以根据目标模型的任务选择匹配的预训练模型作为替代模型的架构。
71.如图1所示，在本发明实施例的一种实现方式中，替代模型自动提取方法还包括以下步骤：
72.步骤s200，根据所述目标模型的任务数据信息收集任务数据，对收集的所述目标模型的任务数据进行降维处理，并对降维后的数据进行筛选，得到替代模型的训练数据集。
73.在本实施例中，可以通过实例选择减少数据，实例选择旨在决定在学习过程中应保留训练集中的哪些实例以供进一步使用，通过实例选择，减小了训练集，有助于减少训练过程中的运行时间。将实例选择应用到替代模型的提取过程中，可以有效缓解查询过多的问题。
74.具体地，在本实施例的一种实现方式中，步骤s200包括以下步骤：
75.步骤s201，通过自编码器对收集的所述目标模型的任务数据进行降维处理，并对降维后的数据进行聚类；
76.步骤s202，通过预设算法对聚类后的数据进行挑选，去除重复或相似数据，得到所述训练数据集。
77.在本实施例中，首先通过自编码器对图像数据进行降维，然后进行聚类，最后采用精心设计的算法从聚类后的数据挑选，最大程度减少重复或相似的数据，提高了查询效率；自编码器的结构如图2所示。
78.具体地，在本实施例的一种实现方式中，步骤s201包括以下步骤：
79.步骤s201a，通过聚类算法及给定数据集的类中心数量对目标函数进行优化，得到优化后的目标函数；
80.步骤s201b，通过所述自编码器对收集的所述目标模型的任务数据进行降维处理，得到中间数据；
81.步骤s201c，根据所述优化后的目标函数对所述中间数据进行聚类，得到所述聚类后的数据。
82.在本实施例中，预设算法为mini-batch k-means算法，采用mini-batch k-means算法可以对自编码器的中间表示进行聚类，该算法是k-means算法的一种变体。k-means算法期望在给定数据集x的类中心数目的情况下，优化一个目标函数；
83.min∑
x∈x
||f(c,x)-x||2ꢀꢀꢀ
(3-1)
84.式中的c为类中心集合，f(c,x)返回距离x最近的类中心c∈c。在选择初始质心后，算法会重复做这两个步骤：样本分配到其最近的质心和使用各类样本的平均值来计算新质心。算法在旧质心和新质心之间的差异小于一个阈值时停止。
85.mini-batch k-means算法与标准算法有相似的步骤，且仍然尝试优化相同的目标函数。但它会在每次训练迭代中随机采样小批量，不仅大大减少了收敛所需的计算量和计算时间，还可以使其更快地处理大型数据集，并且可能对统计噪声更稳健。在实践中，该算法与标准算法产生的结果质量差异通常非常小。
86.如图1所示，在本发明实施例的一种实现方式中，替代模型自动提取方法还包括以下步骤：
87.步骤s300，根据预设指标度量所述替代模型的分类信心，根据所述分类信心对所述训练数据集进行分类，得到查询样本数据。
88.在本实施例中，替代模型仅查询低信心数据，可以降低查询过程中的成本预算；由于，在替代模型的分类任务里，可以用替代模型对样本分类的信心来衡量替代模型是否获得了对这个样本分类的能力。通过对替代模型的输出做softmax操作，便得到了一个选择查询样本的方法。
89.具体地，在本实施例的一种实现方式中，步骤s300包括以下步骤：
90.步骤s301，根据所述预设指标度量所述替代模型的分类信心；
91.步骤s302，将所述训练数据集输入至所述替代模型，根据所述分类信心对所述训练数据集进行分类，得到第一信心数据集和第二信心数据集；
92.步骤s303，将所述第二信心数据集作为所述查询样本数据。
93.在本实施例中，第一信心数据集为高信心数据集，第二信心数据集为低信心数据集。
94.如图3所示，在选择查询样本数据时，先将拥有的数据输入至替代模型，利用替代模型进行分类；其中，对于替代模型以高信心分类的样本，不需要目标模型进行标注，可以认为替代模型获得了对这些样本分类的能力，所以只需要用替代模型不自信的样本(即低信心分类样本)查询目标模型，以减少查询次数。
95.在目标模型标注不自信的样本数据后，目标模型给出输出结果，并将输出结果作为替代模型的分类目标。然而，并不会使用目标模型返回的所有标签，只使用目标模型以高信心分类的样本及其结果；替代模型提取的过程便是要学习目标模型以高信心分类的能力，而非学习连目标模型也不自信分类的能力。
96.在本实施例中，需要度量替代模型分类信心，所以提出了三种指标：
[0097][0098][0099][0100]
其中，ki是第i个最自信的类，τ为信心的阈值。式(3-4)受到了熵的概念的启发，熵是不确定性的度量。可以看出，式(3-4)的值越大，确定性越大，因此可以作为度量模型分类信心的指标。应根据具体任务和数据特点，从这三个里选择合适的指标。
[0101]
具体地，在本实施例的一种实现方式中，步骤s302之后包括以下步骤：
[0102]
步骤s302a，将所述第一信心数据集中的数据作为无标签数据；
[0103]
步骤s302b，根据所述无标签数据引入并改造半监督学习中的一致性正则化算法。
[0104]
本实施例中，提出了一种训练替代模型的方式，这种方式会将两种类型的数据以两种不同的方式同时训练，使模型的训练过程更加符合模型提取的特点。
[0105]
第一种训练方式，替代模型分类后，输出的低信心数据交由目标模型进一步标注，在得到目标模型返回的结果后，这部分数据仍使用交叉熵损失监督训练替代模型；
[0106]
第二种训练方式，由于替代模型分类后的高信心数据没有被目标模型标注，不能参加后面的监督训练，但这些数据仍有使用的价值。替代模型能够继续从这部分数据中进行学习，提高模型的性能，所以仍用高信心数据训练替代模型。将这部分数据看作无标签数
据，引入并改造半监督学习里的一致性正则化，以充分利用无标签数据训练替代模型。
[0107]
具体地，对于在第t轮训练里，参与的替代模型的所有高信心数据，计算这些数据的损失：
[0108][0109]
z＝αz+(1-α)z(3-6)
[0110][0111]
其中，c为类的数量，b为参与本轮训练的所有高信心数据组成的集合，z为本次模型给的预测向量。为了随后将监督和无监督损失项组合，通过时间相关加权函数w(t)对这部分损失进行尺度化。同时，这种方式将网络先前评估的多个预测聚合到一个集成预测z中，其中α是一个动量项，它控制着集合输出接近训练历史的程度，z因此包含来自先前网络预测的加权平均值。这种集成预测可以被期望比在最近的训练轮次的网络输出更能更好地预测未知标签，因此可以作为训练的目标。
[0112]
与仅使用一个先前预测相比，可以有更小的噪声。为了生成训练目标z，需要通过除以因子(1-αt)来修正z中的启动偏差。例如，adam和仅均值批量正规化中也使用了类似的偏差校正。在第一轮训练中，z和z为零，因为之前轮次中没有可用的数据。
[0113]
如图1所示，在本发明实施例的一种实现方式中，替代模型自动提取方法还包括以下步骤：
[0114]
步骤s400，通过所述模型提取框架中的监督学习算法和一致性正则化算法训练所述替代模型，得到训练后的替代模型。
[0115]
在本实施例中，替代模型的提取过程通过模型提取框架实现；本实施例中通过将前面的方法结合起来，并优化流程，就得到了一个模型提取框架，该框架充分考虑了模型提取的特点，在减少查询目标模型次数降低查询预算的同时充分利用了训练数据，所用的两部分训练数据使用了不同的训练方式，可以同时一次性地训练好替代模型。
[0116]
如图4所示，图4中为模型提取框架及其步骤的说明。
[0117]
如图5所示，为了更细致地表达框架算法的细节，本实施例中在图5中给出了算法的伪代码。
[0118]
具体地，在本实施例的一种实现方式中，步骤s400包括以下步骤：
[0119]
步骤s401，将训练过程分为多个替代循环，在每个替代循环里抽取部分数据让所述替代模型标注；
[0120]
步骤s402，分别得到所述替代模型的第一信心数据集和第二信心数据集，通过所述第二信心数据集查询所述目标模型；
[0121]
步骤s403，保留所述目标模型反馈的第一信心数据及对应的标签集；
[0122]
步骤s404，通过所述监督学习算法和所述一致性正则化算法训练所述替代模型，得到训练后的替代模型。
[0123]
在本实施例中，首先，将搜集来的任务相关的数据采用实例选择的思想处理并挑选出部分样本；其次，会将训练过程分为多个替代循环。在每个替代循环里，抽取部分数据让替代模型标注；再次，分别得到替代模型的高信心数据集和低信心数据集，仅有低信心数据集查询目标模型，留下目标模型的高信心数据及其标签集；最后，通过监督学习和一致性
正则化同时训练替代模型，得到与目标模型能力相当的替代模型。
[0124]
在本实施例中，将模型提取的目的定义为尽可能获得目标模型决策能力，即替代模型应尽可能接近甚至超越目标模型在测试数据集上的表现，这样做的目的是站在实用的角度，希望提取过来的模型具有更令人满意的可用性。所以使用这样的评价指标—替代模型与目标模型在测试准确率之比。如下面公式所示，其中，为替代模型，f为目标模型。
[0125][0126]
在本实施例中，可以使用微软提供的azure custom vision图像识别服务，构建、部署和改进图像标识符模型。图像标识符根据检测到的视觉特征将标签应用于图像，每个标签代表一个分类或对象。分别从intel image和fashion mnist这两个数据集的训练数据集中随机抽取了5000个图像数据，且保证各类别的数据数量平衡，使用该服务分别训练了两个模型，作为的目标模型。目标模型在平台上训练了几十分钟，在此过程中对目标模型的架构，权重以及超参数一无所知，训练好之后也不能对目标模型进行更改，只能进行查询，目标模型会返回输出向量。训练好的目标模型也给出了精度，这两个数据集上的精度分别为94.7％和91％。
[0127]
在本实施例中，替代模型基于squeezenet，是一种轻量化模型，在使网络参数减少最大程度的提高运算速度的同时，不损失网络性能。由于使用与目标模型任务相关的数据，作为一种理想情况，替代模型训练数据采用intel image的验证集和fashion mnist的测试数据集的部分数据。这是合理的，其保证了替代模型与目标模型训练数据集是不同的，符合对目标模型使用的具体数据一无所知的这一假设。这种做法也符合可以使用与目标模型任务相关的数据的假设。考虑了实际情况中能够得到的数据的情况，使用google搜索与目标模型任务相关的图像，下载下来，作为替代模型的训练数据。
[0128]
为了最大程度地减少查询，替代模型采用5个替代循环训练的方式。在每个替代循环中，替代模型使用更新后的数据集训练60轮。其他训练方面的设置还包括选择合适的优化器和学习率等。
[0129]
本实施例通过上述技术方案达到以下技术效果：
[0130]
本实施例可以最大程度地利用平台中较大的数据集，同时大大减少平台查询的数据量；并且，通过将预训练模型和目标模型任务相关数据作为替代模型架构与训练数据，提高了替代模型的表现，以及通过使用半监督学习的一致性正则化训练替代模型，可以从没有查询目标模型的无标签数据中进行学习；本实施例在查询目标模型前先让替代模型标注一下，仅查询替代模型的低信心数据减少了查询工作，而且在得到目标模型的输出后，仅使用目标模型的高信心数据训练替代模型，提高了替代模型的训练效率和输出表现。
[0131]
示例性设备
[0132]
基于上述实施例，本发明还提供一种终端，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
[0133]
所述计算机程序被所述处理器执行时用以实现一种替代模型自动提取方法的操作。
[0134]
本领域技术人员可以理解的是，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0135]
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，所述存储器存储有替代模型自动提取程序，所述替代模型自动提取程序被所述处理器执行时用于实现如上所述的替代模型自动提取方法的操作。
[0136]
在一个实施例中，提供了一种存储介质，其中，所述存储介质存储有替代模型自动提取程序，所述替代模型自动提取程序被所述处理器执行时用于实现如上所述的替代模型自动提取方法的操作。
[0137]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
[0138]
综上，本发明提供了一种替代模型自动提取方法、终端及存储介质，方法包括：获取目标模型面向的任务及任务数据信息，根据目标模型面向的任务来确定替代模型的架构，并根据模型提取的特点及为改进提取流程设置模型提取框架；对收集的目标模型的任务数据进行降维处理，并对降维后的数据进行筛选，得到替代模型的训练数据集；根据预设指标度量替代模型的分类信心，根据分类信心对训练数据集进行分类，得到查询样本数据；通过模型提取框架中的监督学习算法和一致性正则化算法训练替代模型，得到训练后的替代模型；本发明可以获得目标模型决策能力，使得替代模型尽可能接近甚至超越目标模型在测试数据集上的表现，从而使得替代模型具有更令人满意的可用性。
[0139]
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。