神经网络架构搜索方法和装置与流程

文档序号:30509173发布日期:2022-06-25 01:22阅读:126来源:国知局
神经网络架构搜索方法和装置与流程

1.本公开的实施例涉及计算机技术领域和互联网技术领域,具体涉及人工智能技术领域,尤其涉及神经网络架构搜索方法和装置。


背景技术:

2.随着深度神经网络的不断发展和广泛应用,神经网络结构的设计,正在从手工设计转型为机器自动设计,通过神经网络架构搜索(neural architecture search,nas),可以帮助开发人员自动搜索出最优的神经网络结构。基于如何生成候选网络结构,现有技术分为强化学习、进化学习、差分方法和贝叶斯优化。
3.现有技术都假设搜索空间是固定的,并且是预先给定的,包括单元结构、链结构、链跳跃结构、层次结构等。例如,在基于单元的架构搜索中,单元和节点的数量是预定义的;在链式结构搜索空间中,最大层数等信息需要预定义等等。然而由于搜索空间预先给定,在设计搜索算法之前固定搜索空间将限制自动化机器学习的能力。


技术实现要素:

4.本公开的实施例提出了一种神经网络架构搜索方法、装置、电子设备和计算机可读介质。
5.第一方面,本公开的实施例提供了一种神经网络架构搜索方法,该方法包括:获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,其中,候选搜索空间集合包括多个候选平台中的多个候选搜索空间,基准模型集合包括多个候选搜索空间中的多个基准模型;计算目标数据集在目标平台中对应的目标特征向量,目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数;基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法;基于目标搜索空间和目标搜索算法,搜索目标神经网络。
6.在一些实施例中,基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法,包括:固定候选搜索算法集合中的候选搜索算法,将目标特征向量、候选搜索算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型,生成每个候选搜索空间对应的第一测试精度集合;基于第一测试精度集合,确定第一测试精度符合第一预设条件的目标搜索空间;将目标特征向量、候选搜索算法集合中每个候选搜索算法和目标搜索空间输入至精度预测模型,生成每个候选搜索算法对应的第二测试精度集合;基于第二测试精度集合,确定第二测试精度符合第一预设条件的目标搜索算法。
7.在一些实施例中,精度预测模型基于以下步骤获取:获取第一候选数据集,并计算第一候选数据集在目标平台中对应的候选特征向量;基于候选特征向量、候选搜索算法集合、候选搜索空间集合和用于预测测试精度的初始模型,确定测试精度符合第一预设条件的搜索空间和搜索算法;基于搜索空间、搜索算法和初始模型,确定精度预测模型。
8.在一些实施例中,基于搜索空间、搜索算法和初始模型,确定精度预测模型,包括:基于搜索空间和搜索算法确定出候选神经网络;训练并获取候选神经网络的性能参数;基于候选神经网络的性能参数调整初始模型,得到精度预测模型。
9.在一些实施例中,候选搜索空间集合基于以下方式获取:获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合;分别获取每个初始基准模型在初始平台中针对第二候选数据集的初始性能参数;基于初始性能参数,获取符合第二预设条件的初始基准模型对应的初始平台,并将对应的初始平台的初始搜索空间进行合并,得到候选搜索空间;基于候选搜索空间和初始搜索空间,生成候选搜索空间集合。
10.在一些实施例中,基于目标搜索空间和目标搜索算法,搜索目标神经网络,包括:获取目标搜索算法的搜索类型;基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络。
11.在一些实施例中,基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络,包括:响应于确定目标搜索算法的搜索类型为黑盒搜索方式,基于目标搜索空间和目标搜索算法,利用多目标函数值进行搜索,得到多目标神经网络。
12.在一些实施例中,基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络,包括:响应于确定目标搜索算法的搜索类型为差分搜索方式,基于目标搜索空间和目标搜索算法,利用多目标损失函数值进行搜索,得到多目标神经网络。
13.第二方面,本公开的实施例提供了一种神经网络架构搜索装置,该装置包括:获取模块,被配置成获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,其中,候选搜索空间集合包括多个候选平台中的多个候选搜索空间,基准模型集合包括多个候选搜索空间中的多个基准模型;计算模块,被配置成计算目标数据集在目标平台中对应的目标特征向量,目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数;确定模块,被配置成基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法;搜索模块,被配置成基于目标搜索空间和目标搜索算法,搜索目标神经网络。
14.在一些实施例中,确定模块,包括:第一生成单元,被配置成固定候选搜索算法集合中的候选搜索算法,将目标特征向量、候选搜索算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型,生成每个候选搜索空间对应的第一测试精度集合;第一确定单元,被配置成基于第一测试精度集合,确定第一测试精度符合第一预设条件的目标搜索空间;第二生成单元,被配置成将目标特征向量、候选搜索算法集合中每个候选搜索算法和目标搜索空间输入至精度预测模型,生成每个候选搜索算法对应的第二测试精度集合;第二确定单元,被配置成基于第二测试精度集合,确定第二测试精度符合第一预设条件的目标搜索算法。
15.在一些实施例中,精度预测模型基于以下步骤获取:获取第一候选数据集,并计算第一候选数据集在目标平台中对应的候选特征向量;基于候选特征向量、候选搜索算法集合、候选搜索空间集合和用于预测测试精度的初始模型,确定测试精度符合第一预设条件的搜索空间和搜索算法;基于搜索空间、搜索算法和初始模型,确定精度预测模型。
16.在一些实施例中,基于搜索空间、搜索算法和初始模型,确定精度预测模型,包括:基于搜索空间和搜索算法确定出候选神经网络;训练并获取候选神经网络的性能参数;基于候选神经网络的性能参数调整初始模型,得到精度预测模型。
17.在一些实施例中,候选搜索空间集合基于以下方式获取:获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合;分别获取每个初始基准模型在初始平台中针对第二候选数据集的初始性能参数;基于初始性能参数,获取符合第二预设条件的初始基准模型对应的初始平台,并将对应的初始平台的初始搜索空间进行合并,得到候选搜索空间;基于候选搜索空间和初始搜索空间,生成候选搜索空间集合。
18.在一些实施例中,搜索模块,包括:获取单元,被配置成获取目标搜索算法的搜索类型;搜索单元,被配置成基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络。
19.在一些实施例中,搜索单元,进一步被配置成:响应于确定目标搜索算法的搜索类型为黑盒搜索方式,基于目标搜索空间和目标搜索算法,利用多目标函数值进行搜索,得到多目标神经网络。
20.在一些实施例中,搜索单元,进一步被配置成:响应于确定目标搜索算法的搜索类型为差分搜索方式,基于目标搜索空间和目标搜索算法,利用多目标损失函数值进行搜索,得到多目标神经网络。
21.第三方面,本公开的实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实施例描述的神经网络架构搜索方法。
22.第四方面,本公开的实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实施例描述的神经网络架构搜索方法。
23.本公开的实施例提供的神经网络架构搜索方法和装置,上述执行主体首先获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,该候选搜索空间集合包括多个候选平台中的多个候选搜索空间,该基准模型集合包括多个候选搜索空间中的多个基准模型,之后计算目标数据集在目标平台中对应的目标特征向量,该目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数,然后基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法,最后基于目标搜索空间和目标搜索算法,搜索目标神经网络,能够融合多个候选平台的搜索空间和搜索算法,实现了对搜索空间和搜索算法的自动选择,能够选择出合适的搜索空间和搜索算法,提高了确定搜索空间和搜索算法的自主性和灵活性,以及提高了搜索空间和搜索算法的准确性和适用性,从而能够提高目标神经网络的准确性和搜索质量。
附图说明
24.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
25.图1是本公开的一个实施例可以应用于其中的示例性系统架构图;
26.图2是根据本公开的神经网络架构搜索方法的一个实施例的流程图;
27.图3是根据本公开的确定目标搜索空间和目标搜索算法的一个实施例的流程图;
28.图4是根据本公开的获取精度预测模型的一个实施例的流程图;
29.图5是根据本公开的获取候选搜索空间集合的一个实施例的流程图;
30.图6是根据本公开的搜索目标神经网络的一个实施例的结构示意图;
31.图7是根据本公开的神经网络架构搜索装置的一个实施例的结构示意图;
32.图8是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
33.下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关公开,而非对该公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关公开相关的部分。
34.需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
35.图1示出了可以应用本公开的实施例的神经网络架构搜索方法和神经网络架构搜索装置的示例性系统架构100。
36.如图1所示,系统架构100可以包括终端设备104、105、106,网络107,服务器101、102、103。网络107用以在终端设备104、105、106与服务器101、102、103之间提供通信链路的介质。网络107可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
37.用户可以通过终端设备104、105、106通过网络107与属于同一服务器集群的服务器101、102、103交互,以接收或发送信息等。终端设备104、105、106上可以安装有各种应用,例如物品展示应用、数据分析应用、搜索类应用等。
38.终端设备104、105、106可以是硬件,也可以是软件。当终端设备为硬件时,可以是具有显示屏并且支持与服务器通信的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
39.服务器101、102、103可以是提供各种服务的服务器,例如对与其建立通信连接的终端设备发送的请求进行接收的后台服务器。后台服务器可以对终端设备发送的请求进行接收和分析等处理,并生成处理结果。
40.服务器101、102、103可以获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,该候选搜索空间集合包括多个候选平台中的多个候选搜索空间,该基准模型集合包括多个候选搜索空间中的多个基准模型。之后服务器101、102、103可以计算目标数据集在目标平台中对应的目标特征向量,该目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数。然后服务器101、102、103可以基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法,并基于目标搜索空间和目标搜索算法,搜索目标神经网络。
41.需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以是为
终端设备提供各种服务的各种电子设备。当服务器为软件时,可以实现成为为终端设备提供各种服务的多个软件或软件模块,也可以实现成为为终端设备提供各种服务的单个软件或软件模块。在此不做具体限定。
42.需要说明的是,本公开的实施例所提供的神经网络架构搜索方法可以由服务器101、102、103执行。相应地,神经网络架构搜索装置设置于服务器101、102、103中。
43.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
44.继续参考图2,示出了根据本公开的神经网络架构搜索方法的一个实施例的流程200。该神经网络架构搜索方法包括以下步骤:
45.步骤210,获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合。
46.在本步骤中,神经网络架构搜索方法运行于其上的执行主体(例如图1中的服务器101、102、103)可以通过网络读取和本地读取获取到目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合。其中,目标平台可以是从多个候选平台中确定的一个平台,该候选平台可以是gpu、x86系列cpu、power系列cpu等任意平台,目标平台可以是当前使用的平台;由于每个候选平台可以包括多个候选搜索空间,每个选搜索空间中包括一系列模型结构的汇集,将每个候选平台包括的多个候选搜索空间组成候选搜索空间集合,则候选搜索空间集合包括多个候选平台中的多个候选搜索空间;以及,每个候选搜索空间均包括各自的基准模型,将每个候选搜索空间的基准模型组成基准模型集合,则基准模型集合包括多个候选搜索空间中的多个基准模型;候选搜索算法集合中可以包括随机搜索算法,贝叶斯优化算法,遗传算法,强化学习算法,基于梯度的算法等。
47.步骤220,计算目标数据集在目标平台中对应的目标特征向量。
48.在本步骤中,上述执行主体获取到目标数据集、目标平台和基准模型集合后,可以根据目标数据集和基准模型集合中的每个基准模型,通过多种获取模型性能参数的技术手段获取到基准模型运行于目标平台中时的性能参数,将每个基准模型的性能参数生成目标数据集在目标平台中对应的目标特征向量,其中,上述性能参数可以包括表征模型性能的参数,例如精度、损失、运行时间等等,上述执行主体可以通过任何相关技术所支持的方式获取到每个基准模型运行于目标平台中时的性能参数。
49.作为示例,若基准模型集合中包括3个基准模型,上述执行主体可以在目标平台中利用目标数据集训练第一个基准模型,并获取第一个基准模型的第一性能参数,然后在目标平台中利用目标数据集训练第二个基准模型,并获取第二个基准模型的第二性能参数,并在目标平台中利用目标数据集训练第三个基准模型,并获取第三个基准模型的第三性能参数,最后根据第一性能参数、第二性能参数和第三性能参数生成目标数据集在目标平台中对应的目标特征向量。
50.以及,由于同一个模型在不同候选平台中运行时的性能参数会存在差异,则针对同一个数据集和同一个基准模型集合,在不同的候选平台中获取到特征向量是不同的,因此,数据集对应的特征向量是与候选平台相关联的,其他候选平台对应的特征向量与目标平台对应的目标特征向量不同。
51.步骤230,基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测
模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法。
52.在本步骤中,上述执行主体获取到目标数据集在目标平台中对应的目标特征向量后,可以将目标特征向量、候选搜索算法集合、候选搜索空间集合输入至精度预测模型,精度预测模型可以对目标特征向量、候选搜索算法和候选搜索空间进行处理,并输出候选搜索算法和候选搜索空间对应的测试精度,该测试精度可以表征输入的候选搜索算法和候选搜索空间相对于目标数据集的适合程度,用于选取最优的搜索算法和搜索空间。然后上述执行主体可以获取到精度预测模型输出的多个测试精度,从多个测试精度中确定出符合第一预设条件的测试精度,并进一步确定出该测试精度对应的候选搜索算法和候选搜索空间,该第一预设条件可以包括测试精度值最大,并将确定出的候选搜索算法和候选搜索空间作为目标搜索空间和目标搜索算法。
53.可选地,上述执行主体可以将候选搜索算法集合中每个候选搜索算法和候选搜索空间集合中每个候选搜索空间进行组合,得到多个不同的组合结果,分别将每个组合结果和目标特征向量输入至精度预测模型,精度预测模型可以对输入的组合结果和目标特征向量进行处理,分别输出每个组合结果和目标特征向量对应的测试精度,从而得到测试精度集合。然后上述执行主体将测试精度集合中的多个测试精度进行排序,并选取出测试精度值最大的一个测试精度,以及获取最大的测试精度对应的候选搜索空间和候选搜索算法,将该候选搜索空间和候选搜索算法作为目标搜索空间和目标搜索算法。
54.步骤240,基于目标搜索空间和目标搜索算法,搜索目标神经网络。
55.在本步骤中,上述执行主体基于精度预测模型获取到目标搜索空间和目标搜索算法后,可以根据目标搜索算法,在目标搜索空间中的不同网络层内进行神经网络架构搜索,搜索得到多个神经网络架构。然后上述执行主体可以通过多种神经网络的性能评估手段对得到的多个神经网络架构进行性能评估,并根据性能评估结果确定出目标神经网络。
56.因此,上述执行主体可以通过任何相关技术所支持的方式基于目标搜索空间和目标搜索算法,搜索目标神经网络。
57.本公开的实施例提供的神经网络架构搜索方法,上述执行主体首先获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,该候选搜索空间集合包括多个候选平台中的多个候选搜索空间,该基准模型集合包括多个候选搜索空间中的多个基准模型,之后计算目标数据集在目标平台中对应的目标特征向量,该目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数,然后基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法,最后基于目标搜索空间和目标搜索算法,搜索目标神经网络,能够融合多个候选平台的搜索空间和搜索算法,实现了对搜索空间和搜索算法的自动选择,能够选择出合适的搜索空间和搜索算法,提高了确定搜索空间和搜索算法的自主性和灵活性,以及提高了搜索空间和搜索算法的准确性和适用性,从而能够提高目标神经网络的准确性和搜索质量。
58.参考图3,图3示出了确定目标搜索空间和目标搜索算法的一个实施例的流程图,即上述步骤230,基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法,可以包括以下步骤:
59.步骤310,固定候选搜索算法集合中的候选搜索算法,将目标特征向量、候选搜索
算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型,生成每个候选搜索空间对应的第一测试精度集合。
60.在本步骤中,上述执行主体获取到目标数据集在目标平台中对应的目标特征向量后,可以将在候选搜索算法集合中随机选取一个候选搜索算法,并将该候选搜索算法固定,将目标特征向量、该候选搜索算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、该候选搜索算法和每个候选搜索空间进行处理,输出候选搜索算法保持不变、每个候选搜索空间对应的第一测试精度,将多个第一测试精度组成第一测试精度集合。
61.作为示例,若上述候选搜索算法集合包括第一候选搜索算法、第二候选搜索算法和第三候选搜索算法,上述候选搜索空间包括第一候选搜索空间、第二候选搜索空间和第三候选搜索空间,上述执行主体可以从上述候选搜索算法集合中选定第一候选搜索算法,首先将目标特征向量、第一候选搜索算法和第一候选搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、第一候选搜索算法和第一候选搜索空间进行处理,输出第一候选搜索空间对应的第一测试精度a;然后将目标特征向量、第一候选搜索算法和第二候选搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、第一候选搜索算法和第二候选搜索空间进行处理,输出第二候选搜索空间对应的第一测试精度b;再次将目标特征向量、第一候选搜索算法和第三候选搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、第一候选搜索算法和第三候选搜索空间进行处理,输出第三候选搜索空间对应的第一测试精度c,最后上述执行主体将第一测试精度a、第一测试精度b和第一测试精度c组成每个候选搜索空间对应的第一测试精度集合。
62.步骤320,基于第一测试精度集合,确定第一测试精度符合第一预设条件的目标搜索空间。
63.在本步骤中,上述执行主体获取到每个候选搜索空间对应的第一测试精度集合后,可以对第一测试精度集合中每个第一测试精度进行升序排序或降序排序,从排序结果中确定出符合第一预设条件的第一测试精度,并进一步确定出该第一测试精度对应的候选搜索空间,将该候选搜索空间作为目标搜索空间。
64.作为示例,上述执行主体将第一测试精度a、第一测试精度b和第一测试精度c组成每个候选搜索空间对应的第一测试精度集合,对第一测试精度集合中的第一测试精度a、第一测试精度b和第一测试精度c进行升序排序,确定出排序结果为第一测试精度a、第一测试精度b、第一测试精度c,则确定出最大的测试精度为第一测试精度c,并确定出第一测试精度c对应的候选搜索空间为第三候选搜索空间,将第三候选搜索空间作为目标搜索空间。
65.步骤330,将目标特征向量、候选搜索算法集合中每个候选搜索算法和目标搜索空间输入至精度预测模型,生成每个候选搜索算法对应的第二测试精度集合。
66.在本步骤中,上述执行主体确定出目标搜索空间后,可以固定精度预测模型中候选搜索空间的输入,则将目标特征向量、候选搜索算法集合中每个候选搜索算法和目标搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、每个候选搜索算法和目标搜索空间进行处理,输出目标搜索空间保持不变、每个候选搜索算法对应的第二测试精度,将多个第二测试精度组成第二测试精度集合。
67.作为示例,若上述候选搜索算法集合包括第一候选搜索算法、第二候选搜索算法
和第三候选搜索算法,已经确定出目标搜索空间,上述执行主体可以首先将目标特征向量、第一候选搜索算法和目标搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、第一候选搜索算法和目标搜索空间进行处理,输出第一候选搜索算法对应的第二测试精度d;然后将目标特征向量、第二候选搜索算法和目标搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、第二候选搜索算法和目标搜索空间进行处理,输出第二候选搜索算法对应的第二测试精度e;再次将目标特征向量、第三候选搜索算法和目标搜索空间输入至精度预测模型,精度预测模型可以分别对目标特征向量、第三候选搜索算法和目标搜索空间进行处理,输出第三候选搜索算法对应的第二测试精度f,最后上述执行主体将第二测试精度d、第二测试精度e和第二测试精度f组成每个候选搜索散发对应的第二测试精度集合。
68.步骤340,基于第二测试精度集合,确定第二测试精度符合第一预设条件的目标搜索算法。
69.在本步骤中,上述执行主体获取到每个候选搜索算法对应的第二测试精度集合后,可以对第二测试精度集合中每个第二测试精度进行升序排序或降序排序,从排序结果中确定出符合第一预设条件的第二测试精度,并进一步确定出该第二测试精度对应的候选搜索算法,将该候选搜索算法作为目标搜索算法。
70.作为示例,上述执行主体将第二测试精度d、第二测试精度e和第二测试精度f组成每个候选搜索算法对应的第二测试精度集合,对第二测试精度集合中的第二测试精度d、第二测试精度e和第二测试精度f进行升序排序,确定出排序结果为第二测试精度d、第二测试精度e、第二测试精度f,则确定出最大的测试精度为第二测试精度f,并确定出第二测试精度f对应的候选搜索算法为第三候选搜索算法,将第三候选搜索算法作为目标搜索算法。
71.在本实现方式中,通过先固定候选搜索算法,确定每个候选搜索空间对应的第一测试精度集合,以及确定出目标搜索空间,然后将目标搜索空间作为固定输入,确定每个候选搜索算法对应的第二测试精度集合,并确定出目标搜索算法,能够先固定一个输入,再固定一个输入,实现不同搜索算法和搜索空间的组合优化,提高了确定目标搜索空间和目标搜索算法的效率和准确性。
72.参考图4,图4示出了获取精度预测模型的一个实施例的流程图,上述精度预测模型可以基于以下步骤获取:
73.步骤410,获取第一候选数据集,并计算第一候选数据集在目标平台中对应的候选特征向量。
74.在本步骤中,上述执行主体可以通过网络读取和本地读取获取到第一候选数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合。然后上述执行主体可以根据第一候选数据集和基准模型集合中的每个基准模型,通过多种获取模型性能参数的技术手段获取到基准模型运行于目标平台中时的性能参数,将每个基准模型的性能参数生成第一候选数据集在目标平台中对应的候选特征向量。
75.作为示例,若基准模型集合中包括3个基准模型,上述执行主体可以在目标平台中利用第一候选数据集训练第一个基准模型,并获取第一个基准模型的第一性能参数,然后在目标平台中利用第一候选数据集训练第二个基准模型,并获取第二个基准模型的第二性能参数,并在目标平台中利用第一候选数据集训练第三个基准模型,并获取第三个基准模
型的第三性能参数,最后根据第一性能参数、第二性能参数和第三性能参数生成第一候选数据集在目标平台中对应的候选特征向量。
76.步骤420,基于候选特征向量、候选搜索算法集合、候选搜索空间集合和用于预测测试精度的初始模型,确定测试精度符合第一预设条件的搜索空间和搜索算法。
77.在本步骤中,上述执行主体获取到第一候选数据集在目标平台中对应的候选特征向量后,获取用于预测测试精度的初始模型,该初始模型可以是相关技术中任意未经训练的神经网络。上述执行主体可以将候选特征向量、候选搜索算法集合、候选搜索空间集合输入至初始模型,初始模型可以对候选特征向量、候选搜索算法和候选搜索空间进行处理,并输出候选搜索算法和候选搜索空间对应的测试精度。然后上述执行主体可以获取到初始模型输出的多个测试精度,从多个测试精度中确定出符合第一预设条件的测试精度,并进一步确定出该测试精度对应的候选搜索算法和候选搜索空间,并将确定出的候选搜索算法和候选搜索空间作为搜索空间和搜索算法。
78.步骤430,基于搜索空间、搜索算法和初始模型,确定精度预测模型。
79.在本步骤中,上述执行主体获取到搜索空间和搜索算法后,可以根据确定出的搜索空间和搜索算法对初始模型进行判别,即可以先根据相关技术中的判断手段判断搜索空间和搜索算法是否为最优的搜索空间和搜索算法,若确定搜索空间和搜索算法是最优的搜索空间和搜索算法,则直接将上述初始模型确定为精度预测模型。若确定搜索空间和搜索算法不是最优的搜索空间和搜索算法,则需要调整初始模型以获取到精度预测模型。
80.作为一个可选实现方式,上述步骤430,基于搜索空间、搜索算法和初始模型,确定精度预测模型,可以包括以下步骤:
81.第一步,基于搜索空间和搜索算法确定出候选神经网络。
82.具体地,上述执行主体确定出搜索空间和搜索算法后,可以根据搜索算法,在搜索空间中的不同网络层内进行神经网络架构搜索,搜索得到多个神经网络架构。然后上述执行主体可以通过多种神经网络的性能评估手段对得到的多个神经网络架构进行性能评估,并根据性能评估结果确定出候选神经网络。
83.第二步,训练并获取候选神经网络的性能参数。
84.具体地,上述执行主体获取到候选神经网络后,可以对候选神经网络进行训练,并通过多种获取模型性能参数的技术手段获取到候选神经网络的性能参数,该性能参数可以包括表征模型性能的参数,例如精度、损失、运行时间等等,上述执行主体可以通过任何相关技术所支持的方式获取到候选神经网络的性能参数。
85.第三步,基于候选神经网络的性能参数调整初始模型,得到精度预测模型。
86.具体地,上述执行主体获取到候选神经网络的性能参数后,若性能参数不符合神经网络架构搜索的设置要求,该设置要求可以是工作人员在进行神经网络架构搜索之前预先设置的搜索要求,可以包括搜索得到的神经网络的性能参数等各种要求,则需要根据候选神经网络的性能参数调整初始模型,使得初始模型能够输出更符合条件的搜索空间和搜索算法,以进一步使得搜索到的候选神经网络能够符合神经网络架构搜索的设置要求,从而将调整后的初始模型作为精度预测模型。上述执行主体可以通过任何相关技术所支持的方式根据候选神经网络的性能参数调整初始模型。
87.在本实现方式中,通过获取初始模型,并根据初始模型获取精度预测模型,使得精
度预测模型能够输出搜索空间和搜索算法的测试精度,能够实现不同搜索算法和搜索空间的组合优化,提高了搜索算法和搜索空间的确定效率。
88.参考图5,图5示出了获取候选搜索空间集合的一个实施例的流程图,可以包括以下步骤:
89.步骤510,获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合。
90.在本步骤中,上述执行主体可以通过网络读取和本地读取获取到第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合。其中,初始平台可以是现有技术中用户使用的任意平台,可以是gpu、x86系列cpu、power系列cpu等任意平台;由于每个初始平台可以包括多个初始搜索空间,每个初始搜索空间中包括一系列模型结构的汇集,将每个初始平台包括的多个初始搜索空间组成初始搜索空间集合,则初始搜索空间集合包括多个初始平台中的多个初始搜索空间;以及,每个初始搜索空间均包括各自的初始基准模型,将每个初始搜索空间的初始基准模型组成初始基准模型集合,则初始基准模型集合包括多个初始搜索空间中的多个初始基准模型。
91.步骤520,分别获取每个初始基准模型在初始平台中针对第二候选数据集的初始性能参数。
92.在本步骤中,上述执行主体获取到第二候选数据集、多个初始平台和初始基准模型集合后,可以根据第二候选数据集和初始基准模型集合中的每个初始基准模型,通过多种获取模型性能参数的技术手段获取到每个初始基准模型运行于各自初始平台中时的性能参数,上述性能参数可以包括表征模型性能的参数,例如精度、损失、运行时间等等,上述执行主体可以通过任何相关技术所支持的方式获取到每个初始基准模型运行于初始平台中时的性能参数。
93.作为示例,上述初始平台包括第一初始平台、第二初始平台和第三初始平台,第一初始平台包括第一初始搜索空间和第一初始基准模型,第二初始平台包括第二初始搜索空间和第二初始基准模型,第三初始平台包括第三初始搜索空间和第三初始基准模型,上述执行主体可以在第一初始平台中利用第二候选数据集训练第一初始基准模型,并获取第一初始基准模型的第一初始性能参数;可以在第二初始平台中利用第二候选数据集训练第二初始基准模型,并获取第二初始基准模型的第二初始性能参数;可以在第三初始平台中利用第二候选数据集训练第三初始基准模型,并获取第三初始基准模型的第三初始性能参数;从而上述执行主体可以获取到每个初始基准模型在各自初始平台中运行的性能参数。
94.步骤530,基于初始性能参数,获取符合第二预设条件的初始基准模型对应的初始平台,并将对应的初始平台的初始搜索空间进行合并,得到候选搜索空间。
95.在本步骤中,上述执行主体获取到各个初始基准模型的初始性能参数后,可以将各个初始性能参数进行比较,计算每两个初始性能参数之间的距离,该距离可以包括欧式距离等表征相似度的距离信息,并根据计算出来的距离确定符合第二预设条件的初始性能参数,该第二预设条件可以表征两个初始性能参数之间的距离小于预设阈值。上述执行主体确定出符合第二预设条件的多个初始性能参数后,确定出每个初始性能参数对应的初始基准模型,并进一步确定出该初始基准模型对应的初始平台,可以将符合第二预设条件的初始平台进行合并,得到候选平台,还可以将该初始基准模型进行合并,得到候选平台中的
基准模型。以及,上述执行主体可以将进行合并的初始平台中的初始搜索空间进行合并,得到合并后的候选搜索空间,则候选平台包括候选搜索空间,候选搜索空间中有合并后的基准模型。
96.以及,上述执行主体也可以根据初始性能参数确定出不符合第二预设条件的初始基准模型对应的初始平台,则对这些初始平台不执行其他操作。
97.作为示例,上述初始平台包括第一初始平台、第二初始平台和第三初始平台,第一初始平台包括第一初始搜索空间和第一初始基准模型,第二初始平台包括第二初始搜索空间和第二初始基准模型,第三初始平台包括第三初始搜索空间和第三初始基准模型,上述执行主体获取到第一初始基准模型的第一初始性能参数,第二初始基准模型的第二初始性能参数,第三初始基准模型的第三初始性能参数,可以将第一初始性能参数和第二初始性能参数进行比较,计算得到第一初始性能参数和第二初始性能参数之间的第一距离,将第一初始性能参数和第三初始性能参数进行比较,计算得到第一初始性能参数和第三初始性能参数之间的第二距离,将第二初始性能参数和第三初始性能参数进行比较,计算得到第二初始性能参数和第三初始性能参数之间的第三距离。然后上述执行主体将第一距离、第二距离和第三距离与预设阈值进行比较,若确定第一距离超过预设阈值,则确定第一初始基准模型和第二初始基准模型符合第二预设条件,第二距离和第三距离均未超过预设阈值。上述执行主体可以将第一初始平台和第二初始平台进行合并,生成候选平台,将第一初始搜索空间和第二初始搜索空间进行合并,生成候选搜索空间,还可以将第一初始基准模型和第二初始基准模型合并,生成候选搜索空间中的基准模型,对第三初始平台不执行任何操作。
98.步骤540,基于候选搜索空间和初始搜索空间,生成候选搜索空间集合。
99.在本步骤中,上述执行主体获取到候选搜索空间,以及确定对其他初始搜索空间不执行操作后,可以将候选搜索空间和初始搜索空间组成候选搜索空间集合。
100.在本实现方式中,通过对性能参数符合第二预设条件的初始搜索空间进行合并,能够扩大搜索空间,使得候选搜索空间扩大,从而扩大了目标搜索空间,使得神经网络架构搜索的范围更大,进一步提高了目标神经网络的准确性和搜索质量。
101.参考图6,图6示出了搜索目标神经网络的一个实施例的流程图,即步骤240,基于目标搜索空间和所目标搜索算法,搜索目标神经网络,可以包括以下步骤:
102.步骤610,获取目标搜索算法的搜索类型。
103.在本步骤中,上述执行主体确定出目标搜索空间和目标搜索算法后,可以根据目标搜索算法确定出目标搜索算法的搜索类型,搜索类型可以表征搜索算法的算法类型,可以包括黑盒搜索方式和差分搜索方式,其中,黑盒搜索方式可以表征搜索算法不知道优化目标函数的具体形式(即每种网络结构与该网络的性能的函数关系),可以包括强化学习、进化算法等。
104.步骤620,基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络。
105.在本步骤中,上述执行主体确定出目标搜索算法的搜索类型后,可以利用与搜索类型对应的搜索方式在目标搜索空间中的不同网络层内进行神经网络架构搜索,搜索得到多个神经网络架构。然后上述执行主体可以通过多种神经网络的性能评估手段对得到的多
个神经网络架构进行性能评估,并根据性能评估结果确定出多目标神经网络。
106.作为一个可选实现方式,上述步骤620,基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络,可以包括:响应于确定所述目标搜索算法的搜索类型为黑盒搜索方式,基于所述目标搜索空间和所述目标搜索算法,利用多目标函数值进行搜索,得到多目标神经网络。
107.具体地,上述执行主体确定出目标搜索算法的搜索类型为黑盒搜索方式后,可以将多目标函数值设置为反馈信号,在目标搜索空间中的不同网络层内进行神经网络架构搜索,搜索得到多个神经网络架构。然后上述执行主体可以通过多种神经网络的性能评估手段对得到的多个神经网络架构进行性能评估,并根据性能评估结果确定出多目标神经网络。
108.作为一个可选实现方式,上述步骤620,基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络,可以包括:响应于确定所述目标搜索算法的搜索类型为差分搜索方式,基于所述目标搜索空间和所述目标搜索算法,利用多目标损失函数值进行搜索,得到多目标神经网络。
109.具体地,上述执行主体确定出目标搜索算法的搜索类型为差分搜索方式后,则需要计算多目标损失函数值,在目标搜索空间中的不同网络层内进行神经网络架构搜索,搜索得到多个神经网络架构。然后上述执行主体可以通过多种神经网络的性能评估手段对得到的多个神经网络架构进行性能评估,并根据性能评估结果确定出多目标神经网络。
110.在本实现方式中,通过确定目标搜索算法的搜索类型,并利用与搜索类型对应的搜索方式进行神经网络架构搜索,能够针对不同搜索算法进行不同方式的搜素,提高了神经网络架构搜索的针对性和多样性,并且能够实现不同搜索算法下最佳多目标神经网络的搜索,提高了多目标神经网络的准确性和搜索质量。
111.进一步参考图7,作为对上述各图所示方法的实现,本公开提供了一种神经网络架构搜索装置的一个实施例。该装置实施例与图2所示的方法实施例相对应。
112.如图7所示,本实施例的神经网络架构搜索装置700可以包括:获取模块710、计算模块720、确定模块730和搜索模块740。
113.其中,获取模块710,被配置成获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,其中,候选搜索空间集合包括多个候选平台中的多个候选搜索空间,基准模型集合包括多个候选搜索空间中的多个基准模型;
114.计算模块720,被配置成计算目标数据集在目标平台中对应的目标特征向量,目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数;
115.确定模块730,被配置成基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法;
116.搜索模块740,被配置成基于目标搜索空间和目标搜索算法,搜索目标神经网络。
117.在本实施的一些可选的实现方式中,确定模块,包括:第一生成单元,被配置成固定候选搜索算法集合中的候选搜索算法,将目标特征向量、候选搜索算法和候选搜索空间集合中的每个候选搜索空间输入至精度预测模型,生成每个候选搜索空间对应的第一测试精度集合;第一确定单元,被配置成基于第一测试精度集合,确定第一测试精度符合第一预设条件的目标搜索空间;第二生成单元,被配置成将目标特征向量、候选搜索算法集合中每
个候选搜索算法和目标搜索空间输入至精度预测模型,生成每个候选搜索算法对应的第二测试精度集合;第二确定单元,被配置成基于第二测试精度集合,确定第二测试精度符合第一预设条件的目标搜索算法。
118.在本实施的一些可选的实现方式中,精度预测模型基于以下步骤获取:获取第一候选数据集,并计算第一候选数据集在目标平台中对应的候选特征向量;基于候选特征向量、候选搜索算法集合、候选搜索空间集合和用于预测测试精度的初始模型,确定测试精度符合第一预设条件的搜索空间和搜索算法;基于搜索空间、搜索算法和初始模型,确定精度预测模型。
119.在本实施的一些可选的实现方式中,基于搜索空间、搜索算法和初始模型,确定精度预测模型,包括:基于搜索空间和搜索算法确定出候选神经网络;训练并获取候选神经网络的性能参数;基于候选神经网络的性能参数调整初始模型,得到精度预测模型。
120.在本实施的一些可选的实现方式中,候选搜索空间集合基于以下方式获取:获取第二候选数据集、多个初始平台、初始搜索空间集合和初始基准模型集合;分别获取每个初始基准模型在初始平台中针对第二候选数据集的初始性能参数;基于初始性能参数,获取符合第二预设条件的初始基准模型对应的初始平台,并将对应的初始平台的初始搜索空间进行合并,得到候选搜索空间;基于候选搜索空间和初始搜索空间,生成候选搜索空间集合。
121.在本实施的一些可选的实现方式中,搜索模块,包括:获取单元,被配置成获取目标搜索算法的搜索类型;搜索单元,被配置成基于目标搜索空间和目标搜索算法,利用与搜索类型对应的搜索方式进行搜索,得到多目标神经网络。
122.在本实施的一些可选的实现方式中,搜索单元,进一步被配置成:响应于确定目标搜索算法的搜索类型为黑盒搜索方式,基于目标搜索空间和目标搜索算法,利用多目标函数值进行搜索,得到多目标神经网络。
123.在本实施的一些可选的实现方式中,搜索单元,进一步被配置成:响应于确定目标搜索算法的搜索类型为差分搜索方式,基于目标搜索空间和目标搜索算法,利用多目标损失函数值进行搜索,得到多目标神经网络。
124.本公开的上述实施例提供的神经网络架构搜索装置,上述执行主体首先获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,该候选搜索空间集合包括多个候选平台中的多个候选搜索空间,该基准模型集合包括多个候选搜索空间中的多个基准模型,之后计算目标数据集在目标平台中对应的目标特征向量,该目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数,然后基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法,最后基于目标搜索空间和目标搜索算法,搜索目标神经网络,能够融合多个候选平台的搜索空间和搜索算法,实现了对搜索空间和搜索算法的自动选择,能够选择出合适的搜索空间和搜索算法,提高了确定搜索空间和搜索算法的自主性和灵活性,以及提高了搜索空间和搜索算法的准确性和适用性,从而能够提高目标神经网络的准确性和搜索质量。
125.本领域技术人员可以理解,上述装置还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图7中未示出。
126.下面参考图8,其示出了适于用来实现本公开的实施例的电子设备800的结构示意图。本公开的实施例中的终端设备可以包括但不限于诸如智能屏、笔记本电脑、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图8示出的终端设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
127.如图8所示,电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801,其可以根据存储在只读存储器(rom)802中的程序或者从存储装置808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中,还存储有电子设备800操作所需的各种程序和数据。处理装置801、rom 802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
128.通常,以下装置可以连接至i/o接口805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806;包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置807;包括例如磁带、硬盘等的存储装置808;以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
129.特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置809从网络上被下载和安装,或者从存储装置808被安装,或者从rom 802被安装。在该计算机程序被处理装置801执行时,执行本公开的实施例的方法中限定的上述功能。需要说明的是,本公开的实施例的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(射频)等等,或者上述的任意合适的组合。
130.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c
++,还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
131.附图中的流程图和框图,图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
132.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取模块、计算模块、确定模块和搜索模块,其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
133.作为另一方面,本技术还提供了一种计算机可读介质,上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取目标数据集、目标平台、候选搜索空间集合、候选搜索算法集合和基准模型集合,其中,候选搜索空间集合包括多个候选平台中的多个候选搜索空间,基准模型集合包括多个候选搜索空间中的多个基准模型;计算目标数据集在目标平台中对应的目标特征向量,目标特征向量包括每个基准模型在目标平台中针对目标数据集的性能参数;基于目标特征向量、候选搜索算法集合、候选搜索空间集合和精度预测模型,确定测试精度符合第一预设条件的目标搜索空间和目标搜索算法;基于目标搜索空间和目标搜索算法,搜索目标神经网络。
134.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1