一种网络结构搜索方法、系统与计算机设备

本发明涉及网络结构搜索，特别涉及一种网络结构搜索方法、系统与计算机设备。

背景技术：

1、神经网络结构搜索算法可以通过自动搜索得到比手动设计更优越的网络结构。这项技术在图像识别、语义分割、人体姿态估计和目标检测等领域都取得了显著成功。

2、目前网络结构搜索算法主要分为三大类，包括基于强化学习的网络结构搜索算法、基于演化计算的网络结构搜索算法和基于梯度优化的网络结构搜索算法。最经典的darts框架通过使用连续松弛的策略，将各个操作的离散选择问题转化为网络结构参数α的优化问题。然而，尽管darts搜索效率非常高，但研究表明darts所搜索到的网络结构通常不是最优结构，这个问题限制了darts的广泛应用。

3、为了解决这些问题，darts的变体提出使用更复杂的正则化策略或修正优化目标。这些正则化包括提前停止、渐进式搜索、操作解耦策略以及重新加权策略。但是，这些策略都有其一定的局限性。提前停止策略依赖于先验知识来确定何时停止优化过程。在没有专家指导的情况下，确定合适的停止点非常困难。渐进式搜索策略在训练过程中逐步剔除性能较差的操作，但这种贪婪的搜索方法可能导致搜索到的结构是次优的，因为一旦某个操作被删除，就不能在后续的搜索中被重新启用。解耦策略将所有可能的操作分为多个组，并从每个组中选择一个操作。这种方法可以限制某些特定操作(例如跳跃连接)的数量，但分组搜索会导致次优的网络结构，重新加权策略使用各种指标(如锐度值和扰动)来重新加权超网络中的结构参数，但这种方法通常需要多次训练超级网络，从而增加了搜索的计算成本。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提供一种网络结构搜索方法、系统与计算机设备，以解决现有技术中分组搜索会导致次优的网络结构，重新加权策略使用各种指标来重新加权超网络中的结构参数，但这种方法通常需要多次训练超级网络，从而增加了搜索的计算成本的问题。

2、本发明具体提供如下技术方案：一种网络结构搜索方法，包括如下步骤：

3、通过顺序堆叠细胞单元构建一个超网络模型，并采集若干图像；

4、将若干所述图像输入超网络模型内，搜索所述超网络模型的最优结构参数α，并将最优结构参数α转换为独热向量，构成结构权重；

5、根据所述超网络模型中细胞单元内部边的结构依赖性，通过转换矩阵将边(i,j)的前驱边(m,i)结构权重转换为边(i,j)的结构权重；

6、对于包含多个边的节点，按照前后层的顺序剪枝多余边，再次利用转换矩阵更新边(i,j)最终的结构权重，并通过所述边(i,j)最终的结构权重获取性能最优的超网络模型；

7、通过将待搜索图像输入所述性能最优的超网络模型，选出所有候选图像里检测出的信息与查询图像中信息最相似的图像，获得超网络模型的输出。

8、优选的，所述将最优结构参数α转换为独热向量，构成结构权重，包括如下步骤：

9、将各个操作对应的权重向量α(i,j)使用argmax函数，将权重最大的对应操作进行保留，其余进行剪枝；

10、通过剪枝后边(i,j)上的操作权重向量α(i,j)表示独热向量z(i,j)；

11、使用重参数化对离散结构进行处理，使用具体分布获得独热向量z(i,j)的分布；具体表达式为：

12、

13、其中，是z(i,j)的第k个元素，即：在边(i,j)上操作选择的独热向量；是第k个gumbel随机变量，是均匀随机变量，τ是sof tmax的温度系数，在结构搜索阶段逐渐降低到接近零。

14、优选的，所述通过剪枝后边(i,j)上的操作权重向量α(i,j)表示独热向量z(i,j)，具体表达式为：

15、

16、其中，为每一条边(i,j)搜索最优操作权重向量；为离散表示。

17、优选的，所述通过转换矩阵将边(i,j)的前驱边(m,i)结构权重转换为边(i,j)的结构权重，包括如下步骤：

18、通过转换矩阵对前驱边(m,i)的结构权重z(m,i)进行处理，获得边(i,j)结构权重z(i,j)；具体表达式为：

19、z(i,j)＝p(m,i,j)z(m,i)

20、其中，p(m,i,j)是一个有约束的学习转换矩阵，其中ps,t是p(m,i,j)中的元素，表示从前驱边(m,i)上的第s个操作到边(i,j)上的第t个操作的转换概率。

21、优选的，所述ps,t的具体表达式为：

22、

23、s.t.0≤ps,t≤1

24、其中，k表示k个元素。

25、优选的，所述通过转换矩阵将边(i,j)的前驱边(m,i)结构权重转换为边(i,j)的结构权重时，采用注意力机制获取不同前驱边(m,i)和当前边(i,j)间转换矩阵的重要性，包括如下步骤：

26、通过前驱边的权重、转换矩阵和注意力向量的加权和获取内部边上的后层结构权重；具体表达式为：

27、

28、其中，β(m,i,j)表示转换矩阵p(m,i,j)的注意力，且：

29、

30、优选的，所述按照前后层的顺序剪枝多余边，再次利用转换矩阵更新边(i,j)最终的结构权重，包括如下步骤：

31、对第一个中间节点i(2)的两条边进行保留，并通过选择最大的操作概率并按照前后的顺序更新结构权重；具体表达式为：

32、

33、

34、对具有3条边指向的节点i(3)，其结构权重计算表达式为：

35、z(2,3)＝β(0,2,3)p(0,2,3)z(0,2)+β(1,2,3)p(1,2,3)z(1,2)。

36、优选的，所述按照前后层的顺序剪枝多余边时，修剪边(r,3)，使得r＝argmini(max(z(i,3)))；

37、且当边(3,j)是边(r,3)的后代内边时，将转换矩阵p(r,3,j)和注意分数β(r,3,j)变为零，对边(m,3)到边(3,j)的注意力分数进行softmax重新加权，计算边(3,j)的结构权重；具体表达式为：

38、

39、优选的，本发明还提供一种网络结构搜索系统，包括：

40、采集模块，采集模块，用于通过顺序堆叠细胞单元构建一个超网络模型，并采集若干图像；

41、转换模块，用于将若干所述图像输入超网络模型内，搜索所述超网络模型的最优结构参数α，并将最优结构参数α转换为独热向量，构成结构权重；

42、结构权重获取模块，用于根据所述超网络模型中细胞单元内部边的结构依赖性，通过转换矩阵将边(i,j)的前驱边(m,i)结构权重转换为边(i,j)的结构权重；

43、模型获取模块，用于对于包含多个边的节点，按照前后层的顺序剪枝多余边，再次利用转换矩阵更新边(i,j)最终的结构权重，并通过所述边(i,j)最终的结构权重获取性能最优的超网络模型；

44、输出模块，用于通过将待搜索图像输入所述性能最优的超网络模型，选出所有候选图像里检测出的信息与查询图像中信息最相似的图像，获得超网络模型的输出。

45、本发明还提供一种计算机设备，包括存储器及处理器，所述存储器中储存有程序，所述程序被所述处理器执行时，使得所述处理器执行所述一种网络结构搜索方法的步骤。

46、与现有技术相比，本发明具有如下显著优点：

47、本发明通过将图像输入超网络模型内，搜索最优结构参数，并转换后构成结构权重，细胞单元的结构权重可以与目标网络的结构参数一起通过解决双层优化问题来进行优化，从而得到最优的结构权重，提高了结构权重获取精度和效率，并按照前后层间的顺序剪枝多余的边，更新边最终的结构权重，可以更好的获取不同层之间的交互和依赖关系，通过网络前后层结构选择之间的依赖关系来提高搜索效率，同时在进行超网络结构搜索中可以得到更好的模型，模型的性能表明其具有更低的分类错误率，同时具有较小的参数量和较短的搜索时长，并提高网络结构的搜索效率。