神经网络结构搜索方法及装置、芯片、设备、存储介质与流程

本申请涉及人工智能技术，涉及但不限于神经网络结构搜索方法及装置、芯片、设备、存储介质。

背景技术：

1、人工智能领域，尤其是计算机视觉领域，针对不同任务需要设计不同的神经网络结构，以满足不同任务的需求。随着人工智能技术的发展，神经网络结构的设计，正在从手工设计转型为机器自动设计。神经网络结构搜索(neural network architecture search，nas)是通过特定的算法自动搜索出表现优秀的深度学习网络结构。

2、然而，在神经网络结构搜索中，对于提高神经网络的准确度和收敛速度，依然存在一定的优化空间。

技术实现思路

1、有鉴于此，本申请提供的神经网络结构搜索方法及装置、芯片、设备、存储介质，能够提高第一神经网络的准确度和收敛速度，从而有益于提高目标子网的准确度和节约设备功耗。

2、根据本申请实施例的一个方面，提供一种神经网络结构搜索方法，包括：对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练。

3、根据本申请实施例的一个方面，提供一种神经网络结构搜索装置，包括：训练模块，配置成对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练；搜索模块，配置成在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网。

4、根据本申请实施例的一个方面，提供一种电子设备，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，所述第一处理器执行所述程序时实现本申请实施例所述的方法。

5、根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

6、在本申请实施例中，在对预设的第一神经网络进行迭代训练的过程中，不是直接对采样得到的多个第一子网进行训练，而是对采样得到多个第一子网进行采样分值的确定，以评估各个第一子网的收敛速度的快慢，基于此筛选出满足可训练条件的第一子网，进而对满足可训练条件的第一子网进行训练；如此，由于待训练的第一子网的数量减少，因此可以节约训练带来的算力，从而节约设备功耗；以及，由于待训练的第一子网是基于表征收敛速度的采样分值而筛选出的，因此使得收敛速度慢的第一子网得到了更多的训练机会，确保了不同子网之间的训练的公平性，从而有益于提高第一神经网络的收敛精度(accuracy)，进而有益于提高目标子网的收敛精度。

7、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种神经网络结构搜索方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述第一子网的采样分值，包括：

3.根据权利要求2所述的方法，其特征在于，所述第一子网是从待训练的所述第一神经网络中随机采样得到的。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一子网中的神经网络层的影响因子和/或参数量，确定所述采样分值，包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述第一子网的公平性分值和所述随机性分值，确定所述第一子网的采样分值，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一子网中的神经网络层的影响因子和/或参数量，确定所述第一子网的公平性分值，包括：

7.根据权利要求1至6任一项所述的方法，其特征在于，所述在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网，包括：

8.根据权利要求7所述的方法，其特征在于，所述利用所述训练好的第二神经网络，在所述训练好的第一神经网络中进行子网搜索，得到所述目标子网，包括：

9.根据权利要求1至8任一项所述的方法，其特征在于，所述第一神经网络为u型网络，所述目标任务为图像降噪任务。

10.一种神经网络结构搜索装置，其特征在于，包括：

11.一种电子设备，包括第一存储器和第一处理器，所述第一存储器存储有可在第一处理器上运行的计算机程序，其特征在于，所述第一处理器执行所述程序时实现权利要求1至9任一项所述的方法。

12.一种芯片，所述芯片包括第二存储器和第二处理器，所述第二存储器存储有可在第二处理器上运行的计算机程序，其特征在于，所述第二处理器执行所述程序时实现权利要求1至9任一项所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。

技术总结
本申请提供了神经网络结构搜索方法及装置、芯片、设备、存储介质；其中，所述方法包括：对预设的第一神经网络进行迭代训练，得到训练好的第一神经网络；在所述训练好的第一神经网络中进行子网搜索，得到用于执行目标任务的目标子网；其中，所述迭代训练的每次迭代过程包括：从待训练的所述第一神经网络中采样得到多个第一子网；确定所述第一子网的采样分值，所述采样分值用于表征所述第一子网的收敛速度得分；从所述多个第一子网中选择所述采样分值满足可训练条件的第一子网，以及对所述满足可训练条件的第一子网进行训练。

技术研发人员：赵亚西
受保护的技术使用者：哲库科技（上海）有限公司
技术研发日：
技术公布日：2024/1/13