生成神经网络的制作方法

至少一个实施例涉及用于生成一个或更多个神经网络的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术来生成一个或更多个神经网络的处理器或计算系统。

背景技术：

1、生成神经网络在各种上下文中是重要的任务。然而，某些情况可导致神经网络的不太理想的性能以及神经网络的生成。神经网络的不太理想的性能以及神经网络的生成可使使用神经网络的各种任务的性能降级。可以改善用于生成和使用神经网络的存储器、时间或计算资源的量。

技术实现思路

技术特征：

1.一种处理器，包括：

2.如权利要求1所述的处理器，其中所述一个或更多个电路用于基于当前训练轮次来计算所述一个或更多个迭代增加的神经网络性能度量。

3.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于：

4.如权利要求1所述的处理器，其中所述一个或更多个电路通过至少以下操作来选择性地使用所述一个或更多个神经网络层：

5.如权利要求1所述的处理器，其中所述一个或更多个电路用于线性地增加所述一个或更多个迭代增加的神经网络性能度量。

6.如权利要求1所述的处理器，其中所述处理器是一个或更多个图形处理单元gpu的一部分。

7.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于生成包括所述一个或更多个神经网络层的神经网络。

8.一种系统，包括：

9.如权利要求8所述的系统，其中所述一个或更多个处理器进一步用于：

10.如权利要求8所述的系统，其中所述一个或更多个处理器进一步用于在每个训练轮次计算所述一个或更多个迭代增加的神经网络性能度量的值。

11.如权利要求8所述的系统，其中所述一个或更多个处理器用于至少部分地基于一个或更多个延时约束来选择性地使用所述一个或更多个神经网络层。

12.如权利要求8所述的系统，其中所述一个或更多个处理器用于：

13.如权利要求8所述的系统，其中所述一个或更多个处理器用于使用所述一个或更多个神经网络层来执行一个或更多个计算机视觉任务。

14.如权利要求8所述的系统，其中所述一个或更多个迭代增加的神经网络性能度量基于训练进度。

15.一种方法，包括：

16.如权利要求15所述的方法，进一步包括：

17.如权利要求15所述的方法，进一步包括：使用所述一个或更多个神经网络层来执行一个或更多个自然语言处理nlp任务。

18.如权利要求15所述的方法，其中所述一个或更多个神经网络层与数据结构的一个或更多个块相对应。

19.如权利要求15所述的方法，进一步包括：通过至少在训练期间的一个或更多个时间减少一组候选神经网络层来计算所述一个或更多个神经网络层。

20.一种非暂态计算机可读介质，具有存储在其上的一组指令，如果由一个或更多个处理器执行所述一组指令，则使所述一个或更多个处理器至少执行如权利要求15所述的方法。

技术总结
本发明公开了生成神经网络，具体公开了用于选择性地使用一个或更多个神经网络层的装置、系统和技术。在至少一个实施例中，基于例如一个或更多个迭代增加的神经网络性能度量来选择性地使用一个或更多个神经网络层。

技术研发人员：斯朗瓦莫·基拉特,P·凯宾斯基,M·谢涅夫斯基,P·莫尔基什,S·米加茨,王林楠,余承翰,S·萨利安,A·艾塔尔,亚历克斯·菲特-弗洛雷亚
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/3/24