半导体装置、操作半导体装置的方法以及半导体系统与流程

本公开涉及一种半导体装置、操作该半导体装置的方法、以及半导体系统。

背景技术：

1、神经网络(例如，人工神经网络)可以指从例如生物神经网络处理的生物学和认知科学中的处理受到启发的计算机模型(例如，统计学习算法)。人工神经网络可包括通过不同节点对之间的加权连接形成网络的多个节点(例如，人工神经元)。例如，加权连接可以类似于生物神经网络中的突触接合，不同的突触可以有不同的接合强度。人工神经网络的加权连接可以通过学习而调整，以产生期望的输出和解决各种问题(例如，可用于机器学习的各种应用)。

2、使用人工神经网络的算法可以通过使用例如图形处理单元(gpu)或神经处理单元(npu)的通用处理器来执行。npu可包括(例如，或指)专门用于机器学习算法的加速的微处理器。例如，npu可以在例如人工网络或随机森林(rfs)的预测模型上操作。

3、在一些情况下，npu可能按照使npu对通用计算而言(例如，与中央处理单元(cpu)相比)效率低下(例如，不适合)的方式来设计。额外地或可替换地，用于npu的软件支持可能并非为了通用计算而开发。

4、因此，可能需要高效利用神经网络技术的改进的处理和存储技术。

技术实现思路

1、本公开的一个或多个方面描述了一种半导体装置、操作该半导体装置的方法、以及半导体系统，其可以利用专门用于人工智能计算的硬件，甚至可以在资源有限的环境中操作。

2、根据本公开的一个或多个方面，半导体装置可包括：执行人工智能操作的操作器；各自被配置为存储人工智能操作中使用的特征图数据的第一存储器和第二存储器；以及被配置为存储人工智能操作中使用的训练参数的第三存储器，其中，操作器可以针对神经网络层分别使用第一存储器和第二存储器作为在人工智能操作前存储数据的第一空间和在人工智能操作后存储数据的第二空间。

3、在一些实施例中，操作器可以读取针对第一神经网络层的存储在第一存储器的特征图数据以执行人工智能操作；并且可以在第二存储器中存储人工智能操作的操作结果。

4、在一些实施例中，操作器可以读取针对在第一神经网络层之后的第二神经网络层的存储在第二存储器的特征图数据以执行人工智能操作；并且可以在第一存储器中存储人工智能操作的操作结果。

5、在一些实施例中，操作器可以将人工智能操作划分为数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤；并且可以使用流水线执行数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤。

6、在一些实施例中，当特征图数据包括n行和m列时，并且当神经网络层对应于列层时，操作器可以每当执行数据获取步骤、乘法步骤和累加步骤n次时执行一次写入存储器步骤，其中n为大于或等于2的整数，m为大于或等于2的整数。

7、在一些实施例中，当特征图数据包括n行和m列时，并且当神经网络层对应于行层时，操作器可以每当执行数据获取步骤、乘法步骤和累加步骤m次时执行一次写入存储器步骤，其中n为大于或等于2的整数，m为大于或等于2的整数。

8、在一些实施例中，半导体装置还可包括预处理器，其被配置为对来自于一个或多个域的输入数据执行预处理用于人工智能操作，并将预处理后的数据提供给第一存储器或第二存储器。

9、在一些实施例中，半导体装置还可包括后处理器，其被配置为对来自于人工智能操作的输出数据执行后处理，并将后处理后的数据提供给一个或多个域。

10、在一些实施例中，操作器还可包括执行第一人工智能操作的第一操作器和执行与第一人工智能操作不同的第二人工智能操作的第二操作器，并且，第一操作器可以针对神经网络层分别使用第一存储器的部分区域和第二存储器的部分区域作为在第一人工智能操作之前存储数据的第三空间和在第一人工智能操作之后存储数据的第四空间。

11、在一些实施例中，第二操作器可以针对神经网络层分别使用第一存储器的另一部分区域和第二存储器的另一部分区域作为在第二人工智能操作之前存储数据的第五空间和在第二人工智能操作之后存储数据的第六空间。

12、本公开的一个或多个方面提供了操作半导体装置的方法，其包括步骤：将包括n行和m列的特征图数据提供给第一存储器，其中n为大于或等于2的整数，m为大于或等于2的整数；读取存储在第一存储器中的特征图数据，并对特征图数据的第一列至第m列执行第一人工智能操作；将第一人工智能操作的结果写入至第二存储器；读取存储在第二存储器中的特征图数据，并对特征图数据的第一行至第n行执行第二人工智能操作；以及将第二人工智能操作的结果写入至第一存储器。

13、在一些实施例中，执行第一人工智能操作的步骤可包括：使用流水线执行数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤，并且在这种情况下，每当针对第一列至第m列中的一列执行数据获取步骤、乘法步骤和累加步骤n次时，执行一次写入存储器步骤。

14、在一些实施例中，执行第二人工智能操作的步骤可包括：使用流水线执行数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤，并且在这种情况下，每当针对第一行至第n行中的一行而执行数据获取步骤、乘法步骤和累加步骤m次时，执行一次写入存储器步骤。

15、在一些实施例中，操作第二半导体装置的方法还可包括步骤：对来自于一个或多个域的输入数据执行预处理用于第一人工智能操作；并将预处理后的数据提供给第一存储器或第二存储器。

16、在一些实施例中，操作半导体装置的方法还可包括步骤：对来自于第二人工智能操作的输出数据执行后处理；并将后处理后的数据提供给一个或多个域。

17、本公开的一个或多个方面提供了半导体系统，其包括：显示器驱动器，其被配置为基于输入图像数据驱动显示面板；触摸控制器，其被配置为将从触摸传感器接收到的触摸感测信号转换为触摸感测数据；主机处理器，其被配置为将输入图像数据提供给显示器驱动器并从触摸控制器接收触摸感测数据；以及人工智能单元，其被配置为执行生成与输入图像数据相对应的预测噪声数据的人工智能操作，其中，人工智能单元包括：操作器，其被配置为执行人工智能操作；第一存储器和第二存储器，其各自被配置为存储人工智能操作中使用的特征图数据；以及第三存储器，其被配置为存储人工智能操作中使用的训练参数，并且操作器针对神经网络层分别使用第一存储器和第二存储器作为在人工智能操作前存储数据的第一空间和在人工智能操作后存储数据的第二空间。

18、在一些实施例中，人工智能单元可以被安装在显示器驱动器、触摸控制器、和主机处理器中的一个中。

19、在一些实施例中，操作器可以将人工智能操作划分为数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤，并且可以使用流水线执行数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤。

20、在一些实施例中，当特征图数据包括n行和m列时，并且当神经网络层对应于列层时，操作器可以每当执行数据获取步骤、乘法步骤和累加步骤n次时执行一次写入存储器步骤，其中n为大于或等于2的整数，m为大于或等于2的整数。

21、在一些实施例中，当特征图数据包括n行和m列时，并且当神经网络层对应于行层时，操作器可以每当执行数据获取步骤、乘法步骤和累加步骤m次时执行一次写入存储器步骤，其中n为大于或等于2的整数，m为大于或等于2的整数。

22、在一些实施例中，半导体系统还可包括预处理器，其被配置为对输入图像数据执行预处理以将其提供给第一存储器或第二存储器。

23、在一些实施例中，半导体系统还可包括后处理器，其被配置为对预测噪声数据执行后处理以将其(例如，后处理噪声数据)提供给为触摸感测数据补偿的补偿电路。

24、本公开的一个或多个方面提供了半导体系统，其包括：在第一域中交换数据的第一装置和第二装置；在与第一域不同的第二域中交换数据的第三装置和第四装置；对第一域中的数据或第二域中的数据执行人工智能操作的人工智能单元；第一预/后处理器，其执行第一预处理以向人工智能单元提供第一域的数据，或者执行第一后处理以向第一域提供人工智能单元的操作结果；以及第二预/后处理器，其执行第二预处理以向人工智能单元提供第二域的数据，或者执行第二后处理以向第二域提供人工智能单元的操作结果。

25、在一些实施例中，人工智能单元可包括：被配置为执行人工智能操作的操作器；被配置为存储用于人工智能操作的第一存储器和第二存储器；以及被配置为存储用于人工智能操作的训练参数的第三存储器，其中，操作器可以针对神经网络层分别使用第一存储器和第二存储器作为在人工智能操作前存储数据的第一空间和在人工智能操作后存储数据的第二空间。

26、在一些实施例中，操作器可以将人工智能操作划分为数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤，并且可以使用流水线执行数据获取步骤、乘法步骤、累加步骤、和写入存储器步骤。

27、在一些实施例中，当特征图数据包括n行和m列时，并且当神经网络层对应于列层时，操作器可以每当执行数据获取步骤、乘法步骤和累加步骤n次时执行一次写入存储器步骤，其中n为大于或等于2的整数，m为大于或等于2的整数。

28、在一些实施例中，当特征图数据包括n行和m列时，并且当神经网络层对应于行层时，操作器可以每当执行数据获取步骤、乘法步骤和累加步骤m次时执行一次写入存储器步骤，其中n为大于或等于2的整数，m为大于或等于2的整数。

29、在一些实施例中，操作器可包括执行第一人工智能操作的第一操作器和执行与第一人工智能操作不同的第二人工智能操作的第二操作器，并且第一操作器可以针对神经网络层分别使用第一存储器的部分区域和第二存储器的部分区域作为在第一人工智能操作之前存储数据的第三空间和在第一人工智能操作之后存储数据的第四空间。

30、在一些实施例中，第二操作器可以针对神经网络层分别使用第一存储器的另一部分区域和第二存储器的另一部分区域作为在第二人工智能操作之前存储数据的第五空间和在第二人工智能操作之后存储数据的第六空间。

31、本公开的一个或多个方面提供了一种方法，其包括步骤：对第一域的数据执行预处理；将预处理后的数据存储在第一存储器中用于人工智能操作；对存储在第一存储器中的预处理后的数据执行人工智能操作；将人工智能操作的操作结果存储在第二存储器；以及对操作结果执行后处理以将操作结果提供给第二域，其中，第一域的数据具有比第二域的操作结果更高的分辨率和更低的刷新率。