合成图像信号处理器的制作方法

本公开整体涉及图像处理，并且更具体地涉及用于使用合成图像信号处理器(isp)处理图像数据的系统和技术，该合成isp使用一个或多个受过训练的机器学习模型来识别用于图像数据的不同像素的定制设置。

背景技术：

1、相机是使用图像传感器接收光并且捕获图像帧(诸如静态图像或视频帧)的设备。相机可以包括处理器(诸如图像信号处理器(isp))，其可以接收一个或多个图像帧并且处理一个或多个图像帧。例如，由相机传感器捕获的原始图像帧可以由isp处理以生成最终图像。相机可以被配置有各种图像捕获和图像处理设置，以改变图像的外观。在捕获照片之前或期间确定并应用一些相机设置，诸如iso、曝光时间、光圈大小、f/停止、快门速度、聚焦和增益。其他相机设置可以配置照片的后处理，诸如对比度、亮度、饱和度、锐度、级别、曲线或颜色的改变。

2、传统的图像信号处理器(isp)具有解决基于图像的问题空间的各个分区的单独的离散块。例如，典型的isp具有离散的功能块，该功能块各自将特定操作应用于原始相机传感器数据以创建最终输出图像。此类功能块可以包括用于去马赛克、降噪(去噪)、颜色处理、色调映射以及许多其他图像处理功能的块。这些功能块中的每一者都包含许多预调节参数，从而得到具有必须根据每个客户的调节偏好来重新调节的大量(例如，超过10,000个)预调节参数的isp。此类参数的手动调节非常耗时且昂贵，因此通常执行一次。一旦被调节，传统的isp通常使用有限的一组调节设置来处理图像。例如，可以存在用于处理低光图像的一组调节设置，以及用于处理亮光图像的第二组调节设置。对于任何单个图像，使用静态调节设置来处理整个图像。

技术实现思路

1、在一些示例中，描述了用于使用合成图像信号处理器(isp)处理图像数据的系统和技术，该合成isp使用一个或多个受过训练的机器学习模型来针对每个场景识别图像数据的不同像素的定制设置。成像系统可以包括捕获图像数据的图像传感器和处理图像数据的图像信号处理器(isp)。例如，成像系统的isp可以基于用来对isp进行预配置或调节的一个或多个设置对图像数据去马赛克和/或对图像数据执行一个或多个其他功能。成像系统可以使用一个或多个机器学习模型(例如，一个或多个受过训练的神经网络或其他类型的机器学习模型)来确定或调整除isp被预配置或调节为执行的功能(例如，去马赛克和/或其他功能)之外的isp功能的设置。例如，成像系统可以将图像数据输入到一个或多个机器学习模型中，在一些情况下，连同与图像数据相关联的元数据一起输入。一个或多个受过训练的机器学习模型可以基于图像数据和/或元数据输出isp的一组参数的设置。在一些情况下，这些设置可以用于调整或微调isp的一组参数中的一个参数的先前已调节或初始化的值(例如，在诸如由原始装备制造商等先前执行了isp的调节之后)。

2、成像系统可以通过使用isp处理图像数据来生成输出图像，其中isp的参数根据设置来设置或调整。由机器学习模型提供的设置在空间上变化，从而允许基于使用设置来设置或调整的参数来修改每个像素。例如，可以使用用于调整对应参数(例如，调整特定像素的增益设置)的相应设置来处理图像数据的像素中的每个像素。对于处理整个图像而言，使用在空间上变化的设置和参数提供优于使用静态调节设置的优点(例如，更好的输出图像质量等)。在一些示例中，isp的参数可以包括用于增益、偏移、灰度系数和高斯滤波的参数。在一个示例中，isp可以使用乘法器将用于一个或多个增益参数(例如，其可以对应于不同颜色通道)的增益设置应用于一个或多个像素。在另一个示例中，isp可以使用加法器将用于一个或多个偏移参数(例如，其可以对应于不同颜色通道)的偏移设置应用于一个或多个像素。在另一个示例中，isp可以使用色调调整器将用于灰度系数参数的灰度系数设置应用于一个或多个像素。在另一个示例中，isp可以使用高斯滤波器将用于一个或多个高斯滤波器参数(例如，其可以限定高斯曲线的形状)的高斯滤波器设置应用于一个或多个像素。

3、在一个示例中，提供了一种用于图像处理的装置。该装置包括存储器和耦合到存储器的一个或多个处理器(例如，在电路中实现)。该一个或多个处理器被配置为并且可以：获得与图像帧相关联的图像数据；基于使用该图像数据作为输入的一个或多个受过训练的机器学习模型的输出来确定用于调整图像信号处理器(isp)的一个或多个参数的多个设置，其中该多个设置在图像数据之间在空间上变化；以及至少部分地通过使用isp处理该图像数据的多个像素来生成输出图像，其中使用用于调整该一个或多个参数中的对应参数的该多个设置中的相应设置来处理该多个像素中的每个像素。

4、在另一个示例中，提供了一种图像处理方法。该方法包括：获得与图像帧相关联的图像数据；基于使用该图像数据作为输入的一个或多个受过训练的机器学习模型的输出来确定用于调整图像信号处理器(isp)的一个或多个参数的多个设置，其中该多个设置在图像数据之间在空间上变化；以及至少部分地通过使用isp处理该图像数据的多个像素来生成输出图像，其中使用用于调整该一个或多个参数中的对应参数的该多个设置中的相应设置来处理该多个像素中的每个像素。

5、在另一个示例中，提供了一种其上存储有指令的非暂态计算机可读介质，这些指令在由一个或多个处理器执行时使该一个或多个处理器：获得与图像帧相关联的图像数据；基于使用该图像数据作为输入的一个或多个受过训练的机器学习模型的输出来确定用于调整图像信号处理器(isp)的一个或多个参数的多个设置，其中该多个设置在图像数据之间在空间上变化；以及至少部分地通过使用isp处理该图像数据的多个像素来生成输出图像，其中使用用于调整该一个或多个参数中的对应参数的该多个设置中的相应设置来处理该多个像素中的每个像素。

6、在另一个示例中，提供了一种用于图像处理的装置。该装置包括：用于获得与图像帧相关联的图像数据的装置；用于基于使用该图像数据作为输入的一个或多个受过训练的机器学习模型的输出来确定用于调整图像信号处理器(isp)的一个或多个参数的多个设置的装置，其中该多个设置在图像数据之间在空间上变化；以及用于至少部分地通过使用isp处理该图像数据的多个像素来生成输出图像的装置，其中使用用于调整该一个或多个参数中的对应参数的该多个设置中的相应设置来处理该多个像素中的每个像素。

7、在一些方面，图像数据包括去马赛克的图像数据。

8、在一些方面，图像数据是具有对应于图像传感器的滤色器阵列的多个颜色分量的原始图像数据。

9、在一些方面，将图像数据输入到一个或多个受过训练的机器学习模型包括将原始图像数据输入到一个或多个受过训练的机器学习模型。

10、在一些方面，为了生成输出图像，上文描述的方法、装置和计算机可读介质还包括：在使用一个或多个参数中的每一者已基于多个设置调整的isp处理图像数据的多个像素之前对图像数据去马赛克。

11、在一些方面，上文描述的方法、装置和计算机可读介质还包括：在将图像数据输入到一个或多个受过训练的机器学习模型之前对图像数据去马赛克。

12、在一些方面，为了获得图像数据，上文描述的方法、装置和计算机可读介质还包括：从捕获图像数据的图像传感器接收图像数据。

13、在一些方面，上文描述的方法、装置和计算机可读介质还包括：获得对应于图像数据的元数据。在此类方面，一个或多个受过训练的机器学习模型的输出基于将元数据和图像数据输入到一个或多个受过训练的机器学习模型。

14、在一些方面，isp的一个或多个参数包括多个增益参数，并且多个设置包括对应于多个增益参数的多个增益设置。在此类方面，多个增益参数中的每个增益参数对应于多个颜色通道中的一个颜色通道。为了使用isp处理图像数据的多个像素，isp被配置为基于多个增益设置对至少一个像素执行一个或多个乘法器运算。

15、在一些方面，isp的一个或多个参数包括多个偏移参数，并且多个设置包括对应于多个偏移参数的多个偏移设置。在此类方面，多个偏移参数中的每个偏移参数对应于多个颜色通道中的一个颜色通道，其中为了使用isp处理图像数据的多个像素，isp被配置为基于多个偏移设置对至少一个像素执行一个或多个加法运算。

16、在一些方面，isp的一个或多个参数包括一个或多个灰度系数参数，并且多个设置包括对应于一个或多个灰度系数参数的一个或多个灰度系数设置。在此类方面，为了使用isp处理图像数据的多个像素，isp被配置为基于一个或多个灰度系数设置来调整至少一个像素的色调。

17、在一些方面，isp的一个或多个参数包括一个或多个高斯滤波器参数，并且多个设置包括对应于一个或多个高斯滤波器参数的一个或多个高斯滤波器设置。在此类方面，为了使用isp处理图像数据的多个像素，isp被配置为基于高斯曲线将高斯滤波器应用于至少一个像素。高斯曲线的形状基于一个或多个高斯滤波器设置。

18、在一些方面，isp的一个或多个参数包括一个或多个去马赛克参数，并且多个设置包括对应于一个或多个去马赛克参数的一个或多个去马赛克设置。在此类方面，为了使用isp处理图像数据的多个像素，isp被配置为基于一个或多个去马赛克设置对图像数据的至少一个像素去马赛克。

19、在一些方面，isp的一个或多个参数与降噪、锐化、色调映射和颜色饱和中的至少一者相关联。

20、在一些方面，为了使用一个或多个参数中的每一者已基于多个设置调整的isp处理图像数据的多个像素，上文描述的方法、装置和计算机可读介质还包括：基于一个或多个参数中的第一参数的第一设置来处理图像数据的多个像素中的第一像素；以及基于第一参数的第二设置来处理图像数据的多个像素中的第二像素，其中多个设置包括至少第一设置和第二设置。

21、在一些方面，为了使用一个或多个参数中的每一者已基于多个设置调整的isp处理图像数据的多个像素，上文描述的方法、装置和计算机可读介质还包括：基于一个或多个参数中的第一参数的第一设置来处理图像数据的多个像素中的第一像素；以及基于对应于一个或多个参数中的第二参数的第二设置来处理多个像素中的第一像素，其中多个设置包括至少第一设置和第二设置。

22、在一些方面，上文描述的方法、装置和计算机可读介质还包括：在(例如，该装置或其他设备的)一个或多个显示器上显示输出图像。

23、在一些方面，一个或多个受过训练的机器学习模型包括一个或多个受过训练的神经网络。

24、在一些方面，上文描述的装置或设备中的每一者是以下各者、可以是以下各者的一部分或者可以包括以下各者：扩展现实(xr)设备(例如，虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备)、智能设备或助理、车辆、移动设备(例如，移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、个人计算机、膝上型计算机、平板计算机、服务器计算机或其他设备。在一些方面，装置或设备包括用于捕获一个或多个图像的一个图像传感器(例如，一个相机)或多个图像传感器(例如，多个相机)。在一些方面，装置或设备包括用于显示一个或多个图像、通知和/或其他可显示数据的一个或多个显示器。在一些方面，装置或设备包括一个或多个扬声器、一个或多个发光设备和/或一个或多个麦克风。在一些方面，上文描述的装置或设备可以包括一个或多个传感器。在一些情况下，一个或多个传感器可以用于确定装置的位置、装置的状态(例如，跟踪状态、操作状态、温度、湿度水平和/或其他状态)和/或用于其他目的。

25、该
技术实现要素：
不旨在标识所要求保护的主题的关键或必要特征，其也不旨在孤立地用于确定所要求保护的主题的范围。本主题内容应当参考本专利的整个说明书的合适部分、任何或所有附图、以及每项权利要求来理解。

26、前述内容以及其他特征和实施方案将在参考以下说明书、权利要求书和所附附图时变得更明显。