多传感器设备中的相机传感器改变的制作方法

本公开内容的各方面总体上涉及图像处理。本公开内容的一些特征可以实现并提供图像信号处理器对来自多传感器图像捕获设备的输出的处理的改进。

背景技术：

1、图像捕获设备，即能够捕获一个或多个数字图像(无论是静止图像照片还是视频的图像序列)的设备，可以并入多种设备中。举例来说，图像捕获设备可以包括独立的数码相机或数码摄像机、配备相机的无线通信设备手机，例如移动电话、蜂窝电话或卫星无线电电话、个人数字助理(pda)、面板或平板电脑、游戏设备、计算机设备(如网络摄像头、视频监控摄像头)或其他具有数字成像或视频功能的设备。

2、一些图像捕获设备包括通过一个或多个镜头捕获图像数据的多个图像传感器，其可以被称为多传感器图像捕获设备。多个图像传感器可以配置有不同的镜头以提供场景的多个视场和/或场景的不同变焦级别。示例镜头类型包括广角镜头、超广角镜头、长焦镜头、望远镜镜头、潜望式变焦镜头、鱼眼镜头、微距镜头、定焦镜头或其各种组合。在一个示例中，双相机配置可以包括广角镜头和长焦镜头。

3、然而，多个图像传感器的使用增加了设备中图像处理的复杂性，因为用户通常对场景的多个图像不感兴趣，而是对捕获和显示单个图像感兴趣。因此可以处理从多个图像传感器捕获的多个帧来为用户生成单个图像。此外，由于图像传感器之间不同的物理特性，从每个图像传感器获得的帧可能会以如下方式流在一起：即从一个图像传感器到另一个图像传感器的转换对于人眼来说是可感知的，例如在结果视频或预览显示中出现的场景偏移。例如，设备上的放大或缩小可能涉及从一个图像传感器切换到另一个图像传感器，这会导致在传感器切换时的视场发生显著变化，对于观察显示器上的预览图像的用户或观看放大或缩小过程中录制的视频的用户而言，可察觉到这种变化。多传感器图像捕获设备的输出中的这种伪影是不期望的。

4、此处提到的缺点仅是代表性的并且被包括以突出发明人已经针对现有设备确定的并试图改进的问题。下面描述的设备的各个方面可以解决所述缺点中的一些或所有缺点以及本领域已知的其他缺点。下面描述的改进设备的各个方面可以呈现出除上述那些优点之外的其他优点，并且可以用于除上述那些应用之外的其他应用。

技术实现思路

1、通过根据预定义的图像传感器配置对图像传感器切换的受控定时，通过根据预定义的图像传感器配置适当地选择针对图像调整的源和/或其组合，可以减少或消除由于从设备的一个图像传感器切换到另一个图像传感器而导致的从图像捕获设备输出的图像帧的连续性中断。所述预定义的图像传感器配置可以为图像捕获设备的特定变焦范围定义转换参数。例如，所述预定义的图像传感器配置可以为图像捕获设备定义第一变焦范围和第二变焦范围。第一变焦范围可以指定如下变焦范围：在所述变焦范围中，通过使源传感器变形以将图像与目标传感器对准，来进行到目标传感器的图像传感器切换。然后，当目标传感器能够更好地匹配源传感器的视场时，传感器切换在一段持续时间之后以随后的变焦级别发生，以减少多传感器图像设备的输出中的明显偏移。第二变焦范围可以指定如下变焦范围：在所述变焦范围中，图像传感器在期望范围之外，其中，图像捕获设备从源传感器立即切换到目标传感器。在立即切换之后，将目标传感器的输出调整为与来自先前帧的源传感器的输出对准，以减少多传感器图像设备的输出中的明显偏移。在这两个示例经定义范围中，图像信号处理器确定是调整来自源传感器的输出以匹配目标传感器还是调整来自目标传感器的输出以匹配源传感器。此外，对预定义的图像传感器配置的使用可以允许多传感器图像设备通过提供用于在图像传感器之间转换的信息来响应针对改变镜头的明确请求。

2、下面总结了本公开内容的一些方面以提供对所讨论技术的基本理解。该概述不是对本公开内容的所有预期特征的广泛综述，并且既不旨在标识本公开内容的所有方面的重要或关键要素，也不旨在描绘本公开内容的任何或所有方面的范围。其唯一目的是以概要形式呈现本公开内容的一个或多个方面的一些概念，作为稍后呈现的更详细描述的前序。

3、总体而言，本公开内容描述了涉及具有图像传感器和图像信号处理器(isp)的数码相机的图像处理技术。为了实现各种变焦级别，在一些情况下，图像信号处理器可以基于变焦级别命令启动一个图像传感器到另一个图像传感器之间的转换。该转换可以基于图像信号处理器中的预定标准(例如，在预定义的图像传感器配置中的经定义范围)来执行。可替换地，所述转换可以基于来自设备中另一组件的请求来执行，诸如由cpu响应于在cpu上执行的图像处理功能来执行。不同的图像传感器可以具有耦接到不同图像传感器的不同镜头并且被封装为单独的相机，诸如具有耦接到第一图像传感器的广角镜头的第一相机和具有耦接到第二图像传感器的长焦镜头的第二相机。

4、图像信号处理器可以被配置为：控制对来自一个或多个图像传感器的图像帧的捕获，并且处理来自一个或多个图像传感器的图像帧以在输出帧中生成场景的视图。用于控制捕获的配置可以包括用于如下操作的指令：处理图像传感器改变请求，并且在一些示例中，在变焦级别的转换期间处理图像传感器改变请求。响应于图像传感器改变请求，图像信号处理器可以基于预定义的图像传感器配置来确定执行图像传感器改变的适当时间。当在变焦转换期间接收到图像传感器改变请求时，图像信号处理器可以使用关于图像传感器的信息来确定何时能够在减少输出帧流中的视觉影响或在输出帧流中没有视觉影响的情况下在一时间执行图像信号改变。在一些实施例中，图像信号处理器可以访问预定义的图像传感器配置，预定义的图像传感器配置描述图像传感器的变焦级别中的经定义范围。变焦级别中的经定义范围可以指定何时能够通过图像调整来匹配两个或更多个图像传感器之间的视场以减少输出帧中图像传感器改变的出现。在一些实施例中，所述范围定义了要在各种变焦级别执行的图像调整的特性。例如，配置信息可以描述当从第一传感器切换到第二传感器时是调整第一传感器的输出还是调整第二传感器的输出以获得输出帧。在一些实施例中，对来自图像传感器的输出图像的调整可以包括混合和/或几何变形。下面提供了有关使用混合或几何变形的图像传感器改变控制和图像调整的其他详细信息。

5、在示例中，图像信号处理器可以接收指令以响应于在cpu上执行的软件确定检测到输出图像帧中的某些特征而从第一图像传感器改变为第二图像传感器。示例标准包括检测到特定亮度或对比度级别和/或检测到场景中的运动。当实施所指示的相机转换时(诸如在变焦操作期间)，图像信号处理器可以有效地在传感器改变之前从第一传感器获得第一组输入帧，以及在传感器改变之后从第二传感器获得第二组输入帧。图像信号处理器可以被配置为基于来自图像传感器的相应输出图像来产生单个输出帧流。所述单个输出帧流可以包括包含来自图像传感器的图像数据的图像帧，这些图像数据已经被调整，诸如通过混合或几何变形，以将图像帧与输出流中的其他图像帧(例如，由不同图像传感器先前捕获的帧)匹配。在传感器转换之前和/或之后，输出流中的帧是基于传感器改变的源图像传感器还是目标图像传感器可以由预定义的图像传感器配置来确定。在一些实施例中，对由图像传感器捕获的图像帧的几何变形或混合的量可以由预定义的图像传感器配置来确定。

6、在图像信号处理器生成代表场景的输出帧后，场景的视图可以显示在设备显示器上，作为图片或作为视频的图片序列保存到存储设备，通过网络传送，和/或打印到输出介质。例如，图像信号处理器可以被配置为：从不同的图像传感器获得图像数据的输入帧(例如，像素值)，并且进而产生图像数据的相应输出帧(例如，预览显示帧、静止图像捕获、视频帧等)。在其他示例中，图像信号处理器可以将图像数据的帧输出到各种输出设备和/或相机模块以进行进一步处理，例如用于3a参数同步、通过输出帧产生视频文件、配置用于显示的帧、配置用于存储的帧等。即，图像信号处理器可以获得来自一个或多个图像传感器的输入帧，每个图像传感器耦接到一个或多个相机镜头，并且继而可以产生输出帧流并将输出帧流输出到各种输出目的地。在这样的示例中，图像信号处理器可以被配置为：产生可动态地表示变化的变焦级别(例如，增加或减小变焦级别)的输出帧流。在示例中，图像信号处理器可以基于对包括图像传感器的设备或耦接到包括图像传感器的设备的用户设备的捏合缩放操作、手势检测或其他用户输入，来接收用于改变变焦级别的输入。

7、在一些示例中，图像信号处理器可以在预期图像传感器改变时，对从第一图像传感器获得的最后帧进行几何变形。即，图像信号处理器可以在图像传感器改变之前对从第一图像传感器获得的帧进行变形，由此将经变形的帧的像素与传感器改变之后从第二图像传感器获得的第一预期输入帧的像素坐标对准。在将从第一(或“源”)图像传感器获得的最后帧(例如，经几何变形的帧)与从第二(或“目的地”)图像传感器获得的后续帧混合时，图像信号处理器可以将所述最后帧的像素与传感器改变后获得的后续帧的像素混合。通过响应于图像传感器改变来启动混合过程，图像信号处理器可以有利地使在执行转换混合过程中使用的存储器量减到最小，同时提供由图像传感器转换之后的像素混合产生的各种质量上的改进。

8、在本公开内容的一方面，一种方法包括：接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别；确定当前变焦级别是否在第一经定义范围内；和/或基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从多传感器捕获设备的输出帧。所述方法可以根据预定义的控制标准或在用户的请求下执行。例如，在对从第一传感器改变到第二传感器的请求对应于在从第一变焦级别到第二变焦级别的转换期间接收到或预定发生的改变请求时，可以执行所述方法。所述方法还包括：当变焦级别被确定为在第一经定义范围内时，调整来自第一传感器的图像，例如通过对从第一传感器输出的第一图像进行几何变形以与第二传感器的视场对准，其中，所述调整可以是混合权重参数，在混合权重参数达到阈值后改变到第二传感器；在转换穿过第一经定义范围之后，通过调整来自第二传感器的图像来生成输出帧；当变焦级别被确定为在第二经定义范围内时，调整来自第二传感器的图像；和/或通过确定第一传感器上的边距是否高于阈值量，来确定当前变焦级别是否在第一经定义范围内。

9、当接收到对从第二传感器改变到第三传感器的请求时，可以执行类似或相同的用于处理改变请求的方法。在一些实施例中，单个消息可以包括对在变焦转换期间的不同时间从第一传感器改变到第二传感器以及从第二传感器改变到第三传感器的指令。所述单个消息可以请求多个改变，所述多个改变被解释为对改变传感器的不同请求。这样的方法可以包括：接收对在从多传感器捕获设备进行图像捕获期间从第二传感器改变到第三传感器的请求；确定与接收到的对从第二传感器改变到第三传感器的请求相对应的第二当前变焦级别；确定第二当前变焦级别是否在第二经定义范围内；和/或基于第二当前变焦级别是否被确定为在第二经定义范围内，通过调整来自第二传感器或第三传感器中的一个传感器的图像来生成从多传感器捕获设备的输出帧。

10、例如，当接收到的对从第一传感器改变到第二传感器的请求是基于图像捕获期间的照明条件时，当接收到的对从第一传感器改变到第二传感器的请求是基于在图像捕获期间检测到的移动时，和/或当接收到的对从第一传感器改变到第二传感器的请求基于在图像捕获期间针对跟踪对象的用户输入时，可以执行所述方法。接收到的请求可以由成像设备生成，例如在成像设备的一个或多个处理器上生成，和/或可以由外部设备生成并且例如通过无线连接传送到执行根据本文描述的实施例的图像捕获方法的成像设备。

11、在本公开内容的另一方面，公开了一种装置，其包括至少一个处理器和耦接到所述至少一个处理器的存储器。所述至少一个处理器被配置为执行本文描述的任何方法或技术。例如，所述至少一个处理器可以被配置为执行如下包括如下的步骤：接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别；确定当前变焦级别是否在第一经定义范围内；和/或基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。所述至少一个处理器可以包括：图像信号处理器，或包含用于相机控制和/或处理的特定功能的处理器。所述至少一个处理器还可以或替代地包括应用处理器。本文描述的方法和技术可以完全由图像信号处理器或应用处理器执行，或者可以在图像信号处理器和应用处理器之间以及在一些实施例中的附加处理器之间划分各种操作。

12、所述装置可以包括至少两个图像传感器，包括第一图像传感器和第二图像传感器，其中，第一图像传感器具有比第二图像传感器更大的视场(fov)。在一个示例中，第一图像传感器可以是广角图像传感器，而第二图像传感器可以是长焦图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。另外或可替换地，第一镜头可以具有第一放大率，并且第二镜头可以具有不同于第一放大率的第二放大率。这种配置可以利用移动设备上的镜头群实现，例如在多个图像传感器和相关联的镜头位于移动设备的正面或背面的偏移位置的情况下。可以包括具有更大、更小或相同视场的附加图像传感器。所述设备可以切换到基于其他图像传感器的输出来输出帧，和/或使用来自多个图像传感器的图像帧来生成输出帧，所述输出帧可以基于本文描述的方法和技术进行调整。

13、在本公开内容的另一方面，公开了一种被配置用于图像捕获的设备。所述装置包括：用于接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求的单元；用于确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别的单元；用于确定当前变焦级别是否在第一经定义范围内的单元；和/或用于基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧的单元。所述装置还包括用于捕获代表场景的数据的一个或多个单元，例如图像传感器(包括电荷耦合器件(ccd)、拜耳滤波器传感器、红外(ir)检测器、紫外(uv)检测器、互补金属-氧化物半导体(cmos)传感器)、飞行时间检测器。所述装置还可包括用于将光线累积和/或聚焦到一个或多个图像传感器(包括简单镜头、复合镜头、球面镜头和非球面镜头)中的一个或多个单元。

14、在本公开内容的另一方面，一种非暂时性计算机可读介质存储指令，当由处理器执行时，所述指令使所述处理器执行包括在本文描述的方法和技术中描述的那些操作的操作。例如，所述操作可以包括：接收对在从多传感器捕获设备进行图像捕获期间从第一传感器改变到第二传感器的请求；确定与接收到的对从第一传感器改变到第二传感器的请求相对应的当前变焦级别；确定当前变焦级别是否在第一经定义范围内；和/或基于当前变焦级别是否被确定为在第一经定义范围内，通过调整来自第一传感器或第二传感器中的一个传感器的图像来生成从所述多传感器捕获设备的输出帧。

15、在结合附图阅读特定示例性方面的以下描述之后，其他方面、特征和实施方式对于本领域的普通技术人员来说将变得显而易见。虽然可以结合下面的某些方面和图来讨论特征，但是各个方面可以包括本文讨论的有利特征中的一个或多个特征。即，虽然一个或多个方面可以被讨论为具有某些有利特征，但是也可以根据各个方面使用这样的特征中的一个或多个特征。以类似的方式，虽然示例性方面可以在下面被讨论为设备、系统或方法方面，但是示例性方面可以在各种设备、系统和方法中实现。

16、所述方法可以作为计算机程序代码嵌入在计算机可读介质中，所述计算机程序代码包括使处理器执行所述方法的步骤的指令。在一些实施例中，处理器可以是信息处理系统的一部分，所述信息处理系统包括被配置为通过多个网络连接中的第一网络连接发送数据的第一网络适配器；以及耦接到第一网络适配器的处理器，以及存储器。在一些实施例中，网络连接可以将信息处理系统耦接到外部组件，例如有线或无线对接站。

17、前面已经相当宽泛地概述了本发明的实施例的某些特征和技术优点，以便可以更好地理解下面的具体实施方式。下文将描述形成本发明权利要求的主题的附加特征和优点。本领域普通技术人员应当理解，所公开的概念和具体实施例可以容易地用作修改或设计用于实现相同或相似目的的其他结构的基础。本领域的普通技术人员还应该认识到，这样的等效构造不脱离所附权利要求中阐述的本发明的精神和范围。当结合附图考虑时，根据以下描述将更好地理解附加特征。然而，应当清楚地理解，提供每幅图仅用于说明和描述的目的，并不旨在限制本发明。