图像信号处理器、图像信号处理器的操作方法和包括图像信号处理器的图像传感器设备与流程

图像信号处理器、图像信号处理器的操作方法和包括图像信号处理器的图像传感器设备
1.相关申请的交叉引用
2.本技术要求于2021年7月7日在韩国知识产权局提交的韩国专利申请no.10-2021-0088960和于2021年12月21日在韩国知识产权局提交的韩国专利申请no.10-2021-0183767的优先权，所述申请的全部公开内容通过引用合并于此。
技术领域
3.本文描述的本发明构思的实施例涉及图像系统，更具体地涉及图像信号处理器、图像信号处理器的操作方法和包括图像信号处理器的图像传感器设备。


背景技术：

4.智能电话、平板电脑、个人计算机(pc)或数码相机中包括的图像传感器通过将从外部对象反射的光转换为电信号来获得关于外部对象的图像信息。执行各种图像信号处理操作以将从图像传感器获得的电信号转换为人可感知的图像信息和/或提高图像质量。


技术实现要素：

5.本公开的实施例提供一种具有提高的性能和降低的功耗的图像信号处理器、该图像信号处理器的操作方法以及包括该图像信号处理器的图像传感器设备。
6.根据实施例，一种图像信号装置包括存储器和通信地耦接到存储器的图像信号处理器。图像信号处理器被配置为使图像信号装置从第一图像传感器设备接收第一输入图像。图像信号处理器还被配置为进一步使图像信号装置对第一输入图像执行合并和裁剪操作以生成第一图像。图像信号处理器还被配置为进一步使图像信号装置对第一图像执行拜耳域处理以生成第二图像。图像信号处理器还被配置为进一步使图像信号装置对第二图像执行rgb域处理以生成第三图像。图像信号处理器还被配置为进一步使图像信号装置对第三图像执行yuv域处理以生成输出图像。yuv域处理包括以下至少一种：空间去噪操作、时间去噪操作、运动补偿操作、色调映射操作、细节增强操作和锐化操作。
7.根据实施例，图像信号处理器的操作方法包括从图像传感器设备接收输入图像。该操作方法还包括对输入图像执行合并和裁剪操作以生成第一图像。该操作方法还包括对第一图像执行拜耳域处理以生成第二图像。该操作方法还包括对第二图像执行rgb域处理以生成第三图像。该操作方法还包括对第三图像执行yuv域处理以生成输出图像。执行yuv域处理包括输出所述输出图像。第二图像的分辨率与第三图像的分辨率匹配。yuv域处理包括以下至少一种：空间去噪操作、时间去噪操作、运动补偿操作、色调映射操作、细节增强操作和锐化操作。
8.根据实施例，一种图像传感器设备包括：像素阵列，包括多个像素；行驱动器，控制多个像素；模数转换器，将像素信号转换为数字信号；输出缓冲器，基于数字信号对输入图像进行输出；以及图像信号处理器，被配置为基于输入图像生成输出图像。图像信号处理器
还被配置为基于输入图像生成帧(frame)信息。图像信号处理器还被配置为对输入图像执行合并和裁剪操作以生成第一图像。图像信号处理器还被配置为基于帧信息对第一图像执行拜耳域处理以生成第二图像。图像信号处理器还被配置为基于帧信息对第二图像执行rgb域处理以生成第三图像。图像信号处理器还被配置为基于帧信息对第三图像执行yuv域处理以生成输出图像。yuv域处理包括以下至少一种：空间去噪操作、时间去噪操作、运动补偿操作、色调映射操作、细节增强操作和锐化操作。
附图说明
9.通过参照附图详细描述本公开的实施例，本公开的上述及其他目的和特征将变得显而易见。
10.图1是示出了根据本公开的实施例的图像系统的框图。
11.图2是示出了图1的图像信号处理器的架构的框图。
12.图3是示出了图2的图像信号处理器的操作的流程图。
13.图4是示出了图像信号处理器的架构的框图。
14.图5是示出了图4的图像信号处理器的操作的流程图。
15.图6是示出了图1的图像信号处理器的的框图。
16.图7是示出了图1的图像信号处理器的的框图。
17.图8是示出了图1的图像传感器设备的框图。
18.图9是示出了根据本公开的实施例的图像传感器设备的框图。
19.图10是示出了根据本公开的实施例的图像传感器设备的框图。
20.图11是用于描述根据本公开的实施例的图像传感器设备的堆叠结构的图。
21.图12是示出了根据本公开的实施例的图像系统的框图。
22.图13是用于描述图12的图像信号处理器的框图。
23.图14是示出了根据本公开的实施例的图像系统的框图。
24.图15是示出了根据本公开的实施例的图像系统的框图。
25.图16是包括多相机模块的电子设备的框图。
26.图17是图16的相机模块的详细框图。
27.图18是示出应用了根据本公开的实施例的图像设备的系统的图。
具体实施方式
28.下面可以以使本领域普通技术人员容易实现本公开的程度详细并清楚地描述本公开的实施例。在以下描述中，术语“块”、“单元”、“模块”等或与所述术语相对应的组件可以以软件、硬件或其组合的形式来实现。
29.图1是示出了根据本公开的实施例的图像系统的框图。参考图1，图像系统100包括图像传感器设备110、图像信号处理器(isp)120和存储设备130。图像系统100可以包括在各种计算系统中，例如台式计算机、膝上型计算机、平板计算机、智能电话、可穿戴设备、黑匣子和数码相机。
30.图像传感器设备110可以基于从外部入射的光来生成图像数据。例如，图像传感器设备110可以包括多个像素。多个像素中的每一个可以被配置为输出与从外部入射的光相
对应的电信号。图像传感器设备110可以基于电信号输出图像数据。在实施例中，由图像传感器设备110生成的图像数据可以作为输入图像img_in提供给图像信号处理器120。
31.图像信号处理器120可以从图像传感器设备110接收输入图像img_in。图像信号处理器120可以对接收的输入图像img_in执行各种信号处理操作以生成输出图像img_out。例如，图像信号处理器120可以执行各种图像信号处理操作，例如去噪操作、色调映射操作、细节增强操作、白平衡操作、伽马校正操作、去马赛克(de-mosaic)操作、锐化操作和颜色转换操作。
32.在实施例中，从图像传感器设备110输出的输入图像img_in的域或颜色图案可以与从图像信号处理器120输出的输出图像img_out的域或颜色图案不同。例如，从图像传感器设备110输出的输入图像img_in的域或颜色图案可以是byr域(拜耳域(bayer domain))，而从图像信号处理器120输出的输出图像img_out的域或颜色图案可以是yuv域。
33.在实施例中，从图像传感器设备110输出的输入图像img_in的域或颜色图案可以与图像传感器设备110的滤色器阵列(cfa)的域或颜色图案相同(例如匹配)。从图像传感器设备110输出的输入图像img_in的大小(例如，分辨率)可以与从图像信号处理器120输出的输出图像img_out的大小(例如，分辨率)不同。
34.在实施例中，图像信号处理器120可以通过改变输入图像img_in的域和大小来执行上述的各种图像信号处理操作。将参照以下附图详细描述根据本公开的实施例的图像信号处理器120的操作。
35.存储设备130可以被配置为存储由图像信号处理器120使用的各种数据、各种信息或各种图像数据。在实施例中，存储设备130可以是高速存储设备，例如动态随机存取存储器(dram)。
36.图2是示出了图1的图像信号处理器的架构的框图。图3是示出了图2的图像信号处理器的操作的流程图。参考图1、图2和图3，第一图像信号处理器120_a可以包括合并和裁剪模块121_a、第一拜耳(byr)域处理模块122_a、第二byr域处理模块123_a、rgb域处理模块124_a和yuv域处理模块125_a。
37.在图3的操作s110中，第一图像信号处理器120_a可以接收输入图像img_in。例如，第一图像信号处理器120_a可以直接从图像传感器设备110接收输入图像img_in。备选地或附加地，图像传感器设备110可以将输入图像img_in存储在存储设备130中，并且第一图像信号处理器120_a可以访问存储设备130以读取输入图像img_in。
38.在实施例中，输入图像img_in的颜色图案或域可以是byr域。然而，本公开不限于此。例如，输入图像img_in可以具有与图像传感器设备110的滤色器阵列(cfa)的颜色图案相同(例如，匹配)的颜色图案或域(例如，byr域、四域、九域、六域或十域)。
39.在图3的操作s120中，第一图像信号处理器120_a可以通过对输入图像img_in执行合并和裁剪操作来生成第a图像img_a。例如，第一图像信号处理器120_a的合并和裁剪模块121_a可以通过对输入图像img_in执行合并和裁剪操作来生成第a图像img_a。在实施例中，第a图像img_a可以具有byr域或拜耳颜色图案。例如，在输入图像img_in是byr域的情况下，第a图像img_a可以具有byr域而无需单独的合成操作。备选地或附加地，在输入图像img_in不是byr域(例如，四域、九域、六域或十域)的情况下，可以通过合并和裁剪模块121_a对输入图像img_in的合成操作来使第a图像img_a具有byr域。
40.在实施例中，第a图像img_a的大小可以小于或等于输入图像img_in的大小。例如，合并和裁剪模块121_a可以通过对输入图像img_in的裁剪操作将输入图像img_in的特定区域确定为第a图像img_a。由合并和裁剪模块121_a生成的第a图像img_a可以被传送到第一byr域处理模块122_a。
41.在图3的操作s130中，第一图像信号处理器120_a可以通过对第a图像img_a执行第一byr域处理来生成第b图像img_b和第a帧信息fi_a。例如，第一图像信号处理器120_a的第一byr域处理模块122_a可以基于第a图像img_a来提取第a帧信息fi_a。第a帧信息fi_a可以包括用于图像信号处理操作的信息，例如，与输入图像img_in的帧(例如，完整帧或整个帧)或每个区域(例如，帧或输入图像的一部分)有关的图像金字塔信息、每个区域的平均/分布/直方图信息、或运动信息。这样生成的第a帧信息fi_a可以存储在存储设备130中。
42.第一图像信号处理器120_a的第一byr域处理模块122_a可以通过对第a图像img_a执行各种图像信号处理操作来生成第b图像img_b。在实施例中，第b图像img_b的大小可以小于或等于第a图像img_a的大小。第b图像img_b可以具有byr域或byr颜色图案。
43.在图3的操作s140中，第一图像信号处理器120_a可以通过对第b图像img_b执行第二byr域处理来生成第c图像img_c。例如，第一图像信号处理器120_a的第二byr域处理模块123_a可以通过使用存储设备130中存储的第a帧信息fi_a对第b图像img_b执行第二byr域处理来生成第c图像img_c。在实施例中，第c图像img_c的大小可以与第b图像img_b的大小相同。第c图像img_c可以具有rgb域或rgb颜色图案。
44.在实施例中，第二byr域处理模块123_a可以对第b图像img_b执行时间去噪操作。在这种情况下，对于时间去噪操作，第二byr域处理模块123_a可以将第b图像img_b存储在存储设备130中并且可以访问其中存储的第b图像img_b。
45.在图3的操作s150中，第一图像信号处理器120_a可以通过对第c图像img_c执行rgb域处理来生成第d图像img_d。例如，第一图像信号处理器120_a的rgb域处理模块124_a可以通过使用存储设备130中存储的第a帧信息fi_a对第c图像img_c执行rgb域处理来生成第d图像img_d。在实施例中，第d图像img_d的大小可以小于或等于第c图像img_c的大小。第d图像img_d可以具有yuv域或yuv颜色图案。
46.例如，rgb域处理模块124_a可以基于第c图像img_c提取第b帧信息fi_b。第b帧信息fi_b可以包括关于yuv域的帧信息(例如，关于整个帧或每个区域的图像金字塔信息、每个区域的平均/分布/直方图信息、或运动信息)。第二帧信息fi_b可以存储在存储设备130中。
47.在图3的操作s160中，第一图像信号处理器120_a可以通过对第d图像img_d执行yuv域处理来生成输出图像img_out。例如，第一图像信号处理器120_a的yuv域处理模块125_a可以通过使用存储设备130中存储的第二帧信息fi_b对第d图像img_d执行yuv域处理来生成输出图像img_out。
48.图4是示出了图像信号处理器的架构的框图。图5是示出了图4的图像信号处理器的操作的流程图。参考图1、图4和图5，第二图像信号处理器120_b可以包括合并和裁剪模块121_b、简化的byr域处理模块123_b、rgb域处理模块124_b、yuv域处理模块125_b和子isp模块126_b。
49.在图5的操作s210中，第二图像信号处理器120_b可以接收输入图像img_in。例如，
第二图像信号处理器120_b可以直接从图像传感器设备110接收输入图像img_in。备选地或附加地，图像传感器设备110可以将输入图像img_in存储在存储设备130中，并且第二图像信号处理器120_b可以访问存储设备130以读取输入图像img_in。在实施例中，输入图像img_in可以具有与图像传感器设备110的滤色器阵列(cfa)的颜色图案相同(例如，匹配)的颜色图案或域。例如，输入图像img_in的颜色图案或域可以是byr域。
50.在图5的操作s220中，第二图像信号处理器120_b可以通过对输入图像img_in执行合并和裁剪操作来生成第一图像img_1。例如，第二图像信号处理器120_b的合并和裁剪模块121_b可以通过对输入图像img_in执行合并和裁剪操作来生成第一图像img_1。
51.在实施例中，第一图像img_1可以具有byr域或byr颜色图案。例如，在输入图像img_in是byr域的情况下，第一图像img_1可以具有by r域而无需单独的合成操作。备选地或附加地，在输入图像img_in不是byr域(例如，四域、九域、六域或十域)的情况下，可以通过合并和裁剪模块121_b对输入图像img_in的合成操作来使第一图像img_1具有byr域。
52.在实施例中，第一图像img_1的大小可以小于或等于输入图像img _in的大小。例如，合并和裁剪模块121_b可以通过对输入图像img_in的裁剪操作将输入图像img_in的特定区域确定为第一图像img_1。
53.在实施例中，第一图像img_1可以是缩小的图像。由合并和裁剪模块121_b生成的第一图像img_1可以被传送到简化的byr域处理模块123_a或子isp模块126，或者可以存储在存储设备130中。
54.在图5的操作s221中，第二图像信号处理器120_b可以通过使用子isp模块126_b生成帧信息fi。例如，第二图像信号处理器120_b的子isp模块126_b可以基于由合并和裁剪模块121_b生成的第一图像img_1来生成帧信息fi。在实施例中，帧信息fi可以包括用于图像信号处理操作的信息，例如关于整个帧或每个区域的图像金字塔信息、每个区域的平均/分布/直方图信息、或运动信息。这样生成的帧信息fi可以存储在存储设备130中。在实施例中，操作s221可以在操作s230之前执行。也就是说，第二图像信号处理器120_b的子isp模块126_b可以在byr域处理、rgb域处理和yuv域处理被执行之前预先生成帧信息fi。
55.在图5的操作s230中，第二图像信号处理器120_b可以通过对第一图像img_1执行简化的byr域处理来生成第二图像img_2。例如，第二图像信号处理器120_b的简化byr域处理模块123_b可以通过使用存储设备130中存储的帧信息fi对第一图像img_1执行简化的byr域处理来生成第二图像img_2。在实施例中，第二图像img_2的大小可以小于或等于第一图像img_1的大小并且可以具有rgb域或rgb颜色图案。在实施例中，与参考图2描述的由第一byr域处理模块122_a和第二byr域处理模块123a执行的处理操作相比，简化的byr域处理可以意味着减少的处理操作或相对简单的处理操作。即，通过简化的byr域处理，针对原始大小(或相对大的大小)的图像的处理操作可以被减少，或者可以仅通过相对简单的操作来执行。
56.在操作s240中，第二图像信号处理器120_b可以通过对第二图像img_2执行rgb域处理来生成第三图像img_3。例如，第二图像信号处理器120_b的rgb域处理模块124_b可以通过使用存储设备130中存储的帧信息fi对第二图像img_2执行rgb域处理来生成第三图像img_3。在实施例中，第三图像img_3的大小可以与第二图像img_2的大小相同，并且可以具有yuv域或yuv颜色图案。
57.在操作s250中，第二图像信号处理器120_b可以通过对第三图像img_3执行yuv域处理来生成输出图像img_out。第二图像信号处理器120_b的yuv域处理模块125_b可以通过使用存储设备130中存储的帧信息fi对第三图像img_3执行yuv域处理来生成输出图像img_out。
58.在实施例中，第二图像信号处理器120_b的yuv域处理模块125_b可以执行由第一图像信号处理器120_a的第二byr域处理模块123_a执行的图像信号处理操作。例如，yuv域处理模块125_b可以执行时间去噪操作。在这种情况下，对于时间去噪操作，yuv域处理模块125_b可以将第二图像img_2存储在存储设备130中并且可以访问存储在其中的第二图像img_2。
59.如图2至图5所示，图像信号处理器120_a和120_b中的每一个可以通过对从图像传感器设备110接收的输入图像img_in执行各种图像信号处理操作来生成输出图像img_out。
60.在实施例中，为了将输入图像img_in的原始信息应用到输出图像img_out，图像信号处理器120_a和120_b中的每一个可以在转换到输出图像img_out的域(例如，yuv域)之前针对byr域执行图像信号处理操作。例如，在针对具有byr域的图像的信号处理量或计算量增加的情况下，功耗可能增加。
61.在实施例中，输入图像img_in的大小可以与输出图像img_out的大小不同。在这种情况下，图像信号处理器120_a和120_b中的每一个可以在减小(例如，缩小)输入图像img_in的大小之后执行各种信号处理操作。然而，在对缩小的图像执行信号处理操作的情况下，最终输出图像img_out的质量可能会下降。相反，在未进行缩小而执行信号处理操作的情况下，可以维持最终输出图像img_out的质量，但是会增加功耗。
62.根据本公开的实施例的图像信号处理器(特别是120_b)可以通过简化需要大功耗的byr域处理并且在yuv域处理中执行要在byr域处理中执行的一些图像信号处理操作(例如，去噪操作、色调映射操作和细节增强操作)来整体降低功耗。此外，由于根据本公开的实施例的图像信号处理器(特别是120_b)对缩小的图像仅执行最小byr域处理，因此可以降低功耗，并防止降低输出图像img_out的质量。
63.详细地，为了比较图2和图4的图像信号处理器120_a和120_b的功耗以及用于访问存储设备130的功率(或带宽)，分别由图像信号处理器120_a和120_b生成的图像的大小被定义，如下表1所示。表1示出了在输出图像img_out的分辨率为fhd(即1920
×
1080)并且yuv域处理模块以yuv42格式操作的条件下得到的每个图像的图像大小和图像位深。
64.[表1]
[0065][0066]
如表1所示，在确定每个图像的大小的情况下，在图像信号处理器120_a和120_b中的每一个中用于访问存储设备130的功率由下面的公式1表示。
[0067]
[公式1]
[0068][0069][0070][0071]
在公式1中，mp
120_b
可以表示图4的第二图像信号处理器120_b的功耗，mp
120_a
可以表示图2的第一图像信号处理器120_a的功耗，nch可以表示yuv420格式的yuv图像的有效通道的数量，并且nch可以是2。在这种情况下，功耗表示针对处理一帧的目的而用于访问存储设备130的功耗。如公式1所示，图4的第二图像信号处理器120_b的功耗是图2的第一图像信号处理器120_a的功耗的57.33％。也就是说，可以通过图4所示的第二图像信号处理器120_b的架构来降低功耗。结果是，可以通过简化图像的byr域处理操作并且在yuv域中执行简化的操作，来降低用于访问存储设备130的功耗。
[0072]
在实施例中，表1和公式1的实施例是在图2的第一图像信号处理器120_a中在byr域处理期间图像未被缩小的示例。也就是说，为了降低功耗，在图2的第一图像信号处理器120_a中，图像可以在byr域处理期间被缩小。在这种情况下，分别由图像信号处理器120_a和120_b生成的图像的大小被定义，如下面的表2所示。与上述表1类似，下面的表2涉及输出图像img_out的分辨率为fhd(即1920
×
1080)并且yuv域处理模块以yuv42格式操作的示例。
[0073]
[表2]
[0074][0075]
如表2所示，在确定每个图像的大小的情况下，在图像信号处理器120_a和120_b中的每一个中用于访问存储设备130的功率由下面的公式2表示。
[0076]
[公式2]
[0077][0078][0079][0080]
参考上面的公式1描述公式2的变量，因此将省略附加的描述以避免冗余。与表1和公式1的实施例相比，在表2和公式2的实施例中，根据本公开的实施例的第二图像信号处理器120_b的功耗降低率可以相对低。然而，根据表2和公式2的实施例，由于第一图像信号处理器120_a在byr域处理期间缩小了图像，所以最终输出图像img_out的质量可能降低。
[0081]
在实施例中，下面的表3示出了在输出图像img_out的分辨率为uhd(即3840
×
2160)并且yuv域处理模块以yuv42格式操作的情况下的图像的大小。
[0082]
[表3]
[0083][0084]
如表3所示，在确定每个图像的大小的情况下，在图像信号处理器120_a和120_b中的每一个中用于访问存储设备130的功率由下面的公式3表示。
[0085]
[公式3]
[0086][0087][0088][0089]
参考上面的公式1描述公式3的变量，因此将省略附加的描述以避免冗余。与表1和公式1的实施例或表2和公式2的实施例相比，在表3和公式3的实施例中，根据本公开的实施例的第二图像信号处理器120_b的功耗降低率可以相对高。也就是说，第二图像信号处理器120_b的功耗可以相对大地降低。在输出图像img_out的分辨率为uhd的情况下，第二图像信号处理器120b的可能不是相对大的缩小比例可能导致功耗降低。
[0090]
如参考表1至表3和公式1至公式3所描述的，可以降低访问第二图像信号处理器120_b的存储设备130所需的功耗。替代地或附加地，可以减少第二图像信号处理器120_b中包括的模块的计算量。可以使用下面的公式4来确定第一图像信号处理器120_a和第二图像信号处理器120_b的每个模块的计算量。
[0091]
[公式4]
[0092]
[0093][0094]
参考公式4，可以假设在第一图像信号处理器120_a和第二图像信号处理器120_b中的每一个中针对1位(bit)图像信号处理的计算量是“1”。cp
123_b
、cp
124_b
和cp
125_b
可以分别表示第二图像信号处理器120_b的简化的byr域处理模块123_b、rgb域处理模块124_b和yuv域处理模块125_b的计算量。cp
122_a
、cp
123_a
、cp
124_a
和cp
125_a
分别表示第一图像信号处理器120_a的第一byr域处理模块122_a、第二byr域处理模块123_a、rgb域处理模块124_a和yuv域处理模块125_a的计算量。
[0095]
为了比较第一图像信号处理器120_a和第二图像信号处理器120_b的计算量，可以如公式5所示确定每个模块的计算量，使得满足公式4的条件。
[0096]
[公式5]
[0097][0098][0099]
在输出图像img_out的分辨率为fhd(即1920
×
1080)的情况下，分别由第一图像信号处理器120_a和第二图像信号处理器120_b处理的图像可以具有表1所示的大小。在这种情况下，第一图像信号处理器120_a和第二图像信号处理器120_b的计算量可以由下面的公式6表示。
[0100]
[公式6]
[0101][0102][0103][0104]
参考公式6，nrgb表示rgb图像(例如img_c或img_2)的有效通道的数量。nrgb可以是3。如公式6所表示，图4的第二图像信号处理器120_b的计算量可以是图2的第一图像信号处理器120_a的计算量的约45.72％。也就是说，可以通过图4的第二图像信号处理器120_b的架构来减少总计算量。即，可以通过简化图像的byr域处理操作并且在yuv域中执行简化的操作来减少整体(例如，总)计算量。
[0105]
如上参考表2和表3所述，在byr域处理期间第一图像信号处理器120_a缩小图像的情况下，每个图像可以具有上面的表2所示的大小，并且在输出图像img_out的分辨率为uhd的情况下，每个图像可以具有上面的表3所示的大小。在每个图像具有上面的表2所示的大小的情况下，第一图像信号处理器120_a和第二图像信号处理器120_b中的每一个的计算量可以由下面的公式7表示。备选地或附加地，在每个图像具有上面的表3中所示的大小的情况下，第一图像信号处理器120_a和第二图像信号处理器120_b中的每一个的计算量可以由
下面的公式8表示。
[0106]
[公式7]
[0107][0108][0109][0110]
[公式8]
[0111][0112][0113][0114][0115]
公式7和公式8的变量如上所述，因此将省略附加的描述以避免冗余。如公式7所示，在byr域处理期间第一图像信号处理器120_a缩小图像的情况下，第二图像信号处理器120_b的计算量约为第一图像信号处理器120_a的计算量的74.89％。该计算量可以低于参考图6描述的计算量的降低率。然而，如上所述，在byr域处理期间第一图像信号处理器120_a执行缩小的情况下，输出图像img_out的质量可能下降。
[0116]
如公式8所示，在输出图像img_out为uhd的情况下，第二图像信号处理器120_b的计算量是第一图像信号处理器120_a的计算量的125.26％。即，在输出图像img_out的分辨率为uhd的情况下，第二图像信号处理器120_b的计算量可能变得更大。然而，如参考公式3所描述的，在输出图像img_out的分辨率为uhd的情况下，由于第二图像信号处理器120_b在访问存储设备130时的功耗相对大地降低，因此与第一图像信号处理器120_a相比，第二图像信号处理器120_b的整体(例如，总)功耗可以降低。
[0117]
如上所述，根据本公开的实施例的第二图像信号处理器120_b可以使处理相对大的图像的byr域处理操作最小化，并且可以增加对相对小的图像进行处理的yuv域处理操作，因此可以降低整体功耗。在实施例中，由第二图像信号处理器120_b的yuv域处理模块125_b执行的图像信号处理操作可以包括第一图像信号处理器120_a的byr域处理期间执行的各种操作中的至少一个，例如空间去噪操作、时间去噪操作、运动补偿操作、色调映射操作、细节增强操作、锐化操作。
[0118]
在实施例中，第一图像信号处理器120_a的第一byr域处理模块122_a和rgb域处理模块124_a可以被配置为生成帧信息(例如，fi_a或fi_b)以用于后续操作。在这种情况下，对存储设备130的访问次数或计算时间可能增加。相反，第二图像信号处理器120_b可以包括被配置为生成帧信息fi的子isp模块126_b。因为帧信息fi是由单独的子isp模块126_b生成的，所以对存储设备130的访问次数或计算时间可以减少。在实施例中，子isp模块126_b可以为多相机结构提供优势，这将参照图12至图15的实施例进行详细描述。
[0119]
图6是示出了图1的图像信号处理器的的框图。参考图1和图6，第三图像信号处理器120_c可以包括合并和裁剪模块121_c、简化的byr域处理模块123_c、rgb域处理模块124_c和yuv域处理模块125_c。合并和裁剪模块121_c、简化的byr域处理模块123_c、rgb域处理模块124_c和yuv域处理模块125_c的操作可以与参考图4所描述的操作类似，因此将省略附加的描述以避免冗余。
[0120]
在实施例中，不同于图4的第二图像信号处理器120_b，图6的第三图像信号处理器120_c可以不包括被配置为生成帧信息fi的子isp模块。在这种情况下，简化的byr域处理模块123_c可以基于第一图像img_1生成帧信息fi，并且生成的帧信息fi可以存储在存储设备130中。
[0121]
根据图6的实施例，即使不存在被配置为生成帧信息fi的子isp模块，由于针对相对大的大小的图像的byr域处理被最小化，因此也可以降低功耗。
[0122]
图7是示出了图1的图像信号处理器的的框图。参考图1和图7，第四图像信号处理器120_d可以包括合并和裁剪模块121_d、第一byr域处理模块122_d、第二byr域处理模块123_d、rgb域处理模块124_d、yuv域处理模块125_d和子isp模块126_d。合并和裁剪模块121_d、第一byr域处理模块122_d、第二byr域处理模块123_d、rgb域处理模块124_d和yuv域处理模块125_d的操作可以与参考图2所描述的操作类似，因此将省略附加的描述以避免冗余。
[0123]
在实施例中，不同于图2的第一图像信号处理器120_a，图7的第四图像信号处理器120_d可以生成帧信息fi，并且帧信息fi可以存储在存储设备130中。即，图7的第一byr域处理模块122_d和rgb域处理模块124_d可以不生成单独的帧信息。
[0124]
根据图7的实施例，与第一图像信号处理器120_a相比，每个模块在操作和顺序方面可以没有变化；然而，由于提供了生成帧信息fi的子isp模块126_d，所以可以减少生成帧信息fi所需的对存储设备130的访问次数和计算时间。
[0125]
图8是示出了图1的图像传感器设备的框图。参考图1和图8，图像传感器设备110可以包括像素阵列111、行驱动器112、模数转换器113、输出缓冲器114和控制逻辑电路115。
[0126]
像素阵列111可以包括多个像素。多个像素可以沿行方向和列方向布置。像素阵列111的每个像素可以根据从外部接收到的光的强度或量来输出像素信号pixout。在这种情况下，像素信号pixout可以是与从外部接收到的光的强度或量相对应的模拟信号。
[0127]
行驱动器112可以向像素阵列111提供行控制信号(例如，rst、tx和sel)。像素阵列111的多个像素可以响应于从行驱动器112提供的行控制信号来操作。模数转换器113可以从像素阵列111的多个像素接收像素信号，并且可以将接收的像素信号转换成数字信号并输出该数字信号。输出缓冲器114可以存储从模数转换器113输出的数字信号并且可以输出所存储的数字信号作为输入图像img_in。输入图像img_in可以被提供给图像信号处理器
120，图像信号处理器120可以通过基于上述实施例对输入图像img_in执行图像信号处理来生成输出图像img_ou t。控制逻辑电路115可以控制图像传感器设备110的整体操作。
[0128]
参考图8描述图像传感器设备110的示意配置，但本公开不限于此。应当理解，图像传感器设备110可以以本领域技术人员能够理解的各种结构实现。
[0129]
在实施例中，像素阵列111可以包括滤色器阵列(cfa)。滤色器阵列可以以byr图案、四图案(tetra pattern)、九图案、六图案、十图案或各种颜色图案实现。在实施例中，输入图像img_in可以具有与像素阵列111的滤色器阵列的颜色图案相同(例如，匹配)的颜色图案。
[0130]
图9是示出了根据本公开的实施例的图像传感器设备的框图。参考图1和图9，图像传感器设备210可以包括像素阵列211、行驱动器212、模数转换器213、输出缓冲器214、控制逻辑电路215和图像信号处理器216。像素阵列211、行驱动器212、模数转换器213、输出缓冲器214和控制逻辑电路215与参考图8描述的那些类似，因此将省略附加的描述以避免冗余。
[0131]
在参照图1至图8所描述的实施例中，图像传感器设备110和图像信号处理器120分别用单独的组件或单独的硬件来实现。相反，在图9的实施例中，图像信号处理器216可以包括在图像传感器设备210中。也就是说，图像传感器设备210可以通过对输入图像img_in执行各种图像信号处理来生成并输出输出图像img_out，而不是输出与像素阵列211中包括的滤色器阵列的颜色图案相同(例如，匹配)的颜色图案的输入图像img_in。在这种情况下，输出图像img_out可以具有外部设备(例如，显示设备)可用的格式。
[0132]
图10是示出了根据本公开的实施例的图像传感器设备的框图。参考图10，图像传感器设备310可以包括像素阵列311、行驱动器312、模数转换器313、输出缓冲器314、控制逻辑电路315和子图像信号处理器316。像素阵列311、行驱动器312、模数转换器313、输出缓冲器314和控制逻辑电路315与参考图8描述的那些类似，因此将省略附加的描述以避免冗余。
[0133]
子图像信号处理器316可以通过使用从输出缓冲器314输出的输入图像imgin来生成帧信息fi。例如，子图像信号处理器316可以执行与上述子isp模块126_c或126_d相同的功能。由子图像信号处理器316生成的帧信息fi可以被提供给存储设备(例如，130)，并且输入图像img_in可以被提供给主图像信号处理器(例如，120_a、120_b、120_c或120_d)。主图像信号处理器可以根据上述实施例对输入图像img_in执行各种信号处理操作，从而可以生成输出图像img_out。
[0134]
图11是用于描述根据本公开的实施例的图像传感器设备的堆叠结构的图。参考图11，图像传感器设备410可以包括第一芯片wf1、第二芯片wf2和第三芯片wf3。第一芯片wf1至第三芯片wf3中的每一个可以在单独的半导体晶片中形成。第一芯片wf1可以堆叠在第二芯片wf2上，第二芯片wf2可以堆叠在第三芯片wf3上。第一芯片wf1至第三芯片wf3可以通过各种接合方式彼此电连接，例如接合方式和硅通孔(tsv)方式。
[0135]
第一芯片wf1至第三芯片wf3可以包括图像传感器设备410的各种组件(例如，像素阵列、行驱动器、模数转换器、输出缓冲器和控制逻辑电路)。例如，第一芯片wf1可以包括像素阵列和行驱动器，第二芯片wf2可以包括模数转换器和控制逻辑电路，第三芯片wf3可以包括输出缓冲器。然而，本公开不限于此。图像传感器设备410的各种组件可以根据实施方式以各种形式分布并设置在第一芯片wf1至第三芯片wf3中。
[0136]
在实施例中，如上所述，在图像传感器设备410包括isp 216或子isp 316的情况
下，isp 216或子isp 316可以包括在第一芯片wf1至第三芯片wf3之一中。
[0137]
图12是示出了根据本公开的实施例的图像系统的框图。图13是用于描述图12的图像信号传感器的框图。参考图12和图13，图像系统500可以包括多个图像传感器设备511至51n、图像信号处理器520和存储设备530。多个图像传感器设备511至51n可以实现多相机。例如，多个图像传感器设备511至51n可以具有不同的视场或不同的焦距，并且可以被配置为捕获不同的前景。多个图像传感器设备511至51n可以分别输出包括捕获的前景的信息在内的多个输入图像img1_in至imgn_in。
[0138]
图像信号处理器520可以从多个图像传感器设备511到51n接收多个输入图像img1_in到imgn_in，并且可以基于接收的输入图像img1_in到imgn_in来生成输出图像img_out。例如，多个图像传感器设备511至51n中的第一图像传感器设备511可以是主设备或主相机，剩余的图像传感器设备512至51n可以是从设备或从相机。输出图像img_out可以基于主设备或主相机生成的输入图像来生成，并且从设备或从相机生成的输入图像可以用于增强输出图像img_out的质量。在这种情况下，图像信号处理器520可以基于从作为主相机的第一图像传感器设备511接收的第一输入图像img1_in来生成输出图像img_out。图像信号处理器520可以基于分别从作为从设备或从相机的剩余图像传感器设备512至51n接收的第二输入图像img2_in至第n输入图像imgn_in来生成帧信息fi。
[0139]
例如，如图13所示，图像信号处理器520可以包括主isp模块521和子isp模块522。在实施例中，主isp模块521可以包括信号处理模块，例如，参考图1至图7所述的合成和裁剪模块、第一byr域处理模块、第二byr域处理模块、简化的byr域处理模块、rgb域处理模块、以及yuv域处理模块。
[0140]
主isp模块521可以基于从多个图像传感器设备511至51n接收的多个输入图像img1_in至imgn_in中的对应于主设备或主相机的输入图像(例如，img1_in)来生成输出图像img_out。在实施例中，主isp模块521中包括的合并和裁剪模块可以从多个图像传感器设备511到51n中接收的多个输入图像img1_in到imgn_in中选择对应于主设备或主相机的输入图像(例如，img1_in)并且可以对选择的输入图像执行合并和裁剪操作。
[0141]
子isp模块522可以基于多个输入图像img1_in至imgn_in生成帧信息fi。例如，子isp模块522可以基于多个输入图像img1_in到imgn_in中的与主设备或主相机对应的输入图像(例如，img1_in)来生成帧信息fi。备选地或附加地，子isp模块522可以基于多个输入图像img1_in至imgn_in中的与从设备或从相机相对应的输入图像(例如，img2_in至imgn_in)来生成帧信息fi。这样生成的帧信息fi可以存储在存储设备530中。在实施例中，主isp模块521可以通过使用存储设备530中存储的帧信息fi来提高输出图像img_out的质量。
[0142]
存储设备530可以被配置为存储图像信号处理器520使用的各种数据、各种信息或各种图像数据。在实施例中，存储设备530可以是高速存储设备，例如动态随机存取存储器(dram)。
[0143]
如上所述，相对于作为从设备或从相机的剩余图像传感器设备512至51n，图像信号处理器520可以仅有效地操作子isp模块522，因此可以降低整体功耗。例如，第一图像传感器设备511可以维持启用模式以用于生成输出图像img_out的目的，而作为从设备或从相机的剩余图像传感器设备512至51n可以维持待机模式以最小化关于相机切换的延迟。在这种情况下，可以通过相对于作为从设备的第二图像传感器设备512至第n图像传感器设备
51n仅有效地操作子isp模块522来降低整体(例如，总)功耗。此外，在切换相机的情况下(即，在改变主相机的情况下)，由于与作为从设备的第二图像传感器设备512至第n图像传感器设备51n有关的帧信息fi已经处于被获取的状态，所以可以相对快速地执行相机切换。
[0144]
在图12的实施例中，描述为一个图像信号处理器520处理来自多个图像传感器设备511至51n中的多个输入图像img1_in至imgn_in，但本公开不限于此。可以提供物理上或逻辑上彼此分离的图像信号处理器以分别对应于多个图像传感器设备511至51n，并且每个图像传感器设备可以根据对应图像传感器设备的属性(即，根据对应图像传感器设备是主设备还是从设备)来确定是操作子isp模块还是主isp模块。
[0145]
图14是示出了根据本公开的实施例的图像系统的框图。参考图14，图像系统600可以包括多个图像传感器设备611至61n、主isp 620和存储设备630。多个图像传感器设备611至61n可以实现多相机。例如，多个图像传感器设备611至61n可以具有不同的视场或不同的焦距，并且可以被配置为捕获不同的前景。多个图像传感器设备611至61n可以分别输出包括捕获的前景的信息在内的多个输入图像img1_in至img_nin。
[0146][0147]
多个图像传感器设备611至61n可以分别包括子isp 611a至61na。子isp 611a到61na可以被配置为生成与分别由对应的图像传感器设备611到61n生成的输入图像有关的帧信息fi1至fin。例如，第一图像传感器设备611可以包括第一子isp 611a，并且第一子isp 611a可以生成与由第一图像传感器设备611生成的第一输入图像img1_in有关的第一帧信息fi1。第二图像传感器设备612可以包括第二子isp 612a，并且第二子isp 612a可以生成与由第二图像传感器设备612生成的第二输入图像img2_in有关的第二帧信息fi2。第n图像传感器设备61n可以包括第n子isp 61na，并且第n子isp 61na可以生成与由第n图像传感器设备61n生成的第n输入图像imgnin有关的第n帧信息fin。这样生成的帧信息fi1至fin可以存储在存储设备630中。
[0148]
主isp 620可以通过使用存储设备630中存储的多个帧信息fi1至fin对多个输入图像img1_in至imgn_in中的至少一个执行各种图像信号处理操作来生成输出图像img out。
[0149]
图15是示出了根据本公开的实施例的图像系统的框图。参考图15，图像系统700可以包括多个图像传感器设备711至71n、存储设备730和图像生成器740。多个图像传感器设备711至71n可以实现如上所述的多相机，因此将省略附加的描述以避免冗余。
[0150]
多个图像传感器设备711至71n可以分别包括isp 711b至71nb。is p 711b至71nb可以生成与分别由相应的图像传感器设备生成的输入图像有关的帧信息fi1到fin。例如，第一图像传感器设备711可以包括第一isp 711b，并且第一isp 711b可以生成与由第一图像传感器设备711生成的第一输入图像有关的第一帧信息fi1。第二图像传感器设备712可以包括第二isp 712b，并且第二isp 712b可以生成与由第二图像传感器设备712生成的第二输入图像有关的第二帧信息fi2。第n图像传感器设备71n可以包括第n isp 71nb，并且第n isp 71nb可以生成与由第n图像传感器设备71n生成的第n输入图像有关的第n帧信息fin。这样生成的帧信息fi1到fin可以存储在存储设备730中。
[0151]
isp 711b至71nb可以通过对由对应的图像传感器设备711至71n生成的输入图像执行各种图像信号处理操作来分别生成输出图像img1_out至imgn_out。例如，第一图像传
感器设备711的第一isp 711b可以通过使用存储设备730中存储的帧信息fi1至fin对第一图像执行各种图像信号处理操作来生成第一输出图像img1_out。第二图像传感器设备712的第二isp 712b可以通过使用存储设备730中存储的帧信息fil至fin对第二图像执行各种图像信号处理操作来生成第二输出图像img2_out。第n图像传感器设备71n的第n isp 71nb可以通过使用存储设备730中存储的帧信息fi1至fin对第n图像执行各种图像信号处理操作来生成第n输出图像imgnout。
[0152]
在实施例中，多个图像传感器设备711至71n中包括的isp 711b至71nb中的每一个可以是参考图4所述的图像信号处理器。在实施例中，多个图像传感器设备711至71n中的作为主设备或主相机的图像传感器设备中包括的isp可以生成输出图像和帧信息，并且作为从设备或从相机的图像传感器设备中包括的isp可以跳过输出图像的生成(即，禁用isp的主isp)。
[0153]
图像生成器740可以从多个图像传感器设备711至71n接收多个输出图像img1_out至imgn_out。图像生成器740可以组合多个输出图像img1_out至imgn_out以生成最终输出图像img_out。
[0154]
图16是包括多相机模块的电子设备的框图。图17是详细地示出了图16的相机模块的框图。
[0155]
参考图16，电子设备1000可以包括相机模块组1100、应用处理器1200、pmic 1300和外部存储器1400。
[0156]
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。包括三个相机模块1100a、1100b和1100c的电子设备在图16中示出，但本公开不限于此。在一些实施例中，相机模块组1100可以被修改为仅包括两个相机模块。备选地或附加地，在一些实施例中，相机模块组1100可以被修改为包括“n”个相机模块(n是4或更大的自然数)。
[0157]
下面，将参考图17更全面地描述相机模块1100b的详细配置，但是以下描述可以同样适用于剩余的相机模块1100a和1100c。
[0158]
参考图17，相机模块1100b可以包括棱镜1105、光路折叠元件(opfe)1110、致动器1130、图像感测设备1140和存储装置1150。
[0159]
棱镜1105可以包括光反射材料的反射平面1107并且可以改变从外部入射的光“l”的路径。
[0160]
在一些实施例中，棱镜1105可以将沿第一方向(x)入射的光“l”的路径改变为垂直于第一方向(x)的第二方向(y)。备选地或附加地，棱镜1105可以通过围绕中心轴1106沿方向“a”旋转光反射材料的反射平面1107或沿方向“b”旋转中心轴1106，来将沿第一方向(x)入射的光“l”的路径改变为垂直于第一(x轴)方向的第二方向(y)。在这种情况下，opfe 1110可以在与第一方向(x)和第二方向(y)垂直的第三方向(z)上移动。
[0161]
在一些实施例中，如图17所示，棱镜1105在方向“a”上的最大旋转角度在正a方向上可以等于或小于15度并且在负a方向上可以大于15度，但是本公开不限于此。
[0162]
在一些实施例中，棱镜1105可以沿正b方向或负b方向在约20度内移动，在10度和20度之间，或在15度和20度之间；这里，棱镜1105可以在正b方向或负b方向上以相同的角度移动，或者可以在约1度内以相似的角度移动。
[0163]
在一些实施例中，棱镜1105可以沿与中心轴1106延伸的方向平行的第三方向(例
如，z方向)移动光反射材料的反射平面1107。
[0164]
例如，opfe 1110可以包括由“m”组(m是自然数)组成的光学透镜。这里，“m”透镜可以沿第二方向(y)移动以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的默认光学变焦比为“z”时，可以通过移动opfe 1110中包括的“m”光学透镜将相机模块1100b的光学变焦比改变为3z、5z、或5z或更大的光学变焦比。
[0165]
致动器1130可以将opfe 1110或光学透镜(以下称为“光学透镜”)移动到特定位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142被放置在光学透镜的焦距处以用于精确感测。
[0166]
图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用通过光学透镜提供的光“l”来感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的整体操作。例如，控制逻辑1144可以基于通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作。
[0167]
存储器1146可以存储相机模块1100b的操作所需的信息，例如校准数据1147。校准数据1147可以包括相机模块1100b通过使用从外部提供的光“l”生成图像数据所需的信息。校准数据1147可以包括例如关于上述旋转程度的信息、关于焦距的信息、关于光轴的信息等。在相机模块1100b以焦距根据光学透镜的位置而变化的多状态相机的形式实现的情况下，校准数据1147可以包括针对光学透镜的每个位置(或状态)的焦距值和关于自动对焦的信息。
[0168]
存储装置1150可以存储通过图像传感器1142感测的图像数据。存储装置1150可以设置在图像感测设备1140的外部，并且以存储装置1150和构成图像感测设备1140的传感器芯片被堆叠的形状来实现。在一些实施例中，存储装置1150可以用电可擦除可编程只读存储器(eepro m)来实现，但本公开不限于此。
[0169]
参考图16和图17，在一些实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。因此，相同的校准数据1147或不同的校准数据1147可以包括在多个相机模块1100a、1100b和1100c中，并且取决于多个相机模块中的致动器1130的操作。
[0170]
在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)可以是包括上述棱镜1105和opfe 1110在内的折叠透镜形状的相机模块，并且剩余的相机模块(例如，1100a和1100c)可以是不包括上述棱镜1105和opfe 1110在内的竖直形状的相机模块；然而，本公开不限于此。
[0171]
在一些实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可以是例如通过使用红外线(ir)提取深度信息的竖直形状的深度相机。在这种情况下，应用处理器1200可以合并从深度相机提供的图像数据和从任何其他相机模块(例如，1100a或1100b)提供的图像数据，并且可以生成三维(3d)深度图像。
[0172]
在一些实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场。在这种情况下，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以包括不同的光学透镜，但是本公开不限于此。
[0173]
备选地或附加地，在一些实施例中，多个相机模块1100a、1100b和1100c的视场可以不同。在这种情况下，多个相机模块1100a、1100b和1100c可以包括不同的光学透镜，但不
限于此。
[0174]
在一些实施例中，多个相机模块1100a、1100b和1100c可以被布置为物理上彼此分开。即，多个相机模块1100a、1100b和1100c可以不使用一个图像传感器1142的感测区域，但是多个相机模块1100a、1100b和1100c可以分别在其中包括独立的图像传感器1142。
[0175]
返回图16，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以被实现为与多个相机模块1100a、1100b和1100c分开。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以用单独的半导体芯片来实现。
[0176]
图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。
[0177]
图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c，多个子图像处理器的数量对应于多个相机模块1100a、1100b和1100c的数量。
[0178]
从相机模块1100a、1100b和1100c分别生成的图像数据可以分别通过分开的图像信号线isla、islb和islc提供给对应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a生成的图像数据可以通过图像信号线isla提供给子图像处理器1212a，从相机模块1100b生成的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且从相机模块1100c生成的图像数据可以通过图像信号线islc提供给子图像处理器1212c。例如，可以通过使用基于mipi(移动工业处理器接口)的相机串行接口(csi)来执行该图像数据传输，但是本公开不限于此。
[0179]
同时，在一些实施例中，一个子图像处理器可以设置为对应于多个相机模块。例如，子图像处理器1212a和子图像处理器1212c可以集成地实现，而不是如图12所示彼此分开；在这种情况下，可以通过选择元件(例如，多路复用器)来选择分别由相机模块1100a和相机模块1100c提供的多条图像数据中的一条图像数据，并且可以将所选择的图像数据提供给集成的子图像处理器。
[0180]
分别提供给子图像处理器1212a、1212b和1212c的图像数据可以提供给图像生成器1214。图像生成器1214可以根据图像生成信息(生成信息)或模式信号通过使用分别由子图像处理器1212a、1212b和1212c提供的图像数据来生成输出图像。
[0181]
详细地，图像生成器1214可以根据图像生成信息(生成信息)或模式信号通过合并分别从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据的至少一部分来生成输出图像。备选地或附加地，图像生成器1214可以根据图像生成信息(生成信息)或模式信号通过选择分别从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据之一来生成输出图像。
[0182]
在一些实施例中，图像生成信息(例如，“生成信息”)可以包括变焦信号或变焦因子。备选地或附加地，在一些实施例中，模式信号可以是例如基于从用户选择的模式的信号。
[0183]
在图像生成信息(生成信息)是变焦信号(或变焦因子)并且相机模块1100a、1100b和1100c具有不同视场的情况下，图像生成器1214可以根据变焦信号的种类来执行不同的操作。例如，在变焦信号是第一信号的情况下，图像生成器1214可以合并从相机模块1100a输出的图像数据和从相机模块1100c输出的图像数据，并且可以通过使用所合并的图像信
号和从相机模块1100b输出的未在合并操作中使用的图像数据来生成输出图像。在变焦信号是与第一信号不同的第二信号的情况下，在没有图像数据合并操作的情况下，图像生成器1214可以选择分别从相机模块1100a、1100b和1100c输出的图像数据之一，并且可以将选择的图像数据作为输出图像输出。然而，本公开不限于此，并且如果需要，可以非限制性地修改处理图像数据的方式。
[0184]
在一些实施例中，图像生成器1214可以通过从多个子图像处理器1212a、1212b和1212c中的至少一个接收具有不同曝光时间的多个图像数据并对多个图像数据执行高动态范围(hdr)处理，来生成具有增加的动态范围的合并图像数据。
[0185]
在一个实施例中，多个子图像处理器1212a、1212b和1212c以及图像生成器1214可以是参考图1至图15描述的图像信号处理器或者可以包括在所述图像信号处理器中。
[0186]
相机模块控制器1216可以分别向相机模块1100a、1100b和1100c提供控制信号。从相机模块控制器1216生成的控制信号可以通过彼此分开的控制信号线csla、cslb和cslc分别提供给对应的相机模块1100a、1100b和1100c。
[0187]
多个相机模块1100a、1100b和1100c之一可以根据包括变焦信号或模式信号的图像生成信息(生成信息)被指定为主相机(例如，1100b)，并且剩余的相机模块(例如，1100a和1100c)可以被指定为从相机。上述指定信息可以包括在控制信号中，并且包括指定信息的控制信号可以通过彼此分开的控制信号线csla、cslb和cslc分别提供给对应的相机模块1100a、1100b和1100c。
[0188]
作为主相机和从相机操作的相机模块可以根据变焦因子或操作模式信号而改变。例如，在相机模块1100a的视场比相机模块1100b的视场宽并且变焦因子指示低变焦比的情况下，相机模块1100b可以作为主相机操作，并且相机模块1100a可以作为从相机操作。相反，在变焦因子指示高变焦比的情况下，相机模块1100a可以作为主相机操作，而相机模块1100b可以作为从相机操作。
[0189]
在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个相机模块的控制信号可以包括同步使能信号。例如，在相机模块1100b用作主相机并且相机模块1100a和1100c用作从相机的情况下，相机模块控制器1216可以将同步使能信号发送到相机模块1100b。被提供有同步使能信号的相机模块1100b可以基于提供的同步使能信号生成同步信号，并且可以通过同步信号线ssl将生成的同步信号提供给相机模块1100a和1100c。相机模块1100b和相机模块1100a和1100c可以与同步信号同步以将图像数据发送到应用处理器1200。
[0190]
在一些实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个相机模块的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以在与感测速度相关的第一操作模式和第二操作模式中操作。
[0191]
在第一操作模式中，多个相机模块1100a、1100b和1100c可以以第一速度生成图像信号(例如，可以生成第一帧率的图像信号)，可以以第二速度对图像信号进行编码(例如，可以对高于第一帧率的第二帧率的图像信号进行编码)，并将编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可以是第一速度的30倍或更少。
[0192]
应用处理器1200可以将接收的图像信号(即编码的图像信号)存储到应用处理器
1200中设置的内部存储器1230中或存储到应用处理器1200外部放置的外部存储器1400中。之后，应用处理器1200可以从内部存储器1230或外部存储器1400读取并解码所编码的图像信号，并且可以显示基于解码的图像信号而生成的图像数据。例如，图像处理设备1210的子图像处理器1212a、1212b和1212c中的对应的子图像处理器可以执行解码，并且也可以对解码的图像信号执行图像处理。
[0193]
在第二操作模式中，多个相机模块1100a、1100b和1100c可以以第三速度生成图像信号(例如，可以生成低于第一帧率的第三帧率的图像信号)并将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是未被编码的信号。应用处理器1200可以对接收的图像信号执行图像处理或者可以将图像信号存储在内部存储器1230或外部存储器1400中。
[0194]
pmic 1300可以分别向多个相机模块1100a、1100b和1100c提供电力(例如，电源电压)。例如，在应用处理器1200的控制下，pmic 1300可以通过电力信号线psla向相机模块1100a提供第一电力，可以通过电力信号线pslb向相机模块1100b提供第二电力，并且可以通过电力信号线pslc向相机模块1100c提供第三电力。
[0195]
响应于来自应用处理器1200的电力控制信号pcon，pmic 1300可以生成与多个相机模块1100a、1100b和1100c中的每一个相对应的电力并且可以调整电力的电平。电力控制信号pcon可以包括用于多个相机模块1100a、1100b和1100c的每一个操作模式的电力调整信号。例如，操作模式可以包括低电力模式。在这种情况下，电力控制信号pcon可以包括与在低电力模式下操作的相机模块和设置电力电平有关的信息。分别提供给多个相机模块1100a、1100b和1100c的电力的电平可以彼此相同或可以彼此不同。备选地或附加地，可以动态地改变电力的电平。
[0196]
图18是根据实施例的应用了存储设备的系统2000的图。图18的系统2000基本上可以是移动系统，例如便携式通信终端(例如，移动电话)、智能电话、平板个人计算机(pc)、可穿戴设备、医疗保健设备或物联网(iot)设备。然而，图18的系统2000不一定限于移动系统，可以是pc、膝上型计算机、服务器、媒体播放器或汽车设备(例如，导航设备)。
[0197]
参考图18，系统2000可以包括主处理器2100、存储器(例如，2200a和2200b)以及存储设备(例如，2300a和2300b)。此外，系统2000可以包括图像捕获设备2410、用户输入设备2420、传感器2430、通信设备2440、显示器2450、扬声器2460、供电设备2470和连接接口2480中的至少一种。
[0198]
主处理器2100可以控制系统2000的所有操作，更具体地，在系统2000中包括的其他组件的操作。主处理器2100可以实现为通用处理器、专用处理器或应用处理器。
[0199]
主处理器2100可以包括至少一个cpu核2110并且还包括控制器2120，控制器2120被配置为控制存储器2200a和2200b和/或存储设备2300a和2300b。在一些实施例中，主处理器2100还可以包括加速器2130，加速器2130是用于诸如人工智能(ai)数据操作之类的高速数据操作的专用电路。加速器2130可以包括图形处理单元(gpu)、神经处理单元(npu)和/或数据处理单元(dpu)并且被实现为与主处理器2100的其他组件物理上分开的芯片。
[0200]
存储器2200a和2200b可以用作系统2000的主存储设备。尽管存储器2200a和2200b中的每一个可以包括易失性存储器，例如静态随机存取存储器(sram)和/或动态ram(dram)，存储器2200a和2200b中的每一个也可以包括非易失性存储器，例如闪存、相变ram
(pram)和/或电阻式ram(rram)。存储器2200a和2200b可以在与主处理器2100相同的封装中实现。
[0201]
存储设备2300a和2300b可以用作被配置为存储数据(而不管是否对其供电)的非易失性存储设备，并且具有比存储器2200a和2200b大的存储容量。存储设备2300a和2300b可以分别包括存储控制器(strg ctrl)2310a和2310b以及被配置为通过存储控制器2310a和2310b的控制来存储数据的nvm(非易失性存储器)2320a和2320b。尽管nvm 2320a和2320b可以包括具有二维(2d)结构或三维(3d)v-nand结构的闪存，但是nvm 2320a和2320b可以包括其他类型的nvm，例如pram和/或rram。
[0202]
存储设备2300a和2300b可以与主处理器2100物理上分开并且包括在系统2000中，或者在与主处理器2100的封装相同的封装中实现。此外，存储设备2300a和2300b可以具有固态设备(ssd)或存储卡的类型并且通过接口(例如，将在下面描述的连接接口2480)可拆卸地与系统2000的其他组件组合。存储设备2300a和2300b可以是应用了诸如通用闪存(ufs)、嵌入式多媒体卡(emmc)或非易失性存储器快速(nvme)之类的标准协议的设备，但不限于此。
[0203]
图像捕获设备2410可以捕获静止图像或运动图像。图像捕获设备2410可以包括相机、摄像机和/或网络摄像头。
[0204]
用户输入设备2420可以接收系统2000的用户输入的各种类型的数据并且包括触摸板、键区、键盘、鼠标和/或麦克风。
[0205]
传感器2430可以检测可以从系统2000外部获得的各种类型的物理量，并将检测到的物理量转换为电信号。传感器2430可以包括温度传感器、压力传感器、照度传感器、位置传感器、加速度传感器、生物传感器和/或陀螺仪传感器。
[0206]
通信设备2440可以根据各种通信协议在系统2000之外的其他设备之间发送和接收信号。通信设备2440可以包括天线、收发器和/或调制解调器。
[0207]
显示器2450和扬声器2460可以用作被配置为分别向系统2000的用户输出视觉信息和听觉信息的输出设备。
[0208]
供电设备2470可以适当地转换从嵌入在系统2000中的电池(未示出)和/或外部电源提供的电力，并向系统2000的组件中的每一个提供经转换的电力。
[0209]
连接接口2480可以提供系统2000和外部设备之间的连接，该外部设备连接到系统2000并且能够向系统2000发送数据和从系统2000接收数据。可以通过使用各种接口方案来实现连接接口2480，例如，高级技术附件(ata)、串行ata(sata)、外部sata(e-sata)、小型计算机小型接口(scsi)、串行附接scsi(sas)、外围组件互连(pci)、pci快速(pcie)、nvme、ieee 1394、通用串行总线(usb)接口、安全数字(sd)卡接口、多媒体卡(mmc)接口、emmc接口、ufs接口、嵌入式ufs(eufs)接口和紧凑型闪存(cf)卡接口。
[0210]
在实施例中，图像捕获设备2410可以包括参考图1至图17描述的图像系统或多相机。
[0211]
根据本公开，提供一种具有提高的性能和降低的功耗的图像信号处理器、该图像信号处理器的操作方法以及包括该图像信号处理器的图像传感器设备。
[0212]
尽管已经参考本公开的实施例描述了本公开，但是对于本领域普通技术人员而言将显而易见的是，在不脱离所附权利要求所阐述的本公开的精神和范围的情况下，可以对
其进行各种改变和修改。