图像处理电路、包括其的片上系统以及提高图像质量的方法与流程

图像处理电路、包括其的片上系统以及提高图像质量的方法
1.相关应用的交叉引用
2.本技术基于2021年4月20日在美国专利商标局提交的美国临时申请第63/177，027号和2021年8月18日在韩国知识产权局提交的韩国专利申请第10-2021-0108957号，并要求其优先权。
技术领域
3.本发明的概念涉及图像处理，更具体地，涉及图像处理电路、包括该图像处理电路的片上系统以及增强图像质量的方法。


背景技术：

4.图像可以通过各种设备获得。例如，可以通过使用智能手机的内置相机来捕获图像，并且可以校正捕获的图像。
5.校正图像的算法可能会有所不同。作为代表性示例，可以使用确定可以表示整个图像的一个场景并校正图像的整体色调和/或颜色以强调该场景的方法。
6.然而，具有各种特征的对象可能在一个图像中。当对整个图像执行均匀校正而不区分图像中对象的特征时，难以获得均匀校正的图像。


技术实现要素：

7.示例实施例提供了用于执行图像的逐像素校正的图像处理电路、包括该图像处理电路的片上系统(soc)以及提高图像质量的方法。
8.根据示例实施例，一种图像处理电路可以包括：调谐电路，被配置为接收包括第一图像的逐像素类别推断信息的分割图和包括类别推断信息的置信度的置信度图，基于分割图和置信度图确定第一图像的各个像素的类别、第一图像的每个像素的校正效果以及指示校正效果的强度的校正值，并且基于各个像素的类别和校正值生成校正图；和至少一个校正电路，被配置为通过基于校正图将根据校正值的校正效果应用于第一图像的各个像素来生成增强图像。
9.根据另一示例实施例，一种提高第一图像质量的方法可以包括：接收第一图像；通过使用训练的神经网络模型推断第一图像的各个像素所属的类别并计算第一类别推断信息的第一置信度来生成第一类别推断信息；基于根据类别和置信度确定校正值的表格，确定要应用于第一图像的每个像素的第一校正效果和第一校正值；以及通过对每个像素应用与第一校正值一样多的第一校正效果来生成增强图像。
10.根据另一示例实施例，一种用于通过校正第一图像来生成增强图像的片上系统(soc)可以包括：第一电路，被配置为通过使用训练的神经网络模型来生成第一图像的每个像素的第一类别推断信息和各个第一类别推断信息的第一置信度；和第二电路，被配置为基于各个第一类别推断信息和每个像素的相应第一置信度来确定第一图像的每个相应像素的校正值，并且通过将对应于相应校正值的校正效果应用于第一图像的相应像素来生成
增强图像。
11.根据示例实施例，一种用于校正第一图像的片上系统(soc)可以包括：分割电路，被配置为接收第一图像，并且通过使用训练的神经网络模型，生成包括对应于第一图像的每个像素的类别推断信息的分割图和包括第一图像的每个相应像素的类别推断信息的置信度的置信度图；和图像处理电路，被配置为通过基于分割图和置信度图确定要应用于第一图像的每个像素的校正效果来生成校正图，并且基于校正图将校正效果应用于第一图像。
附图说明
12.从以下结合附图的详细描述中将更清楚地理解示例实施例，其中:
13.图1是示出根据示例实施例的图像处理系统的框图；
14.图2是示出根据示例实施例的神经网络模型的框图；
15.图3是示出根据示例实施例的放大电路的框图；
16.图4是示出根据示例实施例的分割图和置信度图的示例的图；
17.图5是示出根据示例实施例的分割图的示例的图；
18.图6是示出根据示例实施例的调谐电路的操作的示例的图；
19.图7是示出根据示例实施例的类别信息的示例的图；
20.图8是示出根据示例实施例的设置值表的一部分的示例的图；
21.图9是示出根据示例实施例的图像处理系统的操作的流程图；
22.图10是示出根据示例实施例的图像处理系统的框图；
23.图11是示出根据示例实施例的图像处理系统的操作的流程图；
24.图12是示出根据示例实施例的图像处理系统的框图；
25.图13是示出根据示例实施例的图像处理系统的操作的流程图；
26.图14是示出根据示例实施例的系统的框图；和
27.图15是根据示例实施例的电子设备的框图。
具体实施方式
28.图1是示出根据示例实施例的图像处理系统的框图。
29.参考图1，图像处理系统10可以包括用于通过校正图像image_h(第一图像)来输出增强图像的多个电路。图像image_h可以由图像信号处理器(isp)生成。例如，图像image_h可以对应于静止图像或包括多个帧的运动图像的一帧。
30.根据示例实施例，图像处理系统10可以包括图像处理电路100、分割电路200和/或放大电路250。图像处理电路100、分割电路200和放大电路250可以各自由硬件、软件(或固件)或硬件和软件的组合来实现，以实现本发明的概念。此外，尽管未示出，图像处理系统10还可以包括用于编码增强图像的编码器。
31.分割电路200可以接收图像并通过使用训练的神经网络模型210执行将图像分割成多个区域的分割操作。例如，分割电路200可以推断对应于图像中多个像素中的每一个的类别。根据实施例，分割电路200可以通过推断对应于每个像素的类别来形成分割图。根据实施例，对应于相同类别推断信息的像素可以形成区域。
32.此外，分割电路200可以计算每个像素的推断类别的置信度。根据实施例，置信度可以以置信度图的形式形成。根据实施例，分割图的尺寸和置信度图的尺寸可以各自与图像的尺寸相同。
33.根据实施例，分割电路200可以接收低分辨率图像image_l，其是要校正的图像image_h的缩小图像。重申一下，低分辨率图像可以是第一图像的较低分辨率版本。低分辨率图像image_l可以具有比图像image_h小的尺寸。分割电路200可以通过使用神经网络模型210为低分辨率图像image_l生成低分辨率分割图和低分辨率置信度图。在这种情况下，低分辨率分割图的尺寸和低分辨率置信度图的尺寸可以各自与低分辨率图像image_l的尺寸相同。在下文中，将参考图2更详细地描述神经网络模型210。
34.放大电路250可以从分割电路200接收低分辨率分割图和低分辨率置信度图，并且通过对应于图像image_h的尺寸内插和放大每个分割图和置信度图来生成每个都具有与图像image_h相同尺寸的分割图和置信度图。
35.图像处理电路100可以接收图像image_h，执行用于改善图像image_h的图像质量或校正图像image_h的一系列处理，并且作为其结果生成增强图像。图像处理电路100可以接收图像image_h以及图像image_h的分割图和置信度图。
36.图像处理电路100可以包括调谐电路140和至少一个校正电路101。
37.调谐电路140可以基于分割图和置信度图来确定要应用于图像image_h的每个像素的校正效果以及校正效果的强度。在下文中，为了便于解释，校正效果的强度可以被称为校正值。为了对每个像素应用至少一个校正效果，调谐电路140可以生成对应于相应校正效果的校正图，并将校正图提供给至少一个校正电路101。
38.至少一个校正电路101可以从调谐电路140接收校正图，并且将校正效果应用于图像image_h的各个像素。根据实施例，至少一个校正电路101可以将校正效果应用于要应用相同校正效果的多个像素。
39.根据实施例，至少一个校正电路101可以包括去噪电路110、颜色校正电路120和锐化电路130。去噪电路110可以降低至少一个像素的噪声，颜色校正电路120可以调整至少一个像素的颜色值，锐化电路130可以增加至少一个像素的锐度。至少一个校正电路101可以进一步包括提供各种类型的校正效果的电路，并且至少一个校正电路101可以各自由硬件、软件(或固件)或硬件和软件的组合来实现。
40.根据实施例，图像处理电路100可以对每个都包括被分类为相同类别的像素的区域逐个区域地执行校正。例如，为了对包括被分类为第一类别的像素的第一区域应用第一校正效果，图像处理电路100可以使用降低第一区域的噪声的去噪电路110、调整第一区域的颜色值的颜色校正电路120和增加第一区域的锐度的锐化电路130中的至少一个。此时，图像处理电路100可以使用置信度图来调整应用于第一像素或包括第一像素的第一区域的校正效果的强度。
41.根据示例实施例的图像处理电路100可以确定并应用要应用于图像image_h中的多个像素中的每一个的校正效果。换句话说，通过逐像素地应用校正效果，可以执行精细校正，因此，可以获得具有改善的图像质量的图像。
42.此外，通过对不同类别的像素复杂排列的图像image_h逐像素地执行分割和校正，与逐区域校正相比，可以执行对应于各个像素的精确校正，从而提高用户满意度。
43.图2是示出根据示例实施例的神经网络模型的框图。
44.参考图2，分割电路200可以从isp接收通过缩小图像image_h生成的低分辨率图像image_l。分割电路200可以将低分辨率图像image_l输入到神经网络模型210，并获得低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l作为输出。分割电路200可以向放大电路250提供低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l。
45.低分辨率分割图map_seg_l可以包括低分辨率图像image_l的每个像素的类别推断信息。低分辨率置信度图map_conf_l可以包括低分辨率图像image_l的每个像素的类别推断信息的置信度。例如，低分辨率分割图map_seg_l的第二像素和低分辨率置信度图map_conf_l的第三像素可以各自对应于低分辨率图像image_l的第一像素。在这种情况下，低分辨率分割图map_seg_l的第二像素可以指示第一像素的类别推断信息，低分辨率置信度图map_conf_l的第三像素可以指示相应类别推断信息的概率和/或置信度。
46.分割电路200可以包括训练完成的神经网络模型210。神经网络模型210可以学习被定义为具有不同校正效果的多个类别和像素之间的关系。在这种情况下，对于去噪效果、颜色校正效果和锐化效果中的至少一个，类别可以具有不同的权重。
47.神经网络模型210可以离线训练。根据实施例，神经网络模型210可以通过在训练设备(例如，基于大量学习数据训练神经网络的服务器)中训练而生成。根据实施例，神经网络模型210可以使用任意像素和对应于该任意像素标记的类别作为训练数据。例如，训练图像和为训练图像的各个像素标记的类别可以用作训练数据。
48.以下，在本说明书中，将在假设网络模型210的参数(例如，网络拓扑、偏差、权重等)已经通过训练确定的情况下给出描述。然而，本发明的概念不限于此。
49.例如，神经网络模型210可以包括各种类型的神经网络模型中的至少一种，如卷积神经网络(cnn)、具有卷积神经网络的区域(r-cnn)、区域建议网络(rpn)、递归神经网络(rnn)、基于堆叠的深度神经网络(s-dnn)、状态空间动态神经网络(s-sdnn)、反卷积网络、深度信念网络(deep belief network dbn)、受限玻尔兹曼机(rbm)、完全卷积网络、长期短期记忆(lstm)网络和分类网络。
50.图3是示出根据示例实施例的放大电路的框图。
51.参考图3，放大电路250可以通过放大和/或内插低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l来生成分割图map_seg_h和置信度图map_conf_h。由放大电路250生成的分割图map_seg_h和置信度图map_conf_h中的每一个的尺寸可以与图1中的图像image_h的尺寸相同。
52.放大电路250可以使用各种算法来执行缩放和/或内插。例如，放大电路250可以通过内插核来卷积低质量或低分辨率图像，并且在新的网格中对卷积图像进行重采样。例如，放大电路250可以使用线性内插滤波器，并且可以应用联合双边滤波器来保持边缘清晰。然而，本发明的概念不限于此。
53.放大电路250可以将分割图map_seg_h和置信度图map_conf_h提供给图像处理电路(例如，图1的100)。
54.图4是示出根据示例实施例的分割图和置信度图的示例的图。
55.一起参考图1和图4，分割图map_seg_h可以包括多个像素px，并且每个像素px可以包括类别推断信息info_class。换句话说，分割图map_seg_h的每个像素px可以包括图像
image_h的对应像素的类别推断信息info_class。根据实施例，类别推断信息info_class可以包括n(n是自然数，例如，n是3)位，但是本发明的概念不限于此。例如，当从神经网络模型输出的类别推理信息info_class的类型增加时，表示类别推理信息info_class的位数可能增加。重申一下，分割图的每个像素可以包括具有n位的值。
56.置信度图map_conf_h可以包括多个像素px，并且每个像素px可以包括置信度conf。置信度图map_conf_h的每个像素px可以对应于分割图map_seg_h的像素和图像image_h的像素。置信度图map_conf_h的每个像素px可以包括图像image_h的对应像素的类别推断信息info_class的置信度conf。根据示例实施例，置信度conf可以包括m(m是自然数，例如，m是5)位，但是本发明的概念不限于此。重申一下，置信度图的每个像素可以包括具有m位的值，其中m的值大于n的值
57.图5是示出根据示例实施例的分割图的示例的图。
58.参考图5，分割图map_seg_h中每个像素的位置可以对应于图像image_h中相应像素的位置，并且分割图map_seg_h中每个像素的值可以指示图像image_h的相应像素被推断到的类别。
59.例如，在图像image_h中，对应于分支的部分可以被推断为第一类别class1，对应于天空的部分可以被推断为第二类别class2，对应于人的头发的部分可以被推断为第三类别class3，对应于人的面部的部分可以被推断为第四类别class4，以及对应于人的皮肤的部分可以被推断为第五类别class5。
60.根据示例实施例，考虑到要应用于图像image_h的各个像素的校正效果，图像image_h的像素可以被分割。换句话说，需要应用不同校正效果的像素可以被分割成不同的类别。
61.此外，根据示例实施例，因为逐像素地执行分割，所以即使在包括像毛发和树枝这样的对象的详细且复杂的图像image_h中，也可以提高分割的准确度。
62.图6是示出根据示例实施例的调谐电路的操作示例的图。
63.参考图6，调谐电路140可以从外部接收图像image_h，并且可以从图1的放大电路250接收分割图map_seg_h和置信度图map_conf_h。例如，图像image_h可以通过图像传感器在图像处理电路(例如，图1的100)内生成。
64.调谐电路140可以包括配置表141、选择电路142和混合电路143。选择电路142和混合电路143可以各自由硬件、软件(或固件)或硬件和软件的组合来实现。
65.配置表141可以包括分割图map_seg_h的每个像素指示的类别推断信息和根据置信度图map_conf_h的每个像素指示的置信度要应用的校正效果。例如，配置表141可以包括指示校正效果强度的校正值。
66.根据实施例，对应于图像image_h的任意像素的分割图map_seg_h的像素可以表示第一类别，对应于图像image_h的任意像素的置信度图map_conf_h的像素可以表示第一值。在这种情况下，当第一类别具有第一值并且被推断时，配置表141可以包括要应用于任意像素的校正效果和要应用于任意像素的校正值。例如，当任意像素被确定为具有第一置信度的第一类别时，配置表141可以向任意像素应用与第一校正值一样多的第一校正效果，并且向任意像素应用与第二校正值一样多的第二校正效果。
67.在本说明书中，虽然描述了对应于至少一个校正电路预先确定配置表141，但是本
发明的概念不限于此，并且可以改变配置表141中包括的信息。
68.选择电路142可以基于分割图map_seg_h、置信度图map_conf_h和预设阈值来确定图像image_h的每个像素的类别。例如，选择电路142可以基于类别推断信息和每个像素的置信度来确定图像image_h的每个像素的类别。在这种情况下，选择电路142可以包括类别信息和预设阈值。类别信息可以包括每个像素可以被分类到的类别的类型。
69.将作为示例描述根据分割图map_seg_h将任意像素推断为第一类别并且任意像素的推断置信度对应于根据置信度图map_conf_h的第一值的情况。需要被确定为第一类别的阈值可以是第一阈值。选择电路142可以将用于根据推断结果将任意像素确定为第一类别的第一阈值与第一值进行比较。当第一值超过(或等于或大于)第一阈值时，选择电路142可以将任意像素的类别确定为第一类别。
70.图像image_h中的多个像素的每一个的类别可以由选择电路142确定。即使当任何两个像素属于同一类别时，根据两个像素中每一个的置信度，要对其应用的校正效果也可能不同。在这种情况下，考虑到置信度，混合电路143可以确定要应用于每个像素的校正效果的强度，即校正值。
71.混合电路143可以通过基于由选择电路142确定的各个像素的类别考虑置信度图map_conf_h来生成对应于各个校正效果的第一至第三校正图tmap1、tmap2和tmap3。第一至第三校正图tmap1、tmap2和tmap3中的每一个的尺寸可以与图像image_h的尺寸相同。第一至第三校正图tmap1、tmap2和tmap3的像素可以表示要应用于图像image_h中的各个像素的校正值
72.根据实施例，混合电路143可以生成包括去噪效果的校正值的第一校正图tmap1、包括颜色校正效果的校正值的第二校正图tmap2和包括锐化效果的校正值的第三校正图tmap3。混合电路143可以分别向去噪电路110、颜色校正电路120和锐化电路130提供第一至第三校正图tmap1、tmap2和tmap3。
73.尽管在图6中示出了生成三个校正图，即第一至第三校正图tmap1、tmap2和tmap3，但是本发明的概念不限于此，混合电路143可以生成与去噪电路110、颜色校正电路120和锐化电路130的数量一样多的校正图。
74.图7是示出根据示例实施例的类别信息的示例的图。
75.参考图7，类别信息info_class可以包括在调谐电路(例如，图6的140)中。类别信息info_class可以包括图像的像素可以被分类到的多个类别。
76.类别和/或子类别可以根据校正效果生成。换句话说，要应用相同校正效果的像素可以被分类为同一类别，而要应用不同校正效果的像素可以被分类为不同类别。然而，本发明的概念不限于此，并且可以基于像素的特性，例如颜色信息，来生成类别和/或子类别。
77.根据实施例，一个类别可以包括至少一个子类别。根据实施例，类别信息info_class可以包括第一至第七类别class1至class7，第四类别class4可以包括第一至第三子类别subclass 1至subclass 3。例如，第一至第七类别class1至class7可以分别对应于面部类别、皮肤类别、天空类别、细节类别、眼睛类别、眉毛类别和头发类别。在这种情况下，细节类别可包括草子类别、沙子类别和分支子类别。然而，类别和子类别的类型和数量不限于此，并且可以改变。类别和子类别可以应用于分割图。分割图的每个像素可以包括面部类别、皮肤类别、天空类别、细节类别、眼睛类别、眉毛类别和头发类别中的至少一个。
78.图8是示出根据示例实施例的设置值表的一部分的示例的图。
79.一起参考图6和图8，配置表141可以包括根据多个校正效果的置信度的校正值。在下文中，将基于一个类别的示例给出描述，但是该描述可以类似地应用于其他类别。
80.例如，调谐电路140的选择电路142可以将图像image_h中的任意像素确定为第一类别class 1。此时，混合电路143可以通过参考图像image_h的置信度图map_conf_h，根据任意像素的置信度来确定校正值。
81.例如，当第一类别class 1的置信度为0.25时，混合电路143可以确定对任意像素应用d2的去噪效果、c2的颜色校正效果和s2的锐化效果。因此，在用于去噪效果的第一校正图tmap1中，对应于任意像素的像素值可以被确定为d2，在用于颜色校正效果的第二校正图tmap2中，对应于任意像素的像素值可以被确定为c2，并且在用于锐化效果的第三校正图tmap3中，对应于任意像素的像素值可以被确定为s2。换句话说，混合电路143生成包括d2的第一校正图tmap1、包括c2的第二校正图tmap2和包括s2的第三校正图tmap3。
82.根据本公开的示例实施例，因为校正效果和校正值是逐像素确定的，所以即使在包括复杂形状的图像image_h中，也可以执行根据每个像素的特性的校正。因此，改善包括复杂形状的图像image_h的图像质量可能是有帮助的。
83.图9是示出根据示例实施例的图像处理系统的操作的流程图。
84.一起参考图1、6和9，可以执行接收图像image_h的操作(操作s110)。例如，图像处理系统10可以从图像传感器获得图像image_h。
85.可以执行基于接收的图像image_h生成低分辨率图像image_l的操作(操作s120)。
86.通过使用训练的神经网络模型210，可以生成低分辨率图像image_l的低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l(操作s130)。根据实施例，神经网络模型210可以通过使用训练图像和标记为训练图像的各个像素的正确答案类别作为训练数据来训练。此时，正确答案类别可以对应于要应用于训练图像的各个像素的校正效果。根据实施例，低分辨率图像image_l的各个像素所属的类别可以由神经网络模型210推断，并且可以为每个像素计算推断类别的置信度。在一些实施例中，神经网络模型210可以包括组织和处理模型，例如卷积神经网络(cnn)、去卷积神经网络、可选地包括长期短期记忆(lstm)单元和/或门控递归单元(gru)的递归神经网络(rnn)、堆叠神经网络(snn)、状态空间动态神经网络(ssdnn)、深度信念网络(dbn)、生成对抗网络(gan)和/或受限玻尔兹曼机器(rbm)。
87.通过放大低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l，可以生成图像image_h的分割图map_seg_h和置信度图map_conf_h(操作s140)。
88.基于分割图map_seg_h和置信度图map_conf_h，可以确定要应用于图像image__h的每个像素的校正效果和校正效果的强度，即校正值(操作s150)。根据实施例，可以为相应的校正效果生成第一至第三校正图tmap1、tmap2和tmap3。第一至第三校正图tmap1、tmap2和tmap3可以包括校正值，并且可以各自具有与图像image_h相同的尺寸。
89.可以通过将对应于校正值的校正效果应用于各个像素来生成增强图像(操作s160)。根据实施例，去噪电路110、颜色校正电路120和锐化电路130可以基于第一至第三校正图tmap1、tmap2和tmap3将校正效果应用于图像image_h的各个像素。在这种情况下，增强图像可以对应于具有改善的图像质量的图像image_h。增强图像可以存储在存储器中，发送到另一个设备，显示在显示器上，或者以其他方式发送、存储或使用。
90.此后，增强图像被提供给编码器，并且可以进一步执行以各种格式压缩增强图像的操作。
91.图10是示出根据示例实施例的图像处理系统的框图。由于图10的图像处理系统20类似于图1的图像处理系统10，因此将省略与上面已经给出的描述相同的描述。例如，图像处理电路300可以基本上类似于图像处理电路100。至少一个校正电路301可以与至少一个校正电路101基本相同。去噪电路310可以与去噪电路110基本相同。颜色校正电路320可以与颜色校正电路120基本相同。锐化电路330可以与锐化电路130基本相同。调谐电路340可以与调谐电路140基本相同。
92.与图1的图像处理系统10不同，在图10的图像处理系统20中，可以省略放大电路(图1的250)。因此，分割电路400可以接收图像image_h，并通过使用训练的神经网络模型410为图像image_h生成分割图map_seg_h和置信度图map_conf_h。
93.根据实施例，图像处理电路300可以被称为第一电路或第一电路的第一部分，并且分割电路400可以被称为第二电路。与图10的图像处理系统20相比，图1的图像处理系统10可以进一步包括放大电路(图1的250；例如，第三电路或第一电路的第二部分)。
94.根据实施例，第二电路可以通过使用训练的神经网络模型410为图像image_h的每个像素生成第一类别推断信息和第一类别推断信息的第一置信度。第一电路可以基于第一类别推断信息和第一置信度来确定图像image_h的每个像素的校正值，并且将对应于校正值的校正效果应用于图像image_h的各个像素，从而生成增强图像。这里，当如图1的图像处理系统10中进一步包括第三电路时，第二电路可以接收低分辨率图像，并通过使用神经网络模型410为低分辨率图像的每个像素生成第二类别推断信息和第二置信度。第三电路可以基于第二类别推理信息和第二置信度生成第一类别推理信息和第一置信度。第一电路可以被配置为经由第三电路生成第一类别推断信息和第一置信度。
95.分割电路400可以将分割图map_seg_h和置信度图map_conf_h提供给图像处理电路300的调谐电路340。图像处理电路300可以基于分割图map_seg_h和置信度图map_conf_h对图像image_h执行逐像素校正操作。
96.图11是示出根据示例实施例的图像处理系统的操作的流程图。
97.一起参考图10和11，可以执行接收图像image_h的操作(操作s210)。例如，图像处理系统20可以从图像传感器获得图像image_h。图像处理电路300和分割电路400可以接收图像image_h
98.图像image_h的分割图map_seg_h和置信度图map_conf_h可以通过使用训练的神经网络模型410来生成(操作s220)。根据实施例，分割电路400可以通过使用神经网络模型410来推断图像image_h的每个像素所属的类别，并且可以计算为每个像素推断的类别的置信度。
99.基于分割图map_seg_h和置信度图map_conf_h，可以确定要应用于图像image_h的每个像素的校正效果和校正效果的强度，即校正值(操作s230)。可以通过将对应于校正值的校正效果应用于各个像素来生成增强图像(操作s240)。
100.此后，增强图像被提供给编码器，并且可以由编码器进一步执行以各种格式压缩增强图像的操作。
101.图12是示出根据示例实施例的图像处理系统的框图。由于图12的图像处理系统30
类似于图1的图像处理系统10，因此将省略与上面已经给出的描述相同的描述。例如，图像处理电路720可以基本上类似于图像处理电路100。去噪电路721可以与去噪电路110基本相同。颜色校正电路722可以与颜色校正电路120基本相同。锐化电路723可以与锐化电路130基本相同。调谐电路724可以与调谐电路140基本相同。
102.与图1的图像处理系统10不同，图12的图像处理系统30可以进一步包括场景检测电路710。根据示例实施例的场景检测电路710可以确定表示图像image_h的场景。例如，表示图像image_h的场景可以被确定为食物、风景、人等。场景检测电路710(基于颜色的分割电路)可以使用各种算法来确定表示图像image_h的场景。例如，可以使用特征点提取算法、面部识别算法、基于颜色的分割算法等。
103.场景检测电路710可以根据确定的场景生成校正效果和校正值。包括由场景检测电路710生成的校正效果和校正值的信息可以被称为子校正信息。场景检测电路710可以向图像处理电路720提供子校正信息。图像处理电路720可以基于子校正信息对图像image_h应用校正效果。此外，场景检测电路710可以由用于实现技术精神的硬件、软件(或固件)或硬件和软件的组合来实现。在这种情况下，场景检测电路710可以包括在isp中。
104.如上参考图1所述，分割图map_seg_h和置信度图map_conf_h可以通过分割电路730和放大电路740生成。置信度图map_conf_h可以包括分割图map_seg_h的每个像素的概率和/或置信度。
105.图像处理电路720可以从场景检测电路710接收子校正信息，并且可以从放大电路740接收分割图map_seg_h和置信度图map_conf_h。
106.图像处理电路720可以基于子校正信息来校正图像image_h，并且基于分割图map_seg_h和置信度图map_conf_h来校正图像image_h。这两个校正操作可以并行或顺序执行。作为校正操作的结果，可以产生增强的图像。
107.例如，调谐电路724可以基于分割图map_seg_h和置信度图map_conf_h来确定图像image_h的每个像素的类别，并确定要应用于每个像素的校正效果和校正值。调谐电路724可以生成包括校正效果和校正值的校正图。
108.校正电路721、722和723中的至少一个可以基于子校正信息来校正图像image_h。接下来，可以基于由调谐电路724生成的校正图来校正图像image_h。例如，校正电路721、722和723中的至少一个可以通过使用子校正信息来校正整个图像image_h，并且基于校正图来校正图像image_h的每个像素。
109.图13是示出根据示例实施例的图像处理系统的操作的流程图。
110.一起参考图12和13，可以执行接收图像image_h的操作(操作s310)。可以基于图像image_h生成低分辨率图像image_l(操作s315)。通过使用训练的神经网络模型731，可以生成低分辨率图像image_l的低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l(操作s320)。通过放大低分辨率分割图map_seg_l和低分辨率置信度图map_conf_l，可以生成图像image_h的分割图map_seg_h和置信度图map_conf_h(操作s325)。基于分割图map_seg_h和置信度图map_conf_h，可以确定要应用于图像image_h的每个像素的校正效果和校正值(操作s330)。对应于校正值的校正效果可以应用于每个像素(操作s335)。
111.可以确定表示图像image_h的场景(操作s345)。基于确定的场景，可以生成图像image_h的子校正信息(操作s350)。基于子校正信息，可以对整个图像image_h应用校正效
果(操作s355)。
112.操作s345至s355可以与操作s315至s335并行或顺序执行。
113.图14是示出根据示例实施例的系统的框图。
114.参考图14，系统40可以实现为手持设备，如移动电话、智能手机、平板电脑、个人数字助理(pda)、企业数字助理(eda)、数字静态相机、数字视频相机、便携式多媒体播放器(pmp)、个人导航设备(pdn)、手持游戏控制台或电子书。
115.系统40可以包括片上系统500和存储设备600。soc 500可以包括中央处理单元(cpu)510、图形处理单元(gpu)520、神经处理单元(npu)530、isp 540、存储器接口(mif)550、时钟管理单元(cmu)560和电源管理单元(pmu)570。cpu 510、gpu 520、npu 530和isp 540可以被称为主ip设备，mif 550可以被称为从ip设备。
116.cpu 510、gpu 520、npu 530和isp 540中的至少一个可以包括上面参考图1至13描述的图像处理系统10、20或30。图像处理系统10、20或30的组件可以在同一ip设备中实现，或者至少一个组件可以在另一ip设备中实现。根据实施例，gpu 520可以包括放大电路521，npu 530可以包括分割电路531，isp 540可以包括图像处理电路541。
117.例如，isp 540可以生成要校正的图像，为要校正的图像生成低分辨率图像，并将低分辨率图像提供给npu 530。npu 530的分割电路531可以生成低分辨率分割图和低分辨率置信度图，并将低分辨率分割图和低分辨率置信度图提供给gpu 520。gpu 520的放大电路521可以生成分割图和置信度图，并且可以将分割图和置信度图提供回isp 540。isp 540的图像处理电路541可以通过基于分割图和置信度图对图像执行逐像素校正来生成增强图像。
118.响应于由cmu 560产生的时钟信号，cpu 510可以处理或执行存储在存储设备600中的指令和/或数据。
119.gpu 520可以响应于cmu 560产生的时钟信号获得存储在存储设备600中的图像数据。gpu 520可以从由mif 550提供的图像数据中生成要通过显示设备(未示出)输出的图像数据，或者可以对图像数据进行编码。
120.npu 530可以指用于执行机器学习模型的任何设备。npu 530可以是被设计成执行机器学习模型的硬件块。机器学习模型可以是基于人工神经网络、决策树、支持向量机、回归分析、贝叶斯网络、遗传算法等的模型。作为非限制性示例，人工神经网络可以包括cnn、r-cnn、rpn、rnn、s-dnn、s-sdnn、反卷积网络、dbn、rbm、去卷积网络、lstm网络和分类网络。
121.isp 540可以对从位于soc 500外部的图像传感器(未示出)接收的原始数据执行信号处理操作，并生成具有改善的图像质量的数字数据。
122.mif 550可以为位于soc 500外部的存储设备600提供接口。存储器设备600可以是动态随机存取存储器(dram),、相变随机存取存储器(pram)、电阻式随机存取存储器(reram)或闪存。
123.cmu 560可以生成时钟信号，并将该时钟信号提供给soc 500的组件。cmu 560可以包括时钟发生器，如锁相环(pll)、延迟锁定环(dll)和晶体。pmu 570可以将外部电力转换成内部电力，并从内部电力向soc 500的组件供电。
124.soc 500还可以包括易失性存储器。易失性存储器可以实现为dram、sram等。易失性存储器可以存储用于图像处理电路541、分割电路531和放大电路521的操作的各种程序
和数据，并且存储由图像处理电路541、分割电路531和放大电路521生成的数据。根据实施例，易失性存储器可以存储低分辨率分割图和低分辨率置信度图，或者可以存储分割图和置信度图。
125.根据示例实施例，图像处理电路541的至少一个校正电路中的每一个可以通过直接存储器存取(dma)来访问易失性存储器。为此，soc 500可以进一步包括访问设备，如dma控制器、存储器dma(mdma)、外围dma(pdma)、远程dma(rdma)、智能dma(sdma)等。
126.图15是根据示例实施例的电子设备的框图。
127.参考图15，根据示例实施例的电子设备1000可以包括图像传感器1100、isp 1200、显示设备1300、应用处理器(ap)1400、工作存储器1500、存储器1600、用户接口1700和无线收发器1800，其中isp 1200可以被实现为与ap 1400分离的集成电路。
128.根据示例实施例，上面参考图1至13描述的图像处理系统10、20或30可以在isp 1200和/或ap 1400上实现。例如，图像处理电路可以在isp 1200上实现，其余组件可以在ap 1400上实现。
129.图像传感器1100可以基于接收的光信号生成例如原始图像数据的图像数据，并且向isp 1200提供二进制数据。ap 1400控制电子设备1000的整体操作，并且可以被实现为驱动应用程序、操作系统等的片上系统(soc)。ap 1400可以控制isp 1200的操作，并将isp 1200生成的转换后的图像数据提供给显示设备1300，或者将转换后的图像数据存储在存储器1600中。
130.工作存储器1500可以存储由ap 1400处理或执行的程序和/或数据。存储器1600可以用非易失性存储设备来实现，如nand闪存或电阻存储器。例如，存储器1600可以被提供为存储卡(多媒体卡(mmc)、嵌入式多媒体卡(emmc)、安全数字卡(sd)、微型sd卡等)。存储器1600可以存储关于控制isp 1200的图像处理操作的执行算法的数据和/或程序，并且当执行图像处理操作时，数据和/或程序可以被加载到工作存储器1500。
131.用户界面1700可以用能够接收用户输入的各种设备来实现，例如键盘、窗帘按键面板、触摸面板、指纹传感器、麦克风等。用户接口1700可以接收用户输入，并向ap 1400提供对应于接收到的用户输入的信号。无线收发器1800可以包括调制解调器1810、收发器1820和天线1830。
132.另外，图像处理系统100和/或其中包括的组件可以包括和/或被包括在处理电路中，例如包括逻辑电路的硬件；硬件/软件组合，例如执行软件的处理器；或它们的组合。例如，处理电路可以包括但不限于中央处理单元(cpu)、存储控制器、算术逻辑单元(alu)、数字信号处理器、微型计算机、现场可编程门阵列(fpga)和可编程逻辑单元、微处理器、专用集成电路(asic)等。
133.虽然已经参照本发明的实施例具体示出和描述了本发明的概念，但是应当理解，在不脱离所附权利要求的精神和范围的情况下，可以在形式和细节上进行各种改变。