清晰度增强控制电路、图像感测装置及其操作方法与流程

清晰度增强控制电路、图像感测装置及其操作方法
1.相关申请的交叉引用
2.本技术要求2020年7月17日提交的申请号为10-2020-0089002的韩国专利申请的优先权，其全部内容通过引用合并于此。
技术领域
3.本发明的各种实施例总体上涉及一种半导体器件。具体地，各种实施例涉及一种用于控制基于边缘的清晰度的强度的基于边缘的清晰度增强控制电路、图像感测装置及其操作方法。


背景技术：

4.近来，计算机环境范例已经转向无处不在的计算，这使得计算机系统几乎可以随时随地使用。结果，诸如移动电话、数码相机、笔记本计算机等便携式电子设备的使用已经迅速增加。
5.近来，由于显示设备的快速发展，具有图像传感器的图像拍摄设备(诸如照相机和便携式摄像机)的发展已经加速。图像拍摄设备可以拍摄图像并将拍摄的图像记录在记录介质中，并且可以随时再现记录的图像。因此，随着图像拍摄设备的使用增加，对图像拍摄设备中更多功能的需求也已经增加。具体地，除了紧凑的尺寸、减轻的重量和较低的功耗之外，期望具有更高容量功能性以及多功能的图像拍摄设备。


技术实现要素：

6.本发明的实施例针对一种用于控制边缘区域的清晰度的强度的基于边缘的清晰度增强控制电路、图像感测装置及其操作方法，其能够通过根据像素数据的边缘方向而将从多个像素输出的像素数据的边缘区域确定为阶跃边缘区域或纹理边缘区域来去除噪音并提高图像的清晰度。
7.在一个实施例中，基于边缘的清晰度增强控制电路可以包括：第一边缘确定单元，其适用于将像素阵列中的多个区域的每个区域确定为边缘区域或平坦区域，所述边缘区域具有关于相应区域的像素数据的边缘信息，所述平坦区域具有关于相应区域的像素数据的平坦信息，所述像素阵列包括多个像素；第二边缘确定单元，其适用于将每个边缘区域确定为阶跃边缘区域或纹理边缘区域，所述阶跃边缘区域具有在相应边缘区域内的方向信息，所述纹理边缘区域具有在相应边缘区域内的非方向信息；以及噪音去除单元，其适用于利用第一滤波器从每个阶跃边缘区域去除噪音，并且适用于利用具有与所述第一滤波器的增益不同的增益的第二滤波器从每个纹理边缘区域去除噪音。
8.第一边缘确定单元可以将每个如下区域确定为边缘区域：在相应区域内的相邻像素的像素数据的标准差大于参考值时，而将每个如下区域确定为平坦区域：在相应区域内的相邻像素的像素数据的标准差小于参考值时，以及第二边缘确定单元可以将每个如下边缘区域确定为阶跃边缘区域：在边缘区域中的方向变化的总数小于设定值时，而将每个如
下边缘区域确定为纹理边缘区域：在边缘区域中的方向变化的总数大于设定值时。
9.第二边缘确定单元可以将每个如下阶跃边缘区域确定为强阶跃边缘区域：在相应的阶跃边缘区域内的相邻像素之间的差值大于固定值时，而将每个如下阶跃边缘区域确定为弱阶跃边缘区域：在相应的阶跃边缘区域内的相邻像素之间的差值小于固定值时。
10.第二边缘确定单元可以将每个如下纹理边缘区域确定为强纹理边缘区域：在相应的纹理边缘区域内的相邻像素之间的差值大于固定值时，而将每个如下纹理边缘区域确定为弱纹理边缘区域：在相应的纹理边缘区域内的相邻像素之间的差值小于固定值时。
11.噪音去除单元可以利用高增益的高频滤波器从每个纹理边缘区域去除噪音，而利用低增益的高频滤波器从每个阶跃边缘区域去除噪音。
12.低增益的高频滤波器通过从原始图像信号减去模糊信号来增大清晰度的强度。
13.可以利用具有与相应的阶跃边缘区域的方向不同的方向的相邻像素的平均值来生成模糊信号。
14.针对每个边缘区域的边缘信息可以包括水平方向信息、垂直方向信息、左斜方向信息和右斜方向信息中的至少一个。
15.在另一个实施例中，一种图像感测装置可以包括：图像传感器，其包括具有多个像素的像素阵列；以及图像信号处理器，其适用于处理从所述图像传感器输出的信号；其中，所述图像传感器和所述图像信号处理器中的一个包括基于边缘的清晰度增强控制电路，所述基于边缘的清晰度增强控制电路包括：第一边缘确定单元，其适用于将像素阵列中的多个区域的每个区域确定为边缘区域或平坦区域，所述边缘区域具有关于相应区域的像素数据的边缘信息，所述平坦区域具有关于相应区域的像素数据的平坦信息，所述像素阵列包括多个像素；第二边缘确定单元，其适用于将每个边缘区域确定为阶跃边缘区域或纹理边缘区域，所述阶跃边缘区域具有在相应边缘区域内的方向信息，所述纹理边缘区域具有在相应边缘区域内的非方向信息；以及噪音去除单元，其适用于利用第一滤波器从每个阶跃边缘区域去除噪音，并且适用于利用具有与所述第一滤波器的增益不同的增益的第二滤波器从每个纹理边缘区域去除噪音。
16.所述第二边缘确定单元可以将每个如下阶跃边缘区域确定为强阶跃边缘区域：在相应的阶跃边缘区域内的相邻像素之间的差值大于固定值时，而将每个如下阶跃边缘区域确定为弱阶跃边缘区域：在相应的阶跃边缘区域内的相邻像素之间的差值小于固定值时。
17.第二边缘确定单元可以将每个如下纹理边缘区域确定为强纹理边缘区域：在相应的纹理边缘区域内的相邻像素之间的差值大于固定值时，而将每个如下纹理边缘区域确定为弱纹理边缘区域：在相应的纹理边缘区域内的相邻像素之间的差值小于固定值时。
18.所述噪音去除单元可以利用高增益的高频滤波器从每个纹理边缘区域去除噪音，而利用低增益的高频滤波器从每个阶跃边缘区域去除噪音。
19.低增益的高频滤波器可以通过从原始图像信号减去模糊信号来增大清晰度的强度。
20.可以利用具有与相应的阶跃边缘区域的方向不同的方向的相邻像素的平均值来生成模糊信号。
21.在另一实施例中，一种图像感测装置的操作方法可以包括：将像素阵列中的多个区域的每个如下区域确定为边缘区域：当在相应区域内的相邻像素的像素数据的标准差大
于参考值时，而将像素阵列中的多个区域的每个如下区域确定为平坦区域：当在相应区域内的相邻像素的像素数据的标准差小于参考值时；将每个如下边缘区域确定为阶跃边缘区域：当在相应的边缘区域中的方向变化的总数小于设定值时，而将每个如下边缘区域确定为纹理边缘区域：当在相应边缘区域中的方向变化的总数大于所述设定值时；以及利用第一滤波器从每个阶跃边缘区域去除噪音，以及利用具有与所述第一滤波器的增益不同的增益的第二滤波器从每个纹理边缘区域去除噪音。
22.所述操作还可以包括：将每个如下阶跃边缘区域确定为强阶跃边缘区域：当在相应的阶跃边缘区域内的相邻像素之间的差值大于固定值时，而将每个如下阶跃边缘区域确定为弱阶跃边缘区域：当在相应的阶跃边缘区域内的相邻像素之间的差值小于固定值时。
23.所述操作还可以包括：将每个如下纹理边缘区域确定为强纹理边缘区域：当在相应的纹理边缘区域内的相邻像素之间的差值大于固定值时，而将每个如下纹理边缘区域确定为弱纹理边缘区域：当在相应的纹理边缘区域内的相邻像素之间的差值小于固定值时。
24.在去除噪音时，利用高增益的高频滤波器从每个纹理边缘区域去除噪音，而利用低增益的高频滤波器从每个阶跃边缘区域去除噪音。
25.低增益的高频滤波器可以通过从原始图像信号减去模糊信号来增大清晰度的强度。
26.每个边缘区域可以与水平方向信息、垂直方向信息、左斜方向信息和右斜方向信息中的至少一个相关联，以及可以利用具有与相应的阶跃边缘区域的方向不同的方向的相邻像素的平均值来生成模糊信号。
27.在另一实施例中，一种图像感测装置的操作方法可以包括：利用第一滤波器从原始图像信号中去除来自阶跃边缘区域的噪音，其中，相邻像素的像素数据的标准差大于第一阈值并且方向变化的总数小于第二阈值，所述第一滤波器从原始图像信号减去模糊信号；以及处理去除噪音的信号。
28.所述操作方法还可以包括：利用第二滤波器从所述原始图像信号中去除来自纹理边缘区域的噪音，其中，所述标准差大于所述第一阈值并且所述方向变化的总数不小于所述第二阈值。
29.第二滤波器的增益与第一滤波器的增益不同。
30.第一滤波器可以是低增益的高频滤波器，而第二滤波器可以是高增益的高频滤波器。
31.低增益的高频滤波器可以通过从原始图像信号减去模糊信号来增大清晰度的强度。
32.通过以下附图和详细描述，本发明的普通技术人员将理解本发明的这些和其它特征和优点。
附图说明
33.本文中的描述参考了所附附图，其中，贯穿多幅图，相同的附图标记指代相同的部分。
34.图1是示出根据本发明的一个实施例的基于边缘的清晰度增强控制电路的框图。
35.图2是示出根据诸如图1中所示的第二边缘确定单元来确定阶跃边缘区域和纹理
边缘区域的图。
36.图3是示出边缘区域的方向的图。
37.图4是示出利用诸如图1中所示的噪音去除单元而从诸如图像的数字表示中去除噪音的图。
38.图5是示出根据本发明的一个实施例的采用基于边缘的清晰度增强控制电路的图像感测装置的框图。
39.图6是示出根据本发明的另一个实施例的采用基于边缘的清晰度增强控制电路的图像感测装置的框图。
40.图7是示出根据本发明的另一个实施例的图像感测装置的操作的流程图。
41.图8是示出根据本发明的一个实施例的被配置为实现图像感测装置的系统的框图。
具体实施方式
42.下面参考所附附图更详细地描述本发明的各种示例。本发明可以以所公开的实施例的其它方式、形式和变体来实现，因此不应被解释为限于本文中所阐述的实施例。确切地说，提供所述的实施例，使得本发明是全面的和完整的，并且向本发明所属领域的技术人员充分地传达本发明。在整个说明书中，对“一个实施例”、“另一个实施例”等的提及不一定仅表示一个实施例，并且对任何这样的短语的不同提及不一定是对相同的实施例。
43.将理解的是，尽管在本文中可以使用术语“第一”、“第二”、“第三”等来标识各种元件，但是这些元件不受这些术语的限制。这些术语用于将一个元件与另一个具有相同或相似名称的元件区分开。因此，在一个示例中的第一元件可以在另一个示例中被称为第二元件或第三元件，而不需要指示元件本身的任何改变。
44.附图不一定按比例绘制，并且在某些情况下，比例可能被夸大，以清楚地示出实施例的特征。当一个元件称为连接或耦接到另一个元件时，应当理解的是，前者可以直接连接或耦接到后者，或者经由一个或多个中间元件电连接或耦接到后者。除非上下文另有说明，否则两个元件之间的通信(无论是直接还是间接连接/耦接)可以是有线的也可以是无线的。另外，还将理解的是，当一个元件被称为在两个元件“之间”时，该元件可以是两个元件之间的唯一元件，或者也可以存在一个或多个中间元件。
45.本文中使用的术语仅出于描述特定实施例的目的，并非旨在限制本发明。
46.如本文所使用的，单数形式旨在包括复数形式，反之亦然，除非上下文另外明确指出。除非另外说明，或者从上下文可以清楚地理解为单数形式，否则在本技术和所附权利要求中使用的数量词“一个”通常应当被解释为表示“一个或更多个”。
47.将进一步理解的是，当在本说明书中使用术语“包括”、“包括有”、“包含”和“包含有”时，指定存在所述元件并且不排除存在或增加一个或更多个其它元件。如本文中所使用的，术语“和/或”包括一个或更多个相关联的列举项的任何和所有组合。
48.除非另有定义，否则本文中使用的包括技术术语和科学术语的所有术语具有与本发明所属领域的普通技术人员通常理解的相同含义。还将理解的是，诸如在通用词典中定义的那些术语应被解释为具有与它们在本发明和相关技术的背景中的含义一致的含义，而不是以理想化或过于正式的意义来解释，除非在本文中明确定义。
49.在以下描述中，阐述了许多具体细节，以提供对本发明的深入理解。可以在没有一些或所有这些具体细节的情况下实践本发明。在其它情况下，没有详细地描述公知的过程结构和/或过程，以免不必要地混淆本发明。
50.还应注意的是，在某些情况下，如对相关领域的技术人员明显的是，结合一个实施例描述的特征或元件可以单独使用或与另一个实施例的其它特征或元件组合使用，除非另有明确说明。
51.参考附图详细地描述本发明的实施例。
52.在下文中，参照图1至图4来描述基于边缘的清晰度增强控制电路。
53.图1是示出根据本发明的一个实施例的被配置为控制基于边缘的清晰度增强的基于边缘的清晰度增强控制电路的框图。图2是示出根据图1中所示的第二边缘确定单元判断边缘区域是阶跃边缘区域还是纹理边缘区域的图。图3是示出边缘区域的方向的图。图4是示出利用图1中所示的噪音去除单元去除噪音的图。
54.参考图1，基于边缘的清晰度增强控制电路300可以包括第一边缘确定单元310、第二边缘确定单元320和噪音去除单元330。
55.第一边缘确定单元310可以将区域确定为具有关于从像素阵列中包括的多个像素输出的像素数据的边缘信息的边缘区域或具有关于从像素阵列中包括的多个像素输出的像素数据的平坦信息的平坦区域。
56.如图2中所示，第一边缘确定单元310可以将多个区域中的每个如下区域确定为边缘区域：在相应区域内的相邻像素的像素数据的标准差(std)大于参考值时，而将多个区域中的每个如下区域确定为平坦区域：在该区域内的相邻像素的像素数据的标准差小于参考值时。参考值可以被确定为在相应区域内的相邻像素之中的绿色像素的平均值。在另一个实施例中，参考值可以基于相应区域的亮度值来设置。
57.第二边缘确定单元320可以根据相应边缘区域的方向而将每个边缘区域确定为具有方向信息的阶跃边缘区域或具有非方向信息的纹理边缘区域。在本文中，阶跃边缘区域表示具有明确方向的边缘区域，而纹理边缘区域表示具有非方向性信息的区域，诸如草、书桌图案和/或石头图案。
58.可以将如下边缘区域确定为阶跃边缘区域：当边缘区域中的方向变化的总(或累积)数小于设定值时，而可以将如下边缘区域确定为纹理边缘区域：当边缘区域中的方向变化总数大于设定值时。
59.例如，如图2中所示，如果边缘区域中的方向变化的总数为“0”，则将该边缘区域确定为阶跃边缘区域。如果边缘区域中的方向变化的总数为“5”或“3”，则将该边缘区域确定为纹理边缘区域。
60.每个阶跃边缘可以通过第二边缘确定单元320而被进一步分类为强阶跃边缘区域或弱阶跃边缘区域。当在相应阶跃边缘区域内的相邻像素之间的差值大于固定值时，确定强阶跃边缘区域，而当在相应阶跃边缘区域内的相邻像素之间的差值小于固定值时，确定弱阶跃边缘区域。
61.此外，第二边缘确定单元320可以将每个纹理边缘区域分类为强纹理边缘区域或弱纹理边缘区域。
62.当在相应纹理边缘区域内的相邻像素之间的差值大于固定值时，可以确定强纹理
边缘区域，而当在相应纹理边缘区域内的相邻像素之间的差值小于固定值时，可以确定弱纹理边缘区域。
63.例如，如图2中所示，如果纹理边缘区域中的方向变化的差为“7”，则可以将该纹理边缘区域确定为强纹理边缘区域。如果纹理边缘区域中的方向变化的差为“2”，则可以将该纹理边缘区域确定为弱纹理边缘区域。
64.在本文中，参考图3，边缘区域的方向可以被分类为水平方向、垂直方向、左斜(dl，diagonal left)方向或右斜(dr，diagonal right)方向。
65.可以利用绝对差之和来计算每个方向的梯度，以减少简化计算。“dldiff”表示左斜方向的绝对差，“vdiff”表示垂直方向的绝对差，“drdiff”表示右斜方向的绝对差，以及“hdiff”表示水平方向的绝对差。
66.例如，当满足下面的等式1时，可以将边缘区域的方向确定为右斜方向。
67.[等式1]
[0068]
a&b&(c|d),
[0069]
其中，“a”表示|dl_gra
–
dr_gra|》th，“dl_gra”表示左斜方向的梯度值，“dr_gra”表示右斜方向的梯度值，“th”表示阈值，“b”表示|dl_gra
–
dr_gra|-|h_gra
–
v_gra|《th，“h_gra”表示水平方向的梯度值，“v_gra”表示垂直方向的梯度值，“c”表示max(h_gra，v_gra，dl_gra，dr_gra)！＝dr_gra；以及“d”表示min(h_gra，v_gra，dl_gra，dr_gra)＝＝dr_gra。
[0070]
当满足等式2时，可以将边缘区域的方向确定为左斜方向。
[0071]
[等式2]
[0072]
a&b&(c1|d1)，
[0073]
其中，“c1”表示max(h_gra，v_gra，dl_gra，dr_gra)！＝dl_gra，而“d1”表示min(h_gra，v_gra，dl_gra，dr_gra)＝＝dl_gra。
[0074]
当满足等式3时，可以将边缘区域的方向确定为水平方向。
[0075]
[等式3]
[0076]
a1&e&d2，
[0077]
其中，“a1”表示|dl_gra
–
dr_gra|《th，“e”表示v_gra
–
h_gra》th，以及“d2”表示min(h_gra，v_gra，dl_gra，dr_gra)＝＝h_gra。
[0078]
当满足等式4时，可以将边缘区域的方向确定为垂直方向。
[0079]
[等式4]
[0080]
a1&e1&d3，
[0081]
其中，“e1”表示h_gra
–
v_gra》th，以及“d3”表示min(h_gra，v_gra，dl_gra，dr_gra)＝＝v_gra。
[0082]
噪音去除单元330可以分别利用不同的滤波器从阶跃边缘区域和纹理边缘区域去除噪音，并且提高清晰度。
[0083]
更具体地，噪音去除单元330可以利用诸如“拉普拉斯滤波器”的高增益的高频滤波器从纹理边缘区域去除噪音。此外，噪音去除单元330可以利用低增益的高频滤波器从阶跃边缘区域去除噪音。
[0084]
低增益的高频滤波器可以通过从原始图像信号减去模糊信号来生成清晰度信号，并提高清晰度的强度。
[0085]
在本文中，可以利用具有与相应阶跃边缘区域的方向不同的方向的相邻像素的平均值来生成模糊信号。
[0086]
例如，可以通过从图4中所示的水平线减去相应的平均值来生成清晰度信号。通过该处理，可以去除边缘阶跃区域的相邻点噪音，并且可以获得详细图像。
[0087]
省略了去除平坦区域的噪音的详细描述，因为这种噪音去除是本领域技术人员众所周知的。
[0088]
图5是示出根据本发明的一个实施例的图像感测装置10的框图。
[0089]
参考图5，图像感测装置10可以包括图像传感器100和图像信号处理器(isp)400。
[0090]
图像感测装置10可以在任何合适的电子设备中实现，诸如可以接收和处理图像数据的个人计算机(pc)或移动计算设备。
[0091]
更具体地，图像感测装置10可以在如下的设备中被实现为物联网(iot)网络中的对象或作为万物互联(ioe)网络中的对象：膝上型计算机、移动电话、智能电话、平板电脑、个人数字助理(pda)、企业数字助理(eda)、数字静态照相机、数字摄像机、便携式多媒体播放器(pmp)、移动互联网设备(mid)、可穿戴计算机。
[0092]
图像传感器100可以包括像素阵列200和基于边缘的清晰度增强控制电路300。
[0093]
像素阵列200可以包括多个像素。在本文中，每个像素可以表示像素数据，并且具有rgb数据格式、yuv数据格式、ycbcr数据格式或与本文中的教导一致的任何其它数据格式。
[0094]
基于边缘的清晰度增强控制电路300可以通过利用具有不同增益的不同滤波器从阶跃边缘区域并从纹理边缘区域去除噪音来输出具有改善的清晰度的图像数据。
[0095]
基于边缘的清晰度增强控制电路300可以被实现为如图1至图4中所示。
[0096]
参考图1至图4来详细地描述基于边缘的清晰度增强控制电路300的详细配置和操作。
[0097]
图像信号处理器400可以在集成电路、片上系统(soc)或移动应用处理器中实现。图像信号处理器400可以处理图像传感器100的输出信号。即，图像信号处理器400可以接收并处理从图像传感器100的基于边缘的清晰度增强控制电路300输出的图像输出信号。
[0098]
更具体地，图像信号处理器400可以从与像素数据相对应的拜耳(bayer)图案产生rgb图像数据。例如，图像信号处理器400可以处理bayer图案，使得图像数据显示在显示器中，并且可以将处理的图像数据传输到接口以传输到另一单元或设备。
[0099]
在一个实施例中，图像传感器100和图像信号处理器400中的每一个可以被实现为多芯片封装(mcp)。在另一个实施例中，图像传感器100和图像信号处理器400可以被实现为单个芯片。
[0100]
图6是示出根据本发明的实施例的图像感测装置10的框图。
[0101]
参考图6，图像感测装置10可以包括图像传感器100和图像信号处理器(isp)400。图像信号处理器400可以包括基于边缘的清晰度增强控制电路300。
[0102]
基于边缘的清晰度增强控制电路300可以被实现为如图1至图4所示。
[0103]
图6中所示的图像感测装置10的结构和操作基本上与图5中所示的图像感测装置10的结构和操作相同，除了在图像信号处理器400中而不是在图像传感器100中实现基于边缘的清晰度增强控制电路300之外。因此，省略对图6的图像感测装置10的详细描述。
[0104]
在下文中，参考图7来描述根据本发明的一个实施例的图像感测装置的操作。图7是示出根据本发明的一个实施例的图像感测装置(例如，图5和图6中的图像感测装置10)的操作的流程图。
[0105]
参考图7，图像感测装置的操作可以包括：边缘区域确定操作s710、阶跃边缘区域确定操作s720、在每个阶跃边缘区域中去除噪音的操作s730以及在每个纹理边缘区域中去除噪音的操作s740。
[0106]
在操作s710，像素的多个区域中的每个区域可以被分类为边缘区域或平坦区域。可以将像素的如下区域确定为边缘区域：当在相应区域内的相邻像素的像素数据的标准差大于参考值时，而可以将像素的如下区域确定为平坦区域：当在相应区域内的相邻像素的像素数据的标准差小于参考值时。
[0107]
在操作s720，可以将在操作s710中识别的每个如下边缘区域确定为阶跃边缘区域：当该边缘区域的方向变化的总数或累积数小于设定值时，或者可以将在操作s710中识别的每个如下边缘区域确定为纹理边缘区域：当该边缘区域的方向变化的总数或累积数大于设定值时。
[0108]
在本文中，可以将每个如下阶跃边缘区域确定为强阶跃边缘区域：当在该阶跃边缘区域内的相邻像素之间的差值大于固定值时，而可以将每个如下阶跃边缘区域确定为弱阶跃边缘区域：当在该阶跃边缘区域内的相邻像素之间的差值小于固定值时。
[0109]
每个纹理边缘区域也可以分类为强或弱。具体地，可以将每个如下纹理边缘区域确定为强纹理边缘区域：当在该纹理边缘区域内的相邻像素之间的差值大于固定值时，而可以将每个如下纹理边缘区域确定为弱纹理边缘区域：当在该纹理边缘区域内的相邻像素之间的差值小于固定值时。
[0110]
在操作s730，可以通过利用低增益的高频滤波器来去除每个阶跃边缘区域的噪音。在本文中，高增益的高频滤波器可以通过从原始图像信号减去模糊信号来提高清晰度的强度。
[0111]
在操作s740，可以通过利用高增益的高频滤波器来去除每个纹理边缘区域的噪音。
[0112]
在下文中，参考图8来详细地描述根据本发明的一个实施例的被配置为实现图像感测装置的系统。
[0113]
图8示出了根据本发明的一个实施例的实现图像感测装置的系统。
[0114]
在各种实施例中，图8的系统可以是各种类型的计算设备的任何一种，包括但不限于个人计算机系统、台式计算机、膝上型计算机或笔记本计算机、大型计算机系统、手持式计算设备、蜂窝电话、智能手机、移动电话、工作站、网络计算机、消费者设备、应用服务器、储存设备、智能显示器、外围设备(诸如，交换机、调制解调器、路由器等)，或者通常是任何类型的计算设备。根据一个实施例，图8的系统可以表示片上系统(soc)。soc 1000的电路可以被集成到单个半导体衬底上作为集成电路，即“芯片”。在一些实施例中，电路可以在系统中的两个或更多个分散的芯片上实现。在本文中，以soc 1000为例进行描述。
[0115]
在所示的实施例中，soc 1000的电路包括：中央处理器(cpu)复合体1020、片上外围电路1040a和1040b(分别为“外围设备”并统称为“外围设备”)、存储器控制器(mc)1030、通信结构1010和图像信号处理器400。soc 1000还可以耦接到附加电路，诸如存储器1800和
图像传感器100。电路1020、1030、1040a-1040b和400可以全部耦接到通信结构1010。存储器控制器1030可以耦接到存储器1800，并且外围设备1040b可以耦接到外部接口1900。另外，图像信号处理器400可以耦接到图像传感器100。
[0116]
外围设备1040a和1040b可以是soc 1000中的任意一组附加硬件功能。例如，外围设备1040a和1040b可以包括配置为在一个或多个显示设备上显示视频数据的显示控制器、图形处理单元(gpu)、视频编码器/解码器、缩放器、旋转器、混合器等。
[0117]
在一些实施例中，图像信号处理器400可以是被配置为处理来自图像传感器100(或其它图像传感器)的图像捕获数据的另一个视频外围设备的一部分。图像信号处理器400和图像传感器100可以被配置为实现图1至图7中所示的图像信号处理器400和图像传感器100。
[0118]
外围设备1040a和1040b还可以包括音频外围设备，诸如麦克风、扬声器、对麦克风和扬声器的接口、音频处理器、数字信号处理器，混频器等。外围设备1040a和1040b(例如，外围设备1040b)可以包括用于soc 1000外部的各种接口1900的外围接口控制器，该各种接口1900包括诸如通用串行总线(usb)的接口、包括pci express(pcie)的外围电路互连(pci)、串行和并行端口等。外围设备1040a和1040b还可以包括诸如媒体访问控制器(mac)的联网外围设备。通常，根据各种实施例，可以包括任何一组硬件。
[0119]
cpu复合体1020可以包括一个或更多个处理器(ps)1024，其用作soc 1000的cpu。处理器1024可以运行系统的主要控制软件，诸如操作系统。通常，由cpu运行的软件可以控制系统的其它电路以实现系统的期望功能。处理器1024还可以运行其它软件，诸如应用程序。应用程序可以提供用户功能，并且可以依赖于用于较低级别设备控制的操作系统。因此，处理器1024也可以称为应用处理器。cpu复合体1020还可以包括其它硬件，诸如l2高速缓存1022和/或到系统的其它电路的接口(例如，到通信结构1010的接口)。
[0120]
通常，处理器可以包括被配置为执行在由处理器实现的指令集架构中定义的指令的任何电路和/或微代码。响应于执行指令而由处理器操作的指令和数据通常可以被储存在存储器1800中，尽管也可以定义某些指令以用于处理器直接访问外围设备。处理器可以包括在具有其它电路的集成电路上实现的处理器核心，作为片上系统(soc 1000)或其它级别的集成。处理器还可以包括分散的微处理器、集成到多芯片模块实施方式中的处理器核心和/或微处理器、被实现为多个集成电路的处理器等。
[0121]
存储器控制器1030通常可以包括用于从soc 1000的其它电路接收存储器操作并且用于访问存储器1800以完成存储器操作的电路。存储器控制器1030可以被配置为访问任何类型的存储器1800。例如，存储器1800可以是静态随机存取存储器(sram)，或诸如包括双倍数据速率(ddr、ddr2、ddr3等)dram的同步dram(sdram)的动态ram(dram)。可以支持低功率/移动版本的ddr dram(例如，lpddr、mddr等)。存储器控制器1030可以包括用于存储器操作的队列，以对操作进行排序(并且可能重新排序)并将操作呈现给存储器1800。存储器控制器1030还可以包括数据缓冲器，以储存等待写入存储器的写入数据和等待返回到存储器操作的源的读取数据。在一些实施例中，存储器控制器1030可以包括存储器高速缓存以储存最近访问的存储器数据。例如，在soc实施方式中，如果期望很快再次访问，则存储器高速缓存可以通过避免从存储器1800重新访问数据来减少soc中的功耗。在某些情况下，与诸如仅用于某些电路的l2高速缓存1022或处理器1024中的高速缓存的专用高速缓存相反，存储
器高速缓存也可以被称为系统高速缓存。另外，在一些实施例中，系统高速缓存可以位于存储器控制器1030的外部。
[0122]
在一个实施例中，存储器1800可以以片上芯片或层叠式封装配置与soc 1000封装在一起。也可以利用soc 1000和存储器1800的多芯片模块配置。这样的配置可能比传输到系统中的其它电路(例如，到端点)更加安全(就数据可观察性而言)。因此，受保护的数据可以未加密地驻留在存储器1800中，而受保护的数据可以被加密以在soc 1000与外部端点之间交换。
[0123]
通信结构1010可以是用于在soc 1000的电路之间进行通信的任何通信互连和协议。通信结构1010可以基于总线，包括共享总线配置、交叉开关配置以及具有桥的分层总线。通信结构1010也可以基于封装，并且可以是具有桥、交叉开关、点对点或其它互连的分层结构。
[0124]
注意的是，soc 1000的电路数量(以及cpu复合体1020内的子电路数量)在不同的实施例中可以变化。每个电路/子电路可以比图6中所示的数目更多或更少。
[0125]
在一些实施例中，本文中描述的方法可以由计算机程序产品或软件来实现。在一些实施例中，非暂时性计算机可读储存介质可以在其上储存指令，该指令可以用于对计算机系统(或其它电子设备)进行编程以执行本文中所述的一些或全部技术。计算机可读储存介质可以包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用程序)储存信息的任何机制。机器可读介质可以包括但不限于，磁性储存介质(例如，软盘)；或者光学储存介质(例如，cd-rom)；磁光储存介质；只读存储器(rom)；随机存取存储器(ram)；可擦除可编程存储器(例如，eprom和eeprom)；快闪存储器；电介质或其它适合于储存程序指令的介质。另外，可以利用光学、声学或其它形式的传播信号(例如，载波、红外信号、数字信号等)来传递程序指令。
[0126]
如上所述，根据本发明的实施例的基于边缘的清晰度增强控制电路、图像感测装置及其操作方法可以通过将多个边缘区域中的每个区域分类为阶跃边缘区域或纹理边缘区域并消除点噪音来改善图像的清晰度。
[0127]
尽管本发明示出并描述了特定的实施例，但是根据本发明，对于本领域技术人员而言显而易见的是，在不脱离所附权利要求所限定的本发明的精神和范围的情况下，可以进行各种改变和修改。本发明包括所有这样的改变和修改，只要它们落入权利要求的范围之内。