图像探测方法与图像探测装置与流程

本发明的实施例有关于一种图像探测，以及更具体地，关于一种由图像传感器所探测的图像及额外信息的处理。

背景技术：

除非另有说明，本节中描述的技术并非前面所列的权利要求的前案，也并非因在此节中纳入而承认其为前案。

彩色图像传感器是一种侦测或探测可见光谱中的代表图像的电磁波作为色彩信息或图像数据的传感器。图像传感器一般使用一个色彩滤波器阵列(colorfilterarray，cfa)，其通过红光、绿光或蓝光光给图像传感器的像素，形成对红光、绿光以及蓝光敏感的交错网格(grid)。通常，图像传感器用色度像素来重现探测的彩色图像，因此，图像的色彩信息被色度像素所次采样(subsampled)。色彩信息经过例如图像信号处理器(imagesignalprocessor，isp)的初步处理，使得图像数据转换为显示的图像。

有时，图像传感器在图像获取过程中需要除了色度信息以外的额外信息。传统的技术是改变cfa的布局，以包含探测需要的额外信息的一个或多个像素。可是，必须要修改后续的初步处理的顺序来适应cfa布局的改变与探测的额外信息。不幸的是，这会需要isp的设计的改变以及因改变而增加的额外成本。

技术实现要素：

因此，本发明为了解决上面的技术问题，特提出一种图像探测方法与图像探测装置。

本发明提供一种图像探测方法包含：从图像传感器的像素阵列，接收由该像素阵列探测的数据，该探测的数据包含图像数据与额外信息；从该探测的数据获取该额外信息；以及以该探测的数据中没有该额外信息的该图像数据的处理方式来处理该探测的数据。

本发明另提供一种图像探测方法，包含：从图像传感器的像素阵列，接收由该像素阵列探测的数据，该像素阵列包含能够探测图像数据的多个成像像素，该像素阵列还包含能够探测额外信息的一个或多个信息像素，该探测的数据包含图像数据与该额外信息，该图像传感器更包含拜耳滤波器马赛克，使得该像素阵列的每个像素与该拜耳滤波器马赛克的特定滤波器对齐，来探测红光、绿光或蓝光光谱内的电磁波；从该探测的数据获取该额外信息；以及以该探测的数据中没有该额外信息的该图像数据的处理方式来处理该探测的数据。

本发明另提供一种图像探测装置，包含：处理器，能够执行下面操作：从图像传感器的像素阵列，接收由该像素阵列探测的数据，该探测的数据包含图像数据与额外信息；从该探测的数据获取该额外信息；以及以该探测的数据中没有该额外信息的该图像数据的处理方式来处理该探测的数据。

本发明所提出的图像探测方法与图像探测装置能够不需要变换处理器的图像处理来获取全采样图像与采样的额外信息。

本发明的这些及其他的目的对于本领域的技术人员来说，在阅读了下述优选实施例的详细说明以后是很容易理解和明白的，所述优选实施例通过多幅图予以揭示。

附图说明

图1显示根据本发明一实施例的示例场景100的示意图。

图2显示根据本发明的一实施例的示例的cfa排列方案200。

图3显示根据本发明一实施例的cfa300的部分以及cfa350的部分。

图4显示本发明一实施例的cfa400的示例部分。

图5显示根据本发明一实施例的cfa500的示例部分。

图6显示根据本发明一实施例的示例装置600。

图7显示根据本发明一实施例的示例流程700。

图8显示根据本发明一实施例的示例流程800。

具体实施方式

本说明书及权利要求书使用了某些词语代指特定的组件。本领域的技术人员可理解的是，制造商可能使用不同的名称代指同一组件。本文件不通过名字的差别，而通过功能的差别来区分组件。在以下的说明书和权利要求书中，词语“包括”是开放式的，因此其应理解为“包括，但不限于...”。

总揽

图1显示根据本发明一实施例的示例场景100的示意图。场景100可包含图像传感器110以及处理器120，其能够实施提出的与本发明一致的解决方案、技术方案、技术、方法以及各种变形方式。图像传感器110能够探测的数据不仅包含图像数据还包含不是图像数据的额外信息138。处理器120可与图像传感器110连接并通信，来接收并处理图像传感器110探测到的数据。

如图1所示，图像传感器110可包含像素阵列(arrayofpixels)112以及cfa114。像素阵列112可包含多行及多列像素，包含多个成像像素(imagingpixels)以及一个或多个信息像素。在本发明中，“成像像素”指的是能够探测与图像相关的例如色度、亮度与/或色彩相关数据(hue-relateddata)。在本发明中，“信息像素”指的是能够探测除了图像数据之外的信息，例如但不限于，相差信息(相差信息)与红外光(infrared(ir)band)信息。

cfa114可包含一个阵列的色彩滤波器，例如红光滤波器，其让红光光谱内的电磁波132通过；绿光滤波器，其让绿光光谱内的电磁波134通过；以及蓝光滤波器，其让蓝光光谱内的电磁波136通过。这些红光(r)，绿光(g)与蓝光(b)的色彩滤波器可一起被称作rgb色彩滤波器。在一些实施例中，cfa114可包含rgb色彩滤波器，其按某个规律排列形成一个拜耳滤波器马赛克(bayerfiltermosaiccolor)。也就是说，在一些实施例中，cfa114中红光滤波器、绿光滤波器、蓝光滤波器的比例可为50％绿光，25％红光，25％蓝光。另外，cfa114可包含不同于拜耳滤波器马赛克的比例的rgb色彩滤波器。

当cfa114放置在像素阵列112之上或与像素阵列112对齐，不管成像像素或信息像素的像素阵列112的每个像素，都是与cfa114的红光滤波器、绿光滤波器或是蓝光滤波器对齐。根据本发明，选择每个信息像素的位置，使得每个信息像素将比像素阵列112探测的图像的亮度贡献(relativelylowcontributiontoluminance)低的成像像素替换掉，同时又维持色彩滤波器的基本布局。在红、绿、蓝三色光中，相比于红光与绿光，蓝光倾向于贡献最少亮度。因此，在一些实施例中，当提到位置时，像素阵列112中的一个或多个信息像素的每个都可替换cfa114中与蓝光滤波器对齐的特定的成像像素，来探测蓝光光谱中的电磁波136。而且，为了确保恢复基本的布局，每个信息像素被成像像素所包围，这些成像像素排列来探测光的颜色，这些光会被要用信息像素替换掉的成像像素所探测。当每个信息像素替换一个与cfa114的蓝光滤波器对齐的成像像素来探测蓝光光谱内的电磁波时，每个信息像素被成像像素所包围，而这些成像像素与cfa114对齐，来探测蓝光光谱内的电磁波136。如图1所示的例子中，cfa114的红光滤波器的位置标注为图像传感器110中的“r”，cfa114的绿光滤波器的位置标注为图像传感器110中的“g”，cfa114的蓝光滤波器的位置标注为图像传感器110中的“b”，cfa114的与信息像素对齐的滤波器的位置标注为图像传感器110中的“a”。

处理器120可从图像传感器110接收探测的数据，包含图像数据与额外信息138。根据本发明，处理器120可基于图像数据获取、决定或产生全采样图像(fully-sampledimage)142，也可以获取采样的额外信息144(sampledadditionalinformation)144。本发明提供的一个优点是不需要变换处理器120的图像处理来获取全采样图像142与采样的额外信息144。相反，在传统技术中，对图像处理的修改是必要的，因为cfa的布局的变化而修改来适应信息像素。

图2显示根据本发明的一实施例的示例的cfa排列方案200。在方案200中，每个信息像素被两个相对的列方向中每个(例如至少上面一列与至少下面一列)的至少一行像素以及两个相对的行方向中每个(例如至少左面一列与至少右面一列)的至少一列像素所保围，这些像素包含排列来于蓝光光谱中探测至少该电磁波的成像像素。

在图2的例子中，多行像素，就是行202(1)–202(5)，多列像素，就是列204(1)–204(5)。这些像素包含成像像素216，来探测红光光谱内的电磁波(图2中标注为“r”)，成像像素214，来探测绿光光谱内的电磁波(图2中标注为“g”)，成像像素212，来探测蓝光光谱内的电磁波(图2中标注为“b”)。信息像素218，代表方案200中的每个信息像素，其位于行202(3)与列204(3)的交汇处。在一些实施例中，当每个信息像素替换与蓝光滤波器对齐的成像像素来探测蓝光光谱内的电磁波时，每个信息像素被与蓝光滤波器对齐的并用来探测蓝光光谱内的电磁波的成像像素所包围。在图2所示的例子中，信息像素218的位置是会被与蓝光滤波器对齐的用来探测蓝光光谱内的电磁波的成像像素212所占据。如此，信息像素218被用来探测蓝光光谱内的电磁波的成像像素212所包围，例如在行202(1)、202(3)与202(5)以及列204(1)、204(3)与204(5)中的那些。

方案200可根据本发明不论图像传感器中的信息像素探测到的信息类型而使用。虽然方案200使用了拜耳滤波器马赛克，方案200也可使用其他的滤波器布局。

图3显示根据本发明一实施例的cfa300的部分以及cfa350的部分。如图3的(a)部分所示，图像传感器310的cfa300可以包含以拜耳滤波器马赛克排列的rgb色彩滤波器。同样，在图3的部分(b)所示，图像传感器360的cfa350也可包含以拜耳滤波器马赛克排列的rgb色彩滤波器。也就是说，在一些实施例中，cfa300与cfa350中的每个的红光滤波器、绿光滤波器及蓝光滤波器的比例可以是50％绿光，25％红光与25％蓝光。另外，cfa300与/或cfa350可包含不同于拜耳滤波器马赛克比例的rgb色彩滤波器。

遵循方案200的原理，图像传感器310与图像传感器360中，每个信息像素能够探测额外信息位于或占据一个成像像素的位置，该位置与cfa300或cfa350的蓝光滤波器对齐，来探测蓝光光谱内的电磁波。在图3所示的例子中，要探测的额外信息包含相差信息。举例来说，物体的相差信息要被聚焦到一个图像中，这在自动对焦性能方面对处理器120是有帮助的。一般地，相差是从至少两组相侦测像素(phasedetection(pd)pixels)中计算得到，这些pd像素被称为pd对，例如第一相位像素与第二相位像素。如此，图像传感器310与图像传感器360中的每个，一个或多个第一相位像素(图3中标注为“p1”)以及一个或多个第二相位像素(图3中标注为“p2”)。该一个或多个第一相位像素可用来探测电磁波的第一相位。该一个或多个第二相位像素可用来探测电磁波的第二相位，其中第一相位不同于第二相位。而且，一个或多个第一相位像素及一个或多个第二相位像素的每个可占据与cfa300或cfa350的蓝光滤波器对齐的位置，来探测蓝光光谱内的电磁波。基于提出的分配，该一个或多个第一相位像素及一个或多个第二相位像素中的每个可被与cfa300或cfa350的蓝光滤波器对齐的来探测蓝光光谱内的电磁波的成像像素所包围。

而且，遵循方案200的原理，图像传感器310与图像传感器360中的每个信息像素都分别被与cfa300与cfa350的蓝光滤波器对齐的成像像素所包围，来探测蓝光光谱内的电磁波。换句话说，图像传感器510中的每个信息像素分别被两个相对的列方向的每个的至少一行像素(例如该信息像素的上面一行以及下面一行)以及两个相对的行方向的每个的至少一列像素(例如该信息像素的左面一列以及右面一列)所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

图4显示本发明一实施例的cfa400的示例部分。如图4所示，图像传感器410的cfa400可包含以拜耳滤波器马赛克排列的rgb色彩滤波器。也就是说，在一些实施例中，cfa400中红光滤波器、绿光滤波器与蓝光滤波器的比例可为50％绿光，25％红光及25％蓝光。另外，cfa400可包含不同于拜耳滤波器马赛克的比例的rgb色彩滤波器。

遵循方案200的原理，在图像传感器410中，能探测额外信息的每个信息像素都位于或占据与cfa400的一个蓝光滤波器对齐的成像像素的位置，来探测蓝光光谱内的电磁波。在如图4中所示的例子中，要探测的额外信息包含红外光信息。例如，为了虹膜识别，红外光信息可用来恰当地识别用户的眼睛的虹膜的纹理结构。为了在同个图像传感器上实施虹膜识别与图像功能，用于探测红外光的像素可如图4所示地均匀分布。如此，在图像传感器410中，存在一个或多个红外像素(图4中标注为“ir”)，这些一个或多个ir像素能够探测红外光信息。而且，该一个或多个ir像素的每个都占据了与与cfa400中的一个蓝光滤波器对齐的位置，来探测蓝光光谱内的电磁波。基于提出的分布，该一个或多个ir像素的每个能被与cfa400对齐的成像像素所包围，来探测蓝光光谱内的电磁波。

而且，遵循方案200的原理，图像传感器410中的每个信息像素都被与cfa400对齐的成像像素所包围，来探测蓝光光谱内的电磁波。换句话说，图像传感器410中的每个信息像素都分别被两个相对的列方向的每个的至少一行像素(例如该信息像素的上面一行以及下面一行)以及两个相对的行方向的每个的至少一列像素(例如该信息像素的左面一列以及右面一列)所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

图5显示根据本发明一实施例的cfa500的示例部分。如图5所示，图像传感器510的cfa500可包含以拜耳滤波器马赛克排列的rgb色彩滤波器。也就是说，在一些实施例中，cfa500中红光滤波器、绿光滤波器与蓝光滤波器的比例可为50％绿光，25％红光及25％蓝光。另外，cfa400可包含不同于拜耳滤波器马赛克的比例的rgb色彩滤波器。

遵循方案200的原理，在图像传感器510中，能探测额外信息的每个信息像素都位于或占据与cfa500的一个蓝光滤波器对齐的成像像素的位置，来探测蓝光光谱内的电磁波。在如图5中所示的例子中，要探测的额外信息包含相差信息与红外光信息。如此，图像传感器510中，存在一个或多个第一相位像素(图5中标注为“p1”)以及一个或多个第二相位像素(图3中标注为“p2”)以及一个或多个ir像素(图5中标注为“ir”)。该一个或多个第一相位像素可用来探测电磁波的第一相位。该一个或多个第二相位像素可用来探测电磁波的第二相位，其中第一相位不同于第二相位。该一个或多个ir像素可用于探测红外光信息。而且，一个或多个第一相位像素、一个或多个第二相位像素以及一个或多个ir像素的每个可占据与cfa500的蓝光滤波器对齐的位置，来探测蓝光光谱内的电磁波。基于提出的分配，该一个或多个第一相位像素，一个或多个第二相位像素及一个或多个ir像素中的每个可被与cfa500对齐的成像像素所包围，来探测蓝光光谱内的电磁波。

而且，遵循方案200的原理，图像传感器510中的每个信息像素都分别被与cfa500对齐的成像像素所包围，来探测蓝光光谱内的电磁波。换句话说，图像传感器310与图像传感器360中的每个信息像素分别被两个相对的列方向的每个的至少一行像素(例如该信息像素的上面一行以及下面一行)以及两个相对的行方向的每个的至少一列像素(例如该信息像素的左面一列以及右面一列)所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

需要注意的是，虽然图3，图4与图5中所示的例子中的每个信息像素都占据与cfa对齐的位置来探测蓝光光谱内的电磁波，每个信息像素也可占据与cfa对齐的位置来探测另外一个可见光光谱内的电磁波，该可见光对探测图像具有较低的亮度贡献。例如，在一些实施例中，每个信息像素占据与cfa对齐的位置来探测红光光谱内的电磁波。

另外，需要注意由一个或多个信息像素探测的额外信息可为相差信息与/或红外光信息。本发明的范围不限于探测相差信息，红外光信息或两者结合。换句话说，在一些实施例中，本发明的一个图像传感器可包含一个或多个能够探测除了相差信息与红外光信息之外的信息的信息像素，例如但不限于，探测可被侦测、监控、测量或探测的环境参数(例如大气压力，湿度等等)。

具体实施例

图6显示根据本发明一实施例的示例装置600。装置600能实施上述的场景100以及下文所述的流程700与800。在一些例子中，装置600可以是一电子装置，例如但不限于智能手机、数码相机、平板电脑、手提电脑、笔记本电脑、便携式设备或可穿戴设备。在一些例子中，装置600可用单个集成电路芯片、多个集成电路芯片或芯片组实施，这些芯片可以用在任何适当的电子装置中，例如但不限于上面提到的那些电子装置。装置600可包含一个或多个如图6所示的组件。装置600也可包含图6之外的一个或多个其他组件，这些组件可能与本发明的范围不相关。因此，为了避免模糊这里要阐释的发明概念，装置600的这类组件并没有在图6中显示。

请参考图6，装置600可包含处理器610。处理器610可以是形式为一个或多个集成电路芯片的微处理器，也可以是，例如但不限于，图像信号处理器(imagesignalprocessor，isp)、专用集成电路(application-specificintegratedcircuit，asic)、芯片上系统(systemonchip，soc)或中央处理单元(centralprocessingunit，cpu)等。处理器610可以是处理器120的一个实施例。处理器610可包含能够实施根据本发明所述的操作的硬件，且处理器610的硬件可包含，例如但不限于，一个或多个晶体管、一个或多个二极管、一个或多个电容、一个或多个电阻、一个或多个电感、一个或多个变容器、一个或多个晶闸管以及/或一个或多个其他电子组件。在一些实施例中，处理器610可包含增益电路612，缺陷纠错电路(defectcorrectioncircuit)614以及色彩内插电路(colorinterpolationcircuit)616。在一些实施例中，处理器610也可包含存储器618，其可以是，例如但不限于一个或多个缓存(cache)、一个或多个缓冲(buffer)以及/或一个或多个寄存器。存储器618可储存固件、一个或多组软件指令以及/或其中的数据，处理器610能够执行该固件以及/或一个多组软件指令来根据本发明执行各种操作。另外，存储器618可以在处理器610之外而非处理器610的一部分。

在一些实施例中，处理器610可从图像传感器620的像素阵列622接收像素阵列622探测到的数据。探测的数据可包含图像数据与额外信息。图像数据可包含，例如但不限于，图像有关的色度、亮度以及色调相关数据。额外信息可包含，例如但不限于，相差信息、红外光信息、其他环境参数的信息，或者前述信息的一个或全部的组合。处理器610可把探测数据储存在存储器618中。处理器610也可从探测数据获取额外信息。而且，处理器610可以用探测数据中没有额外信息的图像数据的处理方式来处理探测数据。也就是说，处理器610可能够处理包含图像数据与额外信息的探测数据，该处理如同探测数据中仅包含了图像数据那样处理，同时处理器610仍能够从探测数据获取或抽取额外信息。这是由本发明所提供的优于传统技术的一个优点。

在一些实施例中，装置600也可包含图像传感器620与处理器610连接并可通信。图像传感器620可包含像素阵列622与cfa624。像素阵列622的像素可排列成行与列的形式，且可包含多个成像像素与一个或多个信息像素。多个成像像素能探测图像数据。一个或多个信息像素能够探测额外信息。cfa624可包含多个滤波器，且与像素阵列622对齐，使得像素阵列622的每个像素都对齐于cfa624的一个特定的滤波器，以探测红光、绿光或蓝光光谱内的电磁波。在一些实施例中，cfa624可包含一个拜耳滤波器马赛克。

在一些实施例中，当像素阵列622探测到的额外信息包含相差信息时，一个或多个信息像素可包含一个或多个第一相位像素能够探测电磁波的第一相位，以及一个或多个第二相位像素能够探测不同于第一相位的电磁波的第二相位。一个或多个第一相位像素与一个或多个第二相位像素的每个可占据与cfa624对齐的位置来探测蓝光光谱内的电磁波。一个或多个第一相位像素与一个或多个第二相位像素的每个可分别被两个相对的列方向的每个的至少一行像素以及两个相对的行方向的每个的至少一列像素所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

在一些实施例中，当像素阵列622探测的额外信息包含红外光信息时，一个或多个信息像素可包含一个或多个红外像素。一个或多个红外像素的每个可占据与cfa624对齐的位置来探测蓝光光谱内的电磁波。一个或多个红外像素的每个可分别被两个相对的列方向的每个的至少一行像素以及两个相对的行方向的每个的至少一列像素所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

在一些实施例中，在从探测数据获取额外信息时，处理器610可能从像素阵列622接收额外信息，而不将额外信息作为探测数据的部分进行处理。举例来说，通信信道(例如，导电线，线或模板(pattern))可在每个信息像素与处理器610之间连接，使得处理器610能从每个信息像素直接接收额外信息。另外一个例子中，处理器610可，对每个像素阵列622的像素(不论该像素是成像像素还是信息像素)，比较特定像素(respectivepixel)的数据值与cfa624对齐的多个相邻像素探测的数据值的平均值比较，来于该光谱的同个光谱内探测电磁波，因为该特定像素也是用来探测该光谱内的电磁波。基于比较的结果，处理器610可能决定该特定像素的数据值是否在一个预定范围内，相对于由其多个相邻像素探测的数据值的平均值而言，这些相邻像素对齐来探测同个光谱内的电磁波。当由该特定像素探测的数据值与平均值之间的差值在预定范围内，处理器610可考虑并将该特定像素探测的数据看作受到噪音干扰而存在失真的色度。信息另一方面，当由该特定像素探测的数据值与平均值之间的差值在预定范围外，处理器610考虑并将该特定像素探测的数据看作额外信息(例如相位差以及/或红外光信息)。如此，处理器610可从抽取该特定像素探测的数据的值作为额外信息的部分，来回应于由特定像素探测的数据的值的是在预定范围外的决定。

在一些实施例中，在处理探测数据的方面与用来处理探测数据中没有额外信息的图像数据的方式一样。处理器610能执行多个操作。例如，处理器610的增益电路612可对探测数据执行增益乘法(gainmultiplication)操作。处理器610的探测纠错电路614可通过比较像素阵列622中的特定像素探测的数据与该特定像素相邻的一个或多个其他像素探测的数据决定像素阵列622中的每个像素探测的数据是否有异常的。探测纠错电路614也可纠正该异常，以回应像素阵列622中的一个或多个像素所探测的数据中的异常的决定。处理器610的色彩内插电路616可使用像素阵列622的成像像素的图像数据所用的内插方法来内插探测数据。也就是，色彩内插电路616可如探测中仅有图像数据而没有额外数据那样来内插探测数据，并使用传统图像传感器在图像数据上所用的内插方法，即便探测数据也包含了额外信息。

在一些实施例中，在从探测数据获取额外信息时，处理器610能够在缺陷纠错阶段(defectcorrectionstage)之时或之前从探测数据中抽取额外信息。

在一些实施例中，像素阵列622的每个像素可与图像传感器620中的cfa624的一个特定滤波器对齐，来探测红光、绿光或蓝光光谱中的电磁波。在这样的情形中，在从探测数据获取额外信息时，处理器610能够，回应于像素阵列中一个或多个像素探测的数据中存在异常的决定，对该一个或多个像素执行多个操作。例如，处理器610可决定该特定像素探测的数据值是否相较于对齐于cfa624的多个相邻像素探测的数据值的平均值而言落入预定范围，其中相邻像素是探测特定光谱中的电磁波，而特定像素也是要探测特定光谱中的电磁波。处理器610也可抽取特定像素探测的数据值作为额外信息的部分，以回应于特定像素探测的数据值落在预定范围之外的决定。

图7显示根据本发明一实施例的示例流程700。流程700可包含一个或多个操作、动作、功能，其由一个或多个方框710、720与730来表示。虽然显示为分离的方框，但是流程700的不同方框可以分割出更多方框，或者合并为更少方框，或者删除一些方框，这取决于具体的实施需求。流程700的方框可以如图7中所示的顺序执行，也可以其他顺序执行，这取决于具体的实施需求。流程700可以用装置600的处理器120与处理器610实施。流程700可实施来达到或实现场景100与方案200的技术，任何流程700都可实施来适应示例cfa布局300、350、400及600也可以是其他变形的布局。仅仅是阐释本发明而非限制本发明的范围，流程700以装置600的内容在下文进行说明。流程700可从步骤710开始。

在步骤710，流程700可涉及装置600的处理器610从图像传感器620的像素阵列622接收由像素阵列622探测的数据。像素阵列622可包含多个能探测图像数据的成像像素。像素阵列622也可包含一个或多个能够探测额外信息的信息像素。探测数据可包含图像数据与额外信息。流程700可从步骤710进行到步骤720。

在步骤720，流程700可涉及装置600的处理器610从探测数据获取额外信息。流程700可从步骤720进行到步骤730。

在步骤730，流程700可涉及装置600的处理器610以一种探测数据内没有额外信息的图像数据的处理方式来处理探测数据。

在一些实施例中，额外信息可包含相差信息。一个或多个信息像素可包含一个或多个第一相位像素，能够探测电磁波的第一相位，以及一个或多个第二相位像素,能够探测与第一相位不同的电磁波的第二相位。在一些实施例中，像素阵列622可按照行与列来排列。图像传感器620也可包含cfa624，使得像素阵列622的每个像素可与cfa624中一个特定的滤波器对齐，来探测红光、绿光或蓝光光谱中的电磁波。该一个或多个第一相位像素与一个或多个第二相位像素的每个占据与cfa624对齐的特定位置，来探测蓝光光谱内的电磁波，并且分别被两个相对的列方向的每个的至少一行像素以及两个相对的行方向的每个的至少一列像素所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

在一些实施例中，额外信息可包含红外光信息。一个或多个信息像素可包含一个或多个红外像素。在一些实施例中，像素阵列622可依照行与列来排列。图像传感器620也可包含cfa624，使得像素阵列622的每个像素可与cfa624的特定滤波器对齐，来探测红光、绿光或蓝光光谱中的电磁波。一个或多个红外像素的每个可占据与cfa624对齐的特定位置来探测蓝光光谱内的电磁波，且分别被两个相对的列方向的每个的至少一行像素以及两个相对的行方向的每个的至少一列像素所包围，这些像素包含排列来探测蓝光光谱内的电磁波的成像像素。

在一些实施例中，在从探测数据获取额外信息时，流程700可涉及装置600的处理器610从一个或多个信息像素接收额外信息，而不需要将额外信息的处理作为探测数据处理的一部分。

在一些实施例中，以探测数据中没有额外信息的的图像数据的处理方式来处理探测数据，流程700可涉及装置600的处理器610执行多个操作。例如，流程700可涉及处理器610在增益电路612的增益阶段对探测数据执行增益乘法操作。流程700也可涉及装置600的处理器610决定，在缺陷纠错电路614的缺陷纠错阶段，通过比较像素阵列622的特定像素探测的数据与特定像素的一个或多个相邻像素所探测的数据，决定像素阵列622的每个像素的探测数据中是否存在异常。流程700还可涉及处理器610在缺陷纠错电路614的缺陷纠错阶段进行异常纠正，以回应像素阵列622的一个或多个像素探测的数据中存在异常的决定。流程700还可涉及装置600的处理器610，在色彩内插电路616的色彩内插阶段，对探测数据用像素阵列622的成像像素的图像数据所用的内插方法进行内插。

在一些实施例中，在从探测数据获取额外信息时，流程700可涉及装置600的处理器610在缺陷纠错阶段之时或之前从探测数据抽取额外信息。

图8显示根据本发明一实施例的示例流程800。流程800可包含一个或多个操作、动作、功能，其由一个或多个方框810、820与830来表示。虽然显示为分离的方框，但是流程700的不同方框可以分割出更多方框，或者合并为更少方框，或者删除一些方框，这取决于具体的实施需求。流程800的方框可以如图8中所示的顺序执行，也可以其他顺序执行，这取决于具体的实施需求。流程800可以用装置600的处理器120与处理器610实施。流程800可实施来达到或实现场景100与方案200的技术，任何流程800都可实施来适应示例cfa布局300、350、400及600也可以是其他变形的布局。仅仅是阐释本发明而非限制本发明的范围，流程800以装置600的内容在下文进行说明。流程800可从步骤810开始。

在步骤810，流程800可涉及装置600的处理器610从图像传感器620的像素阵列622接收由像素阵列622探测的数据。像素阵列622可包含多个能探测图像数据的成像像素。像素阵列622也可包含一个或多个能够探测额外信息的信息像素。探测数据可包含图像数据与额外信息。图像传感器620也可包含cfa624，其可为一个拜耳滤波器马赛克，使得像素阵列622的每个像素可以与拜耳滤波器马赛克的特定滤波器对齐，来探测红光、绿光或蓝光光谱中的电磁波。流程800可从步骤810进行到步骤820。

在步骤820，流程800可涉及装置600的处理器610从探测数据获取额外信息。流程800可从步骤820进行到步骤830。

在步骤830，流程800可涉及装置600的处理器610以一种探测数据内没有额外信息的图像数据的处理方式来处理探测数据。

在一些实施例中，额外信息可包含相差信息，红外光信息或两者组合。

在一些实施例中，在从探测数据获取额外信息时，流程800可涉及装置600的处理器610从像素阵列接收额外信息，而不需要将额外信息的处理作为探测数据处理的一部分。

在一些实施例中，以探测数据中没有额外信息的的图像数据的处理方式来处理探测数据，流程800可涉及装置600的处理器610执行多个操作。例如，流程800可涉及处理器610在增益电路612的增益阶段对探测数据执行增益乘法操作。流程800也可涉及装置600的处理器610决定，在缺陷纠错电路614的缺陷纠错阶段，通过比较像素阵列622的特定像素探测的数据与特定像素的一个或多个相邻像素所探测的数据，决定像素阵列622的每个像素的探测数据中是否存在异常。流程800还可涉及处理器610在缺陷纠错电路614的缺陷纠错阶段进行异常纠正，以回应像素阵列622的一个或多个像素探测的数据中存在异常的决定。流程800还可涉及装置600的处理器610，在色彩内插电路616的色彩内插阶段，对探测数据用像素阵列622的成像像素的图像数据所用的内插方法进行内插。

在一些实施例中，在从探测数据获取额外信息时，流程800可涉及装置600的处理器610在缺陷纠错阶段之时或之前从探测数据抽取额外信息。

另外或可选地，从探测数据获取额外信息的步骤还包含，回应于由像素阵列622的一个或多个像素探测的数据中存在异常的决定，流程800可涉及装置600的处理器610对该一个或多个像素的每个特定像素执行操作。例如，流程800可涉及装置600的处理器610决定，由该特定像素探测的数据值落入预定范围，相较于由与cfa624对齐的多个相邻像素探测的多个数据值的平均值，来探测特定光谱内的电磁波，而该特定像素也排列来探测该特定光谱内的电磁波。在一些实施例中，当由特定像素探测的数据值与该平均值的差值落入该预定范围，可认为由该特定像素探测的数据是受到噪声干扰而扭曲的色度信息。另一方面，当由该特定像素探测的数据值与该平均值的差值落在该预定范围之外，可认为由该特定像素探测的数据是额外信息(例如相位差及/或红外光信息)。流程800也可涉及装置600的处理器610抽取由该特定像素探测的数据值来作为额外信息，以回应于该特定像素探测的数据值落在该预定范围之外的决定。

综上所述，本说明书所描述的各种实施例都是为了阐释本发明，这些实施例可以进行各种修改而不偏离本发明的范围与精神。因此，本说明书所揭露的各种实施例都并非对本发明的限制，本发明的范围应以前面权利要求书中的权利要求的范围为准。

本领域的技术人员将注意到，在获得本发明的指导之后，可对所述装置和方法进行大量的修改和变换。相应地，上述公开内容应该理解为，仅通过所附加的权利要求的界限来限定。