本公开涉及信号处理装置和成像装置。
背景技术：
已经提出了使用两个成像装置来拾取具有宽视野和高分辨率的图像的成像系统(例如，参见专利文献1)。
[引用文献列表]
[专利文献]
专利文献1：日本未审查专利申请公开no.2003-134375
技术实现要素：
单板式图像传感器用于多数的静物相机、摄像机等。在包括单板式图像传感器的成像装置中，生成其中针对各像素设定rgb颜色之一的信息的raw数据(马赛克数据)，并且将经过去马赛克处理的所生成的raw数据作为图像数据输出。在图像数据中，各像素设有全部rgb的颜色信息，并且图像数据的格式是诸如jpeg和tiff等通用图像格式。
在专利文献1所公开的两个成像装置中使用单板式图像传感器并且输出其中各像素设有全部rgb的颜色信息的图像数据的情况下，在每个成像装置中进行去马赛克处理。此外，在专利文献1所公开的发明中，进行将经过去马赛克处理的图像数据彼此合成的处理。因此，由于针对各像素的大量颜色信息而导致发生处理成本和功耗变得非常大的问题。期望提供能够降低处理成本和功耗的信号处理装置和成像装置。
根据本公开实施方案的第一信号处理装置包括定位部和合成部。所述定位部基于视角彼此不同的两条raw数据来生成所述两条raw数据的定位数据。所述合成部基于由所述定位部生成的定位数据将所述两条raw数据彼此合成。
根据本公开实施方案的第一成像装置包括生成视角彼此不同的raw数据的两个成像器件。第一成像装置还包括定位部和合成部。设置在第一成像装置中的定位部基于由各个所述成像器件生成的两条raw数据来生成所述两条raw数据的定位数据。设置在第一成像装置中的合成部基于由所述定位部生成的定位数据将所述两条raw数据彼此合成。
在根据本公开各个实施方案的第一信号处理装置和第一成像装置中，基于根据两条raw数据生成的定位数据，将视角彼此不同的两条raw数据彼此合成。结果，在对raw数据进行去马赛克处理之前的状态下进行合成。因此，针对各像素的颜色信息量小于已经过去马赛克处理的图像数据的颜色信息量，这使得可以抑制合成所需的计算量。
根据本公开实施方案的第二信号处理装置包括定位部和合成部。所述定位部基于视角彼此不同的三条以上的raw数据来生成所述三条以上的raw数据的定位数据。所述合成部基于由所述定位部生成的定位数据将所述三条以上的raw数据彼此合成。
根据本公开实施方案的第二成像装置包括生成视角彼此不同的raw数据的三个以上的成像器件。第二成像装置还包括定位部和合成部。设置在第二成像装置中的定位部基于由各个所述成像器件生成的三条以上的raw数据来生成所述三条以上的raw数据的定位数据。设置在第二成像装置中的合成部基于由所述定位部生成的定位数据将所述三条以上的raw数据彼此合成。
在根据本公开各个实施方案的第二信号处理装置和第二成像装置中，基于根据三条以上的raw数据生成的定位数据，将视角彼此不同的三条以上的raw数据进行合成。结果，在对raw数据进行去马赛克处理之前的状态下进行合成。因此，针对各像素的颜色信息量小于已经过去马赛克处理的图像数据的颜色信息量，这使得可以抑制合成所需的计算量。
根据本公开各个实施方案的第一和第二信号处理装置以及第一和第二成像装置，在对raw数据进行去马赛克处理之前的状态下进行合成。这使得可以将去马赛克处理的次数减少到一次。此外，待合成的raw数据包括比现有技术中要合成的彩色图像数据更少量的针对各像素的颜色信息。这使得可以抑制合成所需的计算量。因此，可以降低去马赛克处理和合成处理所需的处理成本和功耗。需要注意的是，通过本公开实现的效果不一定限于这里记载的效果，并且本公开可以实现本说明书中记载的任何效果。
附图说明
图1是示出了根据本公开实施方案的成像装置的示意性构成的例子的图。
图2是示出了成像装置的示意性构成的例子的图。
图3是示出了图1和图2的成像装置的功能块的例子的图。
图4是示出了图3的成像元件中的像素阵列的例子的图。
图5是示出了通过图3的合成处理部进行信号处理的概念的例子的图。
图6是示出了图3的合成处理部的功能块的例子的图。
图7是示出了通过图6的合成处理部进行信号处理过程的例子的图。
图8是示出了像素内插的例子的图。
图9是示出了在中心像素是g像素的情况下的内插滤波器的例子的图。
图10是示出了在中心像素是r像素或b像素的情况下的内插滤波器的例子的图。
图11是示出了图6的融合部的内部构成的例子的图。
图12是示出了图6的融合部的内部构成的例子的图。
图13是示出了图6的lpf部的内部构成的例子的图。
图14是示出了在图13的lpf部内并列配置的多个lpf部中的一个滤波器的例子的图。
图15是示出了在图13的lpf部内并列配置的多个lpf部中的一个滤波器的例子的图。
图16a是示出了通过图6的相关处理部进行相关处理的例子的图。
图16b是示出了通过图6的相关处理部进行相关处理的例子的图。
图17是示出了图1的成像装置的示意性构成的变形例的图。
图18是示出了图1的成像装置的功能块的变形例的图。
图19是示出了图18的合成处理部的功能块的例子的图。
图20是示出了现有的成像装置的功能块的例子的图。
具体实施方式
下面参照附图对用于实施本公开的模式进行详细说明。需要注意的是，按照以下顺序进行说明。
1.实施方案
2.变形例
<1.实施方案>
[构成]
图1和图2各自示出了根据本公开实施方案的成像装置1的示意性构成的例子。成像装置1使用两个成像器件10和20来获取具有宽视角和高分辨率的图像，并且在不使用机械变焦机构的情况下进行光学变焦。
例如，两个成像器件10和20被布置成在物理配置中彼此水平。例如，如图1所示，成像器件10的光轴ax1和成像器件20的光轴ax2彼此平行。例如，如图2所示，光轴ax1和光轴ax2可以不彼此平行。此时，光轴ax1和光轴ax2优选地指向其中光轴ax1和光轴ax2之间的距离随着距成像装置1的距离增加而减小的方向。
如图1和图2所示，成像器件20具有成像区域r2，该成像区域是成像器件10的成像区域r1的除了外缘之外的区域。两个成像器件10,20分别生成视角彼此不同的raw数据iraw1和raw数据iraw2。成像器件10通过成像生成视角相对宽的raw数据iraw1(第一raw数据)。成像器件20通过成像生成视角窄于raw数据iraw1的视角的raw数据iraw2(第二raw数据)。稍后详细说明raw数据iraw1和raw数据iraw2。
图3示出了成像装置1的功能块的例子。成像装置1例如包括两个成像器件10和20、信号处理部30(信号处理装置)和控制部40。控制部40控制两个成像器件10和20以及信号处理部30。
[成像器件10]
成像器件10例如包括成像元件11和光学透镜12。光学透镜12会聚被写体光l1，并使会聚的被写体光l1进入成像元件11的光入射面。例如，将光学透镜12固定在成像器件10中。此时，成像器件10的焦距固定为恒定值。例如，成像器件10还可以包括在成像元件11的光入射面侧上的虹膜和可变光学lpf。稍后说明成像元件11。
[成像器件20]
成像器件20例如包括成像元件21和光学透镜22。光学透镜12会聚被写体光l2，并使会聚的被写体光l2进入成像元件21的光入射面。例如，光学透镜22固定在成像器件20中。此时，成像器件20的焦距固定为恒定值。例如，成像器件20还可以包括在成像元件21的光入射面侧上的虹膜和可变光学lpf。
[成像元件11和21]
接着，对成像元件11和21进行说明。例如，成像元件11和21各自包括受光部和滤色器阵列。受光部包括以预定间隔二维配置的多个光电转换元件。滤色器阵列配置在受光部的光入射面上。成像元件11和21是单板式固态成像元件，并且各自例如包括单板式ccd(电荷耦合器件)图像传感器或单板式cmos(互补金属氧化物半导体)图像传感器。例如，如图4所示，在各成像元件11和21中，滤色器阵列是包括rgb阵列的拜耳阵列。需要注意的是，滤色器阵列例如可以是rgbw阵列或者黄色(y)、青色(c)、品红色(m)等的阵列。需要注意的是，在下文中，以滤色器阵列是包括rgb阵列的拜耳阵列的情况为例进行说明。
例如，成像元件11和21通过受光部和滤色器阵列对经由透镜12和22进入的被写体光l1和被写体光l2进行离散地采样，以生成raw数据iraw1和raw数据iraw2。成像元件11生成视角相对宽的raw数据iraw1。例如，使成像器件10的焦距相对较短使得可以获得视角相对宽的raw数据iraw1。成像元件21生成视角窄于raw数据iraw1的视角的raw数据iraw2。例如，使成像器件10的焦距相对较长使得可以获得视角相对窄的raw数据iraw2。
raw数据iraw1和iraw2中的每一个是马赛克数据，其中针对各像素设定包括在滤色器阵列中的多种颜色信息中的一种颜色信息。在滤色器阵列是包括rgb阵列的拜耳阵列的情况下，raw数据iraw1和iraw2中的每一个是马赛克数据，其中针对各像素设定包括在滤色器阵列中的红色信息、绿色信息和蓝色信息中的一种颜色信息。为了从raw数据iraw1和iraw2生成彩色图像数据icol，需要去马赛克处理以从raw数据iraw1和iraw2生成针对所有像素的全部颜色信息。在本实施方案中，对进行去马赛克处理之前的raw数据iraw1和iraw2进行合成。稍后详细说明raw数据iraw1和iraw2的合成。
[信号处理部30]
接着，给出信号处理部30的说明。例如，如图3所示，信号处理部30包括合成处理部31和相机信号处理部32。合成处理部31合成分别由成像器件10和20生成的两条raw数据iraw1和iraw2，由此生成合成raw数据iraw。相机信号处理部32对由合成处理部31生成的合成raw数据iraw进行去马赛克处理，由此生成彩色图像数据icol。彩色图像数据icol例如包括针对各像素的包括在滤色器阵列中的所有种类的颜色信息。在滤色器阵列是包括rgb的拜耳阵列的情况下，彩色图像数据icol例如包括针对各像素的rgb的颜色信息。
图5示出了由合成处理部31进行的信号处理的概念的例子。在图5中，因为优先考虑由合成处理部31进行的信号处理的可理解性，所以简要说明信号处理。因此，在图5中使用不同于上述附图标记的附图标记。
合成处理部31从成像器件10获取宽图像数据iwide，并且从成像器件20获取远摄图像数据itele。远摄图像数据itele的视角小于宽图像数据iwide的视角。远摄图像数据itele对应于宽图像数据iwide的除了外缘之外的预定区域α。合成处理部31基于成像器件10和20中的每一个的放大倍率以及宽图像数据iwide和远摄图像数据itele中的每一个的图像尺寸来设定预定区域α。
合成处理部31从宽图像数据iwide裁剪预定区域α以生成宽图像数据iwide'。合成处理部31基于成像器件10和20中的每一个的放大倍率来缩小远摄图像数据itele，以生成远摄图像数据itele'。合成处理部31将宽图像数据iwide'和远摄图像数据itele'彼此合成以生成合成图像数据ifusion。假定成像器件10的放大倍率被设定为1倍，并且成像器件20的放大倍率被设定为2倍。此时，例如，在由使用者指定的放大倍率是1倍的情况下，合成处理部31输出宽图像数据iwide作为合成raw数据iraw。例如，在由使用者指定的放大倍率为2倍以上的情况下，合成处理部31输出放大了由使用者指定的放大倍率的远摄图像数据itele作为合成raw数据iraw。例如，在由使用者指定的放大倍率是1倍～2倍的情况下，合成处理部31输出其中预定区域α已被替换为合成图像数据ifusion(合成图像数据imerge)的宽图像数据iwide作为合成raw数据iraw。
需要注意的是，实际上，在宽图像数据iwide'和远摄图像数据itele'中可以包括由视差引起的位置偏差、成像器件10和20之间的感度差异和曝光差异。合成图像数据ifusion可以包括超过每个成像器件10和20的奈奎斯特频率(nyquistfrequency)的高频分量。宽图像数据iwide'和远摄图像数据itele'根据定义是马赛克数据；因此，优选地对宽图像数据iwide'和远摄图像数据itele'进行像素内插，以便高精度地将宽图像数据iwide'和远摄图像数据itele'彼此合成。因此，优选地，合成处理部31对宽图像数据iwide'和远摄图像数据itele'进行下述的各种信号处理。
图6示出了合成处理部31的功能块的例子。图7示出了由合成处理部31进行的信号处理的过程的例子。
合成处理部31包括定位部130和合成部140。定位部130基于分别由成像器件10和20生成的两条raw数据iraw1和iraw2来生成两条raw数据iraw1和iraw2的定位数据。合成部140基于由定位部130生成的定位数据将两条raw数据iraw1和iraw2彼此合成。
例如，定位部130包括裁剪部131、增益校正部132、像素校正部133和134、缩小部135以及视差计算部136。
裁剪部131在raw数据iraw1中指定要与raw数据iraw2合成的融合区域β(对应于图5中的区域α)。具体地，裁剪部131基于成像器件10和20中的每一个的放大倍率以及raw数据iraw1和iraw2中的每一个的图像尺寸来指定融合区域β。裁剪部131例如基于成像器件10和20中的每一个的放大倍率以及raw数据iraw1和iraw2中的每一个的图像尺寸来指定raw数据iraw1中的融合区域β的坐标。裁剪部131例如基于指定的坐标，从raw数据iraw1中裁剪与融合区域β相对应的raw数据iraw1a(步骤s101)。
需要注意的是，合成处理部31可以对raw数据iraw1a和raw数据iraw2进行opb(光学黑色)减法。opb减法指示消除例如由暗电流引起的噪声成分。例如，合成处理部31可以从raw数据iraw1a和iraw2中消除在成像器件10和20被遮光的情况下生成的噪声成分。此时，在由于消除噪声成分而在raw数据iraw1a和iraw2中存在具有负值的像素的情况下，合成处理部31保持该像素的坐标。
增益校正部132针对各颜色信息在raw数据iraw1a和iraw2中计算增益比(例如，rgb增益比)。例如，增益校正部132针对各颜色信息计算raw数据iraw1a内的平均值，并针对各颜色信息计算raw数据iraw2内的平均值。例如，增益校正部132根据针对各颜色信息的raw数据iraw1a和iraw2的平均值之比来计算针对各颜色信息的校正增益。增益校正部132基于计算出的校正增益来校正raw数据iraw2(步骤s102)，由此生成raw数据iraw2a。
像素校正部133基于包含在raw数据iraw1a中的预定种类的颜色信息(例如，绿色信息)进行raw数据iraw1a中包含的所有像素的内插，以生成包括预定种类的颜色信息(例如，绿色信息)的内插raw数据iraw1b作为定位数据(步骤s103)。像素校正部134基于包含在raw数据iraw2a中的预定种类的颜色信息(例如，绿色信息)进行raw数据iraw2a中包含的所有像素的内插，以生成包括预定种类的颜色信息(例如，绿色信息)的内插raw数据iraw2b作为定位数据。
例如，如图8所示，像素校正部133从包括rgb阵列的拜耳阵列的raw数据iraw1a中生成包括绿色信息的内插raw数据iraw1b。此外，例如，如图8所示，像素校正部133从包括rgb阵列的拜耳阵列的raw数据iraw2a中生成包括绿色信息的内插raw数据iraw2b。此时，在中心像素(要内插的像素)是g像素的情况下，像素校正部133例如使用图9所示的内插滤波器f来校正中心像素的绿色信息。此外，在中心像素(要内插的像素)是r像素或b像素的情况下，像素校正部133利用例如使用图10所示的内插滤波器f生成的绿色信息来替换中心像素的颜色信息。
缩小部135基于成像器件10和20中的每一个的放大倍率来缩小内插raw数据iraw2b(步骤s104)。视差计算部136基于内插raw数据iraw1b和iraw2c来计算视差信息disp作为定位数据(步骤s105)。视差信息disp对应于由成像器件10的位置和成像器件20的位置的未对齐而引起的图像上的位置偏差量。视差计算部136例如使用两个图像之间的运动矢量估算法从内插raw数据iraw1b和iraw2c中生成视差信息disp。
例如，合成部140包括融合部141、lpf部142、相关处理部143、合并部144和选择部145。
融合部141对两条内插raw数据iraw1b和iraw2c进行合成，由此生成合成raw数据iraw3a(步骤s106)。具体地，融合部141基于视差信息disp对两条内插raw数据iraw1b和iraw2c进行合成，由此生成合成raw数据iraw3a。
图11示出了融合部141的内部构成的例子。例如，融合部141包括lpf部141a、hpf141b、视差校正部141c和重叠部141d。lpf部141a提取内插raw数据iraw1b中的低频分量以生成内插raw数据iraw1c。hpf141b提取内插raw数据iraw2c中的高频分量以生成内插raw数据iraw2d。视差校正部141c基于视差信息disp对内插raw数据iraw2d进行校正以生成内插raw数据iraw2e。重叠部141d将内插raw数据iraw2e添加到内插raw数据iraw1c以生成合成raw数据iraw3a。
需要注意的是，例如，如图12所示，融合部141可以包括映射处理部141e，其在将内插raw数据iraw2e添加到内插raw数据iraw1c的情况下对内插raw数据iraw2e进行映射处理。作为映射，例如，从融合结果、输入信号和视差信息disp来检测容易发生融合失败的部分，并且生成融合可靠性。可靠性低的部分的融合效果因使用映射而变弱，导致在最终结果中融合失败变得难以检测。此外，可以使用映射以使在由后述的相关处理部143生成的raw数据iraw3c与在将raw数据iraw3c和raw数据iraw1彼此合成的情况下的raw数据iraw1之间的边界处的分辨率平滑变化。在这种情况下，映射具有朝向合成数据的外缘分阶段地减弱融合效果的形状。
lpf部142使包含在合成raw数据iraw3a中的超过成像器件10和20中的每一个的奈奎斯特频率的高频分量衰减，以生成合成raw数据iraw3b(步骤s107)。结果，抑制了伪色的发生。图13示出了lpf部142的内部构成的例子。lpf部142具有例如其中截止频率彼此不同的多个lpf彼此平行配置的构成。lpf部142例如包括通过串联连接lpf142a和增益部142d而构成的第一路径p1、通过串联连接lpf142b和增益部142e而构成的第二路径p2以及仅设有增益部142c的第三路径p3。例如，如图14所示，lpf142a使用成像器件10的奈奎斯特频率nyq1作为截止频率，并且具有其中衰减率随着接近截止频率而增大的滤波器特性。例如，如图15所示，lpf142b使用成像器件10的奈奎斯特频率nyq1和成像器件20的奈奎斯特频率nyq2之间的频率作为截止频率，并且具有其中衰减率随着接近截止频率而增大的滤波器特性。结果，在lpf部142中，可以通过选择lpf部142a或lpf部142b来调整高频衰减的水平。
第一路径p1、第二路径p2和第三路径p3彼此平行连接。lpf部142被构造成使得根据来自控制部40的控制信号独立地设定各个增益部142c,142d和142e的增益。因此，例如，在将控制信号供给到lpf部142以使得增益部142c和142d中的每一个的增益变为零并且使得增益部142e的增益变为1的情况下，lpf部142用作lpf部142b。此外，例如，在将控制信号供给到lpf部142以使得增益部142c的增益变为零并且使得增益部142d和142e中的每一个的增益变为1的情况下，lpf部142用作彼此平行配置的lpf部142a和142b。
相关处理部143对合成raw数据iraw3a或已经过预定处理的合成raw数据iraw3a(合成raw数据iraw3b)进行相关处理(步骤s108)。例如，如图16a所示，相关处理部143将作为raw数据iraw1与内插raw数据iraw1b之差的色差分量(iraw1-iraw1b)添加到合成raw数据iraw3a或合成raw数据iraw3b中。色比可以用在相关处理中。例如，如图16b所示，相关处理部143可以将合成raw数据iraw3a或合成raw数据iraw3b与作为raw数据iraw1和内插raw数据iraw1b之比的色比分量(iraw1/iraw1b)相乘。结果，相关处理部143生成包括与raw数据iraw1和iraw2的阵列相对应的阵列的raw数据iraw3c(第三raw数据)。
合并部144将raw数据irawa1和raw数据iraw3c彼此合成以生成去马赛克处理(demosaicprocessing)用的raw数据iraw3d(第四raw数据)(步骤s109)。此时，合并部144在raw数据iraw3c的周缘中设置具有零颜色信息的框形区域，以使得raw数据iraw3c的图像尺寸等于raw数据irawa1的图像尺寸。随后，合并部144例如将raw数据irawa1中的融合区域α的颜色信息设定为零。此外，例如，合并部144将图像尺寸等于raw数据irawa1的图像尺寸的raw数据iraw3c添加到raw数据irawa1。换句话说，例如，合并部144用raw数据iraw3c替换raw数据irawa1中的融合区域α。
需要注意的是，在合成处理部31进行opb减法的情况下，在合成处理之前，考虑到符号，合并部144可以将opb减法中消除的噪声成分添加到raw数据iraw3c中。
选择部145根据使用者指定的放大倍率选择要输出的合成raw数据iraw。假定成像器件10的放大倍率被设定为1倍，并且成像器件20的放大倍率被设定为2倍。此时，例如，在由使用者指定的放大倍率为1倍的情况下，选择部145输出raw数据iraw1作为合成raw数据iraw。例如，在由使用者指定的放大倍率为2倍以上的情况下，合成处理部31输出放大了由使用者指定的放大倍率的raw数据iraw2作为合成raw数据iraw。例如，在由使用者指定的放大倍率为1倍～2倍的情况下，合成处理部31输出raw数据iraw3d作为合成raw数据iraw。
[效果]
接着，对由成像装置1实现的效果进行说明。
图20示出了现有的成像装置200的功能块的例子。成像装置200包括两个成像器件210和220。成像装置200包括相机信号处理部230和相机信号处理部240。相机信号处理部230将由成像器件210获得的raw数据iraw1转换成彩色图像数据icol1。相机信号处理部240将由成像器件220获得的raw数据iraw2转换成彩色图像数据icol2。成像装置200还对由相机信号处理部230和240获得的彩色图像数据icol1和icol2进行合成，以生成彩色图像数据icol3。如上所述，在现有的成像装置200中，在成像器件210和220中的每一个中进行彩色成像(去马赛克处理)，并且在进行彩色成像(去马赛克处理)之后进行图像合成。因此，由于针对各像素的大量颜色信息而导致发生处理成本和功耗极大地增加的问题。
相反，在本实施方案中，基于根据两条raw数据iraw1和iraw2生成的定位数据将视角彼此不同的两条raw数据iraw1和iraw2彼此合成。换句话说，在本实施方案中，在对raw数据进行去马赛克处理之前的状态下进行合成。这使得可以将去马赛克处理的次数减少到一次。此外，在本实施方案中待合成的raw数据iraw1和iraw2包括比现有技术中要合成的彩色图像数据icol1和icol2更少量的针对各像素的颜色信息。这使得可以抑制合成所需的计算量。因此，可以降低去马赛克处理和合成处理所需的处理成本和功耗。
此外，在本实施方案中，从合成处理部31输出raw数据iraw。因此，前一个相机信号处理部230等可以在合成处理部31之后用于相机信号处理部32，而不添加任何改变。换句话说，在本实施方案中，相对于单一成像器件的raw输出的去马赛克处理之后的处理根本未被修改的构成可适用于相机信号处理部32。因此，在本实施方案中，与使用单一成像器件的情况相似，可以容易地降低去马赛克处理和合成处理所需的处理成本和功耗。
此外，在本实施方案中，成像器件10的成像区域r1的除了外缘之外的区域对应于成像器件20的成像区域r2。此外，在本实施方案中，视角相对宽的raw数据iraw1以及视角窄于raw数据iraw1的视角的raw数据iraw2由成像器件10和20生成。因此，将合成raw数据iraw的除了外缘之外的预定区域(融合区域β)和raw数据iraw2彼此合成。换句话说，将raw数据iraw2嵌入框形raw数据iraw1中。结果，可以使用两个成像器件10和20来获得具有宽视角和高分辨率的图像，并且可以在不使用机械变焦机构的情况下进行光学变焦。
此外，在本实施方案中，基于包含在raw数据iraw1和iraw2中的预定种类的颜色信息来进行raw数据iraw1和iraw2中包含的所有像素的内插。这使得可以按与在对raw数据iraw1和iraw2进行去马赛克处理之后进行的合成处理中的精度同等程度的精度来进行合成处理。
此外，在本实施方案中，基于从两条raw数据iraw1和iraw2生成的两条内插raw数据iraw1b和iraw2b来生成视差信息disp作为定位数据。因此，使用视差信息disp允许提高内插raw数据iraw1b和内插raw数据iraw2c的合成精度。
此外，在本实施方案中，包含在合成raw数据iraw3a中的超过成像器件10和20中的每一个的奈奎斯特频率的高频分量由lpf部142衰减。这使得可以抑制在将raw数据irawa1和raw数据iraw3c彼此合成的情况下发生的伪色。此外，在本实施方案中，lpf142a和lpf142b平行配置，并且可以选择lpf142a和lpf142b中的一个。这使得可以通过选择lpf142a或lpf142b来调整高频衰减的水平。
此外，在本实施方案中，色差分量(iraw1-iraw1b)被添加到合成raw数据iraw3c或已经过预定处理的合成raw数据iraw3a(合成raw数据iraw3b)中。如上所述，在本实施方案中，在进行具有较少量颜色信息的合成处理之后，将丢失颜色信息返回到合成raw数据iraw3c或合成raw数据iraw3b。因此，在本实施方案中，可以在降低合成处理所需的处理成本和功耗的同时提高合成精度。
此外，在本实施方案中，对通过将raw数据iraw1和raw数据iraw3c彼此合成而生成的raw数据iraw3d进行去马赛克处理。如上所述，在本实施方案中，在进行raw数据的合成之后进行去马赛克处理，因此与在进行去马赛克处理之后进行合成的情况相比，可以降低处理成本和功耗。
<2.变形例>
接着，对根据上述实施方案的成像装置1的变形例进行说明。
成像装置1包括上述实施方案中的两个成像器件10和20；然而，成像装置1可以包括三个以上的成像器件。例如，如图17和图18所示，成像装置1可以包括三个成像器件10,20和50。例如，三个成像器件10,20和50被布置成在物理配置中彼此水平。例如，如图17所示，成像器件10的光轴ax1、成像器件20的光轴ax2和成像器件50的光轴ax3彼此不平行。此时，光轴ax1、ax2和ax3优选地指向其中光轴ax1、ax2和ax3的间隙随着距成像装置1的距离增加而相互减小的方向。光轴ax1、ax2和ax3可以彼此平行。
在本变形例中，定位部130基于由成像器件10和20生成的三条以上的raw数据iraw1,iraw2和iraw4来生成三条以上的raw数据iraw1,iraw2和iraw4的定位数据。合成部140基于由定位部130生成的定位数据将三条以上的raw数据iraw1,iraw2和iraw4彼此合成。
在本变形例中，成像器件20具有成像器件10的成像区域r1的除了外缘之外的区域作为成像区域r2。成像器件50包括成像元件51和光学透镜52，并且具有成像器件20的成像区域r2的除了外缘之外的区域作为成像区域r3。三个成像器件10,20,50分别生成视角彼此不同的raw数据iraw1,iraw2和iraw4。成像器件10通过成像生成视角最宽的raw数据iraw1(第一raw数据)。成像器件20通过成像生成视角窄于raw数据iraw1的视角的raw数据iraw2(第二raw数据)。成像器件50通过成像生成视角窄于raw数据iraw2的视角的raw数据iraw4(第三raw数据)。
在本变形例中，合成处理部31对raw数据iraw1的除了外缘之外的预定区域和raw数据irawa2进行合成，并且对raw数据irawa2的除了外缘之外的预定区域和raw数据iraw4进行合成。
图19示出了根据本变形例的合成处理部31的功能块的例子。在本变形例中，定位部130包括用于raw数据iraw3的信号处理块，例如，增益校正部137、像素校正部138和缩小部139。
增益校正部137针对各颜色信息在raw数据iraw2和iraw3中计算增益比(例如，rgb增益比)。例如，增益校正部137针对各颜色信息计算raw数据iraw2内的平均值，并针对各颜色信息计算raw数据iraw3内的平均值。例如，增益校正部137根据针对各颜色信息的raw数据iraw2和iraw3的平均值之比来计算针对各颜色信息的校正增益。增益校正部137基于计算出的校正增益来校正raw数据iraw3，由此生成raw数据iraw4a。
像素校正部138基于包含在raw数据iraw4a中的预定种类的颜色信息(例如，绿色信息)进行在raw数据iraw4a中包含的所有像素的内插，以生成包括预定种类的颜色信息(例如，绿色信息)的内插raw数据iraw4b作为定位数据。像素校正部138基于包含在raw数据iraw4a中的预定种类的颜色信息(例如，绿色信息)进行在raw数据iraw4a中包含的所有像素的内插，以生成包含预定种类的颜色信息(例如，绿色信息)的内插raw数据iraw4b作为定位数据。
例如，如图8所示，像素校正部138从包括rgb阵列的拜耳阵列的raw数据iraw4a中生成包括绿色信息的内插raw数据iraw4b。此时，在中心像素(要内插的像素)是g像素的情况下，像素校正部138例如使用图9所示的内插滤波器f来校正中心像素的绿色信息。此外，在中心像素(要内插的像素)是r像素或b像素的情况下，像素校正部138利用例如使用图10所示的内插滤波器f生成的绿色信息来替换中心像素的颜色信息。
缩小部139基于成像器件20和50中的每一个的放大倍率来缩小内插raw数据iraw4b。视差计算部136基于内插raw数据iraw1b,iraw2c和iraw4c来计算视差信息disp作为定位数据。视差信息disp对应于由成像器件10的位置和成像器件20的位置的未对齐而引起的图像上的位置偏差量以及由成像器件20的位置和成像器件50的位置的未对齐而引起的图像上的位置偏差量。视差计算部136例如使用两个图像之间的运动矢量估算法从内插raw数据iraw1b,iraw2c和iraw4c中生成视差信息disp。
在本变形例中，融合部141对两条内插raw数据iraw1b和iraw2c进行合成，并且对两条内插raw数据iraw2c和iraw4c进行合成，由此生成合成raw数据iraw3a。具体地，融合部141基于视差信息disp对两条内插raw数据iraw1b和iraw2c进行合成并且对两条内插raw数据iraw2c和iraw4c进行合成，由此生成合成raw数据iraw3a。
在本变形例中，基于根据两条raw数据iraw1和iraw2生成的定位数据来合成视角彼此不同的两条raw数据iraw1和iraw2。此外，基于根据两条raw数据iraw2和iraw4生成的定位数据来合成视角彼此不同的两条raw数据iraw2和iraw4。换句话说，在本实施方案中，在对raw数据进行去马赛克处理之前的状态下进行合成。这使得可以减少去马赛克处理的次数。此外，在本实施方案中待合成的raw数据iraw1,iraw2和iraw4包括比现有技术中要合成的彩色图像数据更少量的针对各像素的颜色信息。因此，可以降低去马赛克处理和合成处理所需的处理成本和功耗。
此外，在本变形例中，成像器件10的成像区域r1的除了外缘之外的区域对应于成像器件20的成像区域r2，并且成像器件20的成像区域r2的除了外缘之外的区域对应于成像器件50的成像区域r3。此外，在本变形例中，视角相对宽的raw数据iraw1、视角窄于raw数据iraw1的视角的raw数据iraw2和视角窄于raw数据iraw2的视角的raw数据iraw4由成像器件10,20和50生成。因此，将合成raw数据iraw的除了外缘之外的预定区域(融合区域β)和raw数据iraw2彼此合成。此外，将raw数据iraw2的除了外缘之外的预定区域和raw数据iraw4彼此合成。换句话说，将raw数据iraw2嵌入框形raw数据iraw1中，并将raw数据iraw4嵌入框形raw数据iraw2中。结果，可以使用三个成像器件10,20和50来获得具有宽视角和高分辨率的图像，并且可以在不使用机械变焦机构的情况下进行光学变焦。
虽然参照实施方案及其变形例对本公开进行了说明，但是本公开不限于上述实施方案等，并且可以进行各种变形。需要注意的是，本说明书中记载的效果仅是例子。本公开所实现的效果不限于本说明书中记载的效果。本公开可以实现除本说明书中记载的效果以外的效果。
此外，本公开可以具有以下构成。
(1)一种成像装置，包括：
生成视角彼此不同的raw数据的两个成像器件；
定位部，所述定位部基于由各个所述成像器件生成的两条raw数据来生成所述两条raw数据的定位数据；和
合成部，所述合成部基于由所述定位部生成的定位数据将所述两条raw数据彼此合成。
(2)根据(1)所述的成像装置，其中
所述两条raw数据包括视角相对宽的第一raw数据和视角窄于第一raw数据的视角的第二raw数据，
作为所述两个成像器件中的一个的第一成像器件通过成像生成第一raw数据，和
作为所述两个成像器件中的另一个的第二成像器件具有第一成像器件的成像区域的除了外缘之外的区域作为成像区域，并且通过成像生成第二raw数据。
(3)根据(2)所述的成像装置，其中所述合成部将第一raw数据的除了外缘之外的预定区域和第二raw数据彼此合成。
(4)根据(1)～(3)中任一项所述的成像装置，其中所述定位部基于包含在所述raw数据中的预定种类的颜色信息进行包含在所述raw数据中的所有像素的内插，以生成包括所述预定种类的颜色信息的内插raw数据作为所述定位数据。
(5)根据(4)所述的成像装置，其中所述定位部基于从所述两条raw数据生成的两条内插raw数据来生成视差信息作为所述定位数据。
(6)根据(5)所述的成像装置，其中所述合成部基于所述视差信息来对所述两条内插raw数据进行合成，以生成合成raw数据。
(7)根据(6)所述的成像装置，其中所述合成部使包含在所述合成raw数据中的超过所述成像器件中的每一个的奈奎斯特频率的高频分量衰减。
(8)根据(4)所述的成像装置，其中所述合成部对所述两条内插raw数据进行合成以生成合成raw数据，其后使包含在所述合成raw数据中的超过所述成像器件中的每一个的奈奎斯特频率的高频分量衰减。
(9)根据(4)所述的成像装置，其中所述合成部将色差分量添加到所述合成raw数据或已经过预定处理的所述合成raw数据，或者将所述合成raw数据或已经过预定处理的所述合成raw数据与色比分量相乘，以生成包括与所述raw数据的阵列相对应的阵列的第三raw数据，所述色差分量是第一raw数据和从第一raw数据生成的内插raw数据之差，并且所述色比分量是第一raw数据与所述内插raw数据之比。
(10)根据(9)所述的成像装置，其中所述合成部将第一raw数据和第三raw数据彼此合成以生成去马赛克处理用的第四raw数据。
(11)根据(10)所述的成像装置，还包括对第四raw数据进行去马赛克处理的相机信号处理部。
(12)一种成像装置，包括：
生成视角彼此不同的raw数据的三个以上的成像器件；
定位部，所述定位部基于由各个所述成像器件生成的三条以上的raw数据来生成所述三条以上的raw数据的定位数据，和
合成部，所述合成部基于由所述定位部生成的定位数据将所述三条以上的raw数据彼此合成。
(13)根据(12)所述的成像装置，其中
所述三条以上的raw数据包括视角最宽的第一raw数据、视角窄于第一raw数据的视角的第二raw数据和视角窄于第二raw数据的视角的第三raw数据，
作为所述三个以上的成像器件中的一个的第一成像器件包括通过成像生成第一raw数据的第一成像元件，
与所述三个以上的成像器件中的第一成像器件不同的第二成像器件具有第一成像器件的成像区域的除了外缘之外的区域作为成像区域，并且通过成像生成第二raw数据，和
与所述三个以上的成像器件中的第一成像器件和第二成像器件不同的第三成像器件具有第二成像器件的成像区域的除了外缘之外的区域作为成像区域，并且通过成像生成第三raw数据。
(14)根据(13)所述的成像装置，其中所述合成部对第一raw数据的除了外缘之外的预定区域和第二raw数据进行合成，并且对第二raw数据的除了外缘之外的预定区域和第三raw数据进行合成。
(15)一种信号处理装置，包括：
定位部，所述定位部基于视角彼此不同的两条raw数据来生成所述两条raw数据的定位数据；和
合成部，所述合成部基于由所述定位部生成的定位数据将所述两条raw数据彼此合成。
(16)根据(15)所述的信号处理装置，其中
所述两条raw数据包括视角相对宽的第一raw数据和视角窄于第一raw数据的视角的第二raw数据，和
所述合成部将第一raw数据的除了外缘之外的预定区域和第二raw数据彼此合成。
(17)一种信号处理装置，包括：
定位部，所述定位部基于视角彼此不同的三条以上的raw数据来生成所述三条以上的raw数据的定位数据；和
合成部，所述合成部基于由所述定位部生成的定位数据将所述三条以上的raw数据彼此合成。
(18)根据(17)所述的信号处理装置，其中
所述三条以上的raw数据包括视角最宽的第一raw数据、视角窄于第一raw数据的视角的第二raw数据和视角窄于第二raw数据的视角的第三raw数据，和
所述合成部对第一raw数据的除了外缘之外的预定区域和第二raw数据进行合成，并且对第二raw数据的除了外缘之外的预定区域和第三raw数据进行合成。
本申请基于并要求于2016年3月4日向日本专利局提交的日本专利申请no.2016-041718的优先权，其全部内容通过引用并入本文。
本领域技术人员应当理解的是，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在所附权利要求书或其等同物的范围内即可。