图像处理装置、摄像装置、图像处理方法以及图像处理程序的制作方法_4

文档序号:9332574阅读:来源:国知局
6中,当在步骤 522中计算出的差分D为在步骤524中导出的阈值ε 2以下的情况下,判定被肯定而转移到 步骤528。
[0175] 在步骤528中,作为一个例子,通过确定部28C来生成图24所示的第1像素值分布 以及第2像素值分布。作为一个例子,第1像素值分布是指图22所示的关注行所属的一行 (例如与第1像素行150对应的一行)中包括的所有的第1像素 Ll的像素值的分布。第2 像素值分布是指关注行所属的一行中包括的所有的第2像素 Rl的像素值的分布。
[0176] 在接下来的步骤530中,作为一个例子,如图24所示,通过确定部28C计算在步骤 528中生成的第1像素值分布与第2像素值分布的峰值间的距离(峰值间距离)α,其后, 转移到步骤532。峰值间距离α是指例如在光瞳分割方向(视差产生方向)上信号电平具 有极大值的像素间的距离,意味着所谓的相位差(或者与相位差相当的物理量)。
[0177] 在步骤532中,通过确定部28C,判定在步骤530中计算出的峰值间距离α是否为 阈值ε3以下。此处,作为阈值ε3,采用与图23所示的关注像素群262的关注行中包括的 相位差像素间的距离Χ2的值相当的值,但也可以采用它以外的值,这自不待言,另外,也 可以采用由用户指定的值。
[0178] 在步骤532中,当在步骤530中计算出的峰值间距离α超过阈值ε 3的情况下 (例如在第1像素值分布以及第2像素值分布为图24所示的状态的情况下),判定被否定 而转移到步骤536。在步骤532中,当在步骤530中计算出的峰值间距离α为阈值 ε 3以 下的情况下(例如在第1像素值分布以及第2像素值分布为图25所示的状态的情况下), 判定被肯定而转移到步骤534。
[0179] 在步骤534中,通过确定部28C,将表示在步骤504中设定的关注像素群262的位 置的位置信息(例如能够确定处理对象图像内的位置的二维坐标)存储在预定的存储区域 (例如存储器26)中。
[0180] 接下来的步骤536中,通过确定部28C,判定处理对象图像中包括的全部像素中是 否存在尚未被设定为关注像素群262的像素群。在步骤536中,在处理对象图像中包括的 全部像素存在尚未被设定为关注像素群262的像素群的情况下,判定被否定而转移到步骤 504。在步骤536中,在处理对象图像中包括的全部像素中不存在尚未被设定为关注像素群 262的像素群的情况下,判定被肯定而结束本图像区域确定处理。
[0181] 回到图16,在步骤406中,通过确定部28C,判定在预定的存储区域中是否存储了 位置信息(在步骤534中在预定的存储区域中是否存储了位置信息)。在步骤406中,当 在预定的存储区域中未存储位置信息的情况下,判定被否定而转移到步骤410。在步骤406 中,当在预定的存储区域中存储了位置信息的情况下,判定被肯定而转移到步骤408。
[0182] 在步骤408中,通过确定部28C,将在步骤402中生成的裂像中的特定图像区域 (本发明的图像区域的一个例子)的明亮度以及颜色(或者明亮度或颜色)调整成能够与 其他区域相区别。此处,特定图像区域是指例如通过在预定的存储区域中存储的位置信息 (在步骤534中在预定的存储区域中存储的位置信息)来表示的图像区域(与关注像素群 262相当的区域)中的、裂像所包括的区域。
[0183] 在接下来的步骤410中,通过确定部28C,将在步骤402中生成的正常图像以及裂 像、或者在步骤408中调整特定图像区域的明亮度以及颜色而得到的裂像和在步骤402中 生成的正常图像输出到显示控制部36。由此,显示控制部36进行控制而在显示装置连续地 显示正常图像来作为动态图像,并且连续地显示正常图像的显示区域内的裂像来作为动态 图像。与此相应地,显示装置显示实时预览图像。
[0184] 另外,显示控制部36如果被输入在步骤408中调整了特定图像区域的明亮度以及 颜色而得到的裂像和在步骤402中生成的正常图像,则对显示装置进行控制,以使其能够 与其他区域相区别地显示特定图像区域。由此,作为一个例子,如图26所示,显示装置能够 与其他区域相区别地显示(强调显示(峰化))实时预览图像中的特定图像区域。作为能 够与其他区域相区别地显示特定图像区域的方法,例如,可列举将特定图像区域的输出提 升到上限值的方法、用预先确定的特殊颜色显示特定图像区域的方法。此外,在图26所示 的例子中,裂像中的粗线区域相当于特定图像区域。另外,如图26所示,也可以对由特定图 像区域的轮廓规定的框内的面区域(在图26所示的例子中,由特定图像区域的轮廓与裂像 的外框包围的区域),显示能够与框外的区域相区别的色块图案。
[0185] 如以上说明的那样,在本第1实施方式的摄像装置100中,通过确定部28C来确定 满足差分dl为ε 1以上的第1条件、以及差分D为阈值ε 2以下的第2条件这两种条件的 图像区域(特定图像区域)。另外,通过显示装置,来显示正常图像以及裂像,并且能够与其 他区域相区别地显示裂像内的特定图像区域。因此,本第1实施方式的摄像装置100与不 具有本结构的情况相比,能够更容易地在视觉上识别是否处于对焦状态。
[0186] 另外,在本第1实施方式的摄像装置100中,差分dl根据正常像素 Nl的像素值来 确定。因此,本第1实施方式的摄像装置100与不使用正常像素 Nl的像素值来确定差分dl 的情况相比,能够更高精度地确定满足第1条件(差分dl多阈值ε 1)的图像区域。
[0187] 另外,在本第1实施方式的摄像装置100中,根据在第1像素 Ll与第2像素 Rl之 间配置的正常像素 Nl的像素值来确定差分dl。因此,本第1实施方式的摄像装置100与不 使用在第1像素 Ll与第2像素 Rl之间配置的正常像素 Nl的像素值来确定差分dl的情况 相比,能够更高精度地确定满足第1条件的图像区域。
[0188] 另外,本第1实施方式的摄像装置100中,根据正常像素 Nl的列方向的预定像素 (在图22所示的例子中,4个像素)量的平均像素值来确定差分dl。因此,本第1实施方式 的摄像装置100与不具有根据平均像素值来确定差分dl的结构的情况相比,能够更高精度 地确定满足第1条件的图像区域。
[0189] 另外,在本第1实施方式的摄像装置100中,对比度的大小根据非饱和状态的正常 像素 Nl来确定。因此,本第1实施方式的摄像装置100与不具有本结构的情况相比,能够 抑制在包括非饱和状态的像素的情况下可能引起的图像区域的错误确定。
[0190] 另外,在本第1实施方式的摄像装置100中,根据减光特性而导出校正系数,根据 通过所导出的校正系数校正了的左眼图像以及右眼图像来计算差分D。因此,本第1实施方 式的摄像装置100与不具有本结构的情况相比,能够抑制减光特性所引起的特定图像区域 的错误确定。
[0191] 另外,在本第1实施方式的摄像装置100中,根据峰值间距离α来确定满足第2 条件(差分D <阈值ε 2)的图像区域(例如与满足第2条件的第1像素 L以及第2像素 R对应的区域)。因此,本第1实施方式的摄像装置100与不具有根据峰值间距离α来确 定满足第2条件的图像区域的结构的情况相比,能够更高精度地确定满足第2条件的图像 区域。
[0192] 此外,在上述第1实施方式中,列举为了在摄像元件20的中央部按预先确定的配 置图案来配置多个相位差像素而在显示装置的画面中央部显示裂像的例子来进行了说明, 但本发明不限定于此。例如,在将摄像元件20的整个区域作为对象来按预先确定的配置图 案配置了多个相位差像素的情况下,作为一个例子,也可以如图27所示,对显示装置的整 个画面显示裂像。在这种情况下,能够通过与显示正常图像以及裂像这两者的结构相比更 容易在视觉上识别是否处于对焦状态的简单的结构来实现。
[0193] 另外,在上述第1实施方式中,例示了在图18所示的图像区域确定处理中计算第 1像素值分布与第2像素值分布的峰值间距离α的情况下,但本发明不限定于此。例如, 如图28所示,也可以代替图18所示的图像区域确定处理的步骤528、530、532,通过确定部 28C来进行步骤558、560、562。
[0194] 在图28所示的图像区域确定处理中,在步骤558中,通过确定部28C,根据位置对 关注行所属的一行中包括的第1像素 L以及第2像素 R各自的像素值进行微分。在接下来 的步骤560中,通过确定部28C,来计算在步骤558中进行微分而得到的关于第1像素 L的 微分峰值与关于第2像素 R的微分峰值的距离(微分峰值间距离)β。在接下来的步骤562 中,通过确定部28C,判定微分峰值间距离β是否为阈值ε4(与阈值ε 2相当的值)以下。 在步骤562中,微分峰值间距离β超过阈值ε 4的情况下,判定被否定而转移到步骤536。 在步骤562中,在微分峰值间距离β为阈值ε 4以下的情况下,判定被肯定而转移到步骤 534〇
[0195] 微分峰值间距离β相当于峰值间距离α中包括的噪声被减轻了的值,所以通过 使用微分峰值间距离β,能够高精度地确定满足第2条件的图像区域(例如与满足第2条 件的第1像素 L以及第2像素 R对应的区域)。
[0196] 另外,在上述第1实施方式中,例示了并入了步骤528、530、532的图像区域确定 处理,但本发明不限定于此,也可以从图18所示的图像区域确定处理中去除步骤528、530、 532。在这种情况下,能够期待图像输出处理的高速化。另外,也可以从图18所示的图像区 域确定处理中去除步骤522、524、526。在这种情况下也能够期待图像输出处理的高速化。
[0197] 另外,在上述第1实施方式中,例示了计算正常像素 N间的平均像素值的差分dl 的情况,但本发明不限定于此,例如,也可以计算关注正常像素组中包括的一对正常像素 NI 间的差分。在这种情况下,不需要求出像素值的平均,所以能够期待图像输出处理的高速 化。
[0198] 另外,在上述第1实施方式中,例示了在图17所示的图像区域确定处理中设定关 注像素群262的情况,但不限于此,也可以设定图29所示的关注像素群262A、图30所示的 关注像素群262B或者图31所示的关注像素群262C。
[0199] 图29所示的关注像素群262A由关注像素群规定框263A规定。关注像素群规定 框263A是按4X8的分割区域进行分隔的矩形框,与第1像素组相当的第1像素 Ll以及第 2像素 Rl位于图中主视右上角以及左上角的分割区域,正常像素 Nl位于剩余的分割区域。 当在图像区域确定处理中设定了图29所示的关注像素群262A的情况下,作为关注相位差 像素,例如采用关注像素群262A的图中主视左上角的第1像素 Ll与图中主视右上角的第 2像素 R1。另外,也可以将关注像素群262A的与图中主视左上角的第1像素 Ll相邻的第 2像素 Rl和与图中主视左上角的第2像素 Rl相邻的第1像素 Ll用作关注相位差像素。
[0200] 此外,在图29所示的例子中,关注相位差像素不限定于关注像素群262A的图中主 视左上角的第1像素 Ll与图中主视右上角的第2像素 Rl,只要是一对第1像素 Ll以及第 2像素 R1,则可以是任意的组合。
[0201] 图30所示的关注像素群262B由关注像素群规定框263B规定。关注像素群规定框 263B是按5X5的分割区域进行分隔的矩形框,第1像素 Ll位于图中主视左下角的分割区 域,第2像素 Rl位于图中主视左上角的分割区域,正常像素 Nl位于剩余的分割区域。当在 图像区域确定处理中设定了图30所示的关注像素群262B的情况下,作为关注相位差像素, 采用例如关注像素群262B的图中主视左上角的第2像素 Rl与图中主视左下角的第1像素 Ll。另外,作为关注正常像素组,例如采用关注像素群262B中的第2像素 Rl所属的行中包 括的相邻的一对正常像素 Nl或者关注像素群262B中的第1像素 Ll所属的行中包括的相 邻的一对正常像素 Nl。
[0202] 图31所示的关注像素群262C由关注像素群规定框263C规定。关注像素群规定框 263C是按4X2的分割区域进行分隔的矩形框,第1像素 Ll位于图中主视左上角的分割区 域,第2像素 Rl位于图中主视右上角的分割区域,正常像素 Nl位于剩余的分割区域。当在 图像区域确定处理中设定了图31所示的关注像素群262C的情况下,作为关注相位差像素, 例如采用关注像素群262C的图中主视左上角的第1像素 Ll和图中主视右上角的第2像素 Rl。另外,作为关注正常像素组,例如采用在关注像素群262C中与第1像素 Ll以及第2像 素 Rl分别相邻的一对正常像素 Nl。
[0203] 另外,在上述第1实施方式中,例示了具有第1~第3像素群的摄像元件20,但本 发明不限定于此,也可以是仅由第1像素群以及第2像素群构成的摄像元件。在这种情况 下,通过在第1图像以及第2图像的相互的同色的像素间进行插值处理来实现正常图像的 生成。另外,也可以不进行插值处理,而将第1图像或者第2图像用作正常图像。另外,通 过代替正常像素 Nl的像素值,而使用例如将第1像素 Ll的像素值与第2像素 Rl的像素值 相加而得到的像素值,来实现差分dl的计算。在这种情况下,与使用正常像素 Nl的情况相 比,能够进行更高的空间频率区域的检测。另外,也可以代替将第1像素 Ll的像素值与第 2像素 Rl的像素值相加而得到的像素值,使用第1像素 Ll的像素值或者第2像素 Rl的像 素值。在这种情况下,能够进行更高的空间频率区域的检测。
[0204] 另外,在上述第1实施方式中,使用阈值导出表格260来导出阈值ε 1、ε 2,但不 限于此,也可以使用运算式来导出阈值ε?、ε 2。
[0205] 另外,在上述第1实施方式中,列举计算差分dl、D的例子进行了说明,但也可以代 替差分,而计算像素值的比。
[0206] [第2实施方式]
[0207] 在上述第1实施方式中,列举使用正常像素 Nl间的平均像素值的差分dl来确定 图像区域的例子进行了说明,但在本第2实施方式中,说明采用多个正常像素 Nl的像素值 的变化率来确定图像区域的情况。此外,下面,对与上述第1实施方式相同的的结构附加相 同的符号,而省略说明。
[0208] 图1~图3所示的本第2实施方式的摄像装置100A与上述第1实施方式中说明 的摄像装置100相比,不同点在于:图像处理部28进行图32所示的图像区域确定处理来代 替图17所示的图像区域确定处理。图32所示的图像区域确定处理与图17所示的图像区 域确定处理相比,不同点在于:代替步骤506~518而具有步骤600~步骤610。
[0209] 在图32所示的图像区域确定处理中,在步骤600中,作为一个例子,通过确定部 28C,如图33所示,设定在步骤504中设定的关注像素群262的关注行中包括的关注正常像 素组。本第2实施方式的关注正常像素组是指:包括尚未被设为后述的步骤600~610的 处理对象的正常像素 N1,并且在步骤504中设定的关注像素群262的关注行中包括的所有 的正常像素 Nl。
[0210] 在接下来的步骤602中,通过确定部28C,来判定在步骤600中设定的关注正常像 素组中包括的正常像素 Nl中的某一个的输出是否为饱和状态。在步骤602中,当在步骤 600中设定的关注正常像素组中包括的正常像素 Nl中的某一个的输出为饱和状态的情况 下,判定被肯定而转移到步骤536。在步骤602中,当在步骤600中设定的关注正常像素组 中包括的正常像素 Nl中的任一个的输出都不是饱和状态的情况下,判定被否定而转移到 步骤604。
[0211] 在步骤604中,通过确定部28C,来计算在步骤600中设定的关注正常像素组中包 括的每个正常像素 Nl的列方向的平均像素值。在图33所示的例子中,关注正常像素组中 包括的4个正常像素 Nl各自属于A列、B列、C列以及D列的各列,所以关于上述各列,计 算平均像素值。即,计算关注像素群262中的属于A列的正常像素 Nl的平均像素值、属于 B列的正常像素 Nl的平均像素值、属于C列的正常像素 Nl的平均像素值、以及属于D列的 正常像素 Nl的平均像素值。
[0212] 在接下来的步骤606中,通过确定部28C,来生成在步骤600中设定的关注正常像 素组中包括的每个正常像素 Nl的平均像素值(在步骤604中计算出的平均像素值)的回 归直线,其后,转移到步骤608。
[0213] 在步骤608中,通过确定部28C,来导出与当前设定的F值对应的阈值ε 5,其后, 转移到步骤610。此外,阈值ε 5与上述第1实施方式中说明的阈值ε 1同样地针对每个F 值而预先确定,其与F值的对应关系被表格化。
[0214] 在步骤610中,通过确定部28C,来判定在步骤606中生成了的回归直线的倾斜度 s是否为在步骤608中导出的阈值ε 5以上。在步骤610中,在倾斜度s低于在步骤608中 导出的阈值ε 5的情况下,判定被否定而转移到步骤536。在步骤610中,在倾斜度s为在 步骤608中导出的阈值ε 1以上的情况下,判定被肯定而转移到步骤520。
[0215] 如以上说明的那样,在本第2实施方式的摄像装置100Α中,根据在第1像素 Ll与 第2像素 Rl之间配置的多个正常像素 Nl的像素值的变化率来确定对比度的大小。因此, 本第2实施方式的摄像装置100Α与不具有本结构的情况相比,能够更高精度地确定满足第 1条件的图像区域。
[0216] 另外,在本第2实施方式的摄像装置100Α中,根据多个正常像素 Nl各自的列方向 的预定像素(在图33所示的例子中,4个像素)量的平均像素值的变化率来确定对比度的 大小。因此,本第2实施方式的摄像装置100Α能够更高精度地确定满足第1条件的图像区 域。
[0217] [第3实施方式]
[0218] 在上述第1以及第2实施方式中,说明了使用图22以及图33所示的像素的配置图 案的情况下的图像区域确定处理的一个例子,但在本第3实施方式中,作为一个例子,说明 使用图34所示的像素的配置图案的情况下的图像区域确定处理的一个例子。此外,下面, 关于与上述第1以及第2实施方式相同的的结构附加相同的符号,而省略说明。
[0219] 图1~图3所示的本第3实施方式的摄像装置100Β与在上述第1实施方式中说 明的摄像装置100相比,不同点在于:代替摄像元件20而具有摄像元件20A。作为一个例 子,如图34所示,摄像元件20A具有相位差像素行270以及正常像素行272。相位差像素行 270不包括正常像素 N而包括第1像素 L以及第2像素 R,正常像素行272不包括相位差像 素而包括正常像素 N。相位差像素行270以及正常像素行272在列方向上交替地配置。相 位差像素行270在同一行内交替地配置第1像素 L以及第2像素 R。
[0220] 图1~图3所示的本第3实施方式的摄像装置100B与在上述第1实施方式中说 明的摄像装置100相比,不同点在于:图像处理部28进行图35所示的图像区域确定处理来 代替图17所示的图像区域确定处理。图35所示的图像区域确定处理与图17所示的图像 区域确定处理相比,不同点在于:代替步骤504~518而具有步骤700~步骤710。
[0221] 在图35所示的图像区域确定处理中,在步骤700中,通过确定部28C,在处理对象 图像中包括的全部像素当中,作为一个例子,设定图34所示的关注像素群262D,其后,转移 到步骤702。此
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1