专利名称：代表图像判定设备、图像压缩设备、以及用于控制其操作的方法和程序的制作方法
技术领域：
本发明涉及代表图像判定设备、图像压缩设备、以及用于控制它们的操作的方法和程序。
背景技术：
已经可以进行立体图像拍摄并且将它们显示为立体图像。在不能显示立体图像的显示装置的情况下，已经给出了从表示立体图像的多个图像中选择代表图像并显示 所选的代表图像的考虑。为实现这一点，例如存在用于对已经从通过对三维物体成像而得到的移动图像中捕捉到三维物体的特征的图像进行选择的技术(日本专利申请公开No. 2009-42900)。然而，还存在这样的情况，其中重要目标尽管出现在其他图像中，却没有出现在所选图像中。此外，存在如下技术，其用于从通过从多个不同视点进行成像而得到的多个帧的图像当中提取出指示没有出现在其他图像中的图像部分的遮挡区域(隐藏区域)，并且以高精确度找出目标的轮廓(日本专利申请公开No. 6-203143)。然而，不能由此判定代表图像。此外，当以一致的比率对多个图像施加压缩时，存在重要图像的图像质量降低的情况。
发明内容
本发明的一个目的是判定其中也将会出现重要目标部分的代表图像。本发明的另一目的是使得重要图像的图像质量不会降低。根据本发明第一方面的代表图像判定设备，特征在于包括遮挡区域检测装置(遮挡区域检测手段)，其用于从以不同视点捕获的并具有至少一个共同部分的多个图像的每个图像中检测在其他图像中没有出现的遮挡区域；评分计算装置(评分计算手段)，其用于基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及判定装置(判定手段)，其用于将包含了由所述评分计算装置计算的评分高的遮挡区域的图像判定为代表图像。本发明第一方面还提供了适合于上述代表图像判定设备的操作控制方法。具体地，该方法包括步骤遮挡区域检测装置从以不同视点捕获的并具有至少一个共同部分的多个图像的每一个中检测在其他图像中没有出现的遮挡区域；评分计算装置基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及判定装置将包含了由所述评分计算装置计算的评分高的遮挡区域的图像判定为代表图像。本发明第一方面还提供了用于实现控制上述代表图像判定设备的操作的方法的程序。还可以布置成提供其上已经存储了这样一种操作程序的记录介质。根据本发明，从多个图像的每一个图像中检测遮挡区域，检测出的遮挡区域没有出现在其他图像中。基于多个图像的每一个的遮挡区域中的指定对象的比例来计算表示遮挡区域的重要程度的评分。包含了计算的评分高的遮挡区域的图像被判定为代表图像。根据本发明，由于其遮挡区域中的图像部分的重要程度高的图像(即，具有大比例的指定对象的图像)被判定为代表图像，因此可以防止将其中没有出现高重要性图像部分(指定对象)的图像判定为代表图像。例如，所述评分计算装置基于下述项当中的至少一个来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分所述多个图像的各图像的遮挡区域中包含的指定对象的比例、所述遮挡区域内的图像的强度、所述遮挡区域内的图像的饱和度、所述遮挡区域内的图像的亮度、所述遮挡区域的面积、和所述遮挡区域内的图像的方差。例如，所述评分计算装置执行计算以提高其中遮挡区域重叠的区域的评分。在多个图像为三个或更多的情况下，作为一个示例，所述判定装置将包含了由所述评分计算装置计算的评分高的遮挡区域的两帧或更多帧的图像判定为代表图像。·
该设备还可以包括压缩装置，其用于以如下方式执行压缩图像所包含的遮挡区域的由所述评分计算装置计算的评分越高，则所施加的压缩比越小。该设备还可以包括第一告知装置(第一告知手段)，其以如下方式给出告知从处在由所述判定装置判定的代表图像的视点的附近的视点(在代表图像的两侧中的至少一侧上)执行成像。在多个图像为三个或更多的情况下，作为一个示例，所述判定装置将包含了由所述评分计算装置计算的评分高的遮挡区域的两帧或更多帧的图像判定为代表图像。另外，所述设备还包括确定单元(确定手段)，其用于确定由所述判定装置判定的两帧图像是否是从相邻视点捕获的；以及第二告知装置(第二告知手段)，其响应于由所述确定单元作出的由所述判定装置判定的两帧图像是从相邻视点捕获的这样的确定，来以如下方式给出告知要从处在捕获所述两帧图像的两个地点的视点之间的视点来执行成像，并且所述第二告知装置响应于由所述确定单元作出的由所述判定装置判定的所述两帧图像不是从相邻视点捕获的这样的确定，来以如下方式给出告知要从与包含了具有最高评分的遮挡区域的图像的视点相接近的视点来执行成像。作为一个示例，所述判定装置将包含最高评分的遮挡区域的图像判定为代表图像。在该情况下，所述设备还包括记录控制装置(记录控制手段)，其用于将表示所述多个图像的每个图像的图像数据与识别由所述判定装置判定的代表图像的数据相互关联并记录在记录介质上。指定对象例如是面部。根据本发明第二方面的图像压缩设备的特征在于包括遮挡区域检测装置(遮挡区域检测手段)，其用于从以不同视点捕获的并具有至少一个共同部分的多个图像的每个图像中检测在其他图像中没有出现的遮挡区域；评分计算装置(评分计算手段)，其用于基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及压缩装置(压缩手段)，其用于以如下方式执行压缩图像所包含的遮挡区域的由所述评分计算装置计算的评分越高，则所施加的压缩比越小。本发明的第二方面还提供了一种适于上述图像压缩设备的操作控制方法。具体地，该方法包括步骤遮挡区域检测装置从以不同视点捕获的并具有至少一个共同部分的多个图像的每一个中检测在其他图像中没有出现的遮挡区域；评分计算装置基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及压缩装置以如下方式执行压缩图像所包含的遮挡区域由所述评分计算装置计算的评分越高，则所施加的压缩比越小。本发明的第二方面还提供了一种用于实现控制上述图像压缩设备的操作的方法的程序。此外，还可以布置为提供其上已经存储了这样的操作程序的记录介质。根据本发明的第二方面，从多个图像的各个图像中检测遮挡区域，遮挡区域没有出现在其他图像中。基于多个图像中各个图像的遮挡区域中的指定对象的比例，来计算表示遮挡区域的重要程度的评分。以图像所包含的遮挡区域的计算的评分越高则施加的压缩比越小的方式来执行压缩(低压缩)。图像中的遮挡区域的重要程度越高，则所获得的该图 像的图像质量越高。
图Ia示出左眼用图像，并且图Ib示出右眼用图像；图2是示出用于判定代表图像的处理过程的流程图；图3a示出左眼用图像，并且图3b示出右眼用图像；图4至图9是评分表的示例；图IOa至图IOc示出具有不同视点的三个图像；图11是一个图像示例；图12和图13是示出用于判定代表图像的处理过程的流程图；图14a至图14c示出具有不同视点的三个图像；图I5是一个图像示例；图16a至图16c示出具有不同视点的三个图像；图H是一个图像示例；图18是示出拍摄辅助模式的处理过程的流程图；图19是示出拍摄辅助模式的处理过程的流程图；以及图20是示出立体成像静态相机的电气构造的框图。
具体实施例方式图Ia和图Ib示出由立体成像数字静态相机捕获的图像。图Ia是在回放时由观察者的左眼观看的左眼用图像IL的一个示例，并且图Ib是在回放时由观察者的右眼观看的右眼用图像IR的一个示例。已经从不同视点捕获了左眼用图像IL和右眼用图像IR，并且成像范围的一部分对于两个图像是共同的。左眼用图像IL包含人像2L和3L，右眼用图像IR包含人像2R和3R。左眼用图像IL中包含的人像2L和右眼用图像IR中包含的人像2R表示同一个人，并且左眼用图像IL中包含的人像3L和右眼用图像IR中包含的人像3R表示同一个人。已经从不同视点捕获了左眼用图像IL和右眼用图像IR。左眼用图像IL中包含的人像2L和人像3L看起来与右眼用图像IR中包含的人像2R和人像3R看起来是不同的。有的图像部分出现在左眼用图像IL中但却没有出现在右眼用图像IR中。相反地，有的图像部分出现在右眼用图像IR中但却没有出现在左眼用图像IL中。本实施例从如下多个图像中判定代表图像，这些图像共享已经从不同视点捕获的多个图像当中共有的至少一部分。在图Ia和图Ib所示的示例中，将左眼用图像IL或右眼用图像IR判定为代表图像。图2是示出用于判定代表图像的处理过程的流程图。如图Ia和Ib所示的作为不同视点的多个图像的左眼用图像IL和右眼用图像IR被读取(步骤11)。表示左眼用图像IL和右眼用图像IR的图像数据已经被记录在诸如存储卡之类的记录介质上，并且从存储卡读取图像数 据。自然，也可以只是从图像捕获装置直接获得表示左眼用图像IL和右眼用图像IR的图像数据而不将其记录在存储卡上。图像捕获装置能够进行立体成像并且可以是同时获得左眼用图像IL和右眼用图像IR的装置，或者可以通过使用单个图像捕获装置执行两次图像捕获来获得左眼用图像IL和右眼用图像IR。从所读取的每个图像(即从左眼用图像IL和右眼用图像IR)检测出在另一图像中没有出现的区域(称为“遮挡区域”)(步骤12)。首先，检测左眼用图像IL中的遮挡区域(也可以检测右眼用图像IR中的遮挡区域)。比较左眼用图像IL和右眼用图像IR，并采用由构成左眼用图像IL却不存在于右眼用图像IR中的像素所对应的像素所表示的区域来作为左眼用图像IL中的遮挡区域。图3a和图3b示出了其中显示出遮挡区域的左眼用图像IL和右眼用图像IR。在图3a所示的左眼用图像IL中，在人像2L和3L的左侧以阴影线指示遮挡区域4L。在这些遮挡区域4L内的部分没有包含在右眼用图像IR中。当检测到左眼用图像IL中的遮挡区域4L时，计算遮挡区域4L的评分(步骤13)。后文将描述计算评分的方法。如果还没有对所读取的多个图像中的所有图像结束遮挡区域的检测和遮挡区域评分的计算(步骤14的“否”)，则对剩下的图像执行遮挡区域的检测和遮挡区域评分的计算。在该情况下，检测关于右眼用图像的遮挡区域(步骤12)。图3b示出了其中显示出遮挡区域的右眼用图像IR。采用由构成右眼用图像IR却不存在于左眼用图像IL中的像素所对应的像素所表示的区域来作为右眼用图像IR中的遮挡区域4R。在图3b所示的右眼用图像IR中，在人像2R和3R右侧以阴影线指示了遮挡区域4R。这些遮挡区域4R内的图像部分没有包含在左眼用图像IL中。计算左眼用图像IL中的遮挡区域4L的评分和右眼用图像IR中的遮挡区域4R的评分(图2中的步骤13)。后文将描述计算评分的方法。当对所读取的所有图像均完成了遮挡区域的检测和遮挡区域评分的计算时(步骤14的“是”)，将包含具有最高评分的遮挡区域的图像判定为代表图像(步骤15)。图4至图9是评分表的示例。图4示出根据遮挡区域中包含的面部区域的面积比而判定的评分Sf的值。如果遮挡区域中包含的面部的比例为0%至49%、50%至99%、或100%，那么其评分Sf分别为O、40或100。图5示出根据遮挡区域中的图像部分的平均边缘长度而判定的评分Se的值。在边缘长度取从O至255的等级的情况下，如果遮挡区域的图像部分的平均边缘长度取从O至127的等级、从128至191的等级、或从192至255的等级，则评分Se分别为0、50 或 100。图6示出根据遮挡区域中的图像部分的平均饱和度而判定的评分Sc的值。在平均饱和度取从O至100的等级的情况下，如果遮挡区域的图像部分的平均饱和度取从O至59的等级、从60至79的等级、或从80至100的等级，则评分Sc分别为0、50或 100。图7示出根据遮挡区域中的图像部分的平均亮度而判定的评分Sb的值。在平均亮度取从O至100的等级的情况下，如果遮挡区域的图像部分的平均亮度取从O至59的等级、从60至79的等级、或从80至100的等级，则评分Sb分别为0、50或100。
图8示出根据遮挡区域相对于整个图像的面积比而判定的评分Sa的值。如果该面积比为0%至9%、10至29%、或者30%或更大，则评分Sa分别为0、50或100。图9示出根据遮挡区域内的像素方差值而判定的评分Sv的值。在方差取O至99的值、100至999的值、或者1000或更大值的情况下，评分Sv分别为10,60或100。从而，按照等式1，从根据面部区域面积比的评分Sf、根据平均边缘长度的评分Se、根据平均饱和度的评分Sc、根据平均亮度的评分Sb、根据遮挡区域面积比的评分SajP根据方差值的评分Sv来算出总评分St。在等式I中，α I至α 6是任意系数。St=a I X S f + a 2 X S e + a 3 X S c + α 4 X Sb + α 5 X Sa+ α 6 X S ν
..等式I将所包含的遮挡区域的如此计算出的评分St最高的图像判定为代表图像。在上述实施例中，使用总评分St来判定代表图像。然而，用来作为代表图像的图像还可以是所包含的遮挡区域的上述评分(即根据面部区域面积比的评分Sf、根据平均边缘长度的评分Se、根据平均饱和度的评分Sc、根据平均亮度的评分Sb、根据遮挡区域面积比的评分Sa、和根据方差值的评分Sv)当中任一个评分最高的图像，或者是所包含的遮挡区域的这些评分的任意组合之和最高的图像。例如，可以根据仅基于遮挡区域中包含的面部区域(这里，面部是一个对象，但对象还可以是面部以外的其他对象)的面积比而获得的评分Sf来判定代表图像。此外，代表图像还可以根据面部区域面积比的评分Sf以及根据平均边缘长度的评分Se、根据平均饱和度的评分Sc、根据平均亮度的评分Sb、根据遮挡区域面积比的评分Sa、和根据方差值的评分Sv中的至少一个来判定。图10a、图IOb和图IOc以及图11示出了改型。该改型根据三个帧的图像来判定代表图像。还可以对四个帧或更多帧的图像进行类似操作。图10a、图IOb和图IOc是从不同视点捕获的并且具有至少一部分共同成像范围的第一图像31A、第二图像3IB和第二图像31C的不例。第二图像3IB是在从目标正面捕获图像的情况下获得的图像。第一图像31A是在从第二图像31B左方的视点(向目标的左边)捕获图像的情况下获得的图像。第三图像31C是在从第二图像31B的右方视点(向目标的右边)捕获图像的情况下获得的图像。
第一图像31A包含人像32A和人像33A，第二图像31B包含人像32B和人像33B，第三图像31C包含人像32C和人像33C。人像32A、32B和32C表示同一个人，人像33A、33B和33C表不同一个人。图11示出了其中显示出遮挡区域的第二图像31B。第二图像31B的遮挡区域包括出现在第二图像31B中但未出现在第一图像31A中的第一遮挡区域、出现在第二图像31B中但未出现在第三图像31C中的第二遮挡区域、以及出现在第二图像31B中但既未出现在第一图像31A中也未出现在第三图像31C中的第三遮挡区域。处在人像32B右侧和人像33B右侧的遮挡区域34是出现在第二图像31B中但未出现在第一图像31A中的第一遮挡区域34。处在人像32B左侧和人像33B左侧的遮挡区·域35是出现在第二图像31B中但未出现在第三图像31C中的第二遮挡区域35。处在人像32B右侧的第一遮挡区域34与处在人像33B左侧的第二遮挡区域35重叠的区域是出现在第二图像31B中但既未出现在第一图像31A中也未出现在第三图像31C中的第三遮挡区域36。因此，在三个或更多帧的图像的情况下，存在对在除了用于计算遮挡区域的评分的图像以外的任何其他图像中均未出现的图像部分进行指示的遮挡区域(第三遮挡区域36)、以及对仅未出现在一些其他图像中的图像部分进行指示的遮挡区域(第一遮挡区域34和第二遮挡区域35)。当计算评分时，根据对在除了用于计算遮挡区域的评分的图像以外的任何其他图像中均未出现的图像部分进行指示的遮挡区域而获得的评分的权重增大，并且根据对仅未出现在一些其他图像中的图像部分进行指示的遮挡区域而获得的评分的权重增大(重叠的遮挡区域36的评分升高)。当然，这样的权重无需改变。如果如上文所述来判定代表图像，则在显示二维图像的显示装置上显示所判定的代表图像。此外，还可以布置成在表示具有多个不同视点的图像的图像数据被存储在单个图像文件中的情况下，使得表示所判定的代表图像的缩略图像的图像数据记录在该文件的头中。自然，可以布置成使得代表图像的识别数据记录在该文件的头中。图12是示出用于判定代表图像的处理过程的流程图。图12对应于图2，并且图12中与图2所示的处理步骤相同的处理步骤以相同标号表示并无需再次对其进行描述。在本实施例中，读取三个帧的图像(帧的数量可以大于三)(步骤11A)。在这三个帧的图像的每一个中计算遮挡区域的评分(步骤12至14)。从这三个帧的图像当中，将具有高评分的两个帧的图像判定为代表图像(步骤15A)。因此，代表图像可以是两个帧而不是一个帧。通过将两个帧的图像判定为代表图像，可以使用已被判定的这两个帧的图像来显示立体图像。当然，在已经读取四个或更多帧的图像的情况下，代表图像可以是三个或更多帧。图13是示出用于判定代表图像并用于图像压缩的处理过程的流程图。图13对应于图2，并且图13中与图2所示的处理步骤相同的处理步骤以相同标号表示并无需再次对其进行描述。以上文所述的方式来判定代表图像(步骤15)。已经针对所有读取的图像中的各个图像存储了遮挡区域的评分。选择压缩比。具体地说，遮挡区域的评分越高，则所选的压缩比越低，这导致较少的压缩(步骤16 )。压缩比是预定的，并且从这些预先确定的压缩比当中作出选择。使用选择的压缩比来压缩读取的图像中的每一个图像(步骤17)。遮挡区域的评分越高，则认定该图像越重要，并且图像越重要，该图像的质量就会越高。在前述实施例中，压缩比是在判定具有最高的计算出的评分的图像为代表图像的基础上进行选择(决定)的，并且以选择的压缩比来压缩图像。然而，还可以在没有判定具有高评分的图像为代表图像的情况下选择压缩比。即，可以采用这样的布置，其中从多个图像的每个图像中检测遮挡区域，根据检测出的遮挡区域的评分来选择压缩比，并且以选择的压缩比来压缩每个图像。在上述实施例中，可以使用如上所述的总评分St来判定代表图像，并且可以按照上述评分中的任一个评分(即根据面部区域面积比的评分Sf、根据平均边缘长度的评分Se、根据平均饱和度的评分Sc、根据平均亮度的评分Sb、根据遮挡区域面积比的评分SajP根据方差值的评分Sv)来选择压缩比，或者按照这些评分的任意组合之和来选择压缩比。例如，可以根据仅基于遮挡区域中包含的面部区域(这里，面部是一个对象，但对象可以是面部以外的其他对象)的面积比而获得的评分Sf来判定代表图像。进一步地，可以根据面 部区域面积比的评分Sf以及根据平均边缘长度的评分Se、根据平均饱和度的评分Sc、根据平均亮度的评分Sb、根据遮挡区域面积比的评分Sa、和根据方差值的评分Sv当中的至少一个，来选择压缩比。图14至图18示出了另一实施例。该实施例利用已被捕获的三个或更多帧的图像，来判定在捕获下一帧图像时适当的视点。该实施例从不同视点对同一目标进行成像。图14a、图14b和图14c示出从不同视点捕获的第一图像41A、第二图像41B和第三图像41C。第一图像41A包含目标图像51A、52A、53A和54A，第二图像41B包含目标图像51B、52B、53B和54B，并且第三图像41C包含目标图像51C、52C、53C和54C。目标图像51A、51B和5IC表不同一个目标，目标图像52A、52B和52C表不同一个目标，目标图像53A、53B和53C表示同一个目标，并且目标图像54A、54B和54C表示同一个目标。假设已经从相邻视点捕获了第一图像41A、第二图像41B和第三图像41C。以上文所述的方式，从第一图像41A、第二图像41B和第三图像41C的每一个中检测遮挡区域(在图14a、图14b和图14c中没有示出遮挡区域)，并且计算这些遮挡区域的评分。例如，假设图14a中示出的第一图像41A的评分为60，图14b中示出的第二图像41B的评分为50，并且图14c中示出的第三图像41C的评分为10。在本实施例中，如果具有较高级别的评分的两个图像是相邻的，则认为从捕获这两个图像的两个视点之间的视点所捕获的图像是重要图像。因此，用户被告知从捕获这两个具有较高级别评分的图像的两个视点之间的视点进行拍摄。在图14a、图14b和图14c所示的示例中，由于第一图像41A和第二图像41B是具有较高级别的评分的两个图像，因此用户被告知从捕获第一图像41A时使用的视点与捕获第二图像41B时使用的视点之间的视点来进行拍摄。例如，可以在数字静态相机的背面上提供的显示屏幕上显示第一图像41A和第二图像41B，并且可以以字符形式显示消息“从显示的图像之间进行拍摄”或者以声音形式输出该消息。图15示出通过从捕获第一图像41A时使用的视点与捕获第二图像41B时使用的视点之间的视点进行拍摄而获得的图像41D。
图像41D包含目标图像51D、52D、53D和54D。目标图像51D表示与图14a、图14b和图14c分别示出的第一图像41A的目标图像51A、第二图像41B的目标图像51B、和第三图像41C的目标图像51C的目标相同的目标。类似地，目标图像52D表示与目标图像52A、52B和52C的目标相同的目标，目标图像53D表示与目标图像53A、53B和53C的目标相同的目标，并且目标图像54D表示与目标图像54A、54B和54C的目标相同的目标。图16a、图16b和图16c示出从不同视点捕获的第一图像61A、第二图像61B和第三图像61C。第一图像61A包含目标图像71A、72A、73A和74A，第二图像61B包含目标图像71B、72B、73B和74B，并且第三图像61C包含目标图像71C、72C、73C和74C。目标图像71A、71B和71C表示同一目标，目标图像72A、72B和72C表示同一目标，目标图像73A、73B和73C表示同一目标，并且目标图像74A、74B和74C表示同一目标。假设已经从相邻视点捕获了第一图像61A、第二图像61B和第三图像61C。 从第一图像61A、第二图像61B和第三图像61C的每一个中检测遮挡区域(在图16a、图16b和图16c中没有示出遮挡区域)，并且计算各遮挡区域的评分。例如，假设图16a中示出的第一图像61A的评分为50，图16b中示出的第二图像61B的评分为30，并且图16c中示出的第三图像61C的评分为40。如果具有较高级别评分的两个图像相邻，那么如上所述，认为从处在用于捕获这两个图像的两个视点之间的视点捕获的图像是重要图像。然而，在具有较高级别评分的两个图像不相邻的情况下，具有最高评分的图像被认为是重要的，并且用户被告知从处在捕获该图像的视点的附近的视点处进行拍摄。在图16a、图16b和图16c所不的不例中，具有较高级别的评分的两个图像是第一图像61A和第三图像61C。由于这两个图像61A和61C不是从相邻视点捕获的图像，因此用户被告知从具有最高评分的图像61A的视点的附近进行拍摄。(例如，用户被告知从处在捕获第一图像61A的视点的左侧的视点进行拍摄。)例如，可以在数字静态相机的背面上提供的显示屏幕上显示第一图像61A，并且可以显示指示从处在图像61A的视点的左侧的视点进行拍摄更为理想的文本。图17示出通过从处在捕获第一图像61A时使用的视点的左侧的视点进行拍摄而获得的图像61D。图像61D包含目标图像71D、72D、73D和74D。目标图像71D表示与图16a、图16b和图16c分别示出的第一图像61A的目标图像71A、第二图像61B的目标图像71B、以及第三图像61C的目标图像71C的目标相同的目标。类似地，目标图像72D表示与目标图像72A、72B和72C的目标相同的目标，目标图像73D表示与目标图像73A、73B和73C的目标相同的目标，并且目标图像74D表示与目标图像74A、74B和74C的目标相同的目标。可以使得用户捕获被认为重要的图像。图18是示出用于在上述拍摄辅助模式下进行拍摄的处理过程的流程图。该处理过程针对的是使用数字静态相机进行的拍摄。通过设置拍摄辅助模式来开始该处理过程。如果拍摄模式本身还没有因为成像结束等而结束(步骤41的“否”)，则确认对同一目标成像而获得的捕获图像是否多于两个帧(步骤42)。如果捕获图像在数量上不多于两个帧(步骤42的“否”)，则不能以上文所述的方式使用三个或更多帧的图像来判定拍摄视点。因此，从用户决定的不同视点来执行成像。
如果捕获图像在数量上多于两个帧(步骤42的“是”)，则从存储卡读取表示捕获图像的图像数据，并且以上文所述的方式对每一图像执行评分计算处理(步骤43)。在具有针对遮挡区域的较高级别评分的两帧图像的视点相邻的情况下(步骤44的“是”)，如图14a、图14b和图14c所示，用户被告知处在具有针对遮挡区域的较高级别评分的这两帧图像的视点之间的视点为拍摄视点的候选这一事实(步骤45)。在具有针对遮挡区域的较高级别评分的两帧图像的视点不相邻的情况下(步骤44的“否”)，如图16a、图16b和图16c所示，用户被告知包含了评分最高的遮挡区域的图像的两侧(其附近)为拍摄视点的候选这一事实(步骤46)。在包含了评分最高的遮挡区域的图像的两个视点当中，告知只有尚未捕获过图像的视点才是拍摄视点的候选。对于各图像是否就是具有相邻视点的图像，如果已经对具有不同视点的多个图像的每一个附加了拍摄地点位置信息，则可以根据该位置信息来作出确定。此外，如果已按照如下方式决定了视点改变的方向，即以按照 捕获次序的特定方向捕获了具有不同视点的多个图像，并且还事先决定了表示这多个图像的图像数据在图像文件中或在存储卡上存储的次序，则视点改变的存储次序和方向将会对应。因此，可以确认各图像是否为具有相邻视点的图像。另外，通过比较各图像之间的对应点(其为构成各图像的像素相互对应的点)，可以根据该比较的结果来确认目标与捕获图像的相机之间的位置关系，并且可以确认各视点是否相邻。当用户确认了拍摄视点的候选时，用户在参考该候选时拍摄目标(步骤47)。因而获得了被认为重要的图像。高精度拍摄辅助成为可能。图19是示出用于在上述拍摄辅助模式下进行拍摄的处理过程的流程图。该处理过程针对的是使用数字静态相机进行的拍摄。图19示出的处理过程对应于图18示出的处理过程，并且在图19中与图18示出的处理步骤相同的处理步骤以相同步骤编号表示，并无需再次进行说明。在图18所示的实施例中，在较高评分的两帧图像的视点相邻的情况下，用户被告知处在较高评分的这两帧图像的视点之间的点为拍摄视点的候选这一事实，并且在较高评分的两帧图像的视点不相邻的情况下，用户被告知具有最高评分的图像的两侧为拍摄视点的候选这一事实。在本实施例中，相反地，无论较高评分的两帧图像是否相邻，用户都被告知具有最高评分的图像的两侧(或至少一侧)为拍摄视点的候选这一事实(步骤46)。当用户确认拍摄视点的候选时，用户在参考该候选时拍摄目标(步骤47)。因而在本实施例中也获得了被认为重要的图像。高精度的拍摄辅助成为可能。图20示出用于实现上述实施例的立体成像数字相机的电气构造。用于控制上述操作的程序已经存储在存储卡132中，该程序由介质控制单元131读取并且安装在立体成像数字相机中。当然，操作程序可以预先安装在立体成像静态相机中或者可以经由网络应用于立体成像数字相机。立体成像数字相机的全部操作由主CPU 81控制。立体成像数字相机配备有操作单元88,其包括诸如模式设置按钮和两级行程式(two-stage stroke type)快门释放按钮之类的各种按钮，模式设置按钮用于拍摄辅助模式、立体成像模式、二维成像模式、立体回放模式和二维回放模式等。从操作单元88输出的操作信号被输入到主CPU 81。立体成像数字相机包括左眼用图像捕获装置90和右眼用图像捕获装置110。当设置了立体成像模式时，由左眼用图像捕获装置90和右眼用图像捕获装置110连续地(周期地)对目标成像。当设置了拍摄辅助模式或二维成像模式时，仅由左眼用图像捕获装置90(或右眼用图像捕获装置110)对目标成像。左眼用图像捕获装置90对目标成像，从而输出表示构成了立体图像的左眼用图像的图像数据。左眼用图像捕获装置90包括第一 (XD94。在第一 CXD 94前方提供了第一变焦透镜91、第一聚焦透镜92和光圈93。第一变焦透镜91、第一聚焦透镜92和光圈93分别由变焦透镜控制单元95、聚焦透镜控制单元96和光圈控制单元97驱动。当设置了立体成像模式并在第一 CCD 94的感光器表面上形成左眼用图像时，基于从定时发生器98供给的时钟脉冲来从第一 CXD 94输出表示左眼用图像的左眼用视频信号。已从第一 CXD 94输出的左眼用视频信号在模拟信号处理单元101中受到指定的模拟信号处理，并在模拟/数字转换单元102中被转换成数字左眼用图像数据。将左眼用图像数据从图像输入控制器103输入到数字信号处理单元104。左眼用图像数据在数字信号处理单元104中受到指定的数字信号处理。已从数字信号处理单元104输出的左眼用图像数据被输入到3D图像产生单元139。 右眼用图像捕获装置110包括第二 CXD 114。在第二 CXD 114的前方提供了分别由变焦透镜控制单元115、聚焦透镜控制单元116和光圈控制单元117驱动的第二变焦透镜111、第二聚焦透镜112和光圈113。当设置了成像模式并且在第二 CXD 114的感光器表面上形成右眼用图像时，基于从定时发生器118供给的时钟脉冲从第二 CXDl 14输出表示右眼用图像的右眼用视频信号。已从第二 CXD 114输出的右眼用视频信号在模拟信号处理单元121中受到指定的模拟信号处理，并在模拟/数字转换单元122中被转换成数字右眼用图像数据。将右眼用图像数据从图像输入控制器123输入到数字信号处理单元124。右眼用图像数据在数字信号处理单元124中受到指定的数字信号处理。已从数字信号处理单元124输出的右眼用图像数据被输入到3D图像产生单元139。在3D图像产生单元139中，根据左眼用图像和右眼用图像来产生表示立体图像的图像数据，并将其输入到显示控制单元133。显示控制单元133控制监视器显示单元134，从而在监视器显示单元134的显示屏幕上显示立体图像。当以第一级行程按压快门释放按钮时，左眼用图像数据项和右眼用图像数据项一同输入到AF检测单元142。在AF检测单元142中计算第一聚焦透镜92和第二聚焦透镜112的聚焦控制量。根据计算的聚焦控制量来将第一聚焦透镜92和第二聚焦透镜112定位在对焦位置处。将左眼用图像数据输入到AE/AWB检测单元144。在AE/AWB检测单元144中使用表示从左眼用图像(也可以是右眼用图像)检测出的面部的数据来计算左眼用图像捕获装置90和右眼用图像捕获装置110各自的曝光量。以能够获得所计算的曝光量的方式来决定第一光圈93的光圈值(f-stop value)、第一 CXD 94的电子快门时间、第二光圈113的光圈值和第二 CXD 114的电子快门时间。在AE/AWB检测单元144中还根据表示从输入的左眼用图像(或者右眼用图像)检测出的面部的数据来计算白平衡调整量。基于计算的白平衡调整量，左眼用视频信号在模拟信号处理单元101中受到白平衡调整，并且右眼用视频信号在模拟信号处理单元121中受到白平衡调整。当以第二级行程按压快门释放按钮时，表示3D图像产生单元139中产生的立体图像的图像数据(左眼用图像和右眼用图像)被输入到压缩/扩展单元140。在压缩/扩展单元140中对表示立体图像的图像数据进行压缩。由介质控制单元131将压缩的图像数据记录在存储卡132上。在如上文所述根据左眼用图像和右眼用图像的重要程度来选择压缩比的情况下，左眼用图像和右眼用图像的项被临时存储在SDRAM 136中，并且如上文所述的那样来确定左眼用图像和右眼用图像哪一个重要。在提高左眼用图像和右眼用图像中被确定为重要的那个图像的压缩比(将压缩百分比提高)的情况下，在压缩/扩展单元140中执行压缩。将压缩的图像数据记录在存储卡132上。立体成像相机还包括用于存储各 种类型的数据的VRAM 135、其中已存储了上述评分表的SDRAM 136、用于存储各种数据的闪速R0M137和ROM 138。立体成像数字相机还包括电池82。从电池82供给的电力施加到电源控制单元83。电源控制单元83将电力供给构成立体成像数字相机的每个器件。立体成像数字相机还包括由闪光控制单元85控制的闪光单元86。当设置了立体图像回放模式时，读取存储卡132上记录的左眼用图像数据和右眼用图像数据，并将其输入到压缩/扩展单元140。在压缩/扩展单元140对左眼用图像数据和右眼用图像数据进行扩展。扩展的左眼用图像数据和右眼用图像数据被提供到显示控制单元133，从而在监视器显示单元134的显示屏幕上显示立体图像。在已经设置了立体图像回放模式的情况下，如果对于同一目标存在从三个或更多不同视点捕获的图像，则以上文所述的方式将这些三个或更多图像当中的两个图像判定为代表图像。通过将判定的两个图像施加到监视器显示单元134来显示立体图像。当设置了二维图像回放模式时，读取已被记录在存储卡132上的左眼用图像数据和右眼用图像数据(其也可以是表示从不同视点捕获的三个或更多图像的图像数据)，并在压缩/扩展单元140中以与立体图像回放模式类似的方式来对其进行扩展。以上文所述的方式来将由扩展后的左眼用图像数据表示的左眼用图像和由扩展后的右眼用图像数据表示的右眼用图像中的任意一个判定为代表图像。由显示控制单元133将表示所判定的图像的图像数据施加到监视器显示单元134。在已经设置了拍摄辅助模式的情况下，如果在存储卡132上已经存储了针对同一目标的从不同视点捕获的三个或更多图像，如上所述，则在监视器显示单元134的显示屏幕上显示拍摄视点辅助信息(图像或消息等)。使用左眼用图像捕获装置90和右眼用图像捕获装置110当中的左眼用图像捕获装置90(或者可以使得使用右眼用图像捕获装置110)来从拍摄视点对目标进打拍摄。在上述实施例中，使用了立体成像数字相机。然而，还可以使用除了立体成像数字相机以外的用于二维成像的数字相机。在判定了代表图像的情况下，如上所述，左眼用图像数据、右眼用图像数据以及识别代表图像的数据(例如帧编号等)被相互关联并记录在存储卡132上。例如，在将左眼用图像数据和右眼用图像数据存储在同一文件中的情况下，可以将指示左眼用图像和右眼用图像中哪一个才是代表图像的数据存储在该文件的头中。此外，在上述实施例中，关于两个图像(即左眼用图像和右眼用图像)进行了描述。然而，不用说，可以关于三个或更多图像而不仅仅是两个图像来以类似方式执行关于代表图像的判定和压缩比的选择。
权利要求
1.一种代表图像判定设备，包括 遮挡区域检测装置，其用于从以不同视点捕获的并具有至少一个共同部分的多个图像的每个图像中检测在其他图像中没有出现的遮挡区域； 评分计算装置，其用于基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及 判定装置，其用于将包含了由所述评分计算装置计算的评分高的遮挡区域的图像判定为代表图像。
2.根据权利要求I的代表图像判定设备，其中所述评分计算装置基于下述项当中的至少一个来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分所述多个图像的每一个的遮挡区域中包含的指定对象的比例、所述遮挡区域内的图像的强度、所 述遮挡区域内的图像的饱和度、所述遮挡区域内的图像的亮度、所述遮挡区域的面积、和所述遮挡区域内的图像的方差。
3.根据权利要求2的代表图像判定设备，其中所述评分计算装置执行计算以提高其中各遮挡区域重叠的区域的评分。
4.根据权利要求3的代表图像判定设备，其中所述多个图像为三个或更多；并且 所述判定装置将包含了由所述评分计算装置计算的评分高的遮挡区域的两帧或更多帧的图像判定为代表图像。
5.根据权利要求4的代表图像判定设备，还包括压缩装置，其用于以如下方式执行压缩图像所包含的遮挡区域的由所述评分计算装置计算的评分越高，则所施加的压缩比越小。
6.根据权利要求5的代表图像判定设备，还包括第一告知装置，其以如下方式给出告知从处在由所述判定装置判定的代表图像的视点的附近的视点执行成像。
7.根据权利要求6的代表图像判定设备，其中所述多个图像为三个或更多； 所述判定装置将包含了由所述评分计算装置计算的评分高的遮挡区域的两帧或更多帧的图像判定为代表图像；并且所述设备还包括 确定单元，其用于确定由所述判定装置判定的两帧图像是否是从相邻视点捕获的；以及 第二告知装置，其响应于由所述确定单元作出的由所述判定装置判定的两帧图像是从相邻视点捕获的这样的确定，来以如下方式给出告知要从处在捕获所述两帧图像的两个地点的视点之间的视点来执行成像，并且所述第二告知装置响应于由所述确定单元作出的由所述判定装置判定的所述两帧图像不是从相邻视点捕获的这样的确定，来以如下方式给出告知要从与包含了具有最高评分的遮挡区域的图像的视点相接近的视点来执行成像。
8.根据权利要求7的代表图像判定设备，其中所述判定装置将包含了具有由所述评分计算装置计算的最高评分的遮挡区域的图像判定为代表图像；并且 所述设备还包括记录控制装置，其用于将表示所述多个图像的每个图像的图像数据与识别由所述判定装置判定的代表图像的数据相互关联并记录在记录介质上。
9.根据权利要求8的代表图像判定设备，其中所述指定对象是面部。
10.一种图像压缩设备，包括遮挡区域检测装置，其用于从以不同视点捕获的并具有至少一个共同部分的多个图像的每个图像中检测在其他图像中没有出现的遮挡区域； 评分计算装置，其用于基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及 压缩装置，其用于以如下方式执行压缩图像所包含的遮挡区域的由所述评分计算装置计算的评分越高，则所施加的压缩比越小。
11.一种用于控制代表图像判定设备的操作的方法，包括步骤 遮挡区域检测装置从以不同视点捕获的并具有至少一个共同部分的多个图像的每一个中检测在其他图像中没有出现的遮挡区域； 评分计算装置基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及 判定装置将包含了由所述评分计算装置计算的评分高的遮挡区域的图像判定为代表图像。
12.一种用于控制图像压缩设备的操作的方法，包括步骤 遮挡区域检测装置从以不同视点捕获的并具有至少一个共同部分的多个图像的每一个中检测在其他图像中没有出现的遮挡区域； 评分计算装置基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示由所述遮挡区域检测装置检测到的遮挡区域的重要程度的评分；以及 压缩装置以如下方式执行压缩图像所包含的遮挡区域的由所述评分计算装置计算的评分越高，则所施加的压缩比越小。
13.一种用于控制代表图像判定设备的计算机的计算机可读程序，其控制计算机进行如下操作 从以不同视点捕获的并具有至少一个共同部分的多个图像的每一个中检测在其他图像中没有出现的遮挡区域； 基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示检测到的遮挡区域的重要程度的评分；以及 将包含了计算的评分高的遮挡区域的图像判定为代表图像。
14.一种用于控制图像压缩设备的计算机的计算机可读程序，其控制计算机进行如下操作 从以不同视点捕获的并具有至少一个共同部分的多个图像的每一个中检测在其他图像中没有出现的遮挡区域； 基于所述多个图像的每一个的遮挡区域中包含的指定对象的比例，来计算表示检测到的遮挡区域的重要程度的评分；以及 以如下方式执行压缩图像所包含的遮挡区域的计算的评分越高，则所施加的压缩比越小。
全文摘要
确定了从不同视点拍摄的多个图像的代表图像。在左眼用图像中检测未出现在右眼用图像中的阴影区域。类似地，在右眼用图像中检测未出现在左眼用图像中的阴影区域。根据阴影区域的图像的特征计算评分。将包含了具有较高的计算的评分的阴影区域的图像用作代表图像。
文档编号H04N13/02GK102959587SQ20118003238
公开日2013年3月6日 申请日期2011年4月27日 优先权日2010年6月29日
发明者远藤恒史 申请人:富士胶片株式会社