处理装置、处理系统、图像拾取装置和处理方法与流程

本发明涉及处理装置、处理系统、图像拾取装置和处理方法。

背景技术：

获得关于被摄体的更多物理信息可以在成像之后的图像处理中基于物理模型来生成图像。例如，可以生成其中被摄体的可见性被改变的图像。被摄体的可见性是基于诸如被摄体的形状信息、被摄体的反射率信息和光源信息之类的信息来确定的。从光源发射并由被摄体反射的反射光的物理行为取决于局部表面法线，不使用被摄体的三维形状而是使用被摄体的表面法线作为形状信息是特别有效的。作为获得被摄体的表面法线的方法，例如，已知将根据如下的距离信息计算出的三维形状转换为表面法线信息的方法，该距离信息是使用诸如利用激光的三角测量和双透镜立体之类的方法获得的。然而，这种方法使装置的结构复杂化，并且获得的表面法线的精度不够。

在日本专利特开No.2010-122158和Yasuyuki Matsushita的“光度立体(Photometric stereo)”(日本信息处理学会的研究报告，第2011-CVIM-177卷，第29号，第1-12页，2011)中，光度立体方法作为直接获得被摄体的表面法线的方法被公开。在光度立体方法中，被摄体的基于被摄体的表面法线以及从被摄体到光源的方向的反射特性被假定，并且表面法线根据在多个光源位置处的被摄体的亮度信息和假定的反射特性被计算。被摄体的反射特性可以例如是使用依赖朗伯特氏余弦定律(Lambert’s cosine law)的朗伯特反射模型来近似的。

在诸如数字照相机之类的图像拾取装置中，当使用光度立体方法获得被摄体的表面法线信息时，诸如红色信息(在下文中称作“Rch.”)、绿色信息(在下文中称作“Gch.”)和蓝色信息(在下文中称作“Bch.”)之类的多个波长(颜色)处的多条亮度信息被获得。所获得的亮度信息依赖于被摄体和光源的颜色信息，并因此具有对于每个波长(每种颜色)不同的信噪比。因此，噪声对亮度信息的影响对于每个波长(每种颜色)不同，结果，所获得的表面法线信息的变化性对于每个波长(每种颜色)不同。例如，当对于Rch.、Gch.和Bch.中的每个波长对红色被摄体成像时，在Rch.中，信噪比(S/N ratio)高并且表面法线信息的变化性小，但是在Gch.和Bch.中，信噪比低并且表面法线信息的变化性大。就是说，需要基于所获得的亮度信息使用适当的波长(适当颜色)来计算表面法线信息。然而，日本专利特开No.2010-122158号和Yasuyuki Matsushita的“光度立体”(日本信息处理学会的研究报告，第2011-CVIM-177卷，第29号，第1-12页，2011)未能公开基于所获得的亮度信息使用适当的波长(颜色)的表面法线信息的获得方法。

技术实现要素：

鉴于该问题，本发明可以提供能够基于所获得的亮度信息使用恰当的波长(恰当的颜色)来计算表面法线信息的处理装置、处理系统、图像拾取装置和处理方法。

根据本发明的一个方面的处理装置包括：亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及颜色设置部，该颜色设置部基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色。

根据本发明的另一个方面的处理系统包括：亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；颜色设置部，该颜色设置部基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色；以及表面法线获得部，该表面法线获得部基于要在获得表面法线信息中使用的颜色的亮度信息来获得表面法线信息。

根据本发明的另一个方面的图像拾取装置包括：图像拾取单元，该图像拾取单元对被摄体成像；亮度信息获得部，该亮度信息获得部获得多个图像中的每个图像中的每种颜色的亮度信息，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时分别由图像拾取单元成像的；颜色设置部，该颜色设置部基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色；以及表面法线获得部，该表面法线获得部基于要在获得表面法线信息中使用的颜色的亮度信息来获得表面法线信息。

根据本发明的另一个方面的处理方法包括：获得多个图像中的每个图像中的每种颜色的亮度信息的步骤，该多个图像中的每个图像是在布置在各不相同的位置处的光源用光顺序地照射被摄体时被分别成像的；以及基于亮度信息来设置要在获得图像的每个区域的表面法线信息中使用的颜色的步骤。

本发明的另外特征根据参考附图对示例性实施例的以下描述将变得清楚。

附图说明

图1是图像拾取装置的外观视图(第一示例和第二示例)。

图2A是图像拾取装置的框图(第一示例和第二示例)。

图2B是处理系统的框图(第一示例和第二示例)。

图3是例示出表面法线计算处理的流程图(第一示例和第二示例)。

图4是例示出所获得的亮度信息的示意图(第一示例)。

图5是例示出所获得的亮度信息的示意图(第二示例)。

图6是例示出表面法线计算处理的流程图(第三示例)。

图7是例示出表面法线信息获得系统的外观视图(第四示例)。

图8是Torrance-Sparrow模型的说明图。

具体实施方式

下面将参考附图描述本发明的示例性实施例。在每个附图中，相同元件将由相同的附图标记表示并且其重复描述将被省略。

在光度立体方法中，被摄体的基于被摄体的表面法线以及从被摄体到光源的方向的反射特性被假定，并且表面法线根据在多个光源位置处的被摄体的亮度信息和假定的反射特性被计算。当通过接收预定的表面法线和光源位置未唯一地确定反射率时，应当使用依赖朗伯特氏余弦定律的朗伯特反射模型来近似反射特性。此外，如在图8中示出的镜面反射分量取决于由光源向量s和视线方向向量v之间的角度的等分线与表面法线n形成的角度α。因此，反射特性可以基于视线方向。此外，通过采用在光源发光的情况下成像的被摄体的亮度与在光源被关闭的情况下成像的被摄体的亮度之间的差异，可以从亮度信息中排除诸如环境光之类的除来自光源的光之外的光的影响。

在下文中，将说明由朗伯特反射模型假定的反射特性。当反射光的亮度值是i时，被摄体的朗伯特扩散反射率是ρ_d，入射光的强度是E，代表从被摄体到光源的方向(光源方向)的单位向量(光源向量)是s，并且被摄体的单位表面法线向量是n，基于朗伯特余弦定律，亮度值i由以下表达式(1)来表达。

i＝Eρ_ds·n (1)

当不同的M(M≥3)个光源向量的分量被分别定义为s₁、s₂、…、s_M并且光源向量的每个分量的亮度值被分别定义为i₁、i₂、…、i_M时，表达式(1)由以下表达式(2)来表达。

在表达式(2)中，左侧是由M行和1列的矩阵表达的亮度向量，并且右侧的矩阵[s₁^T,…s_M^T]和符号n分别是表示光源方向的M行和3列的入射光矩阵S以及由3行和1列的矩阵表达的单位表面法线向量。当数字M等于3时，乘积Eρ_dn由使用入射光矩阵S的逆矩阵S^-1的以下表达式(3)表达。

表达式(3)的左侧的向量的模是入射光的强度E和朗伯特扩散反射率ρ_d的乘积，并且归一化向量被计算为被摄体的表面法线向量。换言之，入射光的强度E和朗伯特扩散反射率ρ_d在表达式中被表达为乘积。当乘积Eρ_d被看作一个变量时，表达式(3)被视为用单位表面法线向量n的两个自由度来确定未知的三个变量的联立方程。因此，使用至少三个光源来获得亮度信息可以确定每个变量。当入射光矩阵S不是正则矩阵时，入射光矩阵S的逆矩阵不存在并且因此入射光矩阵S的分量s₁至s₃应当被选择为使得入射光矩阵S是正则矩阵。就是说，优选地与分量s₁和s₂而线性无关地选择分量s₃。

此外，当数字M大于3时，获得了比未知变量更多的条件并且因此单位表面法线向量n可以使用与在数字M等于3的情况下的方法相同的方法根据任意选择的三个条件表达式来计算。当四个或者更多个条件表达式被使用时，入射光矩阵S不是正则矩阵。在这种情况下，例如，近似解可以使用Moore-Penrose伪逆矩阵来计算。单位表面法线向量n也可以使用拟合方法或优化方法来计算。

当反射特性通过与朗伯特反射模型不同的模型假定时，条件表达式可以与单位表面法线向量n的每个分量的线性方程不同。在这种情况下，如果获得了比未知变量多的条件表达式，则可以使用拟合方法或优化方法。

另外，当数字M大于3时，获得3与M-1之间的多个条件并且因此可以计算单位表面法线向量n的多个候选解。在这种情况下，应当使用其它的另一条件从该多个候选解中选择解。例如，单位表面法线n的连续性可以被用作条件。在对于图像拾取装置的每个像素计算单位表面法线n时，当像素(x，y)中的表面法线是n(x，y)并且像素n(x-1，y)已知时，解可被选择成使由以下表达式(4)表达的评估函数最小化。

1-n(x,y)·n(x-1,y) (4)

另外，当像素n(x+1，y)和n(x，y±1)已知时，解可被选择成使以下表达式(5)最小化。

当已知的表面法线不存在并且在所有像素位置中的每个处的表面法线的不确定性存在时，解可被选择成使由以下表达式(6)表达的表达式(5)的所有像素的和最小化。

也可以使用除最近像素之外的像素中的表面法线或者根据离目标像素位置的距离而加权的评估函数。

此外，作为另一条件，在任意光源位置处的亮度信息可被使用。在由朗伯特反射模型代表的扩散反射模型中，反射光的亮度随着单位法线向量和光源方向向量的接近而增加。因此，选择与具有在多个光源方向处的亮度值中的最大亮度值的光源方向向量接近的解可以确定单位表面法线向量。

可替代地，在镜面反射模型中，当光源向量是s并且从被摄体到照相机的方向的单位向量(照相机的视线向量)是v时，满足以下表达式(7)。

s+v＝2(v·n)n (7)

如表达式(7)所表达的，当光源向量s和照相机的视线向量v已知时，单位表面法线向量n可以被计算。当表面具有粗糙度时，镜面反射具有发光角度的扩展(spread)，但是在通过假定表面为平滑来计算的解附近扩展。因此，可以从多个候选解选择相对于平滑的表面的解附近的候选。此外，可以使用多个候选解的平均来确定真解。

第一示例

图1是根据该示例的图像拾取装置的外观视图，并且图2A是图像拾取装置的框图。图像拾取装置包括图像拾取单元100和光源单元200。图像拾取单元100包括图像拾取光学系统101。光源单元200包括在围绕图像拾取光学系统101的光轴的同心圆形状中按照相等间隔布置的八个光源。因为执行光度立体方法所必需的光源是三个，所以光源单元200可包括三个或更多个光源。在该示例中，光源单元200包括在围绕图像拾取光学系统101的光轴的同心圆形状中按照相等间隔布置的多个光源，但是本发明不限于此。此外，在该示例中，光源单元200被构建在图像拾取装置中，但是光源单元可被可拆卸地附接到图像拾取装置。

图像拾取光学系统101包括光圈101a，并且图像拾取光学系统在图像拾取元件102上形成来自被摄体的光的图像。在该示例中，图像拾取光学系统101被构建在图像拾取装置中，但是可以像单透镜反光照相机一样可拆卸地附接到图像拾取装置。图像拾取元件102由诸如CCD传感器和CMOS传感器之类的光电转换元件构成，并且对被摄体成像。由图像拾取元件102的光电转换生成的模拟电信号被A/D转换器103转换为数字信号并且该数字信号被输入到图像处理器104。

图像处理器104对数字信号执行一般的图像处理并且计算被摄体的表面法线信息。图像处理器104包括获得亮度信息的亮度信息获得部104a，设置要在获得表面法线信息中使用的波长(颜色)的波长设置部(颜色设置部)104b，以及获得表面法线信息的表面法线信息获得部104c。经图像处理器104处理的输出图像被存储在诸如半导体存储器和光盘之类的图像存储器109中。输出图像也可以通过显示器105显示。在该实施例中，亮度信息获得部104a和波长设置部104b被包含在图像拾取装置中，但是可以被配置为与图像拾取装置不同的处理装置。

信息输入部108向系统控制器110供给由用户选择的图像拾取条件(例如，光圈值、曝光时间或者焦距)。照射光源控制器106根据来自系统控制器110的指令来控制光源单元200的光发射状态。图像获得部107基于来自系统控制器110的信息在由用户选择的期望的图像拾取条件下获得图像。

将参考图3的流程图来说明根据该示例的表面法线计算处理。图3是例示出根据该示例的表面法线信息计算处理的流程图。根据该示例的表面法线信息计算处理是由系统控制器110和图像处理器104根据用于允许计算机起处理装置的作用的处理程序来执行的。该处理程序例如可被存储在可由计算机读取的存储介质中。

在步骤S101处，亮度信息获得部104a在多个图像中的每个中获得对于每个波长(每种颜色)的亮度信息，该多个图像中的每个是在布置在各不相同的位置处的光源照明被摄体时由系统控制器110分别成像的。采用在图4中示出的拜耳(Bayer)阵列的图像拾取元件102对于每个像素获得仅一个波长(一种颜色)的亮度信息。在该示例中，每个波长(每种颜色)的亮度信息是使用采用Rch.、Gch.和Bch.的拜耳阵列的图像拾取元件获得的，但是本发明不限于此。另外，在该示例中，系统控制器110控制照射光源控制器106以控制光源单元200的光源强度并且设置当对多个图像成像时的光源位置，但是本发明不限于此。例如，光源位置可以通过改变单个光源的位置来设置，并且可以使用布置在与光源单元200不同的各不相同的位置处的多个光源来设置。

在步骤S102处，波长设置部104b基于在步骤S101处获得的亮度信息来设置要在获得表面法线信息中使用的波长(颜色)。获得的亮度信息取决于光源和被摄体的颜色信息，并因此对于每个像素中的每个波长(每种颜色)具有不同的信噪比。因此，噪声对亮度信息的影响对于每个波长(每种颜色)不同，结果，获得的表面法线信息的变化性对于每个像素中的每个波长(每种颜色)不同。

在表达式(2)中考虑噪声，表达式(2)通过以下表达式(8)变形。

此外，在表达式(3)中考虑噪声，表达式(3)通过以下表达式(9)变形。

在表达式(8)和表达式(9)中，当噪声对获得的亮度信息的影响增大时，获得的表面法线信息n的变化性增加。因此，要在获得表面法线信息中使用的波长(颜色)需要基于获得的亮度信息来恰当地设置。例如，与在步骤S101处获得的对于每个区域的Rch.、Gch.和Bch.的多条亮度信息当中具有最大值的亮度信息相对应的波长(颜色)被设置为要在获得表面法线信息中使用的波长(颜色)。在获得亮度信息的值时，可以使用在多个光源位置处获得的多条亮度信息的平均值或中心值并且可以使用该多个亮度信息中的一条亮度信息的值。此外，如图4中所示，区域可以是包括四个像素的区域300或者可以基于被摄体的颜色来确定，像其中对于四个像素中的每个波长(每种颜色)的亮度信息的比值在某一范围内的区域。当在区域中存在与相同波长(相同颜色)相对应的多条亮度信息时，该多条亮度信息的平均值或中心值可被使用。在该示例中，具有四个像素的区域被用作区域，但是本发明不限于此。

另外，与具有比预定值大的值的亮度信息相对应的波长(颜色)可以被设置为要在获得表面法线信息中使用的波长(颜色)。获得的表面法线信息的变化性受诸如亮度信息中包括的图像拾取装置的ISO灵敏度和亮度水平之类的图像拾取条件的噪声特性以及成像时的光源的数目影响。因此，预定值可以基于传感器的噪声特性和光源的数目来设置。例如，预定值由以下表达式(10)表达。

这里，I_λ是每个波长(每种颜色)的亮度信息，σ_n是噪声特性，N是光源的数目，并且C是常数。预定值的设置不限于表达式(10)。噪声特性可以根据成像时的亮度信息和图像拾取条件从存储预先测量的值的存储器获得。

在步骤S103处，表面法线信息获得部104c基于在步骤S102处设置的在获得表面法线信息中使用的波长(颜色)的亮度信息的由光源位置引起的变化使用光度立体方法来获得表面法线信息。例如，当要在获得区域中的表面法线信息中使用的波长(颜色)被设置为Rch.时，仅获得该波长(颜色)的像素中的表面法线信息。当设置要在获得表面法线信息中使用的波长(颜色)时，在与未被波长设置部104b设置的波长(颜色)相对应的、未直接获得表面法线信息的像素中，表面法线信息基于该像素附近的像素的表面法线信息使用各种插值处理来生成。

在该示例中，被摄体的表面法线在图像拾取装置中被计算，但是，如在图2B中所示，可以使用具有与图像拾取装置的配置不同的配置的处理系统2来计算。在图2B中示出的处理系统2包括处理装置500、表面法线信息获得部501、图像拾取单元502和光源单元503。处理装置500包括亮度信息获得部500a和波长设置部(颜色设置部)500b。当处理系统2计算表面法线时，首先，光源单元503用来自至少三个光源位置的光来照射被摄体，并且图像拾取单元502在每个光源位置处对图像进行成像。当光源单元503包括一个光源时，光源位置可以通过对于每次成像移动光源单元503来确定。当光源单元503包括至少三个光源时，光源位置可以通过对于每次成像改变照射光的光源来确定。第二，亮度信息获得部500a获得每个图像中的波长(颜色)的亮度信息，并且波长设置部500b基于亮度信息来设置要在表面法线信息中使用的波长(颜色)。第三，表面法线信息获得部501基于由波长设置部500b设置的波长(颜色)的亮度信息来获得表面法线信息。处理系统可以至少包括处理装置500和表面法线信息获得部501，并且处理装置500可以包括表面法线信息获得部501。另外，图像拾取单元502和光源单元503可以是单独的装置，并且光源单元503可被构建在图像拾取单元502中。

如在上面提到的，在该示例中，表面法线信息可以基于获得的亮度信息使用恰当的波长(恰当颜色)而获得。

第二示例

根据该示例的图像拾取装置具有与根据在图1和图2A中示出的第一示例的图像拾取装置的配置类似的配置。因此，与在第一示例中说明的配置类似的配置的详细描述将被省略。在该示例中，如在图5中所示的，当对于一个像素获得多个波长(颜色)的亮度信息时，基于获得的亮度信息使用恰当的波长(恰当颜色)获得表面法线信息。

与第一示例一样将参考图3的流程图来说明根据该示例的表面法线计算处理。根据该示例的表面法线信息计算处理由系统控制器110和图像处理器104根据用于允许计算机起处理装置的作用的处理程序来执行。该处理程序例如可被存储在可由计算机读取的存储介质中。

在步骤S101处，亮度信息获得部104a在多个图像中的每个中获得对于每个波长(每种颜色)的亮度信息，图像中的每个是由系统控制器110在布置在各不相同的位置处的光源照明被摄体时分别成像的。如在图5中示出的，图像拾取元件102获得三个波长(三个颜色)的多条亮度信息400至402。在该示例中，在一个像素中亮度信息包括Rch.、Gch.和Bch.的三个波长的多条亮度信息，但是本发明不限于此。此外，三个波长(三种颜色)的亮度信息可以使用单个图像拾取元件来获得，或者可以使用包括各自具有不同特性的波长滤波器中的每个的多个图像拾取元件来获得。在使用单个图像拾取元件时，可以通过使用波长滤波器对由采用拜耳阵列的图像拾取元件获得的亮度信息执行去马赛克(demosaic)处理来获得亮度信息，或者可以由在单个像素中包括多个波长滤波器的图像拾取元件来获得亮度信息。

在步骤S102处，波长设置部104b基于在步骤S101处获得的亮度信息来设置要在获得表面法线信息中使用的波长(颜色)。具体而言，波长设置部104b基于每个区域中的Rch.、Gch.和Bch.的多条亮度信息的值来设置要在获得表面法线信息中使用的波长(颜色)。区域可由一个像素组成。此外，区域可以基于被摄体的颜色来确定，像每个波长(每种颜色)的亮度信息的比值在某一范围内的区域。另外，通过根据值对每个像素中的每个波长(每种颜色)的亮度信息进行加权而获得的每个波长(每种颜色)的亮度信息的加权线性和可被用作在步骤S103处获得表面法线信息中的亮度信息。在这种情况下，具有高信噪比(即，大值)的波长(颜色)的亮度信息的权重被设置为大。

在步骤S103处，表面法线信息获得部104c基于在步骤S102处设置的要在获得表面法线信息中使用的波长(颜色)的亮度信息的由光源位置引起的变化使用光度立体方法来获得表面法线信息。当由于设置要在获得表面法线信息中使用的波长(颜色)而获得多条表面法线信息时，该多条表面法线信息的值的平均值可被用作表面法线信息。可替代地，可通过执行加权平均处理来获得表面法线信息，其中当每个波长(每种颜色)的亮度信息的值更大时权重被设置为更大。

如在上面提到的，在该示例中，表面法线信息可以基于获得的亮度信息使用恰当的波长(恰当颜色)而获得。

第三示例

根据该示例的图像拾取装置具有与根据在图1和图2A中示出的第一和第二示例的图像拾取装置的配置类似的配置。因此，与在第一示例中说明的配置类似的配置的详细描述将被省略。

将参考图6的流程图来说明根据该示例的表面法线计算处理。图6是例示出根据该示例的表面法线信息计算处理的流程图。根据该示例的表面法线信息计算处理是由系统控制器110和图像处理器104根据用于允许计算机起处理装置的作用的处理程序来执行的。该处理程序例如可被存储在可由计算机读取的存储介质中。

在步骤S201处，亮度信息获得部104a在多个图像中的每个中获得对于每个波长(每种颜色)亮度信息，图像中的每个是由系统控制器110在布置在各不相同的位置处的光源照明被摄体时分别成像的。如在第一示例中说明的，图像拾取元件102可以在每个像素中获得仅一个波长(一种颜色)的亮度信息，或者如在第二示例中说明的可以在每个像素中获得多个波长(颜色)的亮度信息。

在步骤S202处，表面法线信息获得部104c基于多个光源位置处的亮度信息来计算Rch.、Gch.和Bch.的所有波长(所有颜色)的表面法线信息。

在步骤S203处，波长设置部104b基于在步骤S201处获得的亮度信息来设置要在获得表面法线信息中使用的波长(颜色)。步骤S203处的处理可在步骤S202处的处理之前执行。

在步骤S204处，表面法线信息获得部104c从在步骤S202处计算出的多条表面法线信息中基于在步骤S203处设置的要在获得表面法线信息中使用的波长(颜色)而选择使用表面法线信息。当设置要在获得表面法线信息中使用的波长(颜色)时，在未直接获得表面法线信息的像素中，表面法线信息基于该像素附近的像素的表面法线信息使用各种插值处理来生成。

如在上面提到，在该示例中，表面法线信息可以基于获得的亮度信息使用恰当的波长(恰当颜色)而获得。

第四示例

在第一至第三示例中，说明了包括光源单元200的图像拾取装置，但是在该示例中，将说明包括图像拾取装置和光源单元的表面法线信息获得系统。

图7是例示出法线信息获得系统的外观视图。法线信息获得系统包括对被摄体703成像的图像拾取装置701，以及具有多个光源的光源单元702。根据该示例的图像拾取装置701与根据第一至第三示例的图像拾取装置相同，但是无需包括用于光度立体方法的多个光源作为光源单元。优选地，光源单元702通过线缆或者无线与图像拾取装置701连接并且基于来自图像拾取装置701的信息而被控制。当光源单元702无法自动地改变光源位置或者无法被图像拾取装置701控制时，用户可调整光源单元702以满足由图像拾取装置701的显示器显示的光源条件。

在光度立体方法中，需要使用至少三个光源成像的图像，但是，当像该示例一样使用可以改变光源位置的光源单元时，光源单元可以包括至少一个光源。然而，改变光源单元的位置来执行拍摄至少三个光源位置是必需的。

如在上面提到的，在该示例中，被摄体的表面法线信息可以基于获得的亮度信息使用恰当的波长(恰当颜色)而获得。根据该示例的表面法线计算处理与第一至第三示例的处理相同，其详细说明被省略。

尽管已经参考示例性实施例描述了本发明，但是将会明白，本发明不限于所公开的示例性实施例。以下权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。