具有多个光源的运动传感器装置的制造方法
【技术领域】
[0001]本申请涉及具备多个光源的运动传感器装置。
【背景技术】
[0002]专利文献I公开了一种一边从多个光源对静止或运动中的物体(对象物)分时投光，一边基于通过I个图像传感器取得的多个图像来测定到对象物的距离的技术。
[0003]专利文献2公开了一种消除了背景光的影响的距离测量装置。该距离测量装置在不使光源发光的状态下取得仅包含背景光成分的图像，并在使光源发光的状态下取得测量用的图像。通过从测量用的图像的像素值中减去仅包含背景光成分的图像的像素值，能够消除背景光的影响。
[0004]非专利文献I公开了一种不进行读取传输、能够几乎不产生时间差地拍摄多幅图像的传感器器件。
[0005]非专利文献2公开了一种基于通过多样地改变光源的位置进行拍摄而取得的多个图像，来同时推定物体的反射特性、形状、以及光源的位置的方法。
[0006]在先技术文献
[0007]专利文献
[0008]专利文献1:JP特开2001-12909号公报
[0009]专利文献2:JP特开2008-122223号公报
[0010]非专利文献
[0011]非专利文献1:Gordon Wan、Xiangli L1、Gennadiy Agranov、Marc Levoy、andMark Horowitz" CMOS Image Sensors With Mult1-Bucket Pixels for Computat1nalPhotography"、IEEE JOURNAL OF SOLID-STATE CIRCUITS、VOL.47、N0.4、APRIL 2012
[0012]非专利文献2:荻野真佑，右田刚史，尺长健，“基于Torrance-Sparrow模型的反射特性/形状/光源位置的同时推定的研宄”、The Institute of Electronics、Informat1n、 and Communicat1n Engineers、 IEICE Technical Report IE2007—347、PRMU2007-331(2008-03)
【发明内容】
[0013]在现有的背景光消除技术中，需要在使光源熄灭的状态下额外进行仅包含背景光成分的图像帧的摄像。因此，导致装置的成本增加、规格下降。
[0014]本公开的实施方式提供一种能够解决该问题的新的运动传感器装置。
[0015]解决课题的手段
[0016]为了解决上述课题，本公开的一个方式所涉及的运动传感器装置具备:图像传感器；第I光源以及第2光源；和控制部，其构成为对所述图像传感器和所述第I光源以及第2光源进行控制。所述控制部构成为:在第I时间一边使所述第I光源发光一边由所述图像传感器进行第I帧的摄像，在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像，针对通过所述第I帧的摄像而取得的第I图像以及通过所述第2帧的摄像而取得的第2图像，执行基于所述第I图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第I图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第I图像以及第2图像中的对象物的距离信息。
[0017]本公开的其他方式所涉及的运动传感器装置具备:图像传感器；第1光源以及第2光源；和控制部，其构成为对所述图像传感器和所述第I光源以及第2光源进行控制。所述控制部构成为:在第I时间一边使所述第I光源发光一边由所述图像传感器进行第I帧的摄像，在第2时间一边使所述第2光源以与所述第I光源不同的输出而发光一边由所述图像传感器进行第2帧的摄像，针对通过所述第I帧的摄像而取得的第I图像以及通过所述第2帧的摄像而取得的第2图像，执行基于所述第I图像与所述第2图像之差的屏蔽处理，对所述屏蔽处理后的所述第I图像以及所述屏蔽处理后的所述第2图像的至少一方，执行与所述第I光源以及第2光源的发光输出之差相应的亮度校正处理，基于从所述亮度校正处理后的所述第I图像获得的对象物的亮度、和从所述亮度校正处理后的所述第2图像获得的所述对象物的亮度之比，获得到所述对象物的距离信息。
[0018]本公开的其他方式所涉及的运动传感器装置具备:图像传感器；第1光源以及第2光源；和控制部，其构成为对所述图像传感器和所述第I光源以及第2光源进行控制。所述控制部构成为:在第I时间一边使所述第I光源发光一边由所述图像传感器进行第I帧的摄像，在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像，生成通过所述第I帧的摄像而取得的第I图像、和通过所述第2帧的摄像而取得的第2图像的差分数据，在所述差分数据中的、与所述第I光源以及第2光源的排列方向对应的方向的数据中，决定差分成为极大值的位置与所述差分成为极小值的位置之间所包含的推定对象物区域，针对所述第I图像以及第2图像中的除了所述推定对象物区域之外的区域，执行基于所述第I图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第I图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第I图像以及第2图像中的对象物的距离信息。
[0019]本公开的其他方式所涉及的电路，在具备图像传感器和第I光源以及第2光源的运动传感器装置中使用，所述电路具备:差分作成部，其求出第I图像与第2图像的差分数据并输出，其中所述第I图像通过在第I时间一边使所述第I光源发光一边由所述图像传感器进行第I帧的摄像而取得，所述第2图像通过在第2时间一边使所述第2光源发光一边由所述图像传感器进行第2帧的摄像而取得；极大值搜索部，其在所述差分数据中的I个水平线的数据中，判定差分是否为第I阈值以上；极小值搜索部，其在所述差分数据中的所述I个水平线的数据中，判定差分是否为小于所述第I阈值的第2阈值以下；屏蔽作成部，其判定所述差分数据的绝对值是否为第3阈值以下；控制部，其在从所述极大值搜索部接受了表示所述差分为所述第I阈值以上的信息时，从第I动作状态过渡到第2动作状态，在从所述极小值搜索部接受了表示所述差分为所述第2阈值以下的信息时，从所述第2动作状态过渡到所述第I动作状态；屏蔽信息记录部，其基于所述屏蔽作成部的判定结果对背景区域的屏蔽信息进行保存；配对信息记录部，其在所述控制部处于所述第2动作状态时，对配对区域的信息进行保存，所述配对区域是所述差分成为所述第I阈值以上的位置、和所述差分成为所述第2阈值以下的位置之间的区域；和屏蔽减法部，其在所述控制部从所述第2动作状态过渡到所述第I动作状态时，对保存在所述屏蔽信息记录部中的所述屏蔽信息应用保存在所述配对信息记录部中的所述配对信息的“与”。
[0020]本公开其他方式所涉及的记录介质保存有用于以可重构逻辑来执行的上述的电路信息。
[0021]本公开的其他方式所涉及的图像处理装置，在具备图像传感器、第I光源以及第2光源、和对从所述图像传感器输出的多个图像进行处理的图像处理装置的系统中使用，所述图像处理装置具备:处理器；存储器；和保存在所述存储器中的计算机程序。所述计算机程序使所述处理器执行如下处理:取得在第I时间一边使所述第I光源发光一边由所述图像传感器取得的第I图像，取得在第2时间一边使所述第2光源发光一边由所述图像传感器摄像而得到的第2图像，针对所述第I图像以及第2图像执行基于所述第I图像与所述第2图像之差的屏蔽处理，基于所述屏蔽处理后的所述第I图像、和所述屏蔽处理后的所述第2图像，获得到包含在所述第I图像以及第2图像中的对象物的距离信息。
[0022]这些总括的或具体的方式也可以通过系统、方法、集成电路、计算机程序、或者记录介质来实现。或者，也可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
[0023]发明效果
[0024]根据本公开的运动传感器装置的实施方式，无需进行额外的图像帧的摄像，就能够实现抑制了背景光的影响的距离测量。
【附图说明】
[0025]图1A是示意性地表示具备2个光源的运动传感器装置的剖面的图。
[0026]图1B是图1A的装置的俯视图。
[0027]图2是表示光源的辐射角与相对辐射强度的关系的曲线图。
[0028]图3是表示光源的辐射角的图。
[0029]图4A是表示用从第I光源102辐射的光来照射对象物104的样态的图。
[0030]图4B是表示用从第2光源103辐射的光来照射对象物104的样态的图。
[0031]图5是表示摄像数据的I行(line)的像素位置与亮度的关系的曲线图。
[0032]图6是表示某辐射角下的亮度比与距离的关系的曲线图。
[0033]图7A是表示用从第I光源102辐射的光来照射稍微移动了的对象物104的样态的图。
[0034]图7B是表示用从第2光源103辐射的光来照射稍微移动了的对象物104的样态的图。
[0035]图8是表示将运动传感器装置放置于有户外光线的场所，并将人手遮在测量范围内的状况的图。
[0036]图9是用于说明现有的背景光消除的效果的图。(a)表示在图8的例子中，一边使光源103发光一边进行了拍摄的情况下所取得的图像的例子，(b)表示在图8的例子中，使任何一个光源都不发光地进行了拍摄的情况下所取得的图像的例子，(c)表示从图9(a)所示的图像中减去图9(b)所示的图像而得到的差分图像。
[0037]图10是示意性地表示本公开的实施方式I中的运动传感器装置的构成的图。
[0038]图11是实施方式I中的光源以及图像传感器的时间图。
[0039]图12是表示具备透镜901、2个图像传感器902、903、和半透明反射镜904的运动传感器装置的例子的图。
[0040]图13是表示实施方式I中的控制部710的动作的流程图。
[0041]图14是示意性地表示本公开的实施方式2中的运动传感器装置的构成的图。
[0042]图15是表示实施方式2中的控制部810的动作的流程图。
[0043]图16是用于说明实施方式2中的屏蔽处理的图。(a)表示通过第I图像帧的摄像而取得的第I图像的例子，(b)表示通过第2图像帧的摄像而取得的第2图像的例子，(c)表示屏蔽处理后的第I图像的例子。
[0044]图17是表示具有3个光源702、703、704的运动传感器装置的构成例的图。
[0045]图18是表示在实施方式2的具有3个光源的构成中，不产生亮度差的情况下的例子的图。
[0046]图19(a)是表示利用实施方式2的装置来处理位于近距离处的手的图像时所生成的屏蔽图像的图，(b)是表示通过实施方式3的处理修正后的屏蔽图像的图。
[0047]图20是表示对位于图18所示的运动传感器装置的近距离处的手指进行了拍摄的情况下所取得的图像中的特定的水平线(horizontal line)的亮度的曲线图。
[0048]图21是表示本公开的实施方式3中的运动传感器装置的构成的图。
[0049]图22是表示实施方式3中的控制部910的动作的流程图。
[0050]图23是本公开的实施方式4中的电路构成图。
[0051]图24是表示搭载了实施方式I所涉及的运动传感器装置的显示器1001的图。
【具体实施方式】
[0052]首先，说明通过本公开的运动传感器装置能够测定到对象物(被摄体)的距离的基本原理。
[0053]图1A是示意性地表示运动传感器装置的剖面的图。图1B是图1A的俯视图。
[0054]图1A以及图1B所示的装置具备位于中央的图像传感器101、和位于图像传感器101的两侧的2个光源装置102、103。在图示的例子中，图像传感器101以及光源装置102、103搭载于I个基板100。图像传感器101是将许多微细的光探测单元(光电二极管)排列为行以及列状的固体摄像元件。图像传感器101典型的是CC