计测系统、计测方法及视觉芯片的制作方法
【专利摘要】计测系统(100)具有：投影装置(102)，按照第1图案图像和第2图案图像的投影混合存在的投影流程，将表示第1图案投影图像的第1图案光投影在被摄体上，该第1图案投影图像包括第1图案图像和第2图案图像，第1图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，第2图案图像具有与第1图案图像相同的周期，而且具有与第1图案图像不同的相位；以及至少一个摄像装置(101)，拍摄被投影于被摄体的第1图案光并生成摄像图像。
【专利说明】
计测系统、计测方法及视觉芯片
技术领域
[0001]本发明涉及计测系统、计测系统使用的计测方法及视觉芯片。
【背景技术】
[0002]从很久以前就知道利用结构灯取得物体的3D形状的方法。例如，专利文献I公开了这种技术。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开昭60 —152903号公报
[0006]非专利文献
[0007]非专利文献I:武井丈治、鏡慎吾、橋本浩一:“高速7°口夕工夕夕旮用V、fc3000 7I/一厶每秒三次元画像計測、>只亍厶開発”、口求亍4夕只.>力卜口二夕只講演会講演概要集2007、“1Ρ1-Μ02(1)”-“1Ρ1-Μ02(4)”、2007-05-11
[0008]非专利文献2:石井抱、石川正俊:“1ms匕、夕二 T少7Y — K八、y々夕只亍厶(D t ￠)幻高速対象追跡T少X、厶”、日本口求分学会誌、VoI.17、N0.2、PP.195-201 (1999)
【发明内容】
[0009]对于上述以往的计测系统，要求进一步提高对物体的运动的追踪性和鲁棒性。本发明非限定性地示例的一个方式能够提高对物体的运动的追踪性和鲁棒性。
[0010]本发明的一个方式的附加的优点及有利之处根据本说明书及附图得到明确。该优点及/或有利之处能够根据本说明书及附图所公开的各种方式及特征单独地提供，为得到其中一个以上的优点及/或有利之处不一定需要所有方式及特征。
[0011]本发明的一个方式的计测系统具有:投影装置，按照第I图案图像和第2图案图像的投影混合存在的投影流程，将表示第I图案投影图像的第I图案光投影在被摄体上，所述第I图案投影图像包含所述第I图案图像和所述第2图案图像，所述第I图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第I图案图像相同的周期，而且具有与所述第I图案图像不同的相位；以及至少一个摄像装置，拍摄所述第I图案光并生成摄像图像。
[0012]另外，这些总体的或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的记录介质来实现，还可以以装置、系统、方法、集成电路、计算机程序及计算机可读的记录介质的任意组合来实现。计算机可读的记录介质例如包括⑶_R0M( CompactDisc-Read Only Memory)等非易失性记录介质。
[0013]根据本发明，能够提高对物体的运动的追踪性和鲁棒性。
【附图说明】
[0014]图1是表示示例性的实施方式I的计测系统100的概略结构例的示意图。
[0015]图2A是表示5bit的葛莱码表的图。
[0016]图2B是表示与5bit的葛莱码对应的5bit的辅助码表的图。
[0017]图3是表示与5bit的葛莱码对应的图案图像的一部分的概念图。
[0018]图4是示例性的实施方式I的计算设备的概略功能框图。
[0019]图5是表示示例性的实施方式I的计测系统的计测方法的流程图。
[0020]图6A是以往的三维计测的投影流程的图。
[0021 ]图6B是表示示例性的实施方式I的投影流程的图。
[0022]图7是表示取得X坐标的Obit的数据时的投影帧的状态的图。
[0023]图8A是表示以往的CMOS图像传感器内的单位像素的构造的示意图。
[0024]图SB是示意地表示图8A的单位像素内的数据流动的概念图。
[0025]图SC是表示示例性的实施方式2的视觉芯片内的单位像素的构造的示意图。
[0026]图8D是示意地表示图SC的单位像素内的数据流动的概念图。
[0027]图9是表示示例性的实施方式2的视觉芯片的动作的流程图。
[0028]图10是表示以往的计测系统的概略结构例的示意图。
【具体实施方式】
[0029]在说明本发明的实施方式之前，首先参照图10说明专利文献I公开的以往的计测系统800。
[0030]计测系统800具有摄像装置801、光源802和狭缝板803。狭缝板803设定了具有基于各种葛莱码的不同图案的狭缝，如表示葛莱码的图案803a、803b和803c。摄像装置801拍摄与图案803a、803b和803c分别对应的光，分别生成图像805a、805b和805c。由图像805a、805b和805c构成图像组805。
[0031]根据该结构，通过对葛莱码进行解码，能够唯一地确定图像组805中包含的3张图像的相同明暗度的图案是基于经由狭缝板80 3向哪个方向出射的来自光源80 2的光。因此，能够确定根据到被摄体804的距离而产生的视差，能够利用三角法类推被摄体804的三维形状。
[0032]另外，在计测领域中，除专利文献I以外，还公知有非专利文献I公开的使用光图案投影的高速3D形状计测的方法。
[0033]非专利文献I公开了使用光图案投影高速计测3D形状的方法。非专利文献I的计测系统包括摄像装置、以及具有光源和透镜和数字微镜器件的投影装置。摄像装置具有进行高速摄影的功能。例如，摄像装置能够以6000fps进行高速摄影。投影装置能够以6000fps以上投影具有1024X768的像素的二维图像(binary pattern)。可以说非专利文献I的特征在于，将专利文献I的技术的光源及狭缝板替换为投影装置，该投影装置具有能够利用计算机以非常高速的速率进行控制的数字微镜器件。
[0034]具体而言，数字微镜器件以6000fps设定对将1024X 768的图像的X坐标葛莱码化后的各个比特进行曼彻斯特编码而得到的图案。将该图案投影于投影对象上，摄像装置以6000f ps拍摄被投影了图案的投影对象。
[0035]X坐标在O?1023的范围内，因而各个坐标用1bit表示。另外，通过曼彻斯特编码，各个坐标能够用20bit表示。因此，从20帧的摄像图像得到各个X坐标。并且，能够利用三角法按照每个像素获得到投影对象的距离。将摄像结果传输给计算装置(例如个人电脑)进行分析。通过曼彻斯特编码对每2帧获得新的X坐标的比特，并进行再计算。因此，作为最终的生产率(through-put)，能够以3000fps的分辨率进行3D计测。
[0036]另外，公知有非专利文献2公开的针对高速视觉空间的图像处理技术。
[0037]根据非专利文献2，构建了这样的图像处理算法，如果以相对于摄像空间的系统动态足够快的帧率进行拍摄，则能够定义在摄像像素空间内将帧间的对象物体的运动量限定为I像素以下的高速视觉空间。
[0038]下面，说明所研究的现有技术的问题点。
[0039]非专利文献I启示了使用投影装置和摄像装置以高帧率三维计测移动物体的可行性。
[0040]但是，根据非专利文献I的方法，例如在投影装置的投影图像在X坐标方向具有1024像素的情况下，X坐标的10比特量的传输将使用20帧。的确，每当新的比特确定时，新的三维计测的结果就被更新，因而能够以3000fps的速率进行三维计测。但是，其结果是包含基于6000fps的摄像的20帧前的结果，因而实质上的时间分辨率约是投影速率的1/20即300fps。其结果是，实际上能够计测的被摄体的移动速度大受限制。
[0041]鉴于这样的问题，想到了具有新的构造的计测系统、以及该计测系统使用的计测方法及视觉芯片。
[0042]根据本发明，以足以应对计测对象的被摄体的移动速度的方式限定投影装置和摄像装置的帧率。因此，提供改善对运动的追踪性和鲁棒性的新的图案的编码方式。例如，在计测人体的情况下，假定是体育等运动中的被摄体的运动时，也大致不会产生超过秒速30米的移动。并且，如果是以医疗的诊断目的计测人体时等，能够将被摄体速度限定为更低速。
[0043]另外，假定在娱乐设施等中是投影映射的交互式的投影。此时，例如当在保龄球场进行与保龄球联动的内容投影的情况下，即使是世界纪录，保龄球的速度也大约是秒速15米。这意味着即使是按照用途限制被摄体速度的范围，系统也能够正常发挥作用。
[0044]本发明的一个方式的概要情况如下所述。
[0045]本发明的一个方式的计测系统具有:投影装置，按照第I图案图像和第2图案图像的投影混合存在的投影流程，将表示第I图案投影图像的第I图案光投影在被摄体上，所述第I图案投影图像包含所述第I图案图像和所述第2图案图像，所述第I图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第I图案图像相同的周期，而且具有与所述第I图案图像不同的相位；以及至少一个摄像装置，拍摄所述第I图案光并生成摄像图像。
[0046]根据这种结构，可以提供能够提高对物体的运动的追踪性和鲁棒性的计测系统。
[0047]在某个方式中，也可以是，所述计测系统还具有运算装置，该运算装置根据所述摄像图像计测所述被摄体的三维形状信息。
[0048]根据这种结构，能够实时地计测被摄体的三维形状信息。
[0049]在某个方式中，也可以是，所述投影装置在将表示第2图案投影图像的第2图案光以I帧以上的期间投影在所述被摄体上之后，将所述第I图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含所述第I图案图像、但不包含所述第2图案图像，所述运算装置根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，并根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第I图案光的摄像图像，计测表示所述被摄体的相对变化量的第I三维形状信息，根据所述第I三维形状信息更新所述第2三维形状信息。
[0050]根据这种结构，能够得到比现有的方法高的时间分辨率。
[0051]在某个方式中，也可以是，所述第I图案投影图像还包括与所述第I及第2图案图像不同的第3图案图像，所述投影流程还包括所述第3图案图像的投影，当关注于在所述第1、第2及第3图案图像之间相互对应的、由所述投影坐标确定的某个像素时，在所述第I及第2图案图像内的所述某个像素的像素值都是I时，所述第3图案图像内的所述某个像素的像素值是O，在所述第I及第2图案图像内的所述某个像素的像素值都是O时，所述第3图案图像内的所述某个像素的像素值是I。
[0052]根据这种结构，能够根据摄像结果检测图案光未到达的部位。
[0053]在某个方式中，也可以是，在所述第I及第2图案图像内的所述某个像素的像素值相互不同时，所述第3图案图像内的所述某个像素具有O或者I之中的、在所述第3图案图像的过去的帧中出现频次低的一方的值。
[0054]根据这种结构，能够提高在二维的图像处理中的应用性。
[0055]在某个方式中，也可以是，所述运算装置按照所述被摄体的三维变化量有选择地切换是否将所述第2图案图像的投影混合在所述投影流程中。
[0056]根据这种结构，能够限制计测系统的速度。与此相同，也能够对移动物体的加速度施加制约。
[0057]在某个方式中，也可以是，所述运算装置按照所述被摄体的三维变化量有选择地决定所述葛莱码的特定的比特。
[0058]根据这种结构，能够动态地变更能够追踪被摄体的变化量的范围。
[0059]在某个方式中，也可以是，所述运算装置与所述被摄体的三维形状的计测相独立地搜索二维的运动量，参照所述二维的运动量对由所述至少一个摄像装置拍摄的表示所述葛莱码的图像进行解码。
[0060]根据这种结构，能够高精度地进行考虑了二维的运动量的三维计测。
[0061]在某个方式中，在所述二维的运动量的搜索中使用的图像，是通过将从所述三维形状的计测所取得的多个图像合成而得到的。
[0062]根据这种结构，能够在运动搜索等的二维图像处理中使用其合成图像，而不需进行重新拍摄。
[0063]在某个方式中，也可以是，所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，将从所述摄像坐标系得到的所述三维形状信息变换为所述投影坐标系中的三维形状
?目息O
[0064]根据这种结构，能够取得投影坐标系中的三维形状信息。
[0065]在某个方式中，也可以是，所述至少一个摄像装置是多个摄像装置，所述多个摄像装置以将所述被摄体的摄像范围相互补充的方式拍摄所述第I图案光。
[0066]根据这种结构，能够减少尽管图案光到达了却不能摄像的遮挡区域。
[0067]在某个方式中，也可以是，所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，生成莫尔条纹表面形态测量图像。
[0068]根据这种结构，能够取得莫尔条纹表面形态测量图像作为运动图像，适合将本发明用于医疗领域。
[0069]在某个方式中，也可以是，所述运算装置根据所述三维形状信息生成投影图像，所述投影装置将表示所述投影图像的投影光投影在所述被摄体上。
[0070]根据这种结构，能够使该计测系统作为投影系统发挥作用。
[0071]在某个方式中提供在所述计测系统中使用的视觉芯片，所述视觉芯片具有多个单位像素，所述多个单位像素分别具有:受光元件，接受光并生成电荷;第I及第2电荷蓄积部，分别蓄积由所述受光元件在不同的时刻取得的第I及第2电荷；以及比较部，将在所述第I电荷蓄积部蓄积的第I电荷的量与在所述第2电荷蓄积部蓄积的第2电荷的量进行比较，根据表示所述第I电荷与第2电荷的量的大小关系的第I比特、以及表示所述第I电荷与第2电荷的量的差分是否在规定的范围内的第2比特的比较结果进行生成。
[0072]根据这种结构，不需在外部设置存储器，能够使存储器容量和频带的成本最小化。
[0073]本发明的一个方式的计测方法是在具有投影装置和摄像装置的计测系统统中使用的计测方法，在将表示第2图案投影图像的第2图案光以I帧以上的期间投影在作为计测对象的被摄体上之后，使用所述投影装置将表示第I图案投影图像的第I图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含第I图案图像但不包含第2图案图像，所述第I图案投影图像包含所述第I及第2图案图像，所述第I图案图像与将投影坐标系中的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第I图案图像相同的周期，而且具有与所述第I图案图像不同的相位，根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第I图案光的摄像图像，计测表示所述被摄体的相对变化量的第I三维形状信息，根据所述第I三维形状信息更新所述第2三维形状信息。
[0074]根据这种结构，能够提高对物体的运动的追踪性和鲁棒性。
[0075]根据本发明，在使用投影装置和摄像装置三维计测移动物体时，能够得到相对于投影装置的帧率具有比以往高的时间分辨率的三维计测结果。
[0076]本发明的一个方式的计测方法包括:第I投射步骤，以第I周期反复向被摄体投射第I数据，该第I数据表示将投影坐标系中的规定的投影坐标葛莱码化得到的葛莱码的特定的比特的数据;第2投射步骤，以与所述第I周期相同的周期反复向被摄体投射第2数据；以及拍摄被投射于所述被摄体的所述第I数据和所述第2数据的步骤，在所述第I投射步骤中反复进行如下处理:在以第I次数连续采用第I图像作为所述第I数据后，以所述第I次数连续采用第2图像作为所述第I数据，在所述第2投射步骤中反复进行如下处理:在以所述第I次数连续采用第3图像作为所述第2数据后，以所述第I次数连续采用第4图像作为所述第2数据。
[0077]下面，参照【附图说明】本发明的具体的实施方式。在下面的说明中，对相同或者相似的构成要素标注相同的参照标号。并且，存在省略重复说明的情况。另外，本发明的实施方式的投影系统不限于以下示例的方式。
[0078](实施方式I)
[0079]参照图1?图6说明本实施方式的计测系统100的构造、功能和动作。
[0080]图1示意地表示计测系统100的概略结构的一例。计测系统100具有摄像装置101、投影装置102和计算设备104。
[0081]投影装置102按照第I图案图像和第2图案图像的投影混合存在的投影流程，将表示第I图案投影图像的第I图案光投影在物体上，所述第I图案投影图像包括第I图案图像和第2图案图像。第I图案图像是与将利用投影坐标系规定的投影坐标葛莱码化而得到的葛莱码的特定的比特对应的图像。第2图案图像具有与第I图案图像相同的周期，而且具有与第I图案图像不同的相位。在本申请说明书中，投影坐标系是指用于确定投影用的图案图像的各个像素的坐标的坐标系。并且，将用于确定图案图像的各个像素的坐标称为投影坐标系的“投影坐标”。投影装置102包括光源和透镜光学系统等。
[0082]投影装置102具有X轴方向为32像素、Y轴方向为28像素的分辨率。但是，该分辨率是用于简单进行说明的规格。例如，已知有DLP投影仪等。DLP投影仪可能具有X轴方向为1920像素、Y轴方向为1080像素的分辨率。如果使用这样的DLP投影仪，能够输出超过20000fps的二维图像。能够将这种类型的产品广泛用于投影装置102。
[0083]图2A表示将X坐标可能取值的O?31的值葛莱码化得到的5bit的葛莱码。图2B表示与5bit的葛莱码对应的辅助码。图3表示与5bit的葛莱码对应的图案图像的一部分。
[0084]图2A所示的葛莱码是利用bitO?bit4这5bit将32种的值代码化而得到的。在葛莱码的特性方面，在相邻的值之间只有某一个的I个比特变化。
[0085 ]图3的(X4a)表示在X坐标的葛莱码值中对应b i t4的图案图像。图3的(X4b)表示将(X4a)进行比特反转得到的图案图像。同样，图3的(X3a)表示在X坐标的葛莱码值中对应bit3的图案图像。图3的(X2b)表示将(X2a)进行比特反转得到的图案图像。图3的(X2a)表示在X坐标的葛莱码值中对应bit2的图案图像。图3的(X2b)表示将(X2a)进行比特反转得到的图案图像。
[0086]图3的(Y4a)表示在Y坐标的葛莱码值中对应bi t4的图案图像。图3的(Y4b)表示将(Y4a)进行比特反转得到的图案图像。同样，图3的(Y3a)表示在Y坐标的葛莱码值中对应bit3的图案图像。图3的(Y2b)表示将(Y2a)进行比特反转得到的图案图像。图3的(Y2a)表示在X坐标的葛莱码值中对应bit2的图案图像。图3的(Y2b)表示将(Y2a)进行比特反转得到的图案图像。
[0087]另外，虽然未图示，但也可以存在分别与X坐标及Y坐标的bitl及O对应的图案图像及反转图案图像，但没有图示。
[0088]投影装置102将这些图案依次投影在被摄体103上。投影装置102按照后述的投影流程对包括与葛莱码及辅助码对应的图像的投影在内的投影光进行投影。
[0089]摄像装置101依次拍摄所投影的图案光并生成摄像图像。并且，摄像装置101具有规定摄像像素坐标的摄像坐标系。摄像装置101包括图像传感器、透镜光学系统等。在本申请说明书中，摄像坐标系是指用于确定通过摄像装置101取得的摄像图像的各像素的坐标的坐标系。将摄像图像的各像素的坐标称为摄像坐标系的“摄像坐标”，以便与“投影坐标”区分。
[0090]计算设备104具有控制计测系统100整体的功能。例如，计算设备104根据摄像图像计测被摄体的三维形状信息。计算设备104例如由以计算机、处理器为代表的运算装置或者半导体集成电路实现。半导体集成电路例如指ASI C( Appli cat 1n Specific IntegratedCircuit:专用集成电路)及FPAG(Field Programmable Gate Array:可现场编程门阵列)等。也可以是，在存储器中安装用于发挥各构成要素的功能的计算机程序，半导体集成电路内的处理器依次执行计算机程序，由此实现各构成要素的功能。
[0091]参照图4详细说明计算设备104的构造、功能。
[0092]图4表示计算设备104的功能单元结构的一例。计算设备104包括图像输出部400、图像输入部410、差分计算部420、帧存储器部430、代码解码单元440、坐标变换部450、坐标变换用存储器部460、坐标插补部470、内容生成部480、图案生成单元490及图像输出部400。计算设备104内的各存储器部例如能够由RAM等构成。另外，坐标变换部450、坐标变换用存储器部460、坐标插补部470、内容生成部480能够任意设定。如后面所述，计测系统100也能够作为投影系统发挥作用。在作为投影系统发挥作用时，在计算设备104安装这些功能单元具有的功能即可。
[0093 ]图像输入部410与图像输出部400同步地接收由摄像装置1I拍摄的摄像图像(摄像数据)。图像输入部410将接收到的摄像数据发送给差分计算部420。
[0094]差分计算部420按照葛莱码的每个比特，计算表示反转比特和非反转比特的图案图像的差分，由此对曼彻斯特代码进行解码，按照每2帧向代码解码单元440输出数据。
[0095]具体而言，如果从图像输入部410接收到的摄像数据是X及Y坐标的非比特反转图像，差分计算部420将该摄像数据写入帧存储器部430。如果该图像数据是X及Y坐标的比特反转图像，差分计算部420读出先前记录在帧存储器430中的非比特反转图像，取得两者的差分。通过取得该差分，无论被摄体的颜色或者环境光怎样，都能够判别投影光的“O”和“I”。将该差分为规定的值以下的区域判定为投影光未投影的区域，将该区域从计测对象区域中去除。
[0096]在代码解码用存储器部441中按照摄像装置101的每个像素设有写入区域。将被葛莱码化的坐标数据的各比特值以比特单位写入该写入区域中。该操作是在摄像装置101的曝光时间的期间逐次执行的。
[0097]代码解码单元440以比特单位读出被记录在代码解码用存储器部441中的数据。代码解码单元440按照表示图案生成单元490当前输出的图案的类别的信息(图案类别信息)更新特定的比特，将更新后的数据以比特单位写入代码解码用存储器部441内的上述的写入区域中。
[0098]代码解码单元440在接收到基于表示第2图案投影图像的第2图案光的摄像数据时，对该摄像数据进行解码，生成表示距被摄体的绝对距离信息的第2三维形状信息。并且，代码解码单元440在接收到基于表示第I图案投影图像的第I图案光的摄像数据时，对该摄像数据进行解码，生成表示被摄体的相对变化量的第I三维形状信息。此时，代码解码单元440根据该变化量校正(更新)距被摄体的绝对距离信息。即，代码解码单元440根据第I三维形状信息更新第2三维形状信息。
[0099]代码解码单元440最终将被记录在代码解码用存储器部441中的葛莱码的坐标数据再次变换为二进制数据，并输出给坐标变换部450。
[0100]通过截止到此的处理，能够得知利用摄像装置101的某个像素拍摄的投影光是从投影装置102的哪个像素投影的。即，能够得知投影坐标与摄像坐标的对应关系。因此，如果摄像装置101与投影装置102的相互的位置关系是已知的，则能够利用三角法按照每个摄像像素获得距被摄体的距离。但是，所得到的信息是与摄像装置101的摄像像素对应的距离信息。因此，在本实施方式中，将该信息变换为与投影装置102的像素坐标对应的距离信息。
[0101]坐标变换部450将从代码解码单元440接收到的数据写入到用与投影装置102的投影坐标对应的地址确定的坐标变换用存储器部460的区域中。然后，坐标变换部450按照投影坐标102的X坐标及Y坐标的顺序、从坐标变换用存储器部460读出第2三维形状信息，由此生成与投影装置102的投影坐标对应的距被摄体的距离信息。
[0102]此时，有可能发生不存在对应点的投影像素。具体而言，被投影在被摄体上的与图案图像中某多个像素对应的各个光可能是通过摄像装置101的一个摄像像素拍摄到的。在这种情况下，在葛莱码的特性方面，不存在对应点的投影像素被划入到相邻的两个投影像素中某一方的像素坐标中，因而一侧的投影像素处于没有对应目的地的状态。
[0103]坐标插补部470从坐标变换部450接收与投影装置102的投影坐标对应的距离信息。坐标插补部470对于不存在距离信息的投影坐标插补距离信息。这限定于在其周边存在一定数量的、具有能够进行插补的距离信息的投影坐标的部位，并且根据周边坐标的距离信息使用线性插补等插补法进行。坐标插补部470将基于投影坐标系的距离信息输出给内容生成部480。
[0104]内容生成部480生成投影用的影像内容。内容生成部480根据从坐标插补部470接收到的距离信息对预先记录的影像内容进行加工，将加工后的影像内容输出给图像输出部400。以下，有时将加工后的影像内容称为“加工后的影像内容”，以便与预先记录的加工前的影像内容区分。
[0105]内容生成部480生成没有坐标偏移的与距被摄体的距离准确对应的影像内容。内容生成部480将投影用的加工后的影像内容输出给图像输出部400。
[0106]图案生成单元490具有基本图案生成部491、辅助图案生成部492和选择器493。基本图案生成部491生成表示葛莱码的基本图案，该葛莱码是将用投影坐标系规定的投影坐标葛莱码化而得到的。第I图像图案包含在基本图案中。辅助图案生成部492生成具有与基本图案相同的周期、而且具有与基本图案不同的相位的辅助图案。第2图像图案包含在辅助图案中。
[0107]通过选择器493选择基本图案或者辅助图案，并输出给图像输出部400。通过与被摄体103的三维变化量对应的选择器493的切换，将辅助图案有选择地混合在基本图案中。其结果是，能够决定基本图案和辅助图案的投影混合存在的投影流程。
[0108]图像输出部400将由内容生成部480生成的影像内容、和由图案生成单元490生成的包括基本图案和辅助图案的投影图案，输出给投影装置102。投影装置102将表示加工后的影像内容的投影光投影在被摄体103上。
[0109]参照图5、图6A及图6B说明计测系统100的动作。
[0110]图5表示计测系统100的计测方法的流程图。
[0111](步骤SlOl 和 S102)
[0112]首先，说明计测系统100的初始校准的方法的一例。在初始校准中，投影装置102将表示第2图案投影图像的第2图案光以I帧以上的期间投影在被摄体上，该第2图案投影图像包含第I图案图像、但不包含第2图案图像。
[0113]在初始校准中，将具有基准平面的不移动的物体等设置在被摄体103的位置。投影装置102将表示图3的图案图像(X4a)的图案光投影在被摄体103上。并且，摄像装置101拍摄该图案光，并取得第I校准图像。
[0114]然后，投影装置102将表示图3的图案图像(X4b)的图案光投影在该物体上。摄像装置101拍摄该图案光，并取得第2校准图像。
[0115]通过比较第I校准图像和第2校准图像，能够将差分较小的区域判定为投影光未到达的区域。另一方面，能够将差分足够的区域判定为投影光到达的区域，根据该差分的代码对投影坐标进行解码。
[0116]通过对X坐标及Y坐标各自的5比特全部反复上述的处理，能够得知在摄像装置101的某个像素拍摄到的投影光是从投影装置102的哪个像素投影的。即，能够得知投影坐标与用摄像装置的摄像坐标系规定的摄像坐标的对应关系。最终，能够通过计算设备104获得距基准平面的绝对的距离信息(第2三维形状信息)。
[0117]在后述的3D计测中，使用三角法将与该基准平面在X轴方向上的差分换算为距离。在初始校准中，也能够预先求出Y轴方向的设置误差或者透镜畸变等。当然，在不需要计测精度的情况下，将不需要初始校准。
[0118](步骤S103 和 S104)
[0119]投影装置102将表示第I图案投影图像的第I图案光以2帧以上的期间投影在被摄体上，该第I图案投影图像包括第I图案图像和第2图案图像。换言之，投影装置102按照与基本图案和辅助图案对应的图像的投影混合存在的投影流程，将图案光投影在被摄体上。此时，投影装置102分别投影非反转比特和反转比特的图案图像。
[0120]摄像装置101拍摄第I图案光。并且，计算设备104从基于第I图案光的摄像图像取得第I 二维形状彳目息。
[0121](步骤105)
[0122]以后，计算设备104根据第I三维形状信息更新第2三维形状信息。因此，能够根据相对的变化量追踪移动物体。
[0123 ]下面，与以往的方法对比说明本实施方式的移动物体的计测方法。
[0124]图6A表示以往的三维计测中的投影流程。在以往的投影流程中，在依次投影X坐标的bitO?bit5的投影光的同时进行计测。在一个bit的计测中使用包括反转图案图像的2帧，因而在图6A所示的例子中，以10帧周期反复进行计测。
[0125]根据以往的投影流程，每当得到新的比特的计测结果时，对过去5比特量进行累计而得到X坐标。因此，能够利用三角法求出到被摄体103的距离。但是，由于依赖于过去10帧的图像，因而不能避免时间分辨率的下降。
[0126]在本实施方式中，除以往在计测中使用的图6A所示的葛莱码以外，还使用辅助码的特定的比特。
[0127]再次参照图2A和图2B。关注于在图2A和图2B分别示出的葛莱码及辅助码的各个bit的代码列，可知在葛莱码和辅助码之间，与比特位置相对应地，O和I的反复图案的周期是相同的，该反复图案相互在相位上相差90度。即，辅助码是通过在每个比特使葛莱码的相位偏移90度得到的。
[0128]在本实施方式中，计测对象的距离是以计测3个比特的区间即在6帧区间中没有变化I像素量以上为前提的。下面，说明使用与葛莱码的bito对应的辅助码的bitO的计测方法。
[0129]图6B表示本实施方式的三维计测的投影流程。
[0130]本实施方式的摄像程序具有根据计测3个比特的区间而确定的单位程序。单位程序包括葛莱码的bitO以及与其对应的辅助码的bitO。单位程序还包括葛莱码的bitO以外的bit。在图示的例子中，首先，表示与葛莱码的bitO、辅助码的bitO、以及葛莱码的bitl对应的图像的图案光，按照该顺序进行投影。然后，表示与葛莱码的bitO、辅助码的bitO、葛莱码的bit2、葛莱码的bitO、辅助码的bitO、葛莱码的bit3、葛莱码的bitO、辅助码的bitO、以及葛莱码的bit4对应的图像的图案光，按照该顺序进行投影。因此，备齐所有的比特需要24帧。以后反复执行这样的投影。这样，在本实施方式的投影流程中，在葛莱码之间插入辅助码。
[0131]但是，在关注于图2A的葛莱码的bitO和图2B的辅助码的bitO时，可知只要被摄体的距离的变化小于I像素，如果监视葛莱码及辅助码的bitO，就能够追踪被摄体的距离的相对变化。关于这样的计测方法，公知有通过使用葛莱码的旋转编码器等计测相对移动量的方法。
[0132]根据本实施方式，距最先出现在帧内的被摄体的距离的绝对值是伴随着24帧的延迟而得到的。以后，每6帧就能得到距离的变化的相对值。因此，能够使用6帧追踪到对绝对值进行了一次补充的被摄体的距离的变化。因此，能够得到比以往的方法高的时间分辨率。
[0133]另外，在本实施方式中示出了使用辅助码的bitO的示例，但本发明不限于此。也能够根据作为计测对象的移动物体的移动量，将bitl或者bit2等用于相对移动量的追踪中。只要根据被摄体的三维变化量有选择地决定葛莱码的特定的比特即可。例如，如图2B所示，如果使用辅助码的bitl，则能够追踪在3像素以内的范围内变化的移动物体。并且，如果使用辅助码的bit2，则能够追踪在7像素以内的范围内变化的移动物体。
[0134]另外，也能够一面计测被摄体的移动速度，一面根据被摄体的三维变化量有选择地切换将辅助图案的图像的投影混合在投影流程中，即根据被摄体的三维变化量有选择地切换有无使用辅助图案。另外，也可以动态地变更所使用的辅助图案的bit的位置。许多系统能够实际限制自身的速度。与此相同，也能够对移动物体的加速度施加制约。由于不会产生一定值以上的速度的变化，因而即使是动态地变更辅助图案的bit，也能够在一定的范围内追5?示被摄体。
[0135]另外，也能够取代以帧单位投射表示图案图像的图案光的方式，而通过对每个图案图像改变颜色或者波长，使在I帧期间叠加更多的图案图像。
[0136]下面，以本实施方式的变形例为主进行说明。
[0137]在本实施方式中，计测系统100具有一个摄像装置101。但是，计测系统100也可以具有多个摄像装置101。多个摄像装置101能够以将被摄体103的摄像范围相互补充的方式拍摄图案光。因此，能够减少尽管投影光到达了却不能拍摄的遮挡区域。
[0138]通过在投影装置102的两侧设置至少两个摄像装置101，能够减少尽管投影光到达了却不能拍摄的遮挡区域。
[0139]在本实施方式中，关注于投影装置12和被摄体13之间的距离方向(Z方向)的变化。但是，当然被摄体103也可能在摄像面的X-Y坐标方向上变化。
[0140]计算设备104相对于被摄体的三维形状的计测而独立地搜索二维的运动量，参照二维的运动量对表示由摄像装置101拍摄的葛莱码的图像进行解码。
[0141 ]关于向X-Y坐标方向的变化的追踪方法，以往公知有基于二维的图像处理的运动搜索等。通过利用以往的运动搜索来求出各像素的运动向量，并根据过去的帧中对应的像素位置对葛莱码进行解码，由此得到更高的计测性能。尤其是在高速视觉空间中将被摄体的运动的量限制在I像素以内，因而即使是沿所有方向搜索，该搜索也是在3X3范围内完成。
[0142]假设帧率是1/10时，需要搜索21X21的范围。因此，相比搜索10次3X 3的范围，需要49倍的运算量。这样，即使在增加帧率、将数据量设为10倍时，也有可能发生运算量反而减少至1/49的情况。这是对高速视觉空间施加制约的图像处理的特点。
[0143]在此提出这样的方法，将葛莱码或者辅助码等的投影用的非反转比特图案的摄像图像和其反转比特图案的摄像图像进行合成，由此得到在二维的图像处理中使用的图像。
[0144]使用非反转比特图案和反转比特图案的图像是在非专利文献I中记述的方法，利用曼彻斯特编码提高鲁棒性。根据曼彻斯特编码，在各bit中时间方向的O和I的出现频次相同。因此，通过将计测用的多个图像合成，能够得到与在对所有像素进行了一定量的投光的状态下得到的图像相同的图像。因此，在运动搜索等二维的图像处理中能够使用其合成图像，而不需重新拍摄。
[0145]另外，作为编码的扩展，提出了使用反转比特的图案图像以外的图像的方法。
[0146]在上述的说明中，使用了与葛莱码的bitO对应的图像及其反转图像、和与辅助码的bitO对应的图像及其反转图像这4帧。同样，使用3帧也能够实现移动物体的计测。在该方法中，投影流程还包括第3图像帧的投影。
[0147]图7表示取得X坐标的Obit的数据时的投影帧的情况。在图7中，第I图像帧是指与图2A的葛莱码的bitO对应的图像的帧。第2图像帧是指与图2B的辅助码的bitO对应的图像的帧。在第3图像帧中，当在各像素中第I及第2图像帧双方的像素值是I时，与该像素对应的像素的像素值是0，在第I及第2图像帧双方的像素值是O时，与该像素对应的像素的其像素值是I。另外，在第3图像帧中，可以不必在意第I及第2图像帧双方的像素值相互不同的像素的像素值。另外，能够按照不同的顺序投影这些图像帧。
[0148]根据该方法，如果在3帧期间中计测对象的运动足够小，则由于在各像素包含O和I，因而能够根据摄像结果检测出投影光未到达的部位。在投影光所到达的部位能够进行0/I的判别。
[0149]另外，也可以是，在与第3图像帧内的像素中的其像素对应的、第I图像帧和第2图像帧的像素的两个像素值相互不同的情况下，对第3图像帧内的像素分配O或者I之中的在第3图像帧的过去的帧中出现频次低的一方。
[0150]由此，能够使O和I的出现频次在各个像素中一样，因而能够提高对上述的二维的图像处理的适用性。并且，能够降低在使用可见光进行计测时有可能产生的图案的闪变。另夕卜，在投影装置中能够防止液晶的烧焦或者因微镜器件的偏倚导致的寿命缩短。
[0151]本发明在计测中使用投影装置102，因而能够使用相同的投影装置102应用于投影映射等领域中。尤其是本发明的计测的特性方面，能够得到投影装置102的摄像坐标与摄像装置101的投影坐标的对应关系，因而能够将计测结果换算为投影装置102的投影坐标。通过得到这种对应关系，能够实现使用该信息的各种内容生成，作为其中一例，能够根据该关系生成莫尔条纹表面形态测量图像。在这种情况下，计算设备104内的内容生成部480生成莫尔条纹表面形态测量图像作为影像内容。此外，当然也能够实现如以往那样使用3D计算机图形等的距离信息的应用。但是，在单纯地取得距离信息的以往的深度传感器中，从原理上讲不能生成严格的莫尔条纹表面形态测量图像，因而可以说是在本方式中能够实施的有用的表现形式的一种。
[0152]莫尔条纹表面形态测量图像是在投光和摄像双方使用狭缝来拍摄被摄体的等高线的技术。在本实施方式中，由于能够得到摄像坐标和投影坐标的对应关系，因而通过分别假定狭缝并进行再计算，能够得到莫尔条纹表面形态测量图像作为运动图像。另外，如果将莫尔条纹表面形态测量图像的原始数据预先记录在存储器等中，能够在事后取得变更了狭缝的间隔的图像。
[0153]在医疗领域中看惯了莫尔条纹表面形态测量图像的用户较多，因而能够变换图像的形式是非常有意义的事情。另外，如上所述，如果应用投影映射，也能够将表示患部的图像投影在实际的人体上。
[0154](实施方式2)
[0155]参照图8A?图8D说明本实施方式的视觉芯片。本实施方式的视觉芯片能够用于实施方式I的计测系统100中。
[0156]图8A示意地示出了具有全方位快门功能的以往的CMOS图像传感器内的单位像素700的构造。图8B示意地示出了该单位像素700内的数据流动。
[0157]通过光电二极管701将接受到的光变换为电荷。在适当的定时将该电荷传输给浮动扩散器702。然后，与该电荷量对应的电位通过放大器704被放大。并且，读出光的信号作为多值信息。根据将光电二极管701和浮动扩散器702的电荷复位的定时或者传输的定时控制曝光时间。
[0158]图SC示意地示出了本实施方式的视觉芯片内的单位像素700的构造。图8D示意地示出了该单位像素700内的数据流动。
[0159]本实施方式的视觉芯片具有多个单位像素700。多个单位像素700分别代表性地具有光电二极管(PD)701、浮动扩散器(FD)702、扩展浮动扩散器(EFD)703、及比较器705。
[0160]浮动扩散器702和扩展浮动扩散器703蓄积通过光电二极管701生成的电荷。比较器705获取根据在浮动扩散器702和扩展浮动扩散器703分别蓄积的电荷而产生的电位的差分，并比较两者的大小关系。
[0161]参照图9说明本实施方式的视觉芯片的动作流程。
[0162]图9表示本实施方式的视觉芯片的动作流程。
[0163](步骤S201)
[0164]首先，在第I时刻，将光电二极管701、浮动扩散器702及扩展浮动扩散器703各自的电荷复位。
[0165](步骤S202)
[0166]然后，在第2时刻，将光电二极管701的电荷传输给浮动扩散器702。
[0167](步骤S203)
[0168]然后，在第3时刻，将光电二极管701复位。
[0169](步骤S204)
[0170]然后，在第4时刻，将浮动扩散器702的电荷传输给扩展浮动扩散器703。
[0171](步骤S205)
[0172]然后，在第5时刻，将光电二极管701的电荷传输给浮动扩散器702。
[0173](步骤S206)
[0174]最后，比较器705将与浮动扩散器702的电荷对应的电位和与扩展浮动扩散器703的电荷对应的电位进行比较。比较的结果是，输出表示两者的大小关系的第I比特、和表示两者的差分是否在一定的范围内的第2比特。
[0175]在将以往的图像传感器应用于实施方式I的计测系统的情况下，图像传感器的输出的数据频带成为瓶颈，牵涉到系统成本的增加。并且，为了取得与过去的帧的差分，需要在图像传感器的外部以多值状态记录过去的帧的图像数据的存储器。其结果是，为了确保存储器容量及其存储器访问用的频带，导致存储器成本增大。
[0176]根据本实施方式的视觉芯片，能够得到将在第I时刻和第2时刻之间被曝光的第I帧、与在第3时刻和第5时刻之间被曝光的第2帧的差分代码化的输出。该输出针对每I像素对应2帧而包含2比特。
[0177]另外，视觉芯片在内部保存过去的帧的图像作为电荷量，因而即使不在外部设置存储器，也能够将存储器容量及频带的成本最小化。
[0178]根据本发明的计测系统，能够在移动物体的三维计测中实现3000fps以上的高速计测，而且能够维持其较高的时间分辨率。
[0179]下面说明能够想到的本发明的应用例。
[0180]本发明适合应用于FA设备的控制、汽车的前大灯控制等机械视觉领域、或者交互式的投影映射等。并且，也可以考虑应用于体育等计测运动较快的人的移动的计测领域、或者医疗领域。在医疗领域中存在已习惯使用莫尔条纹表面形态测量图像等的形式，然而能够如上所述将本发明的摄像数据变换为莫尔条纹表面形态测量图像的形式的图像。
[0181]产业上的可利用性
[0182]本发明的计测系统及计测方法能够应用于医疗系统及投影映射系统。
[0183]标号说明
[0184]100、800计测系统；101、801摄像装置；102投影装置；103、804被摄体；104计算设备;400图像输出部;410图像输入部;420差分计算部；430帧存储器部；440代码解码单元；441代码解码用存储器部;450坐标变换部;460坐标变换用存储器部;470坐标插补部;480内容生成部;490图案生成单元;491基本图案生成部;492辅助图案生成部;493选择器;410图像输出部;411图案生成部;701光电二极管;702浮动扩散器;703扩展浮动扩散器;704放大器;705比较器;802光源;803狭缝板;805图像组。
【主权项】
1.一种计测系统，该计测系统具有: 投影装置，按照第I图案图像和第2图案图像的投影混合存在的投影流程，将表示第I图案投影图像的第I图案光投影在被摄体上，所述第I图案投影图像包含所述第I图案图像和所述第2图案图像，所述第I图案图像与将利用投影坐标系规定的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第I图案图像相同的周期，而且具有与所述第I图案图像不同的相位;以及 至少一个摄像装置，拍摄所述第I图案光并生成摄像图像。2.根据权利要求1所述的计测系统， 所述计测系统还具有运算装置，该运算装置根据所述摄像图像计测所述被摄体的三维形状信息。3.根据权利要求2所述的计测系统， 所述投影装置在将表示第2图案投影图像的第2图案光以I帧以上的期间投影在所述被摄体上之后，将所述第I图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含所述第I图案图像、但不包含所述第2图案图像， 所述运算装置根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息，并根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第I图案光的摄像图像，计测表示所述被摄体的相对变化量的第I三维形状信息，根据所述第I三维形状信息更新所述第2三维形状信息。4.根据权利要求3所述的计测系统， 所述第I图案投影图像还包括与所述第I及第2图案图像不同的第3图案图像， 所述投影流程还包括所述第3图案图像的投影， 当关注于在所述第1、第2及第3图案图像之间相互对应的、由所述投影坐标确定的某个像素时，在所述第I及第2图案图像内的所述某个像素的像素值都是I时，所述第3图案图像内的所述某个像素的像素值是O，在所述第I及第2图案图像内的所述某个像素的像素值都是O时，所述第3图案图像内的所述某个像素的像素值是I。5.根据权利要求4所述的计测系统， 在所述第I及第2图案图像内的所述某个像素的像素值相互不同时，所述第3图案图像内的所述某个像素具有O或者I之中的、在所述第3图案图像的过去的帧中出现频次低的一方的值。6.根据权利要求2所述的计测系统， 所述运算装置按照所述被摄体的三维变化量有选择地切换是否将所述第2图案图像的投影混合在所述投影流程中。7.根据权利要求2所述的计测系统， 所述运算装置按照所述被摄体的三维变化量有选择地决定所述葛莱码的特定的比特。8.根据权利要求2所述的计测系统， 所述运算装置与所述被摄体的三维形状的计测相独立地搜索二维的运动量，参照所述二维的运动量对由所述至少一个摄像装置拍摄的表示所述葛莱码的图像进行解码。9.根据权利要求2所述的计测系统， 在所述二维的运动量的搜索中使用的图像，是通过将从所述三维形状的计测所取得的多个图像合成而得到的。10.根据权利要求2所述的计测系统， 所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，将从所述摄像坐标系得到的所述三维形状信息变换为所述投影坐标系中的三维形状信息。11.根据权利要求1所述的计测系统， 所述至少一个摄像装置是多个摄像装置， 所述多个摄像装置以将所述被摄体的摄像范围相互补充的方式拍摄所述第I图案光。12.根据权利要求2所述的计测系统， 所述运算装置对所述摄像图像进行解码，根据被解码后的所述投影坐标、与利用所述至少一个摄像装置的摄像坐标系规定的摄像像素坐标的对应关系，生成莫尔条纹表面形态测量图像。13.根据权利要求2所述的计测系统， 所述运算装置根据所述三维形状信息生成投影图像， 所述投影装置将表示所述投影图像的投影光投影在所述被摄体上。14.一种在计测系统中使用的视觉芯片，所述计测系统是权利要求1所述的计测系统，所述视觉芯片具有多个单位像素， 所述多个单位像素分别具有: 受光元件，接受光并生成电荷； 第I及第2电荷蓄积部，分别蓄积由所述受光元件在不同的时刻取得的第I及第2电荷；以及 比较部，将在所述第I电荷蓄积部蓄积的第I电荷的量与在所述第2电荷蓄积部蓄积的第2电荷的量进行比较，根据表示所述第I电荷与第2电荷的量的大小关系的第I比特、以及表示所述第I电荷与第2电荷的量的差分是否在规定的范围内的第2比特的比较结果进行生成。15.—种在具有投影装置和摄像装置的计测系统中使用的计测方法， 在将表示第2图案投影图像的第2图案光以I帧以上的期间投影在作为计测对象的被摄体上之后，使用所述投影装置将表示第I图案投影图像的第I图案光以2帧以上的期间投影在所述被摄体上，所述第2图案投影图像包含第I图案图像但不包含第2图案图像，所述第I图案投影图像包含所述第I及第2图案图像，所述第I图案图像与将投影坐标系中的投影坐标葛莱码化得到的葛莱码的特定的比特对应，所述第2图案图像具有与所述第I图案图像相同的周期，而且具有与所述第I图案图像不同的相位， 根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第2图案光的摄像图像，计测表示距所述被摄体的绝对距离的第2三维形状信息， 根据通过所述摄像装置拍摄的被投影于所述被摄体的所述第I图案光的摄像图像，计测表示所述被摄体的相对变化量的第I三维形状信息， 根据所述第I三维形状信息更新所述第2三维形状信息。16.—种计测方法，包括: 第I投射步骤，以第I周期反复向被摄体投射第I数据，该第I数据表示将投影坐标系中的规定的投影坐标葛莱码化得到的葛莱码的特定的比特的数据； 第2投射步骤，以与所述第I周期相同的周期反复向被摄体投射第2数据；以及 拍摄被投射于所述被摄体的所述第I数据和所述第2数据的步骤， 在所述第I投射步骤中反复进行如下处理:在以第I次数连续采用第I图像作为所述第I数据后，以所述第I次数连续采用第2图像作为所述第I数据， 在所述第2投射步骤中反复进行如下处理:在以所述第I次数连续采用第3图像作为所述第2数据后，以所述第I次数连续采用第4图像作为所述第2数据。
【文档编号】G01B11/25GK106062507SQ201580000218
【公开日】2016年10月26日
【申请日】2015年1月22日
【发明人】渕上竜司
【申请人】松下电器（美国）知识产权公司