专利名称：提取纹理图像和深度图像的装置及方法
技术领域：
本发明涉及一种提取纹理图像和深度图像的装置及方法，特别是，涉及一种照射时间积分后成为白色光的图案图像，从而可同时提取纹理图像和深度图像的装置及方法。
背景技术：
随着3DTV等和3D有关的领域的发展，对于提取时间性变化的事物的深度信息的需要正在不断增加。在3D技术中，提取深度信息的方法是使用立体方式。立体方式是指为显示3D利用左图像与右图像。但是，为了提供3DTV服务，在一起传送左图像和右图像时，传送通道的带宽可能会发生问题。为解决此类带宽问题，提出了使用深度信息的方法。具体地说，新提出的方法是传送对应于颜色图像的纹理图像和对应于纹理图像的深度图像，并通过场面合成来合成立体 图像，由此可解决带宽问题。在这种情况下，当目标对象为动态时，现有的方法较难有效地获得纹理图像和深度图像。此外，当目标对象为人类时，为获得纹理图像和深度图像向人体照射的白色光会使人类视觉感到不舒服，不仅如此，当3D图像中包含的目标对象的表面存在颜色，或是目标对象中存在氛围照明(ambiance illumination)时,会发生纹理图像的准确度下降的问题。
发明内容
技术课题本发明目的在于提供一种将时间积分后成为白色光的图案图像连续地照射在目标对象上来摄影场面图像，从而可同时获得目标对象的纹理图像和深度图像的方法和装置。本发明目的在于提供一种将时间积分后成为白色光的图案图像照射在目标对象上，从而可防止白色光照射对人类视觉所造成的不舒服的方法和装置。本发明目的在于提供一种通过目标对象的纹理图像来确定场面图像的颜色，将编码的图案图像解码，从而可在目标对象的表面颜色与氛围照明中强力地查找出对应点的方法和装置。技术方案根据本发明的一个实施例的装置，包括图案图像照射单元，其将图案图像照射在目标对象上；图像摄影单元，其将所述图案图像经目标对象被反射的场面图像摄影；和图像处理单元，其利用所述摄影的场面图像来提取纹理图像和深度图像。根据本发明的一个实施例的装置，其包括以下步骤图案图像照射单元将图案图像照射在目标对象上；场面图像摄影单元将所述图案图像经目标对象被反射的场面图像摄影；图像处理单元利用所述摄影的场面图像来提取纹理图像和深度图像。技术效果根据本发明的一个实施例，由于将时间积分后成为白色光的图案图像连续地照射在目标对象上来摄影场面图像，因此可同时提取纹理图像和深度图像。根据本发明的一个实施例，由于将时间积分后成为白色光的图案图像照射在目标对象上，因此可防止白色光照射对人类视觉所造成的不舒服。根据本发明的一个实施例，由于通过目标对象的纹理图像确定场面图像的颜色，来将编码的图案图像解码，因此可在目标对象的表面颜色与氛围照明中强力地查找出对应点。
图I是示出根据本发明的一个实施例，同时提取纹理图像和深度图像的装置的示图。图2是示出根据本发明的一个实施例的图案图像的图案排列的示图。
图3是示出根据本发明的一个实施例，从场面图像提取纹理图像的过程的示图。图4是示出根据本发明的一个实施例，将图案图像按时间积分的场面图像摄影的过程的示图。图5是示出根据本发明的一个实施例，利用分束器来将场面图像摄影的过程的示图。图6是示出根据本发明的一个实施例，目标对象的表面和发射光之间的示图。图7是示出根据本发明的一个实施例，CIELab图表的示图。图8是根据本发明的一个实施例，用于确认场面图像的颜色的示图。图9是示出根据本发明的一个实施例，图案照射单元和图像摄影单元之间的同步信号的示图。图10是示出根据本发明的另一个实施例，图案照射单元和图像摄影单元之间的同步信号的示图。图11是示出根据本发明的一个实施例，同时提取纹理图像和深度图像的装置的流程图。
具体实施例方式以下，参照附图，对根据本发明的实施例进行详细地说明。图I是示出根据本发明的一个实施例，同时提取纹理图像和深度图像的装置的示图。参照图1，装置101可包括图案图像照射单元102、图像摄影单元103、和图像处理单元104。图案图像照射单元102可将图案图像照射在目标对象105上。具体地来说，图案图像照射单元102可将图案图像存储在缓存中，并根据图像处理单元104的同步信号，将存储在缓存中的图案图像按顺序地并反复地照射。即，图案图像照射单元102可根据结构光方法将特定信息被编码的图案图像照射在目标对象105上。在这种情况下，图案图像照射单元102可基于时间性或空间性的图案排列来照射图案图像。在此，图案图像照射单元102可照射基于空间性的图案排列中deBruijin图案排列的图案图像。
根据本发明的一个实施例的图案图像，其根据图案排列被高速地照射在目标对象105上。在这种情况下，图案图像在一定时间内积分后可显示出与照射白色光相同的效果。即，图案图像在高速相机中能够以R (红色)、G (绿色)、B (蓝色)被区分，但在一般相机中，以R(红色)、G(绿色)、B(蓝色)相结合的白色光被区分。结果，根据本发明的一个实施例，由于目标对象105的每个像素连续地照射以R/G/B构成的图案图像，因此可显示出与照射白色光相同的效果。由此，可从3个图案图像经目标对象105被反射的场面图像中获取一个纹理图像106和深度图像107。图像摄影单元103可将图案图像经目标对象105被反射的场面图像摄影。在这种情况下，图像摄影单元103可根据图像处理单元105的同步信号，将图案图像照射至目标对象105后被反射的场面图像摄影。在这种情况下，图像摄影单元103可由至少一个相机来构成，相机的种类可以是一般相机或高速相机。如上所述，一般相机不能将图案图像以R (红色)、G (绿色)、B (蓝色)来区分，而是以白色光来识别，高速相机是指能够以R(红色)、G(绿色)、B(蓝色)来 区分的相机。图像处理单元104可利用摄影的场面图像来提取有关目标对象105的纹路图像106和深度图像107。根据一个例子，图像处理单元104可使用结构光技术和立体匹配技术来提取深度图像107。立体匹配方法(stereo matching method)可作为用于提取目标对象105的深度信息的被动接入方法来使用。此外，结构光方法(structured light method)可作为用于提取目标对象105的深度信息的主动接入方法来使用。立体匹配方法为基本捕捉2张以上具视点的图像后找出被捕捉的图像之间的对应点(correspondence points)的方法。当具备相机时，可将三角法适用于对应点来导出3D深度信息。在这种情况下，依据立体匹配方法，在目标对象105的表面均匀(Homogenous)不具纹理时，可能会模糊不清(ambiguity)较难找出对应点。在这种情况下，结构光方法在目标对象105的表面均匀的情况下也可照射特定的光带来清除模糊不清，从而来计算对应点。结构光方法是在将特定信息编码的图案图像照射在目标对象105后，将目标对象105上反射的场面图像摄影来将其解码从而可找出对应点。在此，在将场面图像解码时确认场面图像的颜色十分重要。在这种情况下，可基于目标对象105的纹理图像来确认颜色。根据本发明的一个实施例，在利用目标对象105的纹理图像时，可将因目标对象105表面存在的颜色或氛围照明所产生的影响清除，从而场面图像可更强力(Robust)地被解码。此外，图像处理单元104可通过多种方法来提取目标对象105的纹理图像106。在这种情况下，图像摄影单元103为高速相机或一般相机时，提取目标对象105的纹理图像106的方式可能会有所不同。当图像摄影单元103为高速相机时，图像处理单元104可将图像摄影单元103摄影的场面图像进行平均来提取目标对象105的纹理图像106。此外，图像摄影单元103为一般相机时，图像摄影单元103可将快门速度较长地维持来摄影时间积分的场面图像。由此，图像处理单元104可利用时间积分的场面图像来提取目标对象105的纹理图像106。当图像摄影单元103为高速相机和一般相机时，一般相机和高速相机可通过分束器各自将图案图像经目标对象105被反射的场面图像摄影。以下，对提取目标对象105的纹理图像106和深度图像107的过程进行详细地说明。图2是示出根据本发明的一个实施例的图案图像的图案排列的示图。根据光的合成，当R(红色)、G(绿色)、B(蓝色)被组合时生成白色光。在这种情况下，图案图像照射单元102可根据图2中所示出的deBruijin图案排列来照射图案图像。参照图2，可空间性地根据图案1201、图案2202、图案3203的顺序来将图案图像照射在目标对象上。即，一个条纹(stripe)色可根据图案1201、图案2202、图案3203的顺序时间性地以红色_>绿色_>蓝色的顺序变化。由此，在一定时间内将图案图像积分从而人类视觉可最终感觉到白色光。不仅如此，不仅将条纹色配置成红色_>绿色_>蓝色，就算配置成红色_>蓝色_> 绿色也可发挥同样的效果。不仅是空间性的图案排列，还考虑时间性图案排列时，可使编码的图案图像中所包含的信息数增大2倍。结果，为提取目标对象的纹理图像，不照射可造成人类视觉不舒服的白色光，且照射特定信息被编码的图案图像也可获得相同的效果。图3是示出根据本发明的一个实施例，从场面图像提取纹理图像的过程的示图。参照图3，示出从图案图像经目标对象被反射的场面图像提取纹理图像的过程。特别是，图3示出高速相机的图像摄影单元103将场面图像301-303摄影时，提取纹理图像304的过程。图像摄影单元103可将根据图像照射单元102照射的根据图案图像被反射的场面图像1301、场面图像2302、场面图像3303摄影。由此，图像处理单元104可计算出场面图像1301、场面图像2302、场面图像3303的平均值来提取有关目标对象的纹理图像304。S卩，纹理图像304可在白色光被照射时被提取，但根据本发明的一个实施例，图案图像时间积分后白色光被提取，可利用白色光的性质来提取纹理图像304。当目标对象为人类时，直接照射白色光时会造成人类视觉的不舒服，因此，可将图案图像连续地照射从而获得与照射白色光相同的效果。图4是示出根据本发明的一个实施例，将图案图像按时间积分的场面图像摄影的过程的示图。图4示出一般相机的图像摄影单元103将场面图像摄影时的情况。图像摄影单元103可将相机的快门速度较长地为维持来延长露出时间，由此可摄影3个连续的图案图像按时间积分的场面图像。图案图像按时间积分的场面图像显示出与将白色光照射在目标对象上被反射的场面图像相同的效果由此，图像处理单元104可从摄影的场面图像提取目标对象的纹理图像。图5是示出根据本发明的一个实施例，利用分束器来将场面图像摄影的过程的示图。图5示出一般相机的图像摄影单元501和高速相机的图像摄影单元502通过分束器503，将图案图像照射在目标对象504上后被反射的场面同时摄影。在利用分束器503时，通过一般相机的图像摄影单元501，获得与经图案图像时间积分效果白色光被投射的相同的纹理图像，并通过高速相机获得图案图像来提取深度图像。图6是示出根据本发明的一个实施例，目标对象的表面和发射光之间的示图。根据本发明的一个实施例，图像处理单元104为了将根据结构光方法被编码的图案图像解码需要确认图像摄影单元103所摄影的场面图像的颜色。在这种情况下，场面图像是指图案图像被照射在目标对象上后反射的图像根据本发明的一个实施 例，图像处理单元104可利用目标对象的纹理图像来确认场面图像的颜色。在利用目标对象的纹理图像时，可将因目标对象表面的颜色或氛围照明的影响清除，从而可执行更强力的解码。在目标对象上图案图像被反射时，目标对象的表面的颜色或根据氛围照明被反射的场面图像的颜色可能会不同。参照图6的图面601，目标对象的表面的颜色为R(红色)时，照射目标对象上的白色光中R (红色)成为反射光，剩余的颜色全都为吸收光。在这种情况下，白色光显示出与图案图像按顺序照射时相同的效果。由此，目标对象上反射的场面图像由R (红色)构成。此外，参照图6的图面602时，目标对象的表面的颜色为G (绿色)时，照射在目标对象上的白色光中G (绿色)为反射光，且剩余的颜色全都为吸收光。由此，目标对象上反射的场面图像由G (绿色)构成。图7是不出根据本发明的一个实施例，CIELab图表的不图。图7示出目标对象的表面的颜色为微红(Reddish)、微绿(Greenish)、微蓝(Blueish),且照射在目标对象上的光的颜色为红色(Red)、绿色(Green)、蓝色(Blue)、白色(White)时，图像摄影单元103所摄影的场面图像的颜色是如何变化的CIELab图表。照射在目标对象上的光的颜色对应于照射在目标对象上的图案图像的颜色。如图7所示出的，照射在目标对象上的4个光的坐标偏向(biased)于目标对象的表面的颜色。由此，图像摄影单元103将红色(Red)、绿色(Green)、蓝色(Blue)照射在目标对象上后被反射的场面图像摄影，且图像处理单元104计算被摄影的场面图像的平均值后可求出目标对象的表面的颜色。当目标对象的表面的颜色被求出时，可确认场面图像的颜色。以下，确认场面图像的颜色的过程将通过图8被说明。图8是根据本发明的一个实施例，用于确认场面图像的颜色的示图。参照图8，在图面801中示出场面图像的平均(average)色。由此，在图面802中，可将在平均色中加入R(红色)、G(绿色)、B (蓝色)所生成的3个转换色(shifted color)中与场面图像的颜色差异较小的转换色确认为场面图像的颜色(Cl、c2、c2)。图9是示出根据本发明的一个实施例，图案照射单元和图像摄影单元之间的同步信号的示图。为了连续地照射图案图像，并捕捉图案图像经目标对象反射的场面图像，图案图像照射单元102和图像摄影单元103之间需要同步信号。参照图9，基于图案图像被照射的图案图像照射单元102的触发信号来示出有关图像摄影单元103的快门信号的时间图表。在这种情况下，可得知图像摄影单元103为高速相机或一般相机时可显示出不同的时间图表。在图案图像照射单元102的触发信号发生的周期内，可得知图像摄影单元103的快门信号被维持，且图像摄影单元103为高速相机时，信号的周期较短，相反，为一般相机时，信号的周期较长。即，参照图9可得知，图像摄影单元103为高速相机时，将图案图像的R、G、B反射的3个场面图像各自摄影，相反，图像摄影单元103为一般相机时，将图案图像的R、G、B反射的时间积分的I个场面图像摄影。图10是示出根据本发明的另一个实施例，图案照射单元和图像摄影单元之间的同步信号的示图。将图10和图9比较时，可得知图案图像摄影单元102的触发信号的周期更短。即，图10示出目标对象的移动十分快的情况。当目标对象的移动十分快时，图案图像需要更快的照射。因此，图10的触发信号周期比图9的短。图11是示出根据本发明的一个实施例，同时提取纹理图像和深度图像的装置的流程图。在步骤S1101，装置101的图案图像照射单元102可将图案图像照射在目标对象上。根据一个实例，图案图像照射单元102可基于时间性或空间性的图案排列来按顺序 地照射图案图像。在这种情况下，图案图像照射单元102可照射基于空间性图案排列中deBruijin图案排列的图案图像。根据本发明的一个实施例，图案图像可根据图案排列被高速地照射在目标对象上，且一定时间内积分后成为白色光。在步骤S1102中，装置101的图像摄影单元103可将图案图像经目标对象被反射的场面图像摄影。根据一个实例，图像摄影单元103可利用分束器(Beam Splitter)，通过一般相机和高速相机将图案图像在目标对象中反射的场面的图像摄影。在步骤S1103中，装置101的图像处理单元104可利用被摄影的场面图像来提取纹理图像和深度图像。图像处理单元104可将立体匹配方法适用于场面图像中来提取深度图像。在这种情况下，图像处理单元104可根据目标对象的纹理图像来确认场面图像的颜色，并根据结构光方法，利用场面图像的颜色来提取对应点。具体地说，图像处理单元104可将R(红色)、G (绿色)、B (蓝色)通道适用于目标对象的场面图像的平均色中，从而利用生成的转换色与场面图像的原始颜色的差异性来确认场面图像的颜色。此外，图像处理单元104可将图案图像进行平均来提取目标对象的纹理图像。此夕卜，当图像摄影单元103将快门速度较长的维持来摄影图案图像按时间积分的场面图像时，图像处理单元104可利用图案图像按时间积分的场面图像来提取目标对象的纹理图像。根据本发明的实施例的方法可通过多种计算机手段，以可执行的程序命令形式被体现并记录在计算机可读媒体中。所述计算机可读媒体可将程序命令、数据文件、数据结构等单独分开或组合来包括其中。所述记录在媒体中的程序命令可以是为本发明来特别设计构成，也可以是向计算机软件技术人员公开进行使用。如上所示，本发明虽然已参照有限的实施例和附图进行了说明，但是本发明并不局限于所述实施例，在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。因此，本发明的范围不受说明的实施例的局限或定义，而是由后附的权利要求范围以及与权利要求范围等同的内容来定义。
权利要求
1.一种装置，包括 图案图像照射单元，其将图案图像照射在目标对象上； 图像摄影单元，其将所述图案图像经目标对象被反射的场面图像摄影；和 图像处理单元，其利用所述摄影的场面图像来提取纹理图像和深度图像。
2.如权利要求I所述的装置，其中，所述图案图像照射单元，其基于时间性或空间性的图案排列来按顺序地照射图案图像。
3.如权利要求I所述的装置，其中，所述图案图像，其根据图案排列被高速地照射在目标对象上，且一定时间内积分后成为白色光。
4.如权利要求I所述的装置，其中，所述图像处理单元，其将结构光方法和立体匹配方法用于所述场面图像来提取深度图像。
5.如权利要求I所述的装置，其中，所述图像处理单元，其利用将所述图案图像时间积分的特征来提取所述目标对象的纹理图像。
6.如权利要求I所述的装置，其中，所述图像摄影单元，其将快门速度较长地维持，来摄影图案图像按时间积分的场面图像，且 所述图像处理单元，其利用图案图像按时间积分的场面图像来提取所述目标对象的纹理图像。
7.如权利要求4所述的装置，其中，所述图像处理单元，其根据所述目标对象的纹理图像来确认所述场面图像的颜色，并根据所述结构光方法，利用所述场面图像的颜色来提取对应点。
8.如权利要求7所述的装置，其中，所述图像处理单元，其将红色、绿色、蓝色通道适用于所述目标对象的场面图像的平均色中，从而利用生成的转换色与所述场面图像的原始色的差异性来确认所述场面图像的颜色。
9.如权利要求I所述装置，其中，所述场面图像摄影单元，其基于所述图案图像照射单元中被照射的图案图像的触发信号被同步化。
10.如权利要求I所述的装置，其中，所述图案图像照射单元，其基于所述目标对象的移动速度来控制照射图案图像的速度。
11.一种通过同时获得纹理图像和深度图像的装置来执行的方法，所述方法包括以下步骤 图案图像照射单元将图案图像照射在目标对象上； 场面图像摄影单元将所述图案图像经目标对象被反射的场面图像摄影； 图像处理单元利用所述摄影的场面图像来提取纹理图像和深度图像。
12.如权利要求11所述的方法，其中，所述照射图案图像的步骤，基于时间性或空间性的图案排列来按时间顺序照射图案图像。
13.如权利要求11所述的方法，其中，所述图案图像，其根据图案排列被高速地照射在目标对象上，且一定时间内积分后成为白色光。
14.如权利要求11所述的方法，其中，所述提取纹理图像和深度图像的步骤，将结构光方法和立体匹配方法用于所述场面图像来提取深度图像。
15.如权利要求11所述的方法，其中，所述提取纹理图像和深度图像的步骤，利用将所述图案图像时间积分的特征来提取所述目标对象的纹理图像。
16.如权利要求11所述的方法，其中，所述摄影场面图像的步骤，将快门速度较长地维持，来摄影图案图像按时间积分的场面图像，且 所述提取纹理图像和深度图像的步骤，利用图案图像按时间积分的场面图像来提取所述目标对象的纹理图像。
17.如权利要求13所述的方法，其中，所述提取纹理图像和深度图像的步骤，根据所述目标对象的纹理图像来确认所述场面图像的颜色，并根据所述结构光方法，利用所述场面图像的颜色来提取对应点。
18.如权利要求17所述的方法，其中，所述提取纹理图像和深度图像的步骤，将红色、绿色、蓝色通道适用于所述目标对象的场面图像的平均色中，从而利用生成的转换色与所述纹理图像的原始色的差异性来确认所述场面图像的颜色。
19.如权利要求11所述的方法，所述将场面图像摄影的步骤，在被照射的图案图像的触发信号中同步化，来摄影经目标对象被反射的场面图像。
20.如权利要求11所述的方法，所述照射图案图像的步骤，基于所述目标对象的移动速度来控制照射图案图像的速度。
全文摘要
本发明提供一种提取纹理图像和深度图像的装置及方法，本发明的装置将图案图像照射在目标对象上，并将图案图像经目标对象被反射的场面图像摄影，从而可利用场面图像来同时提取纹理图像和深度图像。
文档编号H04N13/00GK102884798SQ201080063344
公开日2013年1月16日 申请日期2010年12月8日 优先权日2009年12月8日
发明者金镇雄, R.B.里贝拉, 金泰源, 张恩荣, 金煜中, 许南淏, 李寿寅, 黄胜九 申请人:韩国电子通信研究院