交互式投影仪及其用于确定对象的深度信息的操作方法

交互式投影仪及其用于确定对象的深度信息的操作方法
【专利摘要】本发明公开了一种交互式投影仪及其用于确定对象的深度信息的操作方法。交互式投影仪包括光学引擎、图像俘获单元以及处理单元。光学引擎经由可见光源和不可见光源将可见图像与不可见图案投影到投影区域，且可见光源和不可见光源是被集成到光学引擎。图像俘获单元从投影区域俘获具有深度信息的图像，且具有深度信息的图像是经由不可见光源投影在对象上。处理单元电耦合到光学引擎和图像俘获单元。处理单元接收具有深度信息的图像且根据具有深度信息的图像确定交互式事件，且根据所述交互式事件，刷新光学引擎的状态。
【专利说明】
交互式投影仪及其用于确定对象的深度信息的操作方法
技术领域
[0001]本发明涉及一种交互式投影仪(interactive projector)及其用于确定对象的深度信息的操作方法。
【背景技术】
[0002]近年来，零接触人机接口(contact-freehuman-machine interfaces，cfHMIs)得到快速开发。目前许多制造商已经专门制作各种可以应用在日常生活中的人机交互装置。举例来说，微软制造深度相机Kinect与投影仪的组合借此得到交互式投影的应用。然而，此设计的问题在于高制造成本和外观上过大的体积。另外，由于深度相机与投影仪之间的图像对准仍为实验阶段中的产品，其尚未适用于产品应用。因此，在人机交互装置的制造过程中，图像对准技术仍面对很多困难且复杂的问题。

【发明内容】

[0003]本发明涉及一种交互式投影仪及其用于确定对象的深度信息的操作方法。
[0004]在本发明的一个示范性实施例中，交互式投影仪包含光学引擎、图像俘获单元以及处理单元。光学引擎经由可见光源和不可见光源将可见图像与不可见图案投影到投影区域。此处，可见光源和不可见光源是被集成到光学引擎。图像俘获单元从投影区域俘获具有深度信息的图像，其中具有深度信息的图像是经由不可见光源投影在对象上。处理单元电耦合到光学引擎和图像俘获单元。处理单元接收具有深度信息的图像且根据具有深度信息的图像确定交互式事件，以通过所述交互式事件，刷新光学引擎的状态。
[0005]在本发明的另一示范性实施例中，提供用于确定对象的深度信息的交互式投影仪的操作方法，交互式投影仪包含光学引擎、图像俘获单元以及处理单元，且操作方法包含以下步骤。光学引擎将不可见光束投影到投影区域上，以形成不可见图案。图像俘获单元俘获不可见图案，且处理单元存储所述不可见图案作为参考图案。光学引擎对位于投影区域中的对象投射不可见光束，形成具有所述对象的深度信息的图像。图像俘获单元俘获具有所述对象的深度信息的图像。处理单元将参考图案与具有对象的深度信息的图像进行比较，以获得所述对象的深度?目息。
[0006]为让本申请的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
【附图说明】
[0007]图1是本发明的一个实施例的交互式投影仪的示意图。
[0008]图2是本发明的一个实施例的光学引擎的示意图。
[0009]图3是图2中所描绘的光学引擎的配置的一个实施例的示意图。
[0010]图4是本发明的一个实施例的光学引擎的示意图。
[0011]图5是图4中所描绘的光学引擎的配置的一个实施例的示意图。
[0012]图6是根据本发明用于确定对象的深度信息的交互式投影仪的操作方法的流程图。
[0013]图7是根据本发明的俘获具有对象的深度信息的图像的方法的流程图。
[0014]附图标iP,说曰月
[0015]100:交互式投影仪
[0016]IlOUlOr:光学引擎
[0017]112、IC:光源单元
[0018]114:图像源
[0019]116:投影透镜
[0020]118:透镜单元
[0021]120:图像俘获单元
[0022]130:处理单元
[0023]Cff:色轮
[0024]DM:双色镜
[0025]LS:光源
[0026]Ml、M2、M3:反射镜
[0027]PA:投影区域
【具体实施方式】
[0028]附图中以及以下说明的细节仅仅是本发明的示范性实施例，用以描述以及说明本发明的一般原理，不应视为限制或确定本发明的范围。
[0029]图1是本发明的一个实施例的交互式投影仪的示意图。图2是本发明的一个实施例的光学引擎的示意图。图3是说明图2中所描绘的光学引擎的配置的一个实施例的示意图。如图1、图2和图3中所示，本发明的实施例的交互式投影仪100包含光学引擎110、图像俘获单元120和处理单元130。下文分别描述这些组件的示范性功能。
[0030]光学引擎110包含光源单元112、图像源114和投影透镜116。光源单元112具有光源LS，其整合了可发出可见光的可见光源与可发出不可见光的不可见光源，以使得光源单元112同时或周期性地提供可见光束和不可见光束。在本实施例中，可见光源例如包含白色发光二极管(light-emitting d1de，LED)，但本发明不限于此。在其它实施例中，可见光源包含红色LED、绿色LED和蓝色LED。在本实施例中，不可见光源例如包含红外线(infrared ray，IR)。在本实施例中，光源单元112更包括色轮(color wheel)、至少一个反射镜、至少一个双色镜(dichroic mirror)或其组合，本发明不限于此。
[0031]图像源114定位于可见光束和不可见光束的光路径PJl。在可见光束和不可见光束通过图像源114时，图像源114将可见光束转换为可见图像光束且将不可见光束转换为不可见图像光束。在一个实施例中，图像源114例如包含显示面板。
[0032]投影透镜116定位于可见图像光束和不可见图像光束的光路径P1上。在可见图像光束和不可见图像光束通过投影透镜116时，投影透镜116将可见图像和不可见图案投影到位于光学引擎110外部的投影区域PA。
[0033]在本实施例中，光源单元112更包括色轮CW(参见图3)，其中色轮CW具有红色区R、蓝色区B、绿色区G以及无色区C。当色轮CW旋转时，光源LS根据色轮的转动位置发射可见光或不可见光，并提供具有不同颜色的可见光束和不可见光束。当由光源LS提供的可见光通过色轮CW上的具有特定颜色的区域时，其它颜色的可见光被过滤掉，使得穿过色轮Cff的可见光转换成对应于具有特定颜色的所述区域的单色可见光。举例来说，当色轮CW旋转到红色区时，由光源LS发出的可见光在穿过色轮CW之后转换成红色的可见光束。于另一实例，当色轮CW旋转到无色区时，光源LS发出的不可见光，无经过转换，作为不可见光束直接穿过色轮CW。此外，在本实施例中，由光源单元112提供的可见光束和不可见光束的光路径共享同一传输路径。
[0034]通过旋转色轮CW，由光源LS(例如，白色LED)发出的可见光分裂为具有单色的可见光束，例如红色可见光束、绿色可见光束和蓝色可见光束。这些红色可见光束、绿色可见光束和蓝色可见光束随后投影到图像源114以形成对应的可见图像光束，且接着通过投影透镜116投影到投影区域PA，以呈现彩色投影帧，即可见图像。在本实施例中，可见图像可例如为用户操作接口。另外，由光源LS(例如，IR)发出的不可见光作为不可见光束穿过色轮CW。将不可见光束随后投影到图像源114以形成对应的不可见图像光束，且通过投影透镜116投影到投影区域PA，形成不可见图案。
[0035]图像俘获单元120从投影区域PA俘获具有深度信息的图像，其中具有深度信息的图像是当不可见图像光束投影到位于投影区域PA中的对象上时而产生。
[0036]此外，在图像俘获单元120俘获具有深度信息的图像之前，图像俘获单元120先俘获参考图案，参考图案是通过将不可见图像光束投影到作为背景值的投影区域PA，而产生的不可见图案。在本实施例中，图像俘获单元120可例如为深度相机、具有多个透镜的3D相机、用于构造三维(three-dimens1nal，3D)图像的多个相机的组合，或能够检测3D空间信息的其它图像传感器。
[0037]处理单元130电耦合到光学引擎110和图像俘获单元120。处理单元130接收具有深度信息的图像，且将参考图案与具有深度信息的图像进行比较以获得对象的深度信息。根据从具有深度信息的图像获得的对象的深度信息，处理单元130确定交互式事件。换句话说，处理单元130对具有对象的深度信息的图像执行图像分析，以侦测具有对象的区域，再根据具有对象的所述区域来确定交互式事件。随后，处理单元130根据交互式事件刷新光学引擎110的状态。举例来说，根据交互式事件更新由光学引擎110投影的可见图像。处理单元130例如是例如中央处理单元(central processing unit，CPU)、图形处理单元(graphics processing unit, GPU)或其它可编程微处理器等装置。
[0038]图4是根据本发明的一个实施例的光学引擎的示意图。图5是说明图4中所描绘的光学引擎的配置的一个实施例的示意图。一起参见图2、图3、图4和图5，图4的光学引擎110'和图2的光学引擎110是相似的，差异在于，图4的光学引擎110'以光源单元112'替代图2的光源单元112并且更包括透镜单元118。
[0039]一起参见图1、图4和图5，本发明的实施例的交互式投影仪100包含光学引擎IlOr、图像俘获单元120和处理单元130。光学引擎11(^包含光源单元IC、图像源114、投影透镜116以及透镜单元118。下文分别描述这些组件的示范性功能。
[0040]光源单元112'具有光源LS，其整合了可发出可见光的可见光源和可发出不可见光的不可见光源，以使得光源单元112'同时或周期性地提供可见光束和不可见光束。在本实施例中，可见光源包含红色LED、绿色LED和蓝色LED。在本实施例中，不可见光源例如包含红外线(IR)。
[0041]在本实施例中，光源单元IC更包含至少一个反射镜镜Ml?M3以及至少一个双色镜DM。如图5中所示，光源LS中集成的红色LED、蓝色LED、绿色LED和红外线(IR)光源分别发射具有光路径Pr的红光、具有光路径P 的绿光、具有光路径P B的蓝光以及具有光路径Pir的不可见光。由于这些可见光束与不可见光束的光路径H^^n，PR、P(；、PB、PIR)不在同一传输路径，因此光源单元利用反射镜镜Ml?M3和双色镜DM调整上述可见光束与不可见光束的光路径(例如，PR、Pe、PB、PIR)，使其合并到同一传输路径中，因此由光源单元112r提供的可见光束和不可见光束具有同一传输路径。换句话说，由光源单元112'提供的可见光束和不可见光束共享光路径1\。如图5中的示范性实施例，光源单元112'提供绿色光束；然而，本发明不限于此。
[0042]透镜单元118位于可见光束和不可见光束的光路径Pl上，且在光源单元112与图像单元114之间，其中透镜单元118包含至少一个光学透镜。光源单元112提供的可见光束和不可见光束投影在透镜单元118上时，透镜单元118调整可见光束和不可见光束朝向图像源114的传输路径。
[0043]图像源114定位于可见光束和不可见光束的光路径Pl上。在可见光束和不可见光束通过图像源114时，图像源114将可见光束转换为可见图像光束且将不可见光束转换为不可见图像光束。在一个实施例中，图像源114例如包含微型显示面板。
[0044]投影透镜116位于可见图像光束和不可见图像光束的光路径P1上。在可见图像光束和不可见图像光束通过投影透镜116时，投影透镜116将可见图像和不可见图案投影到位于光学引擎110外部的投影区域PA。
[0045]图像俘获单元120从投影区域PA俘获具有深度信息的图像，其中具有深度信息的图像是当不可见图像光束投影到位于投影区域PA中的对象上时而产生。
[0046]此外，在图像俘获单元120俘获具有深度信息的图像之前，图像俘获单元120首先俘获参考图案，参考图案是通过将不可见图像光束投影到作为背景值的投影区域PA，而产生的不可见图案。在本实施例中，图像俘获单元120可例如为深度相机、具有多个透镜的3D相机、用于构造三维(three-dimens1nal，3D)图像的多个相机的组合，或能够检测3D空间信息的其它图像传感器。
[0047]处理单元130电耦合到光学引擎110和图像俘获单元120。处理单元130接收具有深度信息的图像，且将参考图案与具有深度信息的图像进行比较以获得对象的深度信息。根据从具有深度信息的图像获得的对象的深度信息，处理单元130确定交互式事件。换句话说，处理单元130对具有对象的深度信息的图像执行图像分析，以侦测具有对象的区域，再根据具有对象的所述区域来确定交互式事件。随后，，处理单元130根据交互式事件刷新光学引擎110的状态。举例来说，根据交互式事件更新由光学引擎110投影的可见图像。处理单元130例如是例如中央处理单元(central processing unit，CPU)、图形处理单元(graphics processing unit, GPU)或其它可编程微处理器等装置。
[0048]图6是根据本发明用于确定对象的深度信息的交互式投影仪的操作方法的流程图。在本示范性实施例中所描述的操作方法可适于图1中所示的交互式投影仪100，且所述操作方法中的步骤是以交互式投影仪100中的组件于下文中说明。交互式投影仪100包含光学引擎110、图像俘获单元120以及与光学引擎110和图像俘获单元120电耦合的处理单元130。在步骤SlO中，光学引擎110将不可见光束投影到投影区域PA，以形成不可见图案。在步骤S20中，图像俘获单元120俘获不可见图案，且处理单元130存储所述不可见图案作为参考图案。在步骤S30中，光学引擎110对位于投影区域PA中的对象投射不可见光束，以形成具有对象的深度信息的图像。在步骤S40中，图像俘获单元120俘获具有对象的深度信息的图像。在步骤S50中，处理单元130将参考图案与具有对象的深度信息的图像进行比较，以获得对象的深度?目息。
[0049]在一个示范性实施例中，具有深度信息的图像可例如为动态图案，因此处理单元130将具有深度信息的图像划分为具有第一分辨率的第一区和具有第二分辨率的第二区，且第一分辨率小于第二分辨率。随后，步骤S40可划分成步骤S41、步骤S42、步骤S43以及步骤S44。在图7中是根据本发明俘获具有对象的深度信息的图像的方法的流程图。图像俘获单元120对具有所述对象的深度信息的所述图像俘获具有第一分辨率的图像(步骤S41)。处理单元130将具有第一分辨率的图像与参考图案进行比较(步骤S42)。处理单元130确定是否侦测到具有所述对象的区域(步骤S43)。如果是，那么图像俘获单元120以第二分辨率对具有所述对象的区域俘获具有第二分辨率的图像(步骤S44);如果不，那么重复步骤S42直到在步骤43中确认具有对象的区域。在本实施例中，具有第一分辨率的图像相对于具有第二分辨率的图像需要较少的运算时间。在一个实施例中，参考图案可例如呈动态图案的形式，其可划分成具有不同分辨率的多个图像区域。
[0050]总而言之，与常规的人机交互式装置的设计相比，通过将可见光源和不可见光源整合到本发明的交互式投影仪的光源单元，其允许交互式投影仪将可见图像(例如，用户操作接口)和不可见图案(例如，参考图案和具有对象的深度信息的图像)投影到同一个投影区域上，使得本发明的交互式投影仪不需要满足深度相机与投影仪之间的图像对准的条件，具有简单制造过程、低制造成本以及便于随身携带的大小。
[0051]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种交互式投影仪，其特征在于，包括: 光学引擎，整合可见光源和不可见光源，且经由所述可见光源和所述不可见光源将可见图像与不可见图案投影到投影区域； 图像俘获单元，从所述投影区域俘获具有深度信息的图像，且具有深度信息的所述图像是经由所述不可见光源投影在对象上；以及 处理单元，电耦合到所述光学引擎和所述图像俘获单元，其中所述处理单元接收具有深度信息的所述图像并以具有深度信息的所述图像确定交互式事件，且根据所述交互式事件刷新所述光学引擎的状态。2.如权利要求1所述的交互式投影仪，其特征在于，所述可见光源包括白色发光二极管，或红色发光二极管、绿色发光二极管和蓝色发光二极管。3.如权利要求1所述的交互式投影仪，其特征在于，所述不可见光源包括红外线。4.如权利要求1所述的交互式投影仪，其特征在于，所述光学引擎包括: 光源单元，整合所述可见光源和所述不可见光源，且提供可见光束和不可见光束； 图像源，位于所述可见光束和所述不可见光束的光路径上，将所述可见光束转换为可见图像光束且将所述不可见光束转换为不可见图像光束；以及 投影透镜，位于所述可见图像光束和所述不可见图像光束的光路径上，且将所述可见图像和所述不可见图案投影到位于所述光学引擎外部的所述投影区域。5.如权利要求4所述的交互式投影仪，其特征在于，所述可见图像光束和所述不可见图像光束通过穿过所述投影透镜而投影，以形成所述可见图像和所述不可见图案。6.如权利要求4所述的交互式投影仪，其特征在于，所述光学引擎还包括: 透镜单元，位于所述可见光束和所述不可见光束的光路径上，调整所述可见光束和所述不可见光束朝向所述图像源的传输路径。7.如权利要求4所述的交互式投影仪，其特征在于，所述光源单元还包括色轮、至少一个反射镜、至少一个双色镜或其组合。8.如权利要求1所述的交互式投影仪，其特征在于，所述可见图像包括用户操作接口。9.如权利要求1所述的交互式投影仪，其特征在于，所述不可见图案是经由所述不可见光源投影到所述投影区域上的参考图案。10.如权利要求9所述的交互式投影仪，其特征在于，所述处理单元将所述参考图案与具有深度信息的所述图像进行比较，以获得所述对象的深度信息用于确定所述交互式事件。11.如权利要求10所述的交互式投影仪，其特征在于，具有深度信息的所述图像是动态图案，所述处理单元将具有深度信息的所述图像划分为具有第一分辨率的第一区和具有第二分辨率的第二区，且所述第一分辨率小于所述第二分辨率。12.如权利要求1所述的交互式投影仪，其特征在于，由所述光学引擎投影的所述可见图像是根据所述交互式事件而更新。13.一种用于确定对象的深度信息的交互式投影仪的操作方法，其特征在于，所述交互式投影仪包括光学引擎、图像俘获单元以及处理单元，且所述操作方法包括: 利用所述光学引擎将不可见光束投影到投影区域上，以形成不可见图案； 由所述图像俘获单元俘获所述不可见图案，且所述处理单元存储所述不可见图案作为参考图案； 利用所述光学引擎对位于所述投影区域中的对象投射所述不可见光束，以形成具有所述对象的深度信息的图像； 以所述图像俘获单元俘获具有所述对象的深度信息的所述图像；以及 利用所述处理单元将所述参考图案与具有所述对象的深度信息的所述图像进行比较，以获得所述对象的深度信息。14.如权利要求13所述的用于确定对象的深度信息的交互式投影仪的操作方法，其特征在于，俘获具有所述对象的深度信息的所述图像的方法包括: 以所述图像俘获单元对具有所述对象的深度信息的所述图像俘获具有第一分辨率的图像； 利用所述处理单元将所述具有第一分辨率的图像与所述参考图案进行比较以侦测具有所述对象的区域；以及 以所述图像俘获单元对具有所述对象的区域俘获具有第二分辨率的图像，以形成具有所述对象的深度信息的所述图像，其中所述第一分辨率小于所述第二分辨率。15.如权利要求14所述的用于确定对象的深度信息的交互式投影仪的操作方法，其特征在于，在所述处理单元将所述参考图案与具有所述对象的深度信息的所述图像进行比较期间，所述第一分辨率的图像相对于所述第二分辨率的图像需要较少的运算时间。
【文档编号】G03B21/14GK105824173SQ201510860404
【公开日】2016年8月3日
【申请日】2015年12月1日
【发明人】游智翔, 杨茆世芳, 陈世杰
【申请人】财团法人工业技术研究院