专利名称:带有图像传感器和信号处理器的触摸输入的制作方法
技术领域:
本发明涉及交互式输入系统。
背景技术:
以下交互式输入系统是公知的允许用户使用有源指示器(例如,发射光、声或其它信号的指示器)、无源指示器(例如,手指、圆柱体或其它对象)或者诸如鼠标或跟踪球的其它适当的输入设备将输入(例如,数字墨水、鼠标事件等)注入应用程序中。这些交互式输入系统包括但不限于包括采用模拟电阻或机器视觉技术来注册指示器输入的触摸板的触摸系统,诸如在转让给本申请的受让人加拿大亚伯达省卡尔加里的 SMART Technologies ULC 的美国专利 No. 5,448,263 ;6,141,000 ;6,337,681 ;6,747,636 ; 6,803,906 ;7, 232,986 ;7, 236,162 ;以及7,274,356中所公开的那些,通过引用的方式将其内容合并于此;包括采用电磁、电容、声或其它技术注册指示器输入的触摸板的触摸系统; 平板个人计算机(PC);膝上型PC;个人数字助理(PDA);或其它相似设备。上述合并的Morrison等人的美国专利No. 6,803,906公开了一种采用机器视觉来检测与在其上呈现计算机生成的图像的触摸表面的指示器交互的触摸系统。矩形边框或框架围绕触摸表面并且支撑在其角落处的数字相机。数字相机具有包围并且一般地扫视触摸表面的重叠视场。数字相机从不同视点获取扫视触摸表面的图像并且生成图像数据。数字相机所获取的图像数据由自带的(on-board)数字信号处理器来进行处理,以确定在已捕捉到的图像数据中是否存在指示器。当确定在已捕捉到的图像数据中存在指示器时,数字信号处理器将指示器特性数据传递到主控制器,该主控制器进而处理该指示器特性数据, 以使用三角测量法来确定指示器相对于触摸表面在(x,y)坐标系中的位置。将该指示器坐标传递到执行一个或多个应用程序的计算机。计算机使用指示器坐标来更新在触摸表面上呈现的计算机生成的图像。因此,触摸表面上的指示器接触能够被记录为写入或绘制或用于控制由计算机执行的应用程序的执行。Morrison等人的美国专利申请公开No. 2004/0179001公开了一种触摸系统和方法,该触摸系统和方法区分用于接触触摸表面的无源指示器,使得可以根据用于接触触摸表面的指示器的类型来处理响应于与触摸表面的指示器接触而生成的指示器位置数据。该触摸系统包括待由无源指示器接触的触摸表面和具有一般地沿着触摸表面查看的视场的至少一个成像设备。至少一个处理器与至少一个成像设备通信并且分析由至少一个成像设备获取的图像,以确定用于接触触摸表面的指示器的类型以及在进行指示器接触的触摸表面上的位置。所确定的指示器类型和进行指示器接触的触摸表面上的位置由计算机使用以控制由计算机执行的应用程序的执行。尽管存在许多不同类型的交互式输入系统,但是不断寻求对这样的交互式输入系统的改进。因此,本发明的目的是提供一种新颖的交互式输入系统。
发明内容
因此,在一个方面中,提供了一种交互式输入系统,包括至少两个成像配件,所述至少两个成像配件从不同视点捕捉感兴趣区域的图像帧;以及处理结构,所述处理结构处理由所述成像配件捕捉到的图像帧以确定指示器在感兴趣区域内的位置,其中每一个成像配件包括图像传感器和集成信号处理电路。根据另一个方面,提供了一种交互式输入系统,包括至少一个成像设备,所述至少一个成像设备具有查看感兴趣区域的视场;以及至少一个辐射源,所述至少一个辐射源将辐射散发到所述感兴趣区域中,其中在图像帧由所述至少一个成像设备捕捉期间,对至少一个辐射源的操作与所述至少一个成像设备的曝光时间同步。
现在将参考附图更全面地描述实施例,在附图中图1是交互式输入系统的立体图;图2是图1的交互式输入系统的框图视图;图3是图1的交互式输入系统的一部分的立体概念图;图4A是形成图1的交互式输入系统的一部分的图像传感器和关联信号处理电路的框图;图4B是用于图1的交互式输入系统的图像传感器和关联信号处理电路的另一个实施例的框图;图5是图4A的图像传感器和关联信号处理电路的另一个示意框图;图6A和6B是用于图1的交互式输入系统的进一步替代图像传感器和关联信号处理电路的框图,以及图7A和7B是用于图1的交互式输入系统的又一替代图像传感器和关联信号处理电路的框图。
具体实施例方式现在转向图1至3,示出了允许用户将输入(例如,数字墨水、鼠标事件等)注入应用程序中的交互式输入系统,并且其通常通过附图标记20来标识。在该实施例中,交互式输入系统20包括配件22,配件22接合诸如等离子电视、液晶显示(IXD)设备、平板显示设备、电子射线管等的显示单元(未示出),并且环绕显示单元的显示表面对。配件22采用机器视觉来检测与显示表面M接近的、带入感兴趣区域的指示器,并且经由通信线路观与中央集线器26通信。在该实施例中,通信线路观被具体化为串行总线。中央集线器沈还经由USB电缆32与执行一个或多个应用程序的通用计算设备30通信。计算设备30包括例如处理单元、系统存储器(易失性和/或非易失性)、其它不可移动或可移动存储器(硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等)以及将各种计算设备组件耦接到处理单元的系统总线。计算设备30处理经由中央集线器沈接收到的配件22的图像数据输出,并且调整输出到显示单元的图像数据,使得在显示表面M上呈现的图像反映指示器活动。以这种方式,配件22、中央集线器沈和计算设备30允许接近显示表面M并且在感兴趣区域内的指示器活动被记录为写入或绘制或用于控制由计算设备 30执行的一个或多个应用程序的执行。配件22包括机械地附设到显示单元并且环绕显示表面M的框架配件。框架配件包括具有三个边框段40、42和44、四个弯角46以及工具托盘段48的边框。边框段40和 42沿着显示表面M的相对侧边缘延伸,而边框段44沿着显示表面M的顶边缘延伸。工具托盘段48沿着显示表面M的底边缘延伸并且支撑一个或多个笔工具P。与显示表面M 的左上角和右上角相邻的弯角46将边框段40和42耦接到边框段44。与显示表面M的左下角和右下角相邻的弯角46将边框段40和42耦接到工具托盘段48。在该实施例中,与显示表面M的左下角和右下角相邻的弯角46还容纳一般地从不同视点扫视整个显示表面 24的成像配件60。使边框段40、42和44定向,使得成像配件60看见其面朝内的表面。在该实施例中,每一个边框段40、42、44的面朝向的表面包括单个反向反光材料条或带。为了最好地利用反向反光材料的属性,使边框段40、42和44定向,使得其面朝内的表面位于通常与显示表面M的平面垂直的平面中。替代地,边框段40、42和44可以是在以上合并的Hansen等人的美国专利申请序列号No. 12/118,545中公开的类型。现在转向图4A和5,更好地图示了成像配件60中的一个。如可以看出的,每一个成像配件60包括与信号处理电路72通信的图像传感器70。在该实施例中,每一个成像配件60的图像传感器70是由Micron根据型号No. MT9V023制造的类型,并且装配有由Boowon 根据型号No.BW25B制造的类型的880nm透镜,给予图像传感器70大于九十(90)度的视场。 当然,本领域技术人员将理解的是,可以采用其它市售或定制图像传感器。在该实施例中,如图4A中所示,信号处理电路72在诸如现场可编程门阵列(FPGA) 芯片的集成电路上实现,并且与图像传感器70 —起被装配在印刷电路板上。替代地,如图 4B中所示,图像传感器70和信号处理电路72可以被制备在单个集成电路模(die) 102上。 信号处理电路72包括向边框处理器82以及向聚光灯处理器84提供图像数据的传感器接口 80。传感器接口 80还向照明控制器88和输出缓冲器90提供同步信息。输出缓冲器90 被耦接到串行接口 92,串行接口 92自身被相应地耦接到串行总线观的时钟和数据线路 9 和92b。传感器接口 80包括控制在图像传感器70和信号处理电路72之间的数据传输的1 总线接口 80a。图像传感器70的所有输入/输出和时钟线路被直接接线到信号处理电路72,使得不需要支持硬件。通过串行接口 92进入、被寻址到图像传感器70的数据由 I2C总线接口 80a重新格式化并且直接发送到图像传感器70。信号处理电路72还包括4Mbit (兆比特)的闪速存储器94、边框文件96和控制寄存器98。闪速存储器94包含充足空间用于两个FPGA芯片配置文件,以及大约IMbit用于用户信息。一个配置文件用于对FPGA芯片重编程序用于故障保险或工厂诊断模式。用户信息存储器用于存储图像传感器参数、序列号以及与图像传感器相关的其它信息。照明控制器88被连接到辐射源,诸如包括多个顶发光二极管(LED)和关联透镜
6配件的红外(IR)光源100。在该实施例中JR光源100的总功率是300mW。IR光源100只有在图像传感器70的曝光时间期间才被打开,导致大约8%的占空比以及大约25mW的平均功耗。顶光源100的控制信号由照明控制器88响应于从图像传感器70输出的同步信号而供给,所述同步信号由照明控制器88经由传感器接口 80接收到。在该实施例中,FPGA芯片包括安全系统,该安全系统包括FPGA芯片的独特标识符 (64字节)和一次性可编程安全寄存器(64字节)。安全寄存器可以在工厂被编码有解锁 FPGA芯片的独特代码。将配置文件从一个FPGA芯片复制到另一个FPGA芯片的任何尝试造成FPGA芯片关闭。FPGA芯片还包括多个片上或内部时钟。图像传感器70的时钟和所有FPGA内部时钟从由串行接口 92经由串行总线28的时钟线路9 接收到的时钟输入合成,而不需要外部晶体。在成像配件60上本地生成高频时钟帮助减少电磁干扰(EMI)。在该实施例中,FPGA芯片还包括大约200,000个门、288Kbit (千比特)片上静态存储器以及 195个I/O管脚。例如,可以使用Xilinx XC3S200AN FPGA芯片。可以如下分配静态存储器。边框文件96使用161ibit的静态存储器,边框处理器92的内部寄存器使用161ibit的静态存储器、聚光灯处理器84的内部寄存器使用ieicbit的静态存储器、以及被双缓冲的输出缓冲器90使用321Ait的静态存储器。信号处理电路72提供多种用途。信号处理电路72的主要功能是执行对由图像传感器70生成的图像数据的预处理,并且将结果流送(stream)到中央集线器沈。信号处理电路72还执行其它功能,包括对顶光源100、透镜配件参数存储、反复制的安全保护、时钟生成、串行接口以及图像传感器同步和控制的控制。中央集线器沈包括通用串行总线(USB)微控制器,该USB微控制器用于维持到成像配件60的串行链路、将从成像配件60接收到的图像信息封装成USB分组并且通过USB 电缆32将USB分组发送给计算设备30用于进一步处理。通过串行总线28在中央集线器沈和成像配件60之间的通信是双向的,并且在每一个方向上以2Mbit/s的速率同步执行。如果期望的话,则可以增加通信速率以减少等待时间。串行总线观的时钟和数据线路9 或92b分别携带不同的时钟和数据信号对。时钟线路9 从中央集线器沈驱动,并且用于为图像数据连续计时以及为成像配件60提供基准时钟的双重用途。当数据在串行总线观的数据线路92b上时,时钟和数据线路9 和 92b由中央集线器沈以相反极性驱动。当释放串行总线观时,上拉电阻(未示出)将时钟和数据线路两者均拉高。中央集线器26将时钟和数据线路两者同时拉低以重置成像配件 60。因此,中央集线器沈能够一起重置和释放所有印刷电路板以使成像配件60同步。串行总线观对于短距离是带状电缆的形式,并且对于较长距离是cat-5电缆的形式。中央集线器沈还包括开关式电压调节器,用于向每一个成像配件60提供输入 3. 3V逻辑电源电压,其用于向图像传感器70提供电力。用于FPGA芯片的1. 2V逻辑电源电压由单个线性电压调节器(未示出)从每一个成像配件60中的3. 3V逻辑电源电压生成。 用于运行顶光源100的外部电流调节器、储能电容器以及开关式电容器也可以被包含在中央集线器26中。用来运行顶光源100的开关式电压调节器高于LED正向偏压大约0. 5V。交互式输入系统20被设计成检测无源指示器,诸如用户的手指F、圆柱体或被带入与显示表面M接近并且在成像配件60的视场内的其它适当的对象。现在将描述交互式输入系统20的一般操作。每一个成像配件60获取以由信号处
7理电路时钟信号建立的帧速率一般地扫视在其图像传感器60的视场内的显示表面M的图像帧。当顶光源100打开时,IR光源的LED使显示表面M上的感兴趣区域充满红外光照明。对边框段40、42和44的反向反光带有影响的红外光照明被返回给成像配件60。结果, 当不存在指示器时,每一个成像配件60看到越过其长度的具有基本上均衡亮度的亮带。当指示器被带入与显示表面M接近时,指示器挡住边框段40、42和44的反向反光带所反射的红外光照明。结果,指示器显现为中断已捕捉到的图像帧中的亮带的暗区。信号处理电路72处理图像帧以确定在图像帧中是否捕捉到一个或多个指示器,以及如果是的话,则生成指示器数据。中央集线器沈为指示器数据以设定频率(在该实施例中,由于960帧每秒(fps) 的图像捕捉频率,故为120次每秒)轮询成像配件60,并且对指示器数据执行三角测量法以确定指示器位置数据。中央集线器26进而将指示器位置数据和/或图像配件状态信息传送给计算设备30。以这种方式,传送给计算设备30的指示器位置数据可以被记录为写入或绘制,或可以用于控制由计算设备30执行的应用程序的执行。计算设备30还更新传递给显示单元的显示输出,使得所呈现的图像反映指示器活动。中央集线器沈还从计算设备 30接收命令,并且相应地作出响应以及生成诊断信息并向成像配件60传递诊断信息。最初,执行对准例程以使图像传感器70对准。在对准例程期间,指示器保持在显示表面M的近似中心中。在图像帧捕捉以后,然后选择图像传感器70的像素的子集,直到对于每一个图像传感器70,找到捕捉指示器和显示表面M上的指示器尖端的像素的子集。 该对准例程允许放宽图像传感器70的机械安装。对在显示表面M上的指示器尖端的识别还给出校准信息,用于确定每一个图像传感器70的对应于与显示表面M进行的实际指示器接触的像素行。知道这些像素行允许容易地确定指示器悬停与指示器接触之间的差异。在该实施例中,由于计算设备显示被投射到显示表面M上,所以在对准例程期间,若干已知的坐标位置也在显示表面M上显示,以及向用户提示使用指示器顺次触摸这些坐标位置,使得图像传感器70的每一个的像素的子集还包括所有这些触摸坐标位置。然后存储校准数据用于参考,使得在显示表面M上的指示器接触可以被映射到计算机显示上的对应区域。如前所述,每一个成像配件60获取一般地扫视其视场内的显示表面M的图像帧。 图像帧由图像传感器70响应于从信号处理电路72接收到的时钟信号而不时获取。信号处理电路72进而从图像传感器70读取每一个图像帧,并且处理图像帧以确定指示器是否位于图像帧中,以及如果是的话,则从图像帧提取指示器和相关的指示器统计信息。如将描述的,为了避免处理包含无用信息的大量像素,信号处理电路72的若干组件预处理图像帧数据。由每一个成像配件60的信号处理电路72生成的指示器数据仅在中央集线器沈轮询成像配件60时才被发送给中央集线器26。信号处理电路72比中央集线器沈轮询成像配件60更快地创建指示器数据。然而,中央集线器沈可以以与对已处理的图像数据的创建同步的速率来轮询成像配件60。未被发送给中央集线器沈的已处理的图像数据被覆写。当中央集线器沈轮询成像配件60时,帧同步脉冲被发送给成像配件60以发起由信号处理电路72创建的指示器数据的传输。一旦接收到帧同步脉冲,则每一个信号处理电路72通过串行总线观的数据线路92b将指示器数据传送给中央集线器沈。由中央集线器 26接收到的指示器数据被自动缓冲到中央集线器处理器中。在中央集线器处理器已经从成像配件60中的每一个接收到指示器数据之后, 中央集线器处理器处理所接收到的指示器数据,来以公知的方式,诸如在以上合并的 Morrison等人的美国专利No. 6,803,906中所描述的,使用三角测量法来计算指示器相对于显示表面对在(x,y)坐标系中的位置。所计算的指示器坐标然后被传递给计算设备30。 计算设备30进而处理所接收到的指示器坐标,并且如果需要的话,则更新提供给显示单元的图像输出,使得在显示表面M上呈现的图像反映指示器活动。以这种方式,与显示表面 24的指示器交互可以被记录为写入或绘制,或用于控制在计算设备沈上运行的一个或多个应用程序的执行。如上所述,信号处理电路72的若干组件对图像数据进行预处理以创建指示器数据。边框处理器82执行预处理步骤以提高交互式输入系统信号处理操作的效率。这些预处理步骤中的一个是环境光(ambient light)减少。图像传感器70以比所需要的帧速率高得多的帧速率运行,并且顶光源100在交替图像帧期间被打开。边框处理器82从在顶光源100关闭时捕捉到的图像帧减去在顶光源100打开时捕捉到的图像帧。环境光跨图像帧是相对恒定的,因此环境光在该处理期间被取消,并且没有在差额图像帧中出现。在该实施例中,图像传感器70以8倍于期望输出速率的帧速率运行。对于所捕捉到的每一八个图像帧,四个图像帧在顶光源100打开时被捕捉,并且四个帧在顶光源100关闭时被捕捉。 然后从在顶光源100打开时捕捉到的四个帧减去在顶光源100关闭时捕捉到的四个帧, 并且加上作为结果的差额帧以产生一个图像。边框处理器82还执行信号处理操作以捕捉以及跟踪显示表面M上的一个或多个指示器。对于指示指示器的存在的图像数据的每一列,边框处理器82的输出是单个数字。 在该实施例中,边框处理器82执行连续计算来识别图像数据中的指示器。边框处理器82 将多个像素加入与边框的亮部相对应的图像数据中的列中,并且然后从与边框正上方的暗部相对应的图像数据减去相同数目的像素。如果不存在指示器,则这将示出非常高的对比度。如果存在指示器,则无论是亮还是暗,在两个区域中照明近似相等,并且对比度将较低。 边框的位置以及加上/减去的点数目被存储在边框文件96中。不考虑所使用的边框和指示器的类型,由边框处理器82完成误差校验。边框处理器监视图像传感器70以确定是否非常强的光源已经使图像传感器饱和。如果图像传感器是饱和的,则设置标志。该标志触发警示消息被显示,使得用户可以采取措施来移除或减弱非常强的光源。虽然边框处理器82是捕捉以及跟踪显示表面M上的对象的主要装置,但是聚光灯处理器84是允许可能包含指示器的图像数据中的区域被提取的次级机制。与边框处理器不同,聚光灯处理器84采用来自中央集线器沈的反馈。如果反馈延迟或不正确,则仍然可以在减少功能性/精确度的情况下检测指示器。聚光灯处理器84采用可移动窗口,优选地3h32像素或6虹16像素,其从图像数据提取并且在光处理和缩放之后被发送回中央集线器沈。中央集线器沈可以为聚光灯选择独立于边框处理器82的若干照明模式。这些照明模式包括环境光抑制、边框光抑制以及正常曝射(环境和边框光)。中央集线器沈还可以指定聚光灯被缩小以查看较大目标。例如,为了捕捉150像素宽的目标,中央集线器指定图像在水平方向上被缩小为原来的1/4,以便适合64x16的像素窗口。通过将多个像素混合 (bin)在一起来实现缩放。为了跟踪移动的指示器,中央集线器沈指定指示器在其当前图像帧中的估计的位置和速度,并且将其报告回聚光灯处理器84。聚光灯处理器84观察刚由图像传感器70 获取的图像帧的帧数,并且相应地调整聚光灯位置以说明源自中央集线器26的任何等待时间。如果必要的话,则可以用聚光灯扫描完整图像数据,以用非常慢的速率来获得全帧查看。在初始化交互式输入系统20时完成该慢扫描以确定边框的位置。聚光灯的输出格式是8比特块浮点(一个指数用于整个图像),以允许大的动态范围。除被制备为FPGA芯片外,信号处理电路可以采用其它形式。例如,在图6A和6B 中所示的实施例中,信号处理电路是数字信号处理器(DSP)的形式。如图6A中所示,DSP 可以与图像传感器一起被装配在印刷电路板上,或替代地,如图6B中所示,数字信号处理器可以与图像传感器一起被组装在单个集成电路模上。在图7A和7B的实施例中,信号处理电路可以是专用集成电路(ASIC)上的定制电路和微型DSP的组合的形式。如图7A中所示,定制电路和微型DSP可以与图像传感器一起被装配在印刷电路板上,或替代地,如图7B 中所示,定制电路和微型DSP可以与图像传感器一起被制备在单个集成电路模上。微型DSP 还可以被包含在ASIC中。在图6A至7B的实施例中,除了上述功能外,信号处理电路还执行附加功能,包括从由图像传感器生成的图像数据生成指示器数据以及确定指示器悬停和接触状态。在以上合并的Morrison等人的美国专利No. 6,803,906中描述了这些附加功能。尽管图像传感器70被示出为邻近显示表面M的底角放置,但是本领域技术人员将理解的是,图像传感器可以位于相对于显示表面的不同位置处。并且,尽管照明源52被描述为顶光源,但是本领域技术人员将理解的是,可以采用其它适当的辐射源。当然,交互式输入系统可以采用其它形式。例如,可以用发光边框段替代反向反光边框段。发光边框段可以如在转让给本申请的受让人SMART Technologies ULC的、Akitt 等人的美国专利No. 6,972,401中所描述的,通过引用的方式将其内容合并于此。如在 McGibney等人的美国专利申请序列号No. 12/118,521中所描述的辐射调制技术一通过引用的方式将其内容合并于此一也可以用来减少干扰,以及允许分离与各种顶光源相关联的信息。如果期望的话,则可以独立于图像传感器70的曝光时间来控制顶光源100的打开时间(on-time),以便创建环境和有源照明的平衡。例如,可以增加图像传感器曝光时间, 同时保持顶光源100打开的时间不变,以让更多环境光进入。还可以独立地控制每一个顶光源的打开时间。这允许动态地均衡顶光源的输出功率以获得一致的照明。尽管在上面将交互式输入系统20描述为检测无源笔工具,诸如手指,但是本领域技术人员将理解的是,交互式输入系统还可以检测当在显示表面M附近时散发光或其它信号的有源指示器、或与吸收光的边框结合,可能具有反向反光或高反光尖端的指示笔。当在没有发光边框的情况下使用有源指示器、或当将反光无源指示器与吸收光的边框一起使用时,在捕捉以及跟踪显示表面上的一个或多个指示器的信号处理操作期间, 边框处理器82执行垂直强度分布计算以识别图像数据中的指示器。垂直强度分布是与边框相对应的图像数据中的垂直列中的多个像素的总和。边框在每一列处的位置和合计的点数由中央集线器26事先确定,并且被加载到FPGA芯片自带的边框文件96中。本领域技术人员将理解的是,中央集线器沈的功能可以被合并到成像配件60中
10的一个或多个的电路中,一个益处是总成本减少。在这样的配置中,将带有中央集线器功能的成像配件视为主要配件。替代地,每一个成像配件可能具有这样的集线器功能,以及投票协议被用来确定成像配件中的哪些将作为中央或主要集线器来操作。替代地,连接到PC的成像配件将默认为主要配件。本领域技术人员将理解的是,配件、中央集线器沈和计算设备30可以被合并到单个设备中,并且信号处理电路可以在图形处理单元(GPU)上实现或包括基于单元 (cell-based)的处理器。将理解的是,虽然以上将中央集线器沈描述为对于960fps的图像捕捉频率,以 120次每秒轮询成像配件60,但是可以根据实现的需求和/或限制而采用其它图像捕捉速率。并且,尽管通信线路观被描述为被具体化为串行总线,但是本领域技术人员将理解的是,还可以将通信总线具体化为并行总线、通用串行总线(USB)、以太网连接或其它适当的有线连接。替代地,配件22可以使用诸如蓝牙、WiFi、ZigBee、ANT、IEEE 802. 15. 4,Z-Wave 等的适当的无线协议通过无线连接与中央集线器沈通信。另外,尽管中央集线器沈被描述为经由USB电缆32与计算设备30通信,替代地,中央集线器沈可以通过诸如并行总线、 RS-232连接、以太网连接等的另一个有线连接与计算设备30通信、或可以使用诸如蓝牙、 WiFi, ZigBee, ANT, IEEE 802. 15. 4、Z-Wave等的适当的无线协议通过无线连接与计算设备 30通信。虽然以上已经阐述了使图像传感器对准的对准例程,但是可以采用替代对准例程。例如,在一些实施例中,标志可以被放置在边框(多个)上或在其它位置处并且被检测, 以便使得交互式输入系统能够在没有大量用户交互的情况下自校准。替代地,反向反光边框自身可以被检测,并且所捕捉到的包含反向反光边框的像素被用来确定每一个图像传感器70的像素行。通常,由于可以减少行数,所以可以增加图像处理的帧速率。尽管已经参考附图描述了实施例,但是本领域技术人员将理解的是,在没有背离如由所附权利要求限定的精神和范围的情况下,可以进行变化和修改。
权利要求
1.一种交互式输入系统,包括至少两个成像配件,所述至少两个成像配件从不同视点捕捉感兴趣区域的图像帧;以及处理结构,所述处理结构处理由所述成像配件捕捉到的图像帧,以确定指示器在所述感兴趣区域内的位置,其中每一个成像配件包括图像传感器和集成信号处理电路。
2.根据权利要求1所述的系统,其中,所述每一个成像配件的信号处理电路和图像传感器被安装在共用印刷电路板上。
3.根据权利要求1所述的系统,其中,所述每一个成像配件的信号处理电路和图像传感器被制备在集成电路模上。
4.根据权利要求1至3中的任何一个所述的系统,其中,所述信号处理电路在现场可编程门阵列(FPGA)上实现。
5.根据权利要求1至3中的任何一个所述的系统,其中,所述信号处理电路在数字信号处理器(DSP)上实现。
6.根据权利要求1至3中的任何一个所述的系统,其中,所述信号处理电路至少部分地在专用集成电路(ASIC)上实现。
7.根据权利要求1至3中的任何一个所述的系统,其中,所述信号处理电路包括在专用集成电路(ASIC)上实现的电路。
8.根据权利要求7所述的系统,其中,所述信号处理电路包括微型DSP。
9.根据权利要求8所述的系统,其中,所述微型DSP在所述ASIC上实现。
10.根据权利要求8所述的系统,其中,所述ASIC、微型DSP以及图像传感器被安装在共用印刷电路板上。
11.根据权利要求8所述的系统,其中,所述ASIC、微型DSP以及图像传感器被制备在单个集成电路模上。
12.根据权利要求1所述的系统,其中,所述每一个成像配件的信号处理电路从由相关联的图像传感器生成的图像数据来生成指示器数据。
13.根据权利要求12所述的系统,其中,所述每一个成像配件的信号处理电路从所述图像数据来确定指示器悬停和接触状态。
14.根据权利要求1所述的系统,其中,所述处理结构包括照明控制器,所述照明控制器用于驱动照亮所述感兴趣区域的辐射源。
15.根据权利要求1所述的系统,其中,所述处理结构包括聚光灯处理器,所述聚光灯处理器用于提取包含指示器的图像帧的区域。
16.根据权利要求1所述的系统,其中,所述处理结构包括边框处理器,所述边框处理器用于跟踪图像帧中的指示器。
17.根据权利要求14所述的系统,其中,所述照明控制器在所述成像配件不活动时停用所述辐射源。
18.根据权利要求17所述的系统,其中,所述照明控制器使所述辐射源的操作与所述成像配件的图像帧捕捉速率同步。
19.根据权利要求16所述的系统,其中,所述边框处理器处理捕捉到的图像帧以减少环境光的影响。
20.根据权利要求1所述的系统,其中,所述处理结构是基于单元的处理器。
21.根据权利要求1所述的系统,其中,所述处理结构是图形处理器。
22.—种交互式输入系统,包括至少一个成像设备,所述至少一个成像设备具有查看感兴趣区域的视场;以及至少一个辐射源,所述至少一个辐射源将辐射散发到所述感兴趣区域中,其中在由所述至少一个成像设备捕捉图像帧期间,对所述至少一个辐射源的操作与所述至少一个成像设备的曝光时间同步。
全文摘要
一种交互式输入系统,包括至少两个成像配件,所述至少两个成像配件从不同视点捕捉感兴趣区域的图像帧;以及处理结构,所述处理结构处理由成像配件捕捉到的图像帧,以确定指示器在感兴趣区域内的位置,其中每一个成像配件包括图像传感器和集成信号处理电路。
文档编号H05B37/02GK102216890SQ200980145279
公开日2011年10月12日 申请日期2009年9月15日 优先权日2008年9月15日
发明者克林顿·拉姆, 格兰特·麦克吉布尼 申请人:智能技术无限责任公司