自动校准的触摸系统及方法

专利名称：自动校准的触摸系统及方法
技术领域：
本发明一般涉及触摸系统，并且特别涉及N动校准的触摸系统以 及自动校准触摸系统的方法。
背景技术：
触摸系统是本领域所熟知的，通常包括具有触摸表面的触摸屏， 使用触控笔(pointer)在该触摸表面进行接触。检测触控笔与触摸表面 的接触，并用来产生相应的输出触控笔位置数据，该数据表示触摸表 面中进行触控笔接触的区域。基本上有两类可用的触摸系统，并li.可 以大略地分成"主动"触摸系统和"被动"触摸系统。
主动触摸系统使得用户可通过利用特殊的触控笔来接触触投农 面，从而产生触控笔位置数据，该触控笔通常需要某种形式的自带电 源，典型地是电池。该特殊的触控笔发出诸如红外光、可见光、超卢 频率、电磁频率等用来触发触摸表面的信号。
被动触摸系统使得用户可使用被动触控笔接触触摸表面来产生触 控笔位置数据，并且不需要为触发触摸表面而使用特殊触控笔。被动 触控笔可以是手指、某种材料的柱体、或任何其他可用于在触摸表面 上接触感兴趣的某个预定区域的合适的物体。由于在被动触摸系统中 不需要特殊的主动触控笔，用户就不必关心电池的电平和/或触控笔的 损坏、失窃或一时找不到触控笔等问题。
国际PCT申请号PCT/CA01/009S0、提交日2001年7月5日、国 际公开号WO 02/0331
公开日2002年1月10 |:]、转让给本发明受 让人的国际申请中公开了 一种基于照相机的触摸系统，包括触摸屏，该触摸屏包含有触摸表面，在其上呈现计算机生成的图像。方形的边 框或框架围绕该触摸表面并在其角落支持数码照相机。该数码照相机 具有覆盖触摸表面以及沿着触摸表面观察的重叠的视野。数码照相机 获取不同位置的图像并产生图像数据。由照相机获取的图像数据再由 数字信号处理器来处理以确定在所拍摄的图像数据中是否存在触控 笔。当确定在所拍摄的图像数据中存在触控笔，数字信号处理器把触 控笔特征数据传送到主控制器，主控制器处理该触控笔特征数据以利用三角测量(triangulation)来确定该触控笔相对于触摸表面的位置。 该触控笔位置数据被传送到执行一个或多个应用程序的计算机。该计 算机使用该触控笔位置数据来更新在触摸表面上呈现的计算机生成的 图像。在触摸表面上触控笔接触可以被记录成文字或图画，或用于控 制由计算机执行的应用程序的执行。在这种被动式基于照相机的触摸系统中，并且事实上在所有触摸 系统中，产生用于在触摸表面上显示的图像的机制与提供触摸能力的 机制是相区分并且分离的。这样，触摸屏的坐标系就与图像生成器的 坐标系不同。为了使触摸系统维持所期望的高分辨率，触摸系统的坐 标系必须正确映射到图像生成器的坐标系。这种坐标系映射通常通过 需要人工干预的校准过程来执行。例如，授予Martin并转让给本发明的受让人SMART技术公司的 美国专利5,448,263公开了一种被动触摸系统，其耦合到执行校准例程 的计算机，该校准例程把该触摸屏的坐标系映射到计算机显示的坐标 系。在校准例程执行期间，把已知计算机显示坐标系上的参考标记显 示在触摸屏的触摸表面上，并提示用户用触控笔来触摸该参考标记。 响应该触控笔接触，触摸屏输出触控笔位置数据，该数据表示在触摸 表面上进行触控笔接触的特定位置。由触摸屏输出的触控笔位置数据 被传送到计算机。由于该参考标记的显示坐标是已知的，计算机可以 利用由触摸屏输出的该触控笔位置数据把计算机显示坐标系映射到触 摸屏坐标系。尽管这种校准例程可使计算机显示坐标系映射到触摸屏坐标系， 但执行这种校准例程很不方便和麻烦，在使用独立的投影仪把计算机 生成的图像投影到触摸表面的触摸系统中尤其如此。在这样的触摸系 统中，如果投影仪和触摸屏相互之间稍稍移位，用户就必须中断所做 的事情并启动校准例程以便重新把计算机显示坐标系映射到触摸屏坐 标系。因此可以理解，很希望改进触摸系统中计算机显示坐标系到触 摸屏坐标系的校准处理。本发明的一个目的是提供一种新颖的自动校准触摸系统和自动校 准触摸系统的方法。发明内容根据本发明的一个方面，提供一种把触摸屏坐标系自动映射到显 示坐标系的方法，该方法用在具有触摸屏的触摸系统中，该触摸屏具 有触摸表面，在该触摸表面上显示图像，所述方法包括步骤在所述被显示图像中包括至少一个参考标记，该至少一个参考标 记的位置在所述显示坐标系中是已知的；获取包括所述被显示图像的所述触摸表面的图像；通过把所述获取的图像与在参考标记库中存储的各参考标记做比 较来识别该获取的图像中的该至少一个参考标记；确定所述获取的图像中的所述至少一个参考标记相对于所述触摸 屏坐标系的位置；以及利用所述确定的位置和该至少一个参考标记在所述显示坐标系中 的位置，把所述触摸屏坐标系自动映射到所述显示坐标系。在优选的实施例中，所述至少一个参考标记是固有的计算机操作 系统显示图元，例如图标或工具条部分。在该优选的实施例中，还优 选所显示的图像包括多个参考标记，每个参考标记在所述显示坐标系 中的位置是已知的。根据本发明的另一方面，提供一种触摸系统，包括 具有触摸表面的触摸屏，在该触摸表面上显示图像； 至少一个照相机，获取包括所述被显示图像的所述触摸表面的图像；触控笔接触数据生成器，响应触控笔与所述触摸表面的接触生成 触控笔位置数据，所述触控笔位置数据表示在所述触摸表面上进行触 控笔接触的所述触控笔的位置；以及处理器，与所述至少一个照相机和所述触控笔接触数据生成器通 信，所述处理器使用所述被显示图像中的已知点来自动校准所述触摸 系统的坐标系，并使用校准的触控笔位置数据来更新图像数据，该图 像数据用于在所述触摸表面上呈现所显示图像。根据本发明的又另一个方面，提供一种更新图像数据的方法，该 图像数据用于响应触控笔在触摸表面上的接触在所述触摸表面上呈现 被显示屈像，所述方法包括步骤把图像显示在所述触摸表面；获取包括所述被显示图像的所述触摸表面的图像；响应触控笔与所述触摸表面的接触生成触控笔接触数据；利用所述被显示图像中的已知图元和所述触摸系统的坐标系自动映射触摸表面和显示坐标系；以及利用已经使用所述映射校准过的触控笔接触数据来更新用于在所述触摸表面上呈现该被显示图像的图像数据。本发明提供了有益的效果，因可以根据拍摄的图像数据来确定已 知点在所显示的图像中和在已知的触摸屏坐标系中之间的偏离，因此 可把图像坐标系自动且实时地映射到触摸屏坐标系，而不需要用户干 预。


将参考附图详细说明本发明的实施例，其中图1是根据本发明的基于照相机的触摸系统的侧视图；图2是图1的基于照相机的触摸系统的触摸屏构成部件的前视图；图3是根据本发明的基于照相机的触摸系统的另外实施例的示意图；图4是图3的基于照相机的触摸系统的触摸屏构成部件的透视图； 图5是图3的触摸系统的侧视图；图6是根据本发明的触摸系统的又另外实施例的侧视图； 图7是图6的触摸系统的触摸屏构成部件的前视图。
具体实施方式
本发明一般涉及触摸系统及方法，所述系统及方法使用所获取的 触摸表面的图像通过把触摸屏坐标系映射到显示坐标系来自动校准该 触摸系统，该触摸表面上呈现了具有至少一个已知参考标记的图像。 这样，当在触摸屏的触摸表面上进行触控笔接触时就可以实时地校准 触摸系统，因此维持高分辨率并避免了执行需要人工干预的校准例程 的需求。本发明基本上可适用于对触摸表面的显示图像做校准的任何 应用，例如，电子白板、触摸液晶显示(LCD)屏、个人数字助理(PDA) 以及便携触摸系统。下面说明本发明的优选实施例。参见图1和图2，其中示出了根据本发明的基于照相机的触摸系 统，并一般地用参考标号50来标记。可以看到，触摸系统50包括具 有触摸表面60的触摸屏52，触摸表面60上呈现了计算机生成的图像。 该实施例中的触摸表面60是平面直角的材料片，以边沿62为边界。 沿着触摸表面60的底边沿形成触控笔托架64，用来保持用于接触触摸 表面60的触控笔。 一对照相机66与触摸表面60相关联。在该特定实 施例中的照相机66位于触摸表面60的两个相邻相对的上角并被定向 使得它们的视野大致沿触摸表面60的平面观察。照相机66具有重叠 的视野(FOV)，在图中由虚线68示出，其覆盖整个触摸表面60。优选地，照相机66是数码照相机，包括二维CMOS图像传感器和相关联的镜头组件。因可选择任意的像素行，可配置CMOS图像传感器为20X640像素子阵列，使得可对其操作，按高帧率(如超过每 i,卜onr> rfi占、to堪R0/ft17厶uu 'r;s 乂 -JM4*ttiJ肉、o照相机66在它们的视野范围内获取触摸表面60的图像，以确定 在所获取的图像中是否有触控笔。如果在所获取的图像中有触控笔， 再进一步处理该图像数据以确定该触控笔在触摸表面60上接触或浮动 的特征。然后由照相机66产生包括触控笔特征、状态和/或诊断信息的 各触控笔信息包(PIPs),并连同原始图像数据一起传送到基于数字信 号处理器(DPS)的主控制器54，其用途将在这里说明。主控制器54 处理由照相机66产生的各PIP，以利用三角测量来确定触控笔相对于 触摸表面60的位置，并产生相应的触控笔位置数据。主控制器54把所生成的触控笔位置数据输出到计算机56。计算 机56执行一个或多个应用程序并输出计算机生成的图像数据，投影仪 58使用该数据以便在触摸表面60上呈现计算机生成的图像。触摸屏 52、主控制器54、计算机56和投影仪58形成闭环，这样，在触摸表 面60上的.触控笔接触可被记录成文字或图画，或用于控制由计算机56 执行的应^程序的执行。还更新由计算机56输出的计算机生成图像数 据，以反映触控笔的活动。照相机66获取图像数据、以及由该照相机、主控制器54和计算 机56来处理该数据的方式的细节在下述国际申请中说明申请号 PCT/CA01/00980，申请日2001年7月5日，公开号WO 02/03316,公 开日2002年1月10日，转让给SMART技术公司。其内容通过引用并 入此处，作为参考。这样，在这里不再讨论这些细节。为了校准触摸系统50，触摸系统50执行自动校准过程，当通过 照相机66获取图像并进行处理后，把所述触摸屏坐标系映射到所述显示坐标系。该自动校准过程基于这样的原理，计算机显示坐标系是已知的，并且为了校准触摸系统50，只需要确定触摸屏52上参考标记的 位置，这样，可以把所确定的参考标记的位置映射到已知的计算机显 示坐标系。图2示出了在触摸屏52和触摸表面60上显示的计算机生成的图 像70。可以看到，计算机生成的图像70包括用来把计算机显示坐标系 映射到触摸屏坐标系的参考标记72。在该特定实施例中，参考标记72 包括呈现在计算机生成图像70的右上角和右下角的十字以及呈现在计 算机生成图像70的左上角和左下角的计算机操作系统显示图元。在该 例子中，计算机操作系统显示图元包括Windows⑧工具条的一部分，即 "开始"按钮和"我的电脑"图标。该十字由计算机56执行的软件生 成并插入到计算机生成的图像数据中。为了识别计算机生成的图像中的参考标记，计算机56存储参考标 记图像的模式库或数据库，用于全面解释可能的参考标记平移和旋转。 利用小波压縮来存储参考标记图像，使得可进行高速存取和处理。模 式库的小波图像压縮存储和检索是本领域公知的技术，可参见James S. Walter的《A Primer on Wavelets and their Scientific Application》， P89-92, Chapma&Hall/CRC出版，1999。如前所述，当通过照相机66获取触摸表面60的图像以及计算机 生成的图像70，该照相机处理该图像数据以确定其中是否存在触控笔。 如果在该图像数据中存在触控笔，由照相机66生成触控笔特征数据， 并连同原始图像数据一起传送到主控制器54。主控制器54处理该触控 笔特征数据以确定触控笔相对于触摸屏坐标系的位置，并把触控笔位 置数据连同原始图像数据输出到计算机56。响应该原始图像数据，计算机56执行自动校准。在该处理期间， 计算机56访问模式库，并利用模式识别把原始图像数据与所存储的参考标记图像进行比较，以便识别所拍摄图像中的参考标记72。 一旦识 别出参考标记，计算机56利用三角测量来计算参考标记72在触摸屏 52上的位置，从而确定参考标记72在触摸屏坐标系中的位置。由于参 考标记72在计算机显示坐标系中的位置是已知的，所计算的参考标记 在触摸屏坐标系中的位置可映射到已知的计算机显示坐标系。为了便于参照，考虑下面的例子。已知在计算机显示坐标系中参 考标记的中心位于位置(Xedcs, Ycdes)。当显示该参考标记，并通过照 相机66获取拍摄的图像，经计算的参考标记在触摸表面60上的位置 在位置(Xts，Yts)。因此，当触控笔在位置(Xts,Yts)接触触摸屏52， 触控笔的触摸位置对应到计算机显示坐标系位置(Xedes, Yedes)。通过对若干参考标记72执行这种自动校准过程，整个触摸屏52 可以精确映射到计算机显示坐标系。当己知参考标记72在计算机显示坐标系中的坐标，并且计算了参 考标记的触摸屏坐标，计算机56就自动把触摸屏坐标系映射到计算机 显示坐标系。当触摸屏坐标系映射到计算机显示坐标系，就可以实时 校准由主控制器54传送到计算机56的触控笔位置数据。如前所述， 经校准的触控笔位置数据可以被记录成文字或图画，或用于控制由计 算机56执行的应用程序的执行。尽管所述的触摸系统50使用三角测量来处理照相机图像数据以 确定所拍摄图像中参考标记72相对于触摸屏坐标系的位置，本领域的 普通技术人员能够理解，也可以使用其他的方法来确定所拍摄图像中 参考标记72的位置。例如，体视学(stereology)是用于测量图像平面 中距离的常用图像处理技术，可在本触摸系统中用于计算所拍摄图像 中参考标记72相对于触摸屏坐标系的位置。应该理解，当照相机66拍摄了图像，根据包含在触摸表面60所呈现图像中的参考标记72，触摸屏坐标系和计算机显示坐标系就自动 地映射。这就提供了触摸系统的实时自动校准，并避免了人工校准。参见图3至图5，其中示出了根据本发明的触摸系统的替换实施 例，并一般地用参考标号150来标记。在该实施例中，为了清晰，相 同的参考标号通过加"100"来表示相同的部件。基于照相机的触摸系 统150非常类似于前面引用的己转让给本发明的受让人SMART技术公 司的国际申请WO 02/03 316。可以看到，触摸系统150包括耦合到基于DSP的主控制器154的 触摸屏152。主控制器154也耦合到计算机156。计算机156执行一个 或多个应用程序并提供输出到投影仪158的计算机生成图像。投影仪 158把计算机生成图像呈现在触摸屏152的表面160上。触摸屏152、 主控制器154、计算机156以及投影仪158形成闭环，这样，触摸屏 152上的触控笔接触可以被记录成文字或图画，或用于控制由计算机 156执行的应用程序的执行。与前面的实施例不同，触摸表面160由边框或框架来镶边，如2003 年1月30日提交的、已转让给本发明的受让人SMART技术公司的美 国专利申请(申请号未知)所公开的。在边框162的每个角上提供基 于DPS的数码照相机166。安装每个数码照相机166使其视野覆盖整 个触摸表面160，并大致经过整个触摸表面160观察。高分辨率照相机170位于触摸表面160前面的投影仪158之上并 获取包括触摸表面160和边框162的触摸屏152的图像。由照相机170 获取的图像数据传送到计算机156并用于把触摸屏坐标系自动映射到 计算机显示坐标系，从而如将所述的那样校准触摸系统152。对于触摸系统150中有关数码照相机166获取图像以确定所获取 图像中是否有触控笔的操作，触摸系统150的该操作与国际PCT申请公开号WO 02/03316相同，因此不在这里进一步讨论。关于校准触摸屏坐标系和计算机显示坐标系，不是如第一个实施 例那样使用原始照相机图像数据利用三角测量来计算参考标记在触摸 表面上所位置，在本实施例中，测量在原始照相机像素中的边框162 相对边之间的距离，然后再转换成实际的距离。由于边框是触摸系统 150的一部分，边框在触摸屏坐标系中的坐标是已知的。这使得可以在 原始照相机像素中测量所显示的标记和边框162之间的距离。这样， 当触控笔接近触摸表面160并被拍摄在由数码照相机166所拍摄的图 像中，触控笔位置与边框162之间的距离可以立刻由计算机156来计 算，因触摸屏坐标和触控笔坐标是己知的。利用这种信息，由于所建 立的原始照相机像素和实际距离之间的关系，可以计算触摸表面160 上任何显示的标记与边框162之间的偏离。例如，当照相机170拍摄了触摸屏的图像并把该图像数据传送到 计算机156，该计算机确定边框左下角位于像素(XU,YU ，并且边 框右下角位于像素(X2rb, Y2rb)。已知边框的角之间的距离是50英寸。 照相机170还看到中心在(X3ts, Y3ts)的显示标记。计算机156已知像素(XL, Ylrb)和(X2rb， Y2rb)的触摸屏坐标，因它们是边框位置。这样，计算机156就可以通过把边框角位置的原始照相机像素坐标映射到边框角位置的触摸屏坐标来计算所显示标记的触摸屏坐标。这样 就可以计算出所显示标记的触摸屏坐标。如果使用低分辨率的照相机170，可以使用变焦镜头来观察触摸 屏的部分，使得可以测量边框162和显示的标记之间的偏离。可替换 地，可使用一对照相机和体视学技术来测量距离。参见图6和图7，其中示出了根据本发明的触摸系统的又另外实 施例，由参考标号250来标记。在该特定例子中的触摸系统250类似 于授予Martin并已转让给本发明的受让人SMART技术公司的美国专利5,448,263号。触摸系统250包括位于显示表面之上的主动覆层 (active overlay)。在该例中主动覆层是由边框262镶边的、具有触摸 表面260的模拟电阻式触摸敏感屏252，触摸表面260上呈现计算机生 成图像。沿触摸表面260的下边沿提供触控笔托架264，用来保持用于 接触触摸表面160的触控笔。当在触摸表面260进行触控笔接触，该触摸敏感屏252产生表示 触控笔在触摸表面接触位置的触控笔位置数据输出。由触摸敏感屏252 输出的触控笔位置数据被传送到计算机256。计算机256执行一个或多 个应用程序，并输出计算机生成的图像数据，投影仪258使用该图像 数据以便在触摸表面260呈现计算机生成的图像。类似于前面的实施 例，在触摸表面显示的计算机生成图像270包括参考标记272，如图7 所示。触摸屏252、计算机256和投影仪258形成闭环，这样触控笔与 触摸表面260的接触被记录成文字或图画，或用于控制由计算机256 执行的应用程序的执行。还更新由计算机256输出的计算机生成图像 数据，以反映触控笔的活动。高分辨率照相机266在投影仪258之上位于触摸表面260的前面， 并获取包括触摸表面260和边框262的触摸屏252的图像。由照相机 266获取的图像数据被传送到计算机262，并用于把触摸屏252的坐标 系自动映射到计算机坐标系，从而校准触摸系统250。在校准期间，当计算机256接收由触摸屏252响应在触摸表面260 上的触控笔接触而输出的触控笔位置数据，计算机256从照相机266 获取图像。如同在第一个实施例，计算机256把所获取的照相机图像 与模式库中的参考标记图像做比较，以确定所获取照相机图像中参考 标记的位置。然后计算机256按照前述的方式计算参考标记272和边 框262之间的距离。当己知参考标记在计算机显示坐标系中的坐标，并且计算了参考标记272相对于边框262的偏离，并因此计算了相对于已知的触摸屏 坐标系的偏离，计算机256就自动把触摸屏坐标系映射到计算机显示 坐标系。当触摸屏坐标系映射到计算机显示坐标系，由触摸屏252传 送到计算机256触控笔位置数据在其处理之前被校准，并用于更新计 算机生成的图像数据。尽管这里按照前投影系统的方式示出了触摸系统250，本领域普 通技术人员能够理解，该触摸系统也可以是后投影类型的。不论触摸 系统是前投影类型还是后投影类型，计算机生成的图像既可以直接投 影到触摸表面，或经由一个或多个反射器间接投影到触摸表面。为了提高分辨率，照相机266可以结合使用变焦或远距镜头，以 提高拍摄图像的清晰度，并因此提供参考标记272与边框262之间偏 离的更精确计算。当把触摸屏坐标系映射到计算机显示坐标系时，这 当然提供更高的分辨率。尽管在计算机生成图像中示出的参考标记位于计算机生成图像的 四个角上，本领域的普通技术人员能够理解参考标记也可以位于计算 机生成图像范围内的替换位置上。也可以使用多一些或少一些的参考 标记。另外，尽管示出的参考标记既包括软件产生的参考标记也包括 固有的计算机操作系统显示图元，使用其中一种类型的参考标记也时合适的。本领域的普通技术人员能够理解，触控笔位置数据和/或图像数据 的处理可以由耦合到触摸屏的独立计算机来执行，或由集成到触摸屏 的处理单元来执行。尽管已经说明了本发明的优选实施例，本领域的普通技术人员能 够理解，在不脱离权利要求书所定义的本发明的精神和范围的前提下， 可以做改变和修改。
权利要求
1. 一种把触摸屏坐标系自动映射到显示坐标系的方法，该方法用于具有触摸屏的触摸系统，该触摸屏具有触摸表面，图像被显示在该触摸表面上，所述方法包括步骤在所述被显示图像中包括至少一个参考标记，该至少一个参考标记在所述显示坐标系中的位置是已知的；获取包括所述被显示图像的所述触摸表面的图像；通过把所述获取的图像与在数据库中存储的各参考标记做比较来识别所述获取的图像中的所述至少一个参考标记，其中存储在所述数据库中的所述参考标记从而全面允许所述获取的图像中将被识别的旋转和/或平移的参考标记；确定所述获取的图像中的所述识别的至少一个参考标记相对于所述触摸屏坐标系的位置；以及利用所述确定的位置和该至少一个参考标记在所述显示坐标系中的位置，把所述触摸屏坐标系自动映射到所述显示坐标系。
2. 如权利要求l所述的方法，其中，所述至少一个参考标记是固 有的计算机操作系统显示图元。
3. 如权利要求2所述的方法，其中，所述固有的计算机操作系统 显示图元是图标或工具条部分。
4. 如权利要求l所述的方法，其中，所述被显示图像包括多个参 考标记，每个参考标记在所述显示坐标系中的位置是已知的。
5. 如权利要求4所述的方法，其中，至少一个所述参考标记是固 有计算机操作系统显示图元。
6. 如权利要求4所述的方法，其中，参考标记包含在所述被显示图像的每个角的邻近处。
7. 如权利要求4所述的方法，其中，每个参考标记在所述触摸屏 坐标系中的位置通过三角测量来确定。
8. 如权利要求l所述的方法，其中，通过三角测量来确定所述至 少一个参考标记在所述触摸屏坐标系中的位置。
9. 如权利要求4所述的方法，其中，通过计算所述触摸表面的已 知边沿和原始照相机像素中所述参考标记之间的距离来确定每个参考 标记在所述触摸屏坐标系中的位置。
10. 如权利要求4所述的方法，其中，利用体视学来确定所述每 个参考标记在所述触摸屏坐标系中的位置。
11. 一种触摸系统，包括具有触摸表面的触摸屏，图像被显示在该触摸表面上； 至少一个照相机，获取包括所述被显示图像的所述触摸表面的图像；触控笔接触数据生成器，响应触控笔与所述触摸表面的接触生成 触控笔位置数据，所述触控笔位置数据表示在所述触摸表面上进行触 控笔接触的所述触控笔的位置；以及处理器，与所述至少一个照相机和所述触控笔接触数据生成器通信，所述处理器使用所述被显示图像中的参考标记通过把所述触摸屏 的现有坐标系映射到该被显示图像坐标系来自动校准所述触摸系统的 坐标系，并使用经校准的触控笔位置数据来更新用于在所述触摸表面 上呈现该被显示图像的图像数据，其中，所述处理器把所获取的所述 触摸表面的图像与参考标记数据的库做比较以识别所述获取的图像中 的该参考标记，利用三角测量来计算所述识别的参考标记在该触摸屏 坐标系中的位置，并利用所计算的位置把该触摸屏坐标系映射到该被显示图像坐标系，所述映射被用于在更新所述图像数据之前校准该触 控笔位置数据，其中存储在所述库中的所述参考标记从而全面允许所 述获取的图像中将被识别的旋转和/或平移的参考标记。
12. 根据权利要求ll所述的触摸系统，其中，至少一个所述参考 标记是固有计算机操作系统显示图元。
13. 根据权利要求12所述的触摸系统，其中，所述固有计算机操 作系统显示图元是图标或工具条部分。
14. 根据权利要求ll所述的触摸系统，其中，所述触摸表面和所 述触控笔接触数据生成器形成主动触摸敏感屏部分，其响应在所述触 摸表面上的触控笔接触生成触控笔位置数据。
15. 根据权利要求14所述的触摸系统，还包括投影仪，其从所述 处理器接收所述图像数据，并把所述图像投影到所述触摸表面。
16. 根据权利要求15所述的触摸系统，其中，所述至少一个照相 机临近所述投影仪安放。
17. 根据权利要求16所述的触摸系统，其中，至少一个所述参考 标记是固有计算机操作系统显示图元。
18. 根据权利要求17所述的触摸系统，其中，所述固有计算机操 作系统显示图元是图标或工具条部分。
19. 根据权利要求14所述的触摸系统，还包括托架，以保持用于 接触所述触摸表面的至少一个工具。
20. 根据权利要求19所述的触摸系统，其中，所述托架临近所述触摸表面的下边沿安放。
21. 根据权利要求15所述的触摸系统，其中，所述至少一个照相 机是配备变焦镜头的低分辨率照相机。
22. 根据权利要求ll所述的触摸系统，其中，所述至少一个照相 机是配备变焦镜头的低分辨率照相机。
23. 根据权利要求15所述的触摸系统，其中，所述至少一个照相 机配备变焦或者远距镜头。
24. 根据权利要求ll所述的触摸系统，其中，所述至少一个照相 机配备变焦或者远距镜头。
25. 根据权利要求ll所述的触摸系统，包括至少一对照相机，其 具有覆盖所述触摸表面的重叠视野，所述至少一对照相机从不同位置 获取所述触摸表面的图像 并产生图像数据，所述触控笔接触数据生成 器处理由所述至少一对照相机生成的图像数据，使得当在所述至少一 对照相机所获取的图像中拍摄了所述触控笔时，确定所述触控笔相对 于所述触摸表面的位置，并生成所述触控笔位置数据。
26. 根据权利要求25所述的触摸系统，还包括投影仪，其从所述 处理器接收所述图像数据，并把所述被显示图像投影到所述触摸表面。
27. 根据权利要求26所述的触摸系统，其中，至少一个所述参考 标记是固有计算机操作系统显示图元。
28. 根据权利要求27所述的触摸系统，其中，所述固有计算机操 作系统显示图元是图标或工具条部分。
29. 根据权利要求26所述的触摸系统，还包括托架，以保持用于 接触所述触摸表面的至少一个工具。
30. 根据权利要求29所述的触摸系统，其中，所述托架临近所述 触摸表面的下边沿安放。
31. 根据权利要求26所述的触摸系统，其中，所述至少一个照相 机是配备变焦镜头的低分辨率照相机。
32. 根据权利要求26所述的触摸系统，其中，所述至少一个照相 机配备变焦或者远距镜头。
33. —种更新图像数据的方法，该图像数据用于响应触控笔在触 摸屏的触摸表面上的接触在所述触摸屏的触摸表面上呈现被显示图 像，所述方法包括步骤把桌面图像显示在所述触摸表面，所述桌面图像的至少一个显示 图元表示参考标记；获取包括所述被显示图像的所述触摸表面的图像； 通过把所述获取的图像与参考标记的库做比较来识别该获取的图 像中所述至少一个参考标记，并确定所述至少一个参考标记在触摸屏 坐标系中的位置，其中存储在所述库中的所述参考标记从而全面允许 所述获取的图像中将被识别的旋转和/或平移的参考标记；响应触控笔与所述触摸表面的接触，生成触控笔接触数据； 利用所确定的所述至少一个参考标记的位置即时地自动映射触摸 表面和显示坐标系以实时校准该触摸表面；以及利用已经使用所述映射校准的触控笔接触数据来更新用于在所述 触摸表面上呈现该被显示图像的图像数据。
34. 如权利要求33所述的方法，其中，参考标记位于所述被显示 图像的角的邻近处。
35. —种触摸系统，包括具有触摸表面的触摸屏，图像被显示在该触摸表面上； 至少一个照相机，获取包括所述被显示图像的所述触摸表面的图像；触控笔接触数据生成器，响应触控笔与所述触摸表面的接触生成 触控笔位置数据，所述触控笔位置数据表示在所述触摸表面上进行触 控笔接触的所述触控笔的位置；以及处理器，与所述至少一个照相机和所述触控笔接触数据生成器通 信，所述处理器通过比较所述获取的图像与参考标记库中存储的参考 标记来识别所述获取的图像中的参考标记，使用所述被显示图像中识 别的参考标记来自动校准所述触摸系统的坐标系，并使用经校准的触 控笔位置数据来更新用于在所述触摸表面上呈现该被显示图像的图像 数据，其中所述处理器利用体视学计算所述触摸表面的已知边沿和所述参考标记之间的距离来确定所述参考标记在该触摸屏坐标系中的位 置。
36. 根据权利要求35所述的触摸系统，还包括投影仪，其从所述 处理器接收所述图像数据，并把所述被显示图像投影到所述触摸表面。
37. 根据权利要求36所述的触摸系统，其中，至少一个所述参考 标记是固有计算机操作系统显示图元。
38. 根据权利要求37所述的触摸系统，其中，所述固有计算机操 作系统显示图元是图标或工具条部分。
39. 根据权利要求36所述的触摸系统，其中，所述至少一个照相 机是配备变焦镜头的低分辨率照相机。
40. 根据权利要求36所述的触摸系统，其中，所述至少一个照相机配备变焦或者远距镜头。
41. 根据权利要求36所述的触摸系统，还包括托架，以保持用于 接触所述触摸表面的至少一个工具。
42. 根据权利要求41所述的触摸系统，其中，所述托架临近所述 触摸表面的下边沿安放。
43. —种把触摸屏坐标系自动映射到显示坐标系的方法，该方法 用于具有触摸屏的触摸系统，该触摸屏具有触摸表面，图像被显示在该触摸表面上，所述方法包括步骤在所述被显示图像中包括多个参考标记，所述参考标记在所述显 示坐标系中的位置是已知的；获取包括所述被显示图像的所述触摸表面的图像；通过比较所述获取的图像与参考标记库中存储的参考标记来识别 所述获取的图像中的参考标记；通过利用体视学计算所述触摸表面的已知边沿与所述参考标记之 间的距离来确定所述获取的图像中的所述参考标记相对于所述触摸屏 坐标系的位置；以及利用所述确定的位置和所述参考标记在所述显示坐标系中的位 置，把所述触摸屏坐标系自动映射到所述显示坐标系。
44. 一种触摸系统，包括-具有触摸表面的触摸屏，桌面图像被显示在该触摸表面上，所述 桌面图像的至少一个显示图元表示至少一个参考标记；至少一个照相机，获取包括所述被显示图像的所述触摸表面的图像；触控笔接触数据生成器，响应触控笔与所述触摸表面的接触生成 触控笔位置数据，所述触控笔位置数据表示在所述触摸表面上进行触 控笔接触的所述触控笔的位置；以及处理器，与所述至少一个照相机和所述触控笔接触数据生成器通信，所述处理器通常在所述触摸系统的操作期间通过把每个获取的图 像与参考标记的数据库做比较以识别每一获取的图像中的至少一个参考标记从而自动校准所述触摸系统的坐标系，通过利用体视学计算所 述触摸表面的已知边沿与所述至少一个参考标记之间的距离或者通过 所述至少一个参考标记位置的三角测量来确定所述图像中的所述至少 一个参考标记相对于所述触摸屏坐标系的位置，并利用该至少一个参 考标记位置把该触摸屏坐标系映射到该显示坐标系，所述处理器使用 经校准的触控笔位置数据来更新用于在所述触摸表面上呈现该被显示 图像的图像数据。
45. 根据权利要求44所述的触摸系统，其中所述至少一个参考标 记是显示在所述触摸屏上的图形用户界面的显示图元。
46. 根据权利要求45所述的触摸系统，其中在所述数据库中的参 考标记使得可以识别平移和/或旋转的至少一个参考标记。
47. 根据权利要求46所述的触摸系统，其中在所述数据库中的参 考标记数据是小波压縮的。
48. 根据权利要求45所述的触摸系统，还包括投影仪，其从所述 处理器接收所述图像数据，并把所述被显示图像投影到所述触摸表面。
49. 根据权利要求48所述的触摸系统，还包括托架，以保持用于 接触所述触摸表面的至少一个工具。
50. 根据权利要求49所述的触摸系统，其中，所述托架临近所述 触摸表面的下边沿安放。
51. 根据权利要求48所述的触摸系统，其中，所述至少一个照相机是配备变焦镜头的低分辨率照相机。
52.根据权利要求48所述的触摸系统，其中，所述至少一个照相 机配备变焦或者远距镜头。
全文摘要
一种包括触摸表面(60，160，260)的触摸系统(10，150，250)，在触摸表面上显示图像，并且至少一个照相机(66，170，266)获取触摸表面的图像。触控笔接触数据生成器响应触控笔与触摸表面的接触，生成触控笔位置数据。触控笔位置数据表示触控笔在触摸表面进行触控笔接触的位置。处理器(56，156，256)与至少一个照相机和触控笔接触数据生成器通信。处理器利用所显示图像中已知的点来自动校准触摸系统的坐标系，并利用经校准的触控笔位置数据来更新用于在触摸表面上呈现所显示图像的图像数据。在一个实施例中，触摸系统包括主动触摸敏感屏(252)。在另外的实施例中，当在由一对具有重叠视野的照相机(66)拍摄的图像中获得触控笔时，触控笔接触数据生成器使用由该一对照相机生成的图像数据来产生触控笔位置数据。
文档编号G09G5/00GK101533312SQ20091000200
公开日2009年9月16日 申请日期2004年4月6日 优先权日2003年4月8日
发明者杰拉尔德·D·莫里森 申请人:智能技术公司