多模态智能笔计算系统的制作方法

专利名称：多模态智能笔计算系统的制作方法
多模态智能笔计算系统
相关申请的交叉参者
本申请要求2007年5月29日递交的美国临时申请No. 60/940， 665的权益，通过参考而将其整体并入。
背景技术：
本申请总体上涉及基于笔的计算系统，而且更具体地，涉及基 于笔的多模态计算系统。
多模态系统采用和增强人类输入与输出的基本方式，例如读、 写、说和听。广阔范围的多模态系统对人类通信、学习、思考、解 决问题、回忆、个人生产率、娱乐、商业等进行增强。人类输入与 输出方式的组合、定序和转换能够极大地促进和改进通信、学习、 思考、解决问题、回忆、个人生产率、娱乐、商业等中的任务和活 动。
然而，支持混合模态的现有系统通常是基于屏幕的、昂贵的、 较大的、可携带性有限的而且经常是不直观的。这些系统的示例包 括个人计算机(PC)、个人数字助理(PDA)以及其他专用的基于 屏幕的设备。传统的多模态系统通常局限于视觉反馈的单一显示。 在基于PC的系统中，例如，显示器通常较大，而且耗费大量功率。 在蜂窝电话和PDA系统中，屏幕相对较小，但是提供有限的视觉信 息。将输入写到多模态显示器的方法也相当有限。例如，标准PC需 要单独的书写输入设备，平板PC需要在一块玻璃上书写并且昂贵， 而蜂窝电话和PDA还不够敏感和/或提供的书写空间有限。适用于与 基于屏幕的设备一起使用的另外一些书写器具通常局限于只能在基 于屏幕的设备上指点和书写。在这种指点设备出于相反目的而在显 示器和纸张二者上书写的较少情况下，当其用于在纸张上书写时，该设备并不是智能的，只是简单地在纸张上留下墨迹而已。
多模态系统通常构建在被设计用于主要适用于模态的子集(例 如，读、写、说和听的一些但不是全部)的通信工具或通用计算机
上。接收书写输入并未被设计为PC的主要用途。最常见的是用键入
来代替书写。在小型的蜂窝电话或PDA屏幕上书写非常受限制，而 且音频捕获硬件和软件通常并不是无缝地集成到系统设计中的。支 持人类通信的四个基本方式(读、写、说和听)并对其进行增强的 设备通常还需要用于当触笔在屏幕表面上移动时创建数字墨水的屏 幕。它们既不与预先打印的纸文件交互，也不允许它们创建新的手 写纸文件以及与其进行交互。
因此，需要这样的计算平台，其以直观和更有效率的方式来使 用人类通信的多个输入和输出方式(读、写、说和听)并对其进行 增强，而且从明确期望增强这些模态的设计受益。从该平台的角度 来看，该平台应该1 )显示来自自给式显示器的信息和/或与其他处 (纸张、塑料、主动式显示器、电子纸张)显示的信息交互；2)支 持在各种表面进行书写，例如在纸张上用墨水书写、在白板上用墨 水书写，和/或经由在显示器上的移动来与主动式显示器交互；3)从 自给式的或连接的扬声器的向外播放音频；4)用自给式的或连接的 麦克风捕获和/或记录音频；5)支持读、写、说和听并对其进行增强， 以作为独立的或并发的模态；以及6)在独立的或并发的模态之间提 供无缝转换。

发明内容
本发明的实施方式提供了支持用户在若干不同模态中与系统进 行交互的多模态智能笔计算系统。这些模态总体上可以分类为输入 (或称命令和捕获)模态和输出(或称反馈和访问)模态。用于智 能笔计算系统的输入模态可以包括利用笔形工具进行书写，以提 供书写输入和/或说话，或者利用智能笔以其他方式提供向系统输入 音频的声音和/或姿势输入。用于智能笔计算系统的输出模态可以包括读取由系统显示的视觉信息和/或通过指点或与智能笔交互而选 择在纸张上或其他显示器上在外部显示的信息来读取信息，和/或收 听由系统播放的声音。
该系统应该还支持并发输入，其形式是同时的书写的信息和说 出的信息，其中这两种形式输入的时序可以向智能笔提供有意义的 信息。它应该支持以同时显示的信息和音频信息为形式的并发输出， 其中这两种形式输出的时序可以向用户提供有意义的信息。
智能笔上的显示器应该与智能笔的书写端足够接近，以便允许
的视觉转换，从而以最小的眼睛移动和焦点位移在小区域之内维持 视觉焦点。这支持用户不费力地观看智能笔上的屏幕，然后利用在 屏幕上书写而做出响应，不费力地将他们的眼睛从屏幕移动到表面 以及返回，而不会损失上下文。
可以独立地或并发地激活任何输入或输出方式的、能够在独立 的或者并发的输入/输出方式之间进行无缝切换的、由软件、存储器 和电池管理的且以具有物理书写端的笔形状因数形式存在的扬声 器、麦克风和显示器，在尺寸、重量、能力、便携性和易用性方面 代表了需要支持完全多模态的自给式计算平台的组件的全面集合的 新篇章。


图1为根据本发明一个实施方式的基于笔的计算系统的示意图。
图2为根据本发明一个实施方式的在该基于笔的计算系统中使 用的智能笔的示意图。
图3为根据本发明一个实施方式的在基于笔的计算系统中提供 多个模态的流程图。
描述本发明各种实施方式的附图仅用于说明目的。本领域技术 人员根据下列讨论容易理解，可以在不脱离这里描述的本发明的精 神的前提下，使用这里说明的方法和结构的备选实施方式。
具体实施例方式
本发明的实施方式可以实施在基于笔的计算系统的各种实施方 式中，在图1中示出了这种计算系统的一个示例。在这个实施方式
中，基于笔的计算系统包括书写表面50 、智能笔100 、插接站(docking station) 110、客户端系统120、网络130以及web服务系统140。智 能笔100包括板上处理能力以及输入/输出功能，从而允许基于笔的 计算系统将传统计算系统中基于屏幕的交互扩展到用户能够书写的 其他表面。例如，智能笔IOO可以用于捕获书写的电子表征以及在 书写期间记录音频，而且智能笔IOO还可以能够向用户输出视觉信 息和音频信息。利用智能笔IOO上用于各种应用的适当软件，基于
笔的计算系统由此向用户提供了用于与电子领域和纸张领域(包括 电子纸张)二者中的软件程序和计算服务进行交互的新平台。
在基于笔的计算系统中，智能笔100为计算系统提供输入和输
出能力，而且执行该系统的部分或全部计算功能。因此，智能笔ioo
支持用户使用多个模态来与基于笔的计算系统进行交互。在一个实
施方式中，智能笔ioo利用多个模态(例如，捕获用户的书写或其
他手，势或者记录音频)从用户接收输入，并使用各种模态(例如 显示视觉信息、播放音频，或在物理交互的上下文中做出响应，诸 如轻拍、追踪，或选择其他预先存在的视觉信息)向用户提供输出。
在其他实施方式中，智能笔100包括诸如运动感测或姿势捕获的附
加输入模态，和/或诸如振动反馈的附加输出模态。
在图2中示出了智能笔100的一个特定实施方式的组件，在下 文中对其进行更详细描述。虽然智能笔100的整体形状可以存在某
些变化以适应该笔的其他功能，或者甚至可以是交互多模态非书写
工具，但是智能笔IOO优选地具有充分类似于笔或其他书写工具的 形状因数。例如，智能笔IOO可以比标准笔略厚，从而使其可以容 纳附加组件，或者智能笔100除了具有形成笔形形状因数的结构特
征之外，还可以具有附加结构特征(例如，平板显示屏)。另外，智能笔100还可以包括用户能够借助其向智能笔计算系统提供输入 或命令的任何机构，或者可以包括用户能够借由其从智能笔计算系 统接收或者以其他方式观察信息的任何机构。例如，可以添加包括
按钮、跷板(rocker panel)、电容传感器、热传感器、压力传感器、 生物传感器或其他传感设备的各种类型的开关。
智能笔100被设计用于与书写表面50—起工作，从而使智能笔 100能够捕获在书写表面50上产生的书写。在一个实施方式中，书 写表面50包括纸张(或能够在其上书写的任何其他合适材料)，而 且利用能够被智能笔100阅读的模式进行编码。这种书写表面50的 一个例子是所谓的"点使能纸"，其可从瑞典的Anoto集团AB (马 萨诸塞州沃尔瑟姆的Anoto本地子公司)获得，在美国专利No. 7，175, 095中进行了描述，这里通过参考将其并入。这种点使能纸具有编码 在纸张上的点模式。设计用于与这种点使能纸一起工作的智能笔100 包括成像系统以及能够确定智能笔的书写端相对于已编码点模式的 位置的处理器。智能笔100的位置可以使用预定"点空间"中的坐 标来参考，而且该坐标既可以是相对的(例如，在书写表面50的页 内部的位置)也可以是绝对的(例如，在书写表面50的多页中的唯 一位置)。
在其他实施方式中，可以使用除已编码纸张以外的机构来实现 书写表面50,以允许智能笔100捕获姿势和其他书写输入。例如， 书写表面可以包括对智能笔100所做出的书写进行检测的输入板或 其他电子介质。在另一实施方式中，书写表面50包括电子纸张，或 称e纸张。可以完全由书写表面50、完全由智能笔IOO,或者由书 写表面50结合智能笔IOO来执行该检测。即使书写表面50的角色 仅仅是被动的(如已编码纸张的情形)，但可以意识到，智能笔100 的设计通常也将取决于基于笔的计算系统针对其进行设计的书写表 面50的类型。而且，书写的内容可以机械地(例如，使用智能笔100 在纸张上着墨)、电子地(例如，在书写表面50上显示)显示在书 写表面50上，或者根本不显示(例如，仅仅保存在存储器中)。在
9另一实施方式中，智能笔ioo装备有用于对智能笔ioo端的移动进
行检测的传感器，从而在不需要书写表面50的情况下便能够检测书 写姿势。这些技术中的任何一个都可以用于并入到智能笔100中的 姿势捕获系统。
在各种实施方式中，为了基于笔的计算系统的各种有用应用， 智能笔IOO可以与诸如个人计算机之类的通用计算系统120通信。 例如，由智能笔IOO捕获的内容可以传输到计算系统120,以供该系 统120进一步使用。例如，计算系统120可以包括允许用户存储、 访问、查看、删除或者以其他方式来管理由智能笔100获取的信息 的管理软件。将智能笔IOO获取的数据下载到计算系统120还释放 了智能笔100的资源，从而使其能够获取更多数据。反过来，也可 以将内容从计算系统120传送回智能笔100。除了数据之外，计算系 统120提供到智能笔IOO的内容还可以包括可由智能笔IOO执行的 寿欠件应用。
智能笔IOO可以经由包括有线通信和诸如蓝牙、WiFi、 RF、红 外线和超音波之类的无线通信的许多已知通信机制中的任何机制来 与计算系统120通信。在一个实施方式中，基于笔的计算系统包括 耦合到计算系统的插接站110。插接站110在^L械上和电子上配置用 于容纳智能笔IOO,而且当智能笔IOO被插接时，插接站110可以支 持计算系统120和智能笔IOO之间的电子通信。插接站IIO还可以 提供电功率，以向智能笔100中的电池充电。
图2示出了在例如上述实施方式的基于笔的计算系统中使用的 智能笔100的一个实施方式。在图2示出的实施方式中，智能笔100 包括标记器205、成像系统210、落笔传感器215、 一个或多个麦克 风220、扬声器225、音频插头230、显示器235、 I/O端口 240、处 理器245、板上存储器250和电池255。然而，应当理解，并非上述 组件的全部都是智能笔IOO所必需的，而且这也不是智能笔100的 所有实施方式的组件或上述组件的所有可能变体的穷举一览表。例 如，智能笔100还可以采用诸如功率按钮或音频记录按钮的按钮和/且，正如这里在说明书和权利要求中 所使用的，除了明确记载的那些特征之外，术语"智能笔"并不表 示笔设备具有这里针对特定实施方式而描述的任何特定特征或功 能，因此智能笔可以具有少于这里描述的所有能力和子系统的任何 组合。
标记器205支持将智能笔用作在任何适当表面上进行书写的传 统书写装置。标记器205因此可以包括任何合适的标记机构，包括 基于墨水或基于石墨的任何标记设备或可以用于书写的任何其他设 备。在一个实施方式中，标记器205包括可更换的圆珠笔元件。标 记器205耦合到落笔传感器215，例如压力传感元件。因此，当标记 器205按压表面时，落笔传感器215产生输出，从而指示智能笔100 在何时被用于在表面上进行书写。
成像系统210包括足够的光学器件和传感器，用于对标记器205 附近的表面区域进行成像。成像系统210可以用于捕获用智能笔100 做出的手写和/或姿势。例如，成像系统210可以包括红外线光源， 其照亮标记器205附近的书写表面50,其中书写表面50包括已编码 的模式。通过处理已编码模式的图像，智能笔IOO可以确定标记器 205在何处与书写表面50相关。成像系统210的成像阵列接着对标 记器205附近的表面进行成像，而且捕获已编码模式在其视场中的 部分。由此，成像系统210允许智能笔IOO使用至少一个输入模态 来接收数据，例如接收书写输入。包含用于查看书写表面50—部分 的光学器件和电子器件的成像系统210仅仅是可以包含智能笔100 中的、用于电子地捕获利用该笔做出的任何书写姿势的 一 种类型的 姿势捕获系统，而智能笔100的其他实施方式可以使用实现相同功 能的其他恰当装置。在一个实施方式中，成像系统210捕获的数据 随后被处理，从而允许将诸如字符识别的 一个或多个内容识别算法 应用于接收的数据。
在一个实施方式中，成像系统210捕获的数据随后被处理，从 而允许将诸如字符识别的 一 个或多个内容识别算法应用于接收的数
ii，可以使用成像系统210来扫描和捕获已经 存在于书写表面50上的书写内容(例如，不是使用智能笔100书写 的)。可以进一步结合落笔传感器215来使用成像系统210，以确定 标记器205何时4妄触书写表面50。随着标记器205在表面上移动， 成像阵列捕获的模式发生变化，用户的手写因此可被智能笔100中 的姿势捕获系统(例如，图2中的成像系统210)所确定和捕获。这 种技术还可以用于捕获姿势，诸如当用户在书写表面50的特定位置 上轻拍标记器205时，从而允许利用运动检测的其他输入模态的数 据捕获或姿势捕获。
可以进一步结合落笔传感器215来使用成像系统210,以确定标 记器205何时接触书写表面50。随着标记器205在表面上移动，成 像阵列捕获的模式发生变化，用户的手写因此可以被智能笔100所 确定和捕获。这种技术还可以用于捕荻姿势，例如当用户在书写表 面50的特定位置上轻拍标记器205时，从而允许利用运动检测的其 他输入模态的数据捕获或姿势捕获。
智能笔100上的另一数据捕获设备是一个或多个麦克风220,其 允许智能笔IOO使用其他输入模态(音频捕获)来接收数据。麦克 风220可以用于记录音频，这可以与上述手写捕获进行同步。在一 个实施方式中， 一个或多个麦克风220耦合到由处理器245或信号 处理器(没有示出)执行的信号处理软件，该信号处理软件消除标 记器205在书写表面上移动所产生的噪声和/或当智能笔100向下接 触书写表面或从书写表面上移开时所产生的噪声。在一个实施方式 中，处理器245对捕荻的书写数据与捕获的音频数据进行同步。例 如，在利用麦克风220记录会议的对话同时，用户做着还可以由智 能笔IOO捕获的笔记。对记录的音频和捕获的手写进行同步允许智 能笔100向用户对之前捕获数据的请求提供协调的响应。例如，响 应于用户请求，例如书写的命令、命令参数、用智能笔100做出的 姿势、说出的命令或书写命令和说出命令的结合，智能笔100向用 户提供音频输出以及视觉输出二者。智能笔IOO还可以向用户提供
12触觉反馈。
扬声器225、音频插头230和显示器235向智能笔100的用户提 供输出，从而允许经由 一个或多个输出模态来向该用户呈现数据。 音频插头230可以耦合到耳机，与使用扬声器225不同，用户在不 打扰周围人的情况下便能收听该音频输出。耳机还可以允许用户在 立体声或利用空间特性进行了增强的全三维音频中收听该音频输 出。因此，通过收听由扬声器225或音频插头230播放的音频，扬 声器225和音频插头230允许用户使用输出模态的第一类型从智能 笔接收数据。
显示器235可以包括用于提供视觉反馈的任何适当显示器系统， 例如有机发光二极管(OLED)显示器，从而允许智能笔100通过在 视觉上显示信息而使用第二输出模态来提供输出。在使用中，智能 笔100可以使用这些输出组件中的任何一个来传达音频或视觉反馈， 从而允许使用多个输出模态来提供数据。例如，扬声器225和音频 插头230可以根据运行在智能笔100上的应用来传达音频反馈(例 如，提示、命令和系统状态)，而显示器235可以显示单词短语、 静态或动态图像，或由这个应用所指导的提示。另外，扬声器225 和音频插头230还可以用于播放已经使用麦克风220记录的音频数 据。
如上所述，输入/输出(I/O)端口 240允许在智能笔IOO和计算 系统120之间的通信。在一个实施方式中，1/0端口 240包括与插接 站110上的电触点相对应的电触点，从而当智能笔IOO放置在插接 站110中时，会产生用于数据传送的电连接。在另一实施方式中，I/O 端口 240简单地包括用于容纳^:据线缆的插头(例如，Mini-USB或 微USB)。备选地，可以用智能笔100中的无线通信电路来代替1/0 端口 240， 乂人而允许与计算系统120进4亍无线通信(例如，经由蓝牙、 WiFi、红外或超声波)。
处理器245、板上存储器250和电池255 (或任何其他合适的功 率源)支持在智能笔IOO上执行至少部分的计算功能。处理器245耦合到输入和输出设备以及上述其他组件，从而使得在智能笔100
上运行的应用能够使用这些组件。在一个实施方式中，处理器245 包括ARM9处理器，而且板上存储器250包括少量的随机访问存储 器(RAM)和较大量的闪存或其他永久性存储器。结果，可以在智 能笔100上存储和执行可执行应用，而且可以在智能笔100上存储 记录的音频和手写，该存储可以是无限期的，也可以到从智能笔IOO 上卸载到计算系统120中为止。例如，智能笔100可以本地存储一 个或多个内容识别算法，例如字符识別或语音识別，从而允许智能 笔100本地识别来自智能笔IOO所接收的一个或多个输入模态的输 入。
在一个实施方式中，智能笔IOO还包括操作系统或者支持一个
或多个输入模态(诸如手写捕获、音频捕获或姿势捕获)或输出模 态(诸如音频回放或视觉数据的显示)的其他软件。操作系统或其 他软件可以支持输入模态和输出模态的组合并对输入模态(例如， 捕获书写的和/或说出的数据作为输入)和输出模态(例如，呈现音 频或视觉数据作为对用户的输出)之间的组合、定序和转换进行管 理。例如，输入模态和输出模态之间的这个转换允许用户在收听智
能笔IOO播放的音频的同时，同步地在纸张或其他表面上书写，或 者当用户在用智能笔100书写的同时，智能笔IOO还可以捕获用户
说出的音频。
在 一 个实施方式中，操作系统和应用支持独立的和/或并发的输 入模态和输出模态的序列以及这些模态之间的无缝转换，以用于语 言学习。例如，在操作系统上运行的、支持模态独立、并发和定序
的语言学习(LL)应用可以开始这样的课程，其宣布今天的课程要 学习中文的写、读、说和听。智能笔IOO接着可以利用动画显示普 通话字符的创建、以恰当的次序在显示器235上写出该字符的笔画， 同时经由扬声器225读出该字符的发音。该操作系统将支持音频的 同时显示和同步递送。LL应用继而可以提示用户书写字符的每一笔 画，并随后在显示器225上利用动画显示每一笔画，由此以同步的方式，对用户输入笔画数据与显示在智能笔100上的信息的视觉输 出的模态之间的转换进行定序。随着用户创建字符更加流利，开始 写得更快，也许在笔画显示之前就开始写，该OS将支持笔画的实时 捕获和翻译，而且以恰当的显示和适当的音频进行响应，使用户参 与到多模态对话中。随着用户书写得更加熟练，用户开始领先于智
能笔100,以显示笔画作为响应，而不是笔画领先，则智能笔ioo 可以言语上称赞用户，而且要求用户在书写笔画的过程中或写完之
后念出该字符的发音。随着用户念出该字符发音，智能笔100可以 记录该声音而且将其与范例进行比较。智能笔IOO然后可以通过播
放范例发音和用户发音来提示该用户，从而提供关于矫正发音的评
论和/或视觉引导。智能笔IOO可以随后提示该用户听、写和说，一
个接一个地发音出一系列单词，等待用户书写和读出这些单词，将 输入语音和书写与范例进行比较，并且在必要时将用户重定向到重 复写或说。
在这个例子的扩展中，智能笔IOO可以提示用户与预先印刷的 语言学习文本或练习簿交互。智能笔IOO可以在多个显示之间转移
用户的注意力，从文本到练习簿，到用户的笔记本，而且继续涉及
智能笔IOO独立或并发地说出和显示的对话，指引用户独立或并发
地说、写和看信息。输入模态和输出模态的许多其他结合以及定序 也是可能的。
在一个实施方式中，处理器245和板上存储器250包括一个或 多个可执行应用，其支持和启用菜单结构和在文件系统或应用菜单 中的导航，从而允许启动应用或应用的功能。例如，菜单项目之间 的导航包括在用户和智能笔100之间的对话，其涉及该用户说出的 和/或书写的命令和/或姿势，以及来自智能笔计算系统的音频和/或 视觉反馈。因此，智能笔100可以接收输入，以浏览来自多种模态 的菜单结构。
例如，书写姿势、说出的关键字或物理运动可以指示随后的 输入与 一个或多个应用命令相关联。也可以利用空间和/或时间组件的输入指示该随后数据。利用空间组件的输入示例包括并排的两个 点。利用时间组件的输入示例包括一个紧接着另 一个被书写的两个 点。例如，用户可以连续两次快速按压智能笔100的表面，接着写 单词或词组，例如"解决"、"发送"、"翻译"、"电子邮件"、 "语音电子邮件"或其他预定单词或词组，以触发与书写的单词或 词组相关联的命令，或者接收同与预定单词或词组相关联的命令相 关联的附加参数。因为可以通过不同的格式来提供这些"快速启动" 命令，因此菜单的导航或应用的启动得以简化。在传统的写和/或读 中，"快速启动"命令优选地易于区分。
备选地，智能笔100还包括物理控制器，例如小型控制杆、滑 块控件、跷板、电容性(或其他非机械)表面或接收用于浏览由智
能笔100执行的应用或应用命令的菜单的输入的其他输入机制。
示例系统搡作
图3为根据本发明一个实施方式的、在基于笔的计算系统中提 供多个模态的流程图。本领域技术人员将会理解，其他实施方式可 以按照不同的次序执行图3的步骤。而且，其他实施方式相比这里 所描述的那些实施方式，还可以包括不同的和/或附加的步骤。
最初，智能笔IOO识别310与用户交互相关联的模态。在一个 实施方式中，用户例如通过用智能笔100书写、移动该智能笔IOO 或向智能笔IOO说话来与智能笔100交互。智能笔100随后识别310 与一个或多个用户交互相关联的模态。例如，当用户用智能笔IOO 书写时，成像系统210捕获随后由处理器245进行处理的书写数据， 以确定该书写数据的子集是否与输入模态或输出模态相关联。类似 地，对一个或多个麦克风220捕获的音频数据进行处理，以确定捕 获的音频数据的子集是否与输入模态或输出模态相关联。智能笔100 可以开始说话，而且允许用户打断，以重新引导该智能笔100的行 为，即，提示智能笔100重放音频，加速或减慢回放，显示与音频 同步的信息以增强智能笔IOO传达的音频信息、书签或音频标签信
16息的价值，或者以其他方式对用户输入做出响应。这允许智能笔100 为通过各种模态所提供的输入或输出识别命令或请求，使得用户与
智能笔100的交互更加直观和高效。
响应于确定了用户交互与输入模态相关联，输入类型被识别
315。通过识别315该输入类型，智能笔100确定如何捕获输入数据。 书写数据经由成像系统210被捕获325，而且作为图像或文本数据被 存储在板上存储器250中。类似地，使用一个或多个麦克风220来 记录327音频数据，而且随后将其存储在板上存储器250中。因此， 在识别了与用户交互相关联的输入模态之后，智能笔100从与智能 笔100的交互(例如书写的或说出的通信)中捕获附加数据。
所识别的输入类型可能不同于另外识别310模态的用户交互。 例如，用户可以向智能笔IOO提供说出的命令以识别310输入模态 而接着开始用智能笔100书写，这导致捕获325该书写数据。类似 地，用户可以提供书写命令，例如书写"记录"，以识别导致智能 笔100记录后续音频数据的输入模态。
响应于确定用户交互与输出模态相关联，输出类型被识别317。 通过识别317该输出类型，智能笔IOO确定如何将信息传达给用户。 文本数据经由显示器235或计算系统120被显示335。类似地，使用 扬声器225、音频插头230或计算系统120播放337音频数据。因此， 在识别与用户交互相关联的输出模态之后，智能笔IOO向用户呈现 信息或数据，例如通过显示视觉数据或者播放音频数据。
所识别的输出类型可以不同于最初识别310模态的用户交互类 型。例如，用户可以向智能笔IOO提供说出的命令，其识别310引 起智能笔IOO显示335视觉数据的输出模态。类似地，用户可以提 供书写命令，诸如书写"回放"，其识别310智能笔IOO播放之前
捕获的音频数据的输出模态。
所识别的输出类型也可以是在与备选输入源的交互中被文字化 的音频或视觉反馈的形式。例如，用户可以说或写"翻译成西班牙 语，，或轻拍印有"翻译成西班牙语，，的可打印表面。用户接着可以
17轻拍打印在文本中的英语单词或轻拍之前写在纸张上的单词，以听
它们从智能笔100的扬声器中以西班牙语念出，或在显示器235中看它们以西班牙语显示。用户接着可以说、写或轻拍(具有预先打印的按钮)"翻译成普通话"而且轻拍相同的单词以普通话听和/或看它们。智能笔100还可以捕获被轻拍的单词，以存储和后续通过测试用户对单词的知识或将它们发送到远程登录源来使用它们。
纟吉
为了阐述目的，已经提供了本发明实施方式的上述描述；并不意指它是穷举的或将本发明限制到所公开的精确形式。相关领域的技术人员可以理解，根据上述公开的许多修改和变化是可能的。
本描述的一些部分就信息操作的符号化表征和算法方面描述了本发明的实施方式。这些算法描述和表征通常被数据处理领域的技术人员所使用，以将他们工作的实质有效地传递给该领域其他技术人员。虽然在功能上、计算上或逻辑上描述了这些操作，不过能够理解可以由计算机程序或等同的电子电路、微代码等来实施这些操作。此外，已经证明的是，在不失一般性的前提下，将这些操作的布置作为模块进行参考有时是方便的。所描述的操作及其相关联的模块可以在软件、固件、硬件或其任意组合中被具体化。
可以利用 一个或多个硬件或软件模块，单独或与其他设备相结合地执行或实施这里描述的任意步骤、操作或处理。在一个实施方式中，用包括计算机可读介质的计算机程序产品实施软件模块，该
全部步骤、操作或过程的计算机程序代码。
本发明还涉及用于执行这里的操作的装置。该装置可以针对所需的目的而专门构建，和/或可以包括由存储在计算机中的计算机程序有选择地激活或重配置的通用计算机。这种计算机程序可以存储在有形的计算机可读存储介质中，其可以包括用于存储电子指令的任何类型的有形介质，并且每个存储介质都与计算机系统总线耦合。此外，说明书中所称的计算系统可以包括单个处理器或者可以是使用了用于提高计算能力的多处理器设计的架构。
本发明的实施方式还可以涉及包含在载波中的计算机数据信号，这些计算机数据信号包括计算机程序产品的任何实施方式或这里描述的其他数据结合。计算机数据信号是有形介质或载波中呈现的产品，而且被调制或者以其他方式编码在载波中，它是有形的而且根据任何的恰当传播方法被传播。
最后，说明书中使用的语言原则上是出于可读性和指导目的而选择的，而不是用来约束和限制本发明的主题。因此，期望本发明的范围不局限于这里的详细描述，而是基于在此申请所提出的任何权利要求。因此，本发明实施方式的公开意在说明，而非限定由所附权利要求记载的发明范围。
权利要求
1.一种用于使用多个模态与用户进行交互的智能笔设备，所述系统包括处理器；姿势捕获系统，其被耦合到所述处理器，并被配置用于捕获手写数据；一个或多个麦克风，其被耦合到所述处理器，并被配置用于捕获音频数据；板上存储器，其被耦合到所述处理器并被配置用于响应于所述处理器识别输入来存储所述捕获的手写数据或捕获的音频数据；显示器系统，其被耦合到所述处理器，并被配置用于响应于所述处理器识别与所述捕获的手写数据或捕获的音频数据相关联的输出而输出存储在所述板上存储器中的显示数据；音频输出系统，其被耦合到所述处理器，并被配置用于响应于所述处理器识别与所述捕获的手写数据或捕获的音频数据相关联的输出而播放存储的音频数据；以及计算机程序代码，其被存储在存储器上，并被配置为由所述处理器执行，所述计算机程序代码包括用于识别与所述捕获的手写数据或捕获的音频数据相关联的输入的指令、用于向所述显示器系统提供显示数据或向所述音频输出系统提供音频数据以作为输出的指令。
2. 如权利要求1的智能笔设备，其中所述板上存储器包括耦合 到永久性存储器的随机访问存储器。
3. 如权利要求1的智能笔设备，其中所述永久性存储器包括快 闪存储器。
4. 如权利要求1的智能笔设备，其中所述计算机程序代码进一 步包括用于将显示数据提供到所述显示器系统以及将音频数据提 供到所述音频输出系统的指令，其中所述显示数据和音频数据是相关的。
5. 如权利要求1的智能笔设备，其中所述计算机程序代码进一 步包括用于同时将显示数据提供到所述显示器系统和将音频数据 提供到所述音频输出系统的指令。
6. 如权利要求1的智能笔设备，其中所述显示器包括有机发光 二极管(OLED)显示器。
7. 如权利要求1的智能笔设备，其中所述显示器包括计算系统。
8. 如权利要求1的智能笔设备，进一步包括落笔传感器，其被耦合到所述处理器和所述板上存储器，所述落 笔传感器确定所述智能笔的位置，其中所述处理器进一步识别与所 述智能笔的位置变化相关联的输出或输入。
9. 如权利要求8的智能笔设备，其中所述落笔传感器进一步响 应于所述处理器识别与所述捕获的手写子集或捕获的音频子集相关 联的输出来提供触觉反馈。
10. —种用于基于笔的计算系统使用多个模态来与用户进行交互 的方法，所述方法包4舌从所述用户接收交互； 将命令与所述交互相关联；响应于将声音捕获命令与所述交互相关联，记录音频数据，并将 记录的音频数据存储在智能笔中；响应于将文本捕获命令与所述交互相关联，捕获所述智能笔附近 的手写数据或文本数据，并将所述捕获的手写数据或文本数据存储 在所述智能笔中；响应于将音频回》文命令与所述交互相关联，在听觉上向所述用户 呈现数据；以及响应于将视觉回放命令与所述交互相关联，在视觉上向所述用户 呈现数据。
11. 如权利要求10的方法，其中所述交互包括音频数据、手写 数据、文本数据或所述智能笔的位置变化。
12. 如权利要求10的方法，其中在听觉上呈现的数据和在视觉上呈现的数据是相关的。
13. 如权利要求10的方法，其中在听觉上向所述用户呈现数据 包括使用所述智能笔播放音频数据。
14. 如权利要求10的方法，其中在视觉上向所述用户呈现数据 包括在视觉上、在输出模块上显示数据。
15. 如权利要求10的方法，进一步包括响应于将触觉命令与所述交互相关联，向所述用户提供触觉反馈。
16. —种用于使用多个模态与用户进行交互的基于笔的计算系 统，所述系统包4舌智能笔设备，其被配置用于接收一个或多个用户交互；计算机程序代码，其被存储在存储器上，并被配置为由耦合到所 述智能笔设备的处理器执行，所述计算机程序代码包括用于识别 与捕获的手写子集或捕获的音频数据子集相关联的输入的指令；存储设备，其被耦合到所述处理器和所述智能笔，所述存储设备 板上存储器响应于所述处理器识别同与所述智能笔设备的用户交互 相关联的输入，来存储与所述智能笔设备相关联的数据；以及输出模块，其被耦合到所述处理器和所述存储设备，所述输出模 块响应于所述处理器将输出同与所述智能笔设备的一个或多个用户 交互的子集相关联，来向所述用户呈现存储的数据。
17. 如权利要求16的基于笔的计算系统，其中所述输出模块包 括扬声器，所述扬声器播放与所述存储的数据相关联的音频。
18. 如权利要求16的基于笔的计算系统，其中所述输出模块包 括显示器，所述显示器在视觉上向所述用户呈现存储的数据。
19. 如权利要求16的基于笔的计算系统，其中所述一个或多个 用户交互包括音频数据、手写数据、文本数据或所述智能笔位置变 化中的至少一个。
全文摘要
在基于笔的计算系统中，智能笔允许用户使用多个模态来与基于笔的计算系统进行交互。通常，模态分类为输入(或称命令)模态和输出(或称反馈)模态。智能笔的输入模态示例包括用智能笔书写以提供书写输入和/或说话，或者以其他方式提供声音以向智能笔给出音频输入。智能笔的输出模态示例包括读取由系统显示的视觉信息，接收触觉反馈和/或收听由系统播放的声音。
文档编号G06F3/038GK101689187SQ200880023794
公开日2010年3月31日 申请日期2008年5月29日 优先权日2007年5月29日
发明者J·玛尔格拉夫, S·A·范 申请人:智思博公司