带显示屏的鼠标状输入输出设备及其使用方法

专利名称：带显示屏的鼠标状输入输出设备及其使用方法
技术领域：
本发明涉及一种计算机输入/输出设备，特别是，涉及一种带集成显示屏的鼠标状设备，它扩展了用户对输入/输出方式的选择。特别是，该设备使盲人使用计算机更容易。
用户与计算机之间的大多数交互是通过诸如文本和图形信息在监视器显示屏上的可视显示作为媒介的。此种交互方式显然不适合于盲人或视力损坏者。许多接口设备可用于将文本行转换成布莱叶盲文，例如加利弗尼亚州Mountain View县Tele Sensory公司的PowerBraille 40和德国Wiesenbach市Baum Products公司的INKA键盘。这些设备具有只能转移文本和一次只显示一行文本的局限性。德国Stuttgart市Metec公司的DMD 120060的点阵显示器可将整个显示屏转换成可触摸阅读的形式。文本转换成布莱叶盲文图形信息转换成相应的抬高的和降低的针的图样。这种全屏幕显示既多余又不足。说多余是指盲人用户不象可视用户那样能一次感知整屏显示，而是在给定时间里触知一小部分显示，然后通过一系列这样的部分触知重新构造整个显示。所以，不必一次性将整个视觉显示转换成触觉形式。说不足是指当多数或全部的针需移动时，此种显示需花费20秒或更长的时间来刷新显示。
对盲人和视力损坏者使用计算机的另一限制是已知设备中没有能够使盲人或视力损坏者直接在屏幕显示上绘图并获得绘制精度的直接反馈。
于是，能够让盲人或视力损坏者使用比现知接口更有效率和更灵活的方式与计算机交互的触觉计算机接口成为广泛公认的需求并具有高度的便利。
根据本发明提供的一种与能够存取可屏幕显示的数据的计算机进行通信的计算机接口设备，包括(a)具有第一表面和第二表面的刚性外壳；(b)一种装置用于感知(ⅰ)在与第二表面贴近的平面上该设备相对于起始位置的位置，以及(ⅱ)该平面上该设备相对于起始方向的方向；(c)位于另一表面上的显示区，在其上显示一部分数据；以及(d)用于在显示区显示数据的显示装置。
根据本发明提供的一种与具有屏幕显示器的计算机通信的方法，包括步骤(a)提供至少一个平面；(b)提供至少一种接口设备，包括(ⅰ)具有第一表面和第二表面的刚性外壳，(ⅱ)一种装置当第二表面贴近至少一个平面中的一个平面上时，用于感知该设备相对于至少一个平面中的一个平面的位置，和相于所提供的至少一个平面中的一个平面的方向，(ⅲ)位于第一表面上的显示区，以及(ⅳ)触觉显示装置，用于在显示区再现屏幕显示的一部分；以及(c)在显示区再现该部分屏幕显示。
本发明的创新点在于在计算机鼠标一个表面上显示数据。此表面在此称作“上”表面，因为本发明的显示区非常方便地位于最远离鼠标使用过程中所搁放的平面的那侧鼠标面；但本发明范围包括将显示区放置在鼠标的另外表面，例如侧表面。同样，贴近鼠标使用中的平面的那侧鼠标表面在此称为“下”表面。显示区包括显示装置，例如下面讨论的一个小视频屏或触觉显示装置，它是整个置于鼠标之中的。要显示的数据可以同时显示于计算机监视器的显示屏上，或驻留在其他地方，如计算机存储器中。
本发明允许用户当移动鼠标时在鼠标自身上表面获得他/她 所作的有关鼠标显示的改变的直接反馈。这对从事计算机作品具有心理上的优越一个图像作者用鼠标作图，边画边看到结果，就如同他/她用笔在纸上边画边看结果一样。
此外，本发明允许存储于计算机中的数据，即不同时显示于屏幕上的数据，或在屏幕显示中的数据，以一种不同的形式显示。例如，屏幕上显示的文本是一种语言，而翻译成另一种语言的文本则显示在鼠标上。尽管如此，此处描述的重点在于将屏幕显示的一部分重现于鼠标上表面。
尽管本发明的范围包括所有这些显示，其中也包括视觉显示，但本发明的重点在于提供一种触觉显示，使盲人用户感知视觉显示于屏幕上的数据的触觉体现，如同可视用户可以看到信息一样。盲人用户通过在平面上移动鼠标接触到屏幕显示的不同部分，如同可视用户通过在平面上移动鼠标用光标接触屏幕显示的不同部分一样。用户通过在触觉显示上滑动他/她的手指尖来感知信息，此处如同目前已知设备一样。另一种方式，用户可在移动鼠标时将他/她的手指固定在触觉显示区的一个位置上，于是当鼠标移动时可感知触觉显示的轮廓变化。此外，盲人可使用常规方法改变屏幕显示(例如，在屏幕上划线)，如同可视用户改变屏幕显示一样，例如在鼠标上按下一个按键，然后感知变化结果，如同可视用户看到结果变化一样。
本发明的鼠标与常规计算机鼠标的重要区别在于本发明的鼠标能同时感知其在平面上的横向位置和角度方向，于是呈现给用户的屏幕显示的一部分总是取向同一方向的，例如，无论鼠标如何转动，屏蔽显示的上部分总是远离用户而屏幕显示的下部分总是趋向于用户。达到此目的的一种办法是为鼠标设置两个或更多的跟踪球。鼠标的角度方向可从跟踪球的位置容易地推算出来。达到此目的的另一方法是为鼠标设置磁定向感测器，如罗盘。
在此参照附图仅以实例描述本发明，其中

图1A是根据本发明一个鼠标实施例的剖面示意1B是根据本发明的另一个鼠标实施例的剖面示意2是图1A中鼠标使用时的侧视3A是图1A中鼠标的部分顶视图，显示出显示区图3B是图1A的部分顶视图，显示出显示区的另一个实施例。
本发明为一种在其上表面带有触觉显示区的计算机鼠标。本发明可用于盲人和视力损坏者与计算机交互。
参照附图与相应的描述可以更好地理解根据本发明的计算机鼠标的原理与操作。
现请看附图。图1A是本发明鼠标实施例10的剖面示意图。刚性外壳12具有上表面14和下表面16。显示区20在上表面14上，上有许多小孔，其中凸出许多针，其中的一部分被标以标准数22。针22在显示区20的孔中通过致动装置上下运动，其中部分致动装置被标以标记数24，每一针配一致动装置。下表面16的孔中凸出两个球30，最好由包橡皮的钢球制成。与球30接触的是传感器32，每一个球30垂直放置两个传感器32。传感器32与球30转动连接，意即球30的转动将引起与球30接触的传感器32的一个或全部两个(例如，编码器轮轴转移，使传感器32能将此转动转换为电信号。上表面14按常规方式供有一个或多个按键34。致动装置24、传感器32和按键34通过电连接38连接在常规的电子线路36上。电路36通过电缆40连接到主计算机。按键34和传感器32产生的信号如何转送到计算机的方法，以及表示计算机屏幕显示的一部分的信号如何转送给致动装置24以推动针20上下运动从而复现该屏幕显示的那一部分的方法在本领域已众所周知，不在此详述。
图1B是本发明鼠标的另一实施例10’的剖面示意图。鼠标10’与鼠标10基本相同，只是鼠标10有两个球30，按照下面将描述的方法同时感知位置和方向，而鼠标10’只有一个球30’，仅用于按常规方法感知位置，另有一独立的方向传感器35。方向传感器35例如可以是磁感测器或陀螺仪感测器。
图2是鼠标10使用时的侧视图。鼠标10设置在平面50(例如，一个常规鼠标垫)上。用户将一个或多个手指尖52放置在显示区20上按常规方法在平面50上移动鼠标10。鼠标10在平面50上的位置和方向由传感器32根据球30的转动感知，并通过电缆40传送给主计算机。主计算机通过电缆40将代表计算机屏幕显示的一部分的数据传送回鼠标10，此屏幕显示部分对应于鼠标10在平面50上的位置。根据这些数据上下移动针22，提供这些数据的触觉体现，此触觉体现由用户通过手指尖52感知。
图3A和3B是鼠标10的部分顶视图。图3A显示的显示区20的一个实施例中，针22是凸现在孔的矩形阵列中。这种阵列在图中示出；本发明可包括所有适当的阵列几何形状，例如六边形。图3B显示的显示区20的一个实施例中，针22凸现的孔群被划分在三个指尖大小和指尖形状的子显示区54、54’和54”中。
如上所述，鼠标10在平面50上的取向由球30在平面50上的相对位置推算。设离电缆40近的那个球30的X坐标和Y坐标分别为X2和Y2，离电缆40远的那个球30的X坐标和Y坐标分别为X1和Y1。设△X=X2-X1，△Y=Y2-Y1。设0°取向对应于△X=0和△Y取正值。于是鼠标10的方向角为arctan(△X/△Y)。例如，如果△X=△Y，则鼠标10从△X=0和△Y取正值的位置反时针方向旋转了45°角。
如同显示屏上光标的位置与常规鼠标在鼠标垫上的横向位置的对应关系在使用中会有变动一样，屏幕显示的方向与鼠标10在平面50上的方向的对应关系也会变动。所以，鼠标10的方向必须时常重新初始化成标准方向，例如，0°方向。这通过将鼠标在平面50上形成一个实际角度以对应标准方向，并通过计算机键盘和/或按键34向计算机输入适当的命令而实现。屏幕显示方向与本发明的鼠标的方向的对应关系的稳定性可通过提供给鼠标多于两个球30′来增强，为角度计算机提供了冗余。
显示区20的准点作为常规视觉显示中屏幕光标的触觉对等物。此准点可以是显示区20的任何可准一标识点，例如，象图3A中显示区20这样的方形显示区的其中一角，图3A中显示区20的中心点，或图3B中子显示区54’的中心点。如同常规鼠标上的按键用来激发与屏幕光标位置相关联的动作一样，对按键34的按压用来激发与屏幕上的位置相关联的一个动作，此位置对应于准点相对于在显示区20上呈现的屏幕显示部分的位置。例如，按按键34用来开始画一条从显示屏幕上对应于准点的点开始的线。用户可通过感觉显示区20的结果来监视这些动作的进程和准确度，如同可视用户可看到他/她的动作在显示屏上的结果一样。
将视觉显示在显示区20转换成触觉显示的一个难点在于视觉所接受的信息密度高于触觉所接受的信息密度。这在文本的触觉显示中不成问题，文本可容易地转换成布莱叶盲文。在转换单色显示中也不是严重问题，因为对于一种颜色，例如两种颜色中较暗的那种，可用针上升位置代表，而另一种颜色，例如两种颜色中较亮的那种，可用针下降位置代表。真正的难点在于使彩色显示以触觉形式体现。彩色显示的色彩有三个属性(色、亮度和饱和度)，很难在一种触觉显示中对所有三项编码。当具有很强的亮度对比度时可将用于单色显示的转换方法用于彩色显示，但一般不能适用。本发明的优选方法是将色调编码为针的上下运动的频率，优选范围为3Hz到5Hz，足够用于四种色调的编码，而将亮度编码为针的运动范围，并忽略饱合度。当然，显示哪种属性忽略哪种属性的选择是可由用户控制的，例如，用户可将饱合度编码为针的运动频率而忽略色调的编码。
应当理解盲人或视力损坏者不限于只使用本发明的一个鼠标。如同盲人经常用双手阅读布莱叶盲文(Braille)一样，盲人可人使用两个鼠标，一手一个，同时仔细阅读显示屏幕的两个不同部分。就此，两个可视用户可使用本发明的两个鼠标玩非视觉性的计算机游戏。可视用户还可使用本发明的一个鼠标同时监视两个显示，一个是视觉显示，一个是触觉显示。另外，可视用户可使用本发明的鼠标增强对包含曲面显示的感知能力，例如，一个行星地图的显示，在数据空间中屏幕左边与屏幕右边毗连的。
同样应当理解屏幕显示与触觉显示的几何对应关系可适应不同的应用而改变。特别是，在显示区20重现的屏幕部分的大小可以改变。屏幕显示与触觉显示最简单的对应关系是一个象素对应一个针22；但其他对关系也属本发明范围。例如，多于一个针22对应一个象素使解析度可以增加，多于一个象素对应一个针22可以使解析度降低。另外，显示区22的纵横比不必与屏幕的纵横比相同。例如，一个针22可以对应水平方向一个象素间隔，对应垂直方向两个象素间隔。
尽管本发明已经参照有限的实施例予以描述，但应当理解，可以对本发明进行多种变形、修改和其他应用。
权利要求
1．一种用于与计算机通信的计算机接口设备，该计算机能够存取可屏幕显示的数据，包括(a)刚性外壳，具有第一表面和第二表面；(b)一种装置，用于感知(ⅰ)在与所述第二表面贴近的平面上该接口设备相对于起始位置的位置，以及(ⅱ)该接口设备在所述平面上相对于起始方向的方向；(c)显示区，位于所述第一表面上，在其中显示一部分数据；以及(d)显示装置，用于在所述显示区显示所述数据。
2．权利要求1中的设备，其中所述显示装置重现屏幕显示的一部分。
3．权利要求1中的设备，其中所述显示装置包括视觉显示。
4．权利要求1中的设备，其中所述显示装置包括触觉显示。
5．权利要求4中的设备，其中所述触觉显示包括许多针，基本上垂直取向于所述第一表面，对每根所述针提供给一种装置用于相对于所述第一表面移动所述针，以响应所述屏蔽显示的所述部分的局部特性。
6．权利要求4中的设备，其中所述触觉显示被分割成两个子显示区，每一个子显示区具有适合容纳手指尖的大小和形状。
7．权利要求1中的设备，其中所述感知装置包括两个可转动球，容纳在所述外壳内。
8．权利要求7中的设备，其中所述感知装置进一步包括，对所述每一个可转动球，两个传感器可转动地连接于所述球，由此所述球在两个垂直方向的转动可被探测，从而提供了所述球相对于所述平面的运动的指示。
9．权利要求1中的设备，其中所述感知装置包括方向感测器。
10．权利要求1中的设备，其中方向感测器从磁感测器和陀螺仪感测器之类中选择。
11．一种与具有屏幕显示的计算机通信的方法，包括步骤(a)提供至少一个平面，(b)提供至少一种接口设备，它包括(ⅰ)刚性外壳，具有第一表面和第二表面，(ⅱ)一种装置，当所述第二表面贴近在所述的至少一个平面之一时，用于感知所述设备相对于所述的至少一个平面之一的位置以及相对于所述的至少一个平面之一的方向，(ⅲ)显示区，位于所述第一平面上，以及(ⅳ)触觉显示装置，用于在所述显示区重现屏幕显示的一部分，以及(c)在所述显示区重现所述部分的屏幕显示。
12．权利要求11中的方法，进一步包括步骤(d)触摸所述触觉显示装置。
13．权利要求12中的方法，其中所述触摸通过使用至少一个手指尖实现。
14．权利要求13中的方法，其中所述触摸通过所述至少一个手指尖在所述触觉显示装置上滑动而实现。
15．权利要求13中的方法，其中所述触摸通过将所述至少一个手指尖搁放在所述触觉显示装置上实现，其方法进一步包括步骤(e)相对于所述的至少一个平面移动所述至少一个接口设备。
16．权利要求15中的方法，其中所述触觉显示装置被分割成两个子显示区，每一个所述子显示区具有适合容纳手指尖的大小和形状，且其中所述触摸通过使用两个手指尖实现，一个手指尖在一个子显示区内。
17．权利要求12中的方法，其中提供两个所述接口设备，对所述两个接口设备的第一个的触摸与对所述两个接口设备的每二个的触摸通过使用两只不同的手而实现。
18．权利要求11中的方法，其中所述触摸显示装置包括许多针，基本上垂直取向于所述第一表面，为每根所述针提供给一种装置，用于响应于所述部分的所述屏幕显示的局部特性相对于所述第一表面移动所述针。
19．权利要求18中的方法，其中所述特性为亮度。
20．权利要求19中的方法，其中所述针使其伸长以响应减小了的亮度，使其缩进以响应增加了的亮度。
21．权利要求18中的方法，其中所述特性为颜色。
22．权利要求21中的方法，其中所述针移动到一种程度以对应于所述颜色的一种亮度，以一种频率移动以响应所述颜色的一种色调。
23．权利要求18中的方法，其中所述接口设备进一步包括(ⅴ)输入装置，其方法进一步包括步骤(e)激发所述输入装置以改变与其中一个所述针相关联的局部特性。
24．权利要求23中的方法，其中所述显示区包括准点，与所述改变了的局部特性相关联的所述针基本上位于所述准点。
25．权利要求24中的方法，其中所述显示区具有一个隅角，所述准点基本上位于所述隅角。
26．权利要求24中的方法，其中所述显示区具有一个中心，所述准点基本上位于所述中心。
27．权利要求11中的方法，其中所述输入设备进一步包括(ⅴ)输入装置；且其中所述部分的屏幕显示相对于屏幕显示具有一定范围；其方法进一步包括步骤(d)激发所述输入装置以改变所述范围。
全文摘要
为盲人用户设计的计算机鼠标(10)及其使用方法。该鼠标在其上表面(14)有一显示区(20),计算机屏幕显示的一部分在其上以触觉形式(例如以一个针列(22)的高低数目的形式)再现。单色显示由针的高度编码。彩色显示可用各种方式编码。优选方案为,亮度由针的垂直运动范围编码,色彩由针的运动频率编码。盲人用户通过在鼠标垫上运动鼠标并感觉针的相对高度和频率来扫描屏幕显示。
文档编号G09G5/08GK1286786SQ97182510
公开日2001年3月7日 申请日期1997年12月25日 优先权日1997年12月25日
发明者罗曼·高兹曼, 艾格·卡拉辛, 德米特里·柔森布鲁姆 申请人:维尔塔奇有限公司