专利名称：一种虚拟键盘系统的制作方法
技术领域：
本发明涉及应用电子技术领域，尤其涉及光电技术及图像处理技术的应用方法。
背景技术：
键盘(Keyboard)是一种被广泛应用的电子器件，作为一种最广泛使用的 电子器件，常见的键盘一般由以下几部分组成1、多个压力敏感的开关器件， 其个数取决于输入元素的数目和编码的方式；2、可选的处理单元；3、输出接 口。使用键盘时，用户用手指按压压力敏感的开关器件，使此开关器件形成脉 冲电信号；而输出接口用于将脉冲电信号转换成外部系统(例如计算机主机) 所需的信号；处理单元是可选的，如果输入元素非常简单，则可以没有处理单 元，否则需要处理单元将压力敏感开关器件形成的脉冲电信号变换成所需的输 入元素。
举个简单键盘的例子普通手机上的键盘由上下两层印有碳膜的胶片组成。 上层胶片上印有0-9、 *、 #、拨打键、挂机键共14个输入字符，印有输入字符 的每个位置在胶片的下表面涂有多 。下层胶片则是一整片上表面导电的胶片。 两片胶片与手机的处理板共通过15条导线相连，其中14条导线分别接到上层 胶片14个输入字符下表面处的碳膜上，第15条导线是地线，接到下层胶片导 电层上。平时上下两层胶片由于胶片的弹性不会接触，当用户用手指按压印有 输入宇符的部位，上层胶片会被按压接触到下层胶片，由于碳膜接触导电，使 对应于该输入字符的导线与地线接通，手机的处理板就知道用户按了哪一个键。 这种键盘没有处理单元，输出接口也简化成对于每个输入元素只有导线的接通 和中断两种情况。
再举个复杂键盘的例子普通电脑的键盘由以下部件组成1)84个或104 个压力敏感的常开开关、2)上下两层的纵横导线组成的扫描电路、3辨盘处理单 元、4)与机算机主机相连的6芯鍵盘输出接口。在104个开关表面上印有字母A-Z、数字0-9、以及一些功能键如换档键SfflFT、控制字符键CTRL等等。当 用户希望输入字母a时，用户将开关表面上印有字母A的开关按下，这样会导 致上下两层的纵横导线组成的扫描电路中的某一个点处于接通状态，键盘处理 单元根据接通的纵、横两个位置判断字母A所在开关被按下，处理单元形成输 入字符"a"，最后，此输入字符"a，，通过与计算机主机相连的6芯键盘输出接口 ， 以串行编码方式将8位长的2进制编码发送给计算机主机。
但是以上所述的键盘存在以下的缺点(l)必须根据所输入的内容制作固定 数量的开关器件，键盘是为输入内容定制的，相互不能通用。越复杂的输入内 容所需的器件越多、成本也越高。例如手机只需要输入数字、*、 #、拨打和挂 机这14个元素，手机的键盘就必须有14个开关器件；计算机需要输入大小写 字母、数字、标点符号和控制字符，但是制作250多个开关的器件成本高且使 用不便，因此通过利用制定输入规则(可使用大小写开关切换、组合使用换档 键SHIFT、控制键CTRL和字母与数字)将开关缩减到了 84至104个。为手机 设计出的键盘与为计算机设计出的4建盘相互之间相差太大而不能通用；(2)由于 输入内容限定了开关器件个数和使用习惯的原因，键盘将这些开关器件排列出 的位置也形成了固定大小和形状的部件，形成对键盘放置的要求并限制了产品 的形状设计的自由度。例如手初4建盘是一块4-5厘米长、3-4厘米宽的输入区域， 手才几的设计必须满足这个输入区域的要求，因此手机的4建盘输入平面成为手机 形状设计的一个难以克服的困难；而计算机输盘则是一个30厘米长、15厘米宽 的输入区域，导致计算机无论放置在何处，都需要专门的一个放置键盘的区域。
除了上述的常规键盘之外，后来又发展出一种通用型的触摸屏键盘，通用 型触摸屏键盘不同于常规键盘为应用于固定输入内容而定制、开关器件数量固 定的^t式。触摸屏一般有几种档次，每种档次具有一定程度的通用性，例如， 为PDA提供的触摸屏提供320*240个具备压力敏感的点，具体触摸到这320*240 个点中的某个或某些点代表输入什么内容通过软件来处理。比如PDA会先在屏 幕上显示出一个键盘的图案，用户在显示出来的键盘上按对应的区域。使用触 摸屏键盘的缺点在于触摸屏必须结合显示屏一起使用；另 一个缺点则是触摸屏 由于透明度要求的原因对材质要求高，目前构成触摸屏的材料在使用中不停物 理接触的情况下，经常会在比较短的时间内失效，给应用带来较大不便。
另外，以上键盘都是通过物理接触来实现输入过程，用户无法离开键盘进 行输入，对用户在使用中造成了不便。
发明内容
由于现有键盘的实现技术造成的普通键盘形状及结构固定，不同系统之间
的键盘不通用；或者如触摸屏键盘安装限制严格且容易失效，并且解决对用户 在使用中无法离开键盘的问题，本发明提供一种实现虚拟键盘的技术方案。
本发明的技术方案是实现一种没有实体形状的键盘。它是由镜头、模数 转换器、处理单元组成，镜头和模数转换器用于拾取图像信号和将图像信号转 换成数字信号，处理单元通过对相邻时间片获取的图像数字信号进行对比，识 别出变化图像所表示的输入意愿并根据内部的对照表转换成输入事件。
相对于现有技术，本发明的有益效果是首先，本发明不存在实体形状的 键盘，因此解决了形状固定、不通用和不灵活的缺点，可适用于作为包括手机 键盘、计算机主机键盘、小区门铃键盘、自动售货机选货键盘等几乎所有传统 键盘的适用范围；同时本发明可选的输出接口转换单元也保证了替换键盘之后 对原有连接传统4建盘的其他系统无需作改动，因此对原有其他系统的改造工作 量和技术难度都很小。同时，本发明还解决了触摸式键盘必须结合显示屏使用 和存在物理接触易失效的缺点，本发明的键盘无需物理接触、没有损耗，产品 寿命长；并且因为没有物理接触，用户在进行操作输入的时候，对用户与键盘 的距离没有要求，因此用户可以躺在床上操作键盘输入、或者在跑步机一边运 动-、边使用。
图1是虚拟键盘系统和包含输入输出示意的简单结构框图； 图2是本发明原型系统所使用的背景在完成后的效果示意具体实施例方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为虚拟键盘系统结构示意图，它由镜头S1、模数转换器S2、处理单元
S3等几部分组成。
在本发明原型系统中使用的镜头Sl和模数转换器S2是一款将镜头Sl和模 数转换器S2组装在一起的个人计算机用35万像素USB接口的摄像头，这款摄 像头上的镜头部分是单片凸透镜，能够将摄像头面对的外界光线汇聚投影到摄 像头内部的一个2毫米乘2毫米的区域内，在该区域内放置了一片模数转换器 CCD ( CCD是光电模数转换的一种类型，CCD是英文Charge Coupled Device即 电荷耦合器件的缩写)，能够将摄像头接收到的光线转换成数字图像信息；本发 明原型系统中使用的处理单元S3是一款普通的个人计算机，在上面运行有自己 开发的虚拟键盘处理单元软件。
本发明原型系统在使用前，还需要以下配合(l)明亮的环境；(2)—个纯色 的平面作为背景，在本例中使用了 40厘米乘40厘米的正方形白色桌面，在桌 面用淡色铅笔细线将40厘米乘40厘米的桌面划分成4乘4的16个正方形区域， 并用淡色铅笔从左至右、从上至下标上0-9、 *、 #、回退、摘机、结束、重拨， 完成效果请参阅图2; (3)摄像头固定支架，用于在白色桌面划分区域的正中位置 的正上方半米处固定，使摄像头正好能够将桌面划分区域的位置完全充满采集 到的数字图像信息而区域外的部分不在数字图像信息范围内(因为摄像头取到 的图像是长方形，所以在正方形区域外还有些也会进入摄像头釆集范围，按照 正方形区域正好对准摄像头采集范围的左下角即可)；(4)黑色IO厘米直径的圆 形杯垫一块，用于摆放在白色桌面不同位置上形成图像的变化，为了方便移动， 杯垫上用胶带固定了一根50厘米长的细铁丝，可手拿细铁丝将杯垫放置到桌面 的任意区域而且手不会出现的摄像头采集到的图像中；(5)另一个调试软件，随 时打印出虛拟键盘处理单元软件输出的信息，用于检验本发明输出的效果；(6) 一个有毫秒显示的运动秒表，用于控制输入的速度以便和虚拟键盘处理单元S3 的单位时间进行同步，在运行前预先和处理单元S3的时钟调准成两者误差不超 过100毫秒。
本发明原型系统使用前，还需要在作为处理单元S3的虚拟4建盘处理单元软 件上设置以下参数(l)图像采集单位时长1000ms(毫秒)；(2)图傳 隊素采集范 围(0,0)-(479,479); (3)图像允许抖动范围:0%; (4)图像变形范围0%; (5)图 像阈值0.6; (6)触发模式O(常亮模式);(7)坐标元素范围:
-[3,3](向右 往X轴正方向，向上往Y轴正方向)；(8)坐标元素变换矩阵(0，0)-> '*， ，(0，1)-> '0， ，(0，2)-> '#， ，(0，3)-> 'Talk， ，(l,O)画〉'7， ，(U)-〉 '8， ，(1,2)-> '9， ，(1,3)->
'End' ，(2，0)-> '4， ， (2,1)-> '5, , (2,2)-> '6， ， (2,3)-> 'Redial， ， (3,0)-> '1，， (3，1)-> '2， ,(3，2)-> '3， ,(3，3)國> 'AH， OH是一个控制字符，功能是回退一个 字符)。
使用本发明原型系统时，用户手持固定在杯垫上的细铁丝，在运动秒表刚 显示新的一秒时，立即将杯垫放入桌面划分好的16个区域中某一个区域，并在 下一个一秒到来时，再移动到另一个区域或者保持不变。此时在另一台计算机 上可以看到每秒钟会打印出 一个内容。
为了便于对本发明进一步理解，下面结合本发明的具体实施方式
对本发明 进行详细描述。
(101) 首先，在第O秒开始时，照射到白色桌面上的光线会发生漫反射， 其中一些光线到达摄像头的镜头Sl处并投影到CCD S2上，形成了一个640乘 480像素的数字图像信息，然后此数字图像信息被个人计算机S3上的虚拟键盘 处理程序接收到，虚拟键盘处理程序第一步首先检查时钟信息是否是一秒的开 始，确定是一秒开始的时候，虚拟键盘处理程序就将数字图像信息读入并开始 进一步的处理，处理的第二步是根据设置的参数"图像像素采集范围" (0,0)-(479，479)将640乘480的图像截出正方形的部分；处理的第三步是根据设 置的"坐标元素范围"
-[3,3],计算出每个坐标元素对应于实际图像的范围， 公式是(479+1)/(3+1)=120,即每120乘120个像素对应于一个坐标元素；处理的 第四步是将各个坐标元素内所有像素的亮度进行累加，即将图像从左下角(O，O) 到右上角(119,119)的所有像素亮度累加值放到坐标元素[O，O]中，图像从左下角 (0,120)到右上角(119,239)的所有像素亮度累加值放到坐标元素
中，依此类 推；处理的第五步是根据设置的"图像阈值，，0.6，将所有亮度累加值小于120 乘120乘0.6的坐标元素设置为0,而将所有亮度累加值大于120乘120乘0.6 的坐标元素设置为1。因为此时全部是白色区域，所有的坐标元素的取值结果都 为1。
(102) 因为是第一次读取到坐标元素，处理程序将
-[3，3]共16个坐标 元素的值保存为当前值。
(103) 当用户在第1秒开始时将杯垫移动到桌面某一区域例如区域"1" 时，照射到白色桌面和黑色杯垫上的光线同样会发生漫反射，同样的，光线到 达摄像头的镜头Sl处并投影到CCDS2上，形成了一个640乘480像素的数字 图像信息，然后此数字图像信息被个人计算机S3上的虚拟键盘处理程序接收到，
虚拟4建盘处理程序根据与(101 )同样的五步处理步骤将信息保存到坐标元素中，
但是与步骤(101)不同的是，坐标元素[3,0]因为放置黑色杯垫的关系，亮度累 加值减小了，因此在第五步处理的时候，坐标元素[3,0]的取值变成了 0，其他坐 标元素的取值仍然都是l。
(104) 虚拟键盘处理程序将
-[3,3]共16个坐标元素与第(102)步骤保 存的当前值进行比较，确定了坐标元素[3,0]的值从1变为0，此时虚拟键盘处理 程序进一步根据设置的"触发模式"0(常亮模式)判断出坐标元素[3,0]的值从 1变为O发生了有效的变化。
(105) 判断完成之后，虚拟键盘处理程序丟弃原来保存的当前值，将
-[3,3]共16个坐标元素的值保存为新的当前值。
(106) 虛拟键盘处理程序根据设置的"坐标元素变换矩阵"和(104)步判断 得到的[3，0]坐标元素值发生变化的结果，查找到坐标元素[3,0]对应的字符是'1，。
(107) 虚拟键盘处理程序将(106)步查找得到的字符T输出到调试程序。
(108) 调试程序读取输入信号并打印输出，在屏幕上显示了字符'r。
(109) 与第(103)步骤类似，在下一秒开始时刻，用户将杯垫移动到桌面某 一区域例如区域"回退"，照射到白色桌面和黑色杯垫上的光线同样会发生漫反 射，同样的，光线到达摄像头的镜头Sl处并投影到CCD S2上，形成了一个640 乘480像素的数字图像信息，然后此数字图像信息被个人计算机S3上的虚拟键 盘处理程序接收到，虛拟键盘处理程序根据同样的四步处理步骤将信息保存到 坐标元素中，但是与步骤(103) ^同的是，坐标元素[3,0]因为黑色杯垫被取走 的关系，亮度累加值增加了，而坐标元素[3,3]因为放置黑色杯垫的关系，亮度累 加值减小了，因此在第五步处理的时候，坐标元素[3，0]的取值变成了 1，坐标元 素[3，3]的取值变成了 0,其他坐标元素的取值仍然都是l。
(110) 与第(104)步骤类似，虚拟键盘处理程序将
-[3,3]共16个坐标 元素与第(102)步骤保存的当前值进行比较，确定了坐标元素[3,0]的值从0变 为1和坐标元素[3,3]的值从1变为0，此时虚拟键盘处理程序进一步才艮据设置的
"触发模式"0(常亮模式)判断出坐标元素[3，0]的值从0变为l发生的变化无 效被忽略，而坐标元素[3，3]的值从1变为O发生了有效的变化。
(111) 判断完成之后，虛拟键盘处理程序丟弃原来保存的当前值，将-[3,3]共16个坐标元素的值保存为新的当前值。
(112) 虚拟键盘处理程序根据设置的"坐标元素变换矩阵"，查找到坐标 元素[3，3]对应的字符是'八H，。
(113) 虚拟键盘处理程序将字符'AH，输出到调试程序。
(114) 调试程序读取输入信号并打印输出，在屏幕上输出字符'AH，，这 个字符是控制字符，看到的效果是光标往前移动了一格，并清除了第(108)步 显示的字符T。
(115) 用户重复步骤(109)到(114),但是在重复做步骤(109)的时候， 可根据用户的想法将杯垫放在16个区域中的任一位置，每一次放置，在调试程 序都可以看到输出了字符，且字符的内容与杯垫所放置的区域所标示的内容相 同。
以上就是本发明原型系统的全部过程及步骤介绍。为了降低验证的成本， 组成本发明原型系统的所有硬件设备都是使用的现阶段电子市场已有的设备， 只有虚拟键盘处理单元软件是自行开发。原型系统的开发成功证实了本发明在 技术上是可行的，新型键盘完全可以用上述介绍中相同的材料、原理和步骤重 复本发明的系统。
在本发明原型系统中，由于使用的处理单元S3是一款普通的个人计算机， 体积较大，携带不便，如果完全按照原型系统进行制造，本发明的实用性很差， 因此在用原型系统验证本发明可行后，发明人又设计组装了本发明原型系统改 进型1号，使用的镜头Sl和模数转换器S2是一款将镜头Sl和模数转换器S2 组装在一起的个人计算机用35万像素蓝牙接口的摄像头，同时为了验证本发明 的通用性，增加了输出接口转换单元，在处理单元S3上安装了 USB-蓝牙转换 器，并用支持蓝牙的手持式PDA (个人数字助理)来接收信息进行检验，经过 试验，用户可以非常容易地携带蓝牙接口的摄像头和手持式PDA在房间之间放 置和使用本发明系统，而作为处理单元S3的个人计算机可放置在原来的位置不 动。
进一步的改进体现在本发明原型系统改进型2号，改进型2号的硬件与改 进型1号相同，区别在于作为处理单元S3的个人计算机上面的程序进行了改进， 新的程序使用了图像异或计算方法，将接收到的640乘480像素的图像与前一
秒钟接收到的640乘480像素的图像按照相同坐标的原则逐个点的亮度值进行 相减，这样当同一区域的两次图像没有变化时，相减后的结果累加值很小，而 两次图像有变化时(杯垫放入或取走)，相减后的结果累加值很大，使用这样改 进后的程序无需用白色桌面作为背景，而是可以使用任意的背景，比如墙壁、 地板、床单，都可以，大大扩大了使用范围。
类似的改进还体现在本发明原型系统改进型3号，改进型3号的硬件与改 进型1号相同，区别在于作为处理单元S3的个人计算机上面的程序在改进型2 号的基础上进一步得到改进，新的程序使用了图像区域匹配算法，根据设置"图 像允许抖动范围，，的取值，按从小到大的偏移取值、先从左到右、再从上到下， 依次将接收到的640乘480像素的图像与前一秒钟接收到的640乘480像素计 算出交集区域，再将交集内的图像逐个点的亮度值进行相减，并将交集区域内 的所有点的相减值结果累加，并取多个结果中总和最小的结果，此结果对应的 图像横向偏移和纵向偏移就是两幅图像的偏移值。只要将当前图像按照图像横 向偏移值和纵向偏移值进行平移，就可以将当前图像还原成未发生偏移时的图 像。使用这样改进后的程序用户无需将摄像头固定在墙上或桌上，而是可以戴 在头上，并在任意的背景，比如墙壁、地板、床单、桌面等，都可以使用，进 一步扩大了使用范围和实用性。
其他的改进思路还有通过简化背景的方法来降低对处理单元S3的要求，因 为图像处理包括匹配、旋转、平移等操作都是运算量^L大的算法，所以通过简 化前景，例如使用纯色红光等作为背景的边界，还有使用16个高亮度的激光点 而不是16块区域进行判断，可以使虛拟键盘处理程序在还原变形及偏移的图像 时、以及判断图像是否有变化时的运算量减少很多，甚至完全可以使用集成度 很高的单片机来实现程序功能。这样改进后的系统，完全可以将镜头Sl、模数 转换器S2、处理单元S3集成到一个非常小的程度，并增加输出接口转换单元如 蓝牙接口，总体积小到可以安装在眼镜镜框、手表链、发夹、项链等随身物品 上，使键盘完全脱离形状限制，成为个性化和所有人都乐于使用的新型器件。
以上所述仅是本发明的几种最简实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润
饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1、一种没有固定形状的键盘，其特征在于，包括步骤(A)所述系统由镜头、模数转换器、处理单元组成；(B)镜头和模数转换器将镜头接收范围内接收到的电磁波转换成数字图像信号；(C)处理单元以单位时间间隔接收镜头和模数转换器得到的数字图像信号，并通过比较相邻时间的两幅图像判断图像的变化部分；(D)处理单元根据图像变化部分，查找所述系统内部保存的位置与输入事件的对照表，将位置转换成输入事件。
2、 根据权利要求1所述的系统，其特征在于，所述系统中不包含在进行输入搡 作时必须与使用者进行物理接触的部件；
3、 根据权利要求1所述的系统，其特征在于，所述步骤B中使用能通过镜头并 在模数转换器上转换为数字图像信号的可见光、红外线、紫外线等各种波长的 电磁波；电磁波通过光电模数转换器转换为数字图像信号；
4、 根据权利要求1所述的系统，其特征在于，所述步骤C中处理单元以单位时 间为间隔获取镜头及模数转换器得到的数字图像信号，并对比所得到的时间相 邻的连续图像，判断出连续图像之间是否发生了变化、以及图像发生变化时得 到变化所在部分的位置信息；
5、 根据权利要求1所述的系统，其特征还在于，所述步骤C中在相邻两幅图像 之间允许镜头相对于镜头接收的图像范围或镜头接收的图像范围相对于镜头发 生较小偏移，并且镜头接收范围内即图像内部各区域之间也允许发生较小偏移， 处理单元通过对图像进行最大匹配消除镜头和图像的偏移影响将前后两幅图像 的位置还原。且镜头允许的偏移量范围可配置以适应从静态到动态不同的使用 环境；
6、 根据权利要求1所述的系统，其特征还在于，所述步骤C里为了降低处理单 元的处理速度和精度要求，可在镜头接收范围即图像的范围内使用高对比度标 记，处理单元可以通过检查高对比度标记点来校准镜头发生的偏移；并且可以 仅以高对比度标记点的变化作为图像中变化判断的依据；
7、 根据权利要求1所述的系统，其特征还在于，通过模数转换后的数字图像信 息精度存在很多不相同的干扰信息，所述步骤C中通过采用一个取值范围来进 行判断，仅当超出取值范围的变化才被认为图像中发生变化，且此取值范围可 以配置；
8、 根据权利要求1所述的系统，其特征还在于，所述步骤D中位置与输入事件 的对照表可以配置；
9、 根据权利要求1所述的系统，其特征还在于，所述系统的三部分，可在物理 上组合在一起，也可不组合在一起而通过无线通信装置相连，将镜头、模数转 换器组合在一起作为重量轻^更、可随身携带的部件，而处理单元^f吏用功能强大、 非便携的器件实现；
10、 根据权利要求1所述的系统，其特征还在于，当处理单元输出的输入事件 信号格式不能被其他设备直接使用时，可增加输出接口转换单元将处理单元形 成的输入数据转换成所需的接口形式提供给其他设备或部件使用。
全文摘要
本发明实现一种没有实体形状的键盘。它是由镜头、模数转换器、处理单元组成，镜头和模数转换器用于拾取图像信号和将图像信号转换成数字图像信号，处理单元通过对相邻时间片获取的数字图像信号进行对比，识别出变化图像所表示的输入意愿并根据内部的对照表转换成输入事件。这种键盘不受形状限制，可以在任意环境使用并定制输入内容，便携性好、通用性强。
文档编号G06F3/01GK101359250SQ20071007538
公开日2009年2月4日 申请日期2007年8月3日 优先权日2007年8月3日
发明者前 俞, 实 苗 申请人:俞 前;苗 实