专利名称：红外线与双摄像头结合的多点定位触摸装置及方法
红外线与双摄像头结合的多点定位触^莫装置及方法
技术领域：
本发明涉及显示屏领域，特别涉及红外线与双摄像头结合的多点定位触摸 装置及方法。
背景技术：
电子触摸技术给人机交互方式提供了极大的方便，技术上也提供了多种解 决方法，而且性能和可靠性也在不断的完善。目前市场上常见的电子触摸技术
有两种方式:一种是^皮动方式，利用电阻、电容、红外扫描技术，特点是不需经
过特珠制作的电子笔即可实现触摸定位；另外一种是主动方式，如电磁定位、
超声波定位，这种方式需要经过特殊制作的电子笔才能实现触摸定位， 一旦笔 丢失或损坏，整个定位系统就没法工作。随着电子触"J莫技术的不断发展，红外 扫描定位技术有其独特的优势，例如与电阻、电容定位相比，可以做到完全的
透光性，耐磨性；与电磁定位、超声波定位技术相比，红外定位技术无需使用 特殊电子笔，使用方便；除此以外，红外定位技术还能4艮便捷的应用在大尺寸 触摸屏，可应用于背才更电视、前投影机或PDP/LCD显示设备中。
虽然红外定位技术有诸多的优点，但是现有的红外定位技术，通常是通过 红外发射管和红外接收管形成的纵横交叉的红外网，实现触摸定位。其只能实 现单点定位，用一个手指操作触摸屏，其本质上只是代替了传统的鼠标、键盘 等输入设备，没能实现准确的多点定位，多个手指同时操作主机甚至是多人同 时操作主4儿的应用。
发明内容
本发明提供了一种结构筒单，响应速度快、可靠性高的支持多点触摸的红外线与双摄像头结合的多点定位触摸装置及方法。
为达到上述目的，本发明采用了如下技术方案
红外线与双摄像头结合的多点定位触摸装置，它包括红外扫描模块、吸光 带、摄像头模块及主控制模块.
所述红外扫描模块，包括红外发射模块和红外接收模块，其中红外发射模 块与接收模块配对使用，在横纵两方向上形成光栅扫描网，即书写平面，书写 平面平4于于显示屏幕。
所述摄像头模块，包括两个摄像头，其放置在触摸屏较长边的发射模块上， 镜头的光轴中心线平行于书写平面或在书写平面内，一个摄像头拍摄到一部分 的显示区域，尤其是拍摄到该区域的吸光带，另一个摄像头拍摄剩下的另一部 分显示区域，尤其是拍摄到该区域的吸光带，两个摄像头拍摄区域的总和覆盖 吸光带的全部，摄像头模块用于检测在书写平面内所有触摸物的位置信息、颜 色和大小。此外，摄像装置的镜头的光轴中心线最好平行于所述红外扫描网构 成的平面，或者该光轴中心线可直接位于该平面内。其取景取包含整个吸光带 的高度即可，数据量非常小。
所述吸光带，放置在除摄像头模块所放置的触摸屏边外的其余三边上，其 吸收包括红外发射模块发射的红外光，以及其他可见光。
所述主控制模块，控制整个系统的运行，收集红外接收模块采集的触摸数 据，及摄像头模块采集的触摸物数据，最后综合计算出实际的触摸物坐标、颜 色和大小，并发送给主机设备，或者将采集的所有或部分数据发送给主机设备， 由主机设备计算实际的触摸坐标、颜色和大小。
所述触"^物，其颜色可以为除黑色以外的其他颜色。
红外线与双摄像头结合的多点定位触摸方法，包括步骤
步骤S101:启动红外扫描，在有触摸物存在情况下，记录被触摸物遮挡的 红外接收管的位置信息；
步骤S102:通过摄像头模块拍摄整个吸光带的图像，对所述触摸物所在的角度信息进行分析；
步骤S103:根据步骤S101和步骤S102分析出实际触摸物的数据信息； 步骤S104:重复步骤SIOI至步骤S103。 其中步骤S101 、步骤S102可交换顺序或同步进4亍_
该方法步骤S102中将触摸屏划分为两个区域，该两个摄像头分别对两个区 域进行拍摄。综合分析两摄像头所拍摄的图片，在有触摸物存在的情况下，根 据所述图片中触摸物反射光形成的亮条紋处在吸光带的位荒关系，分析所述触 摸物的角度信息；根据步骤SIOI所述位置信息，得出所有的可能的触摸点的位 置组合，并结合所述步骤S102中的角度信息，分析出实际触摸物的数据信息， 所述数据信息包括实际触摸物的触摸点的坐标信息；
上述步骤S101判断是否存在触摸物的方式可以是
根据红外接收管是否检测到信号来判断是否具有遮档物，若没有检测到任 何信号，则可判定在这对红外发射接收管之.间存在遮挡物并记录^前的铺I 信息。
或，在首次使用时，先进行一次红外扫描，记录无触摸物状态下的红外接 收管检测到的信号强度。再次启动红外扫描时，根据红外接收管所接收到的信 号，计算出该信号相对于所述记录的信号强度值的变化值，若变化值大于或者 等于预定值，则判定存在遮档触摸物，并记录当前的位置信息。
本发明与现有技术对比具有以下有益效果
本发明的触摸屏装置，其同时利用了红外扫描才莫块的红外扫描技术以及才聂 像装置的图像摄制技术，并结合这两种技术对触摸物进行分析，既支持单点触 摸，也支持多点触摸，可以多人同时操作，结构简单、响应速度快、适用性广 且可靠性高。
本发明应用上述触摸屏装置的定位方法，其采用红外扫描为主，摄像采集 为辅，响应速度快，且稳定可靠；同时支持单点触4菱和多点触^^,且由于可采 集触摸物的颜色以及大小信息，可以分别跟踪每个触摸点，从而可以对不同的
6触摸物做出的同一个触摸动作做出不同的响应，使应用变得更灵活、生动；适 用性广，可应用于平板电视、前投、背投等系统，特别适用于大屏幕显示系统。
图l是本发明实施例的触摸屏装置的结构示意图； 图2是本发明实施例的触摸屏装置定位方法流程示意图； 图3是本发明实施例红外扫描模块扫描多点触摸示意图； 图4是本发明实施例分区示意图5是本发明实施例红外扫描模块结合4聂像装置所采集的多点触摸示意图； 图6是本发明实施例摄像装置拍摄方法示意图。
具体实施方式
参见图l所示，是本发明实施例的触摸屏装置的结构示意图，如图所示，101 是纵向的红外发射模块，102是横向的红外发射模块，103是纵向的红外接收模 块，104是横向的红外接收模块，101， 102， 103与104共同组成本发明中的红外扫 描模块，105是摄像头1、 106是摄像头2， 107是吸光带1， 108是吸光带2， 109是 吸光带3。此外，110, lll是一对纵向方向上的配对红外管，U2, 113是一对横 向方向上的配对红外管，114，115是纵向和一黄向的红外扫描线，其中，所有的纵 向红外扫描线几乎平行，所有的4黄向扫描线几乎平行，由才黄、纵两个方向的红 外扫描线组成了红外扫描网。
其中，摄像装置其放置在触4莫屏较长边的发射模块上，镜头的光轴中心线 平行于书写平面或在书写平面内， 一个摄^象头拍摄到一部分的显示区域，尤其
是拍摄到该区域的吸光带，另一个摄像头拍摄剩下的另一部分显示区域，尤其 是拍摄到该区域的吸光带，两个摄像头拍摄区域的总和覆盖吸光带的全部，本 实施例优选将两个摄像头放置在触摸屏较长边的发射模块中央处。此外，摄像 装置的镜头的光轴中心线最好平^f于所述红外扫描网构成的平面，或者该光轴 中心线可直接4立于该平面内。其中，用于触摸的触摸物颜色为除黑色以外的其他颜色，避免其吸收光线， 无法产生在拍摄图片中形成亮条紋所需的反射光。
参见图2所示，为本发明实施例的触4莫屏装置定位方法流程示意图，如图所
示，包括以下步骤
S201:启动红外扫描，在有触摸物存在的情况下，记录^:所述触^^物所遮 挡的红外接收管的位置信息；
S202:将触摸屏划分为左区域和右区域，摄像头l负责对左区域进行拍摄，摄 像头2负责对右区域进行拍摄；
S203:综合分析两摄像头所拍摄的图片，在有触摸物存在的情况下，根据所 述图片中触摸物反射光形成的亮条紋处在吸光带的位置关系，分析所述触摸物 的角度信息；
S204:根据步骤S201所述位置信息，得出所有的可能的触摸点的位置组合， 并结合所述步骤S203中的角度信息，分析出实际触摸物的数据信息，所述数据 信息包括 实际触摸物的触摸点的坐标信息；
S205:重复步骤S201至S204。
其中，所述步骤S201. S202可以交换顺序或者同步进行。 上述步骤S201判断是否存在触摸物的方式可以是
根据红外接收管是否检测到信号来判断是否具有遮档物，若没有检测到任 何信号，则可判定在这对红外发射接收管之间存在遮挡物，并记录该红外接收 管的位置信息；
或，在首次使用时，先进行一次红外扫描，记录无触摸物状态下的红外接 收管检测到的信号强度。再次启动红外扫描时，根据红外接收管所接收到的信 号，计算出该信号相对于所述记录的信号强度值的变化值，若变化值大于或者 等于预定值，则判定存在遮档触摸物，并记录该红外接收管的位置信息。
当只有一个触摸点时，横向和纵向的红外扫描线被遮挡，接收模块检测到 信号产生了变化，这样便唯一确定了两个扫描线的交点就是实际的触摸点；当 有N个(N大于或等于2)触摸点时，在横纵两方向上最少都能检测到N个遮挡点， 最多能检测W个触摸点，而仅仅根据遮挡点数据无法判断实际有多少个触摸点以及各触摸点的位置坐标，但能分析出所有可能的合理触摸点组合。
参见如图3所示，301、 304分别为两触摸点，按照红外模块扫描原理，接收 模块将在红外接收管305、 306、 307、 308处检测到红外信号变化，由此可判断 最多可能的触摸点为301、 302、 303、 304,但无法确定实际有多少个触摸点， 可能的组合有如下几种
1、301,304
2、302,303
3、301，303，304
4、301，302，304
5、301、302、303
6、302、303、304
7、301、302、303、 304
仅用红外扫描的方式是无法检测到实际的触摸点数。
参见图4所示，为本发明实施例的分区示意图。其中，401为触摸屏的区域 分界线，触摸屏分为A区域和B区域，摄像头1负责对落在A区域的触摸物进行拍 摄，摄像头2负责对落在B区域的触摸物进行拍摄。
参见如图5所示，是本发明实施例红外扫描模块结合摄像装置所采集的多点 触摸示意图。在同一个扫描周期内，摄像装置与红外扫描模块可以是同步工作 也可以是以先后顺序工作，4聂像装置从平行于红外扫描网的方向取景，取包含 整个吸光带的高度即可，数据量非常小。两个摄像头拍摄区域的总和覆盖吸光 带的全部，509是摄像头1所拍摄到的图片，510是摄像头2所拍摄到的图片。当 有触摸物触摸时，触摸物反射的光线被摄像头模块所拍摄，形成一幅以吸光带 作为背景色，含有触摸物反射的亮条纹图片。将该拍摄图片与无触摸物时拍摄 的背景色图片进行对比分析，根据所述图片中触摸物反射光形成的亮条紋501、 亮条紋502在吸光带中位置，提取触摸物的角度位置信息。
其中，角度位置的计算可以镜头光轴中心线为准，以偏离的角度计算，也 可以以其他任何以镜头为中心的线来作为计算基准，而选取的这些计算手段最 终都可换算成图中503、 504的角度信息。如图5所示，505. 506. 507. 508是通过红外扫描所得到的可能的触^莫物，505， 508是拍摄到的触摸物，从两幅图片中提取出触摸物的偏离角度、颜色、以及大 小，再结合红外扫描所得的结^,即可综合分析得出实际的触摸物有505，508， 排除了其他的可能。
为方便计算触摸物的实rr...'-、小，以镜头为中心将屏幕分成若干个扇形区， 在某一扇形区内拍摄同一大+的触摸物大小也相等。由于镜头的不同，在使用 前要建立实物大小与距离的查洵表或者计算公式。在分析出触摸物的坐标位置 后，可计算出各触摸物偏离镜头的距离，再通过查表或者计算得出触摸物的实 际大小。
如图6, 601是4黄纵两方向的红外扫描4莫块组成的红外扫描网平面，602是显 示设备平面，603是摄像头镜头1的广轴中心线，604是摄像头镜头2的广轴中心 线，它们均平行于红外扫描网平面或在这个平面内，605、 606是摄像头1的取景 范围，606、 607是摄像头2的取景范围，两个摄像头的总拍摄范围覆盖整个显示 设备，608是两个摄像头拍摄图片的高度，根据需要可以适当调整，609是放置 在A区域的触摸物，610是放置在B区域的触摸物，611是摄^象头1拍摄到的照片， 612是摄像头2拍摄到的照片，613是触摸物反射光在拍摄图片611中形成的亮条 紋，614是触摸物反射光在拍摄图片612中形成的亮条紋，根据触摸物离照片最 左端或最右端的距离查表或计算出触摸物的角度信息。这个计算过程可以是由 摄像头模块完成，摄像头模块将计算所得结果发送给主控制模块，也可以是摄 像头模块将所拍得的图片发送给主控制模块，由主控制模块执行计算的过程。
主控制模块根据红外接收模块所采集的触摸数据，以及该图片中所采集的 触摸物数据，综合计算出实际的触摸物的位置坐标、颜色以及大小，并发送给 主机设备，或者是主控制模块将所采集的上述触摸数据和触摸物数据发送给主 机设备，由主机设备计算出实际的触摸物的坐标、颜色以及大小。
根据触摸物的颜色以及大小等信息，主机设备可以对每个操作者的使用状 态进行单独的跟踪管理，比如:无缘的粗蓝色笔画出来的线是蓝色的粗线，用无 缘的细红色笔画出来的线是细红线，这使得在交互式的多媒体应用中显得更生 动、直观，且还可以应用于其他各场合。
10此外，由于在触摸屏的应用中，实时性的要求比较高，摄像失衮置的啄光 时间比较短，为了达到更好的拍摄效果，提高摄像装置的清晰度，可以采用以 下几种方案
1、 在无缘笔(相当于触摸物)上涂上高反光材料，即使戶!带高反光材料的触
摸物或者是在触摸物上使用高反光材料的配件，例如中空-'r、';笔套，从而笔套可 以方便地套在笔上或者手指上；
2、 为摄像装置增加外部辅助光源，有利于增强反射光， 根据本发明的定位方法，其可达到以下有益效果
1、 定位技术采用红外扫描为主，摄像采集为辅，响应速度快，且稳定可靠；
2、 同时支持单点触摸和多点触摸，且由于可采集触摸物的颜色以及大小信 息，可以分別跟踪每个触摸点，从而可以对不同的触摸物做出的同一个触摸动 作做出不同的响应，使应用变得更灵活、生动；
3、 适用性广，可应用于平板电视、前投、背投等系统，特别适用于大屏幕 显示系统。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在 本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明 的权利要求保护范围之内。
ii
权利要求
1、一种红外线与双摄像头结合的多点定位触摸装置，其包括配对使用的红外发射模块和红外接收模块，其特征在于，其进一步包括吸光带、摄像头模块及主控制模块，该摄像头模块包括两个摄像头，摄像头模块设置在可拍摄到整个吸光带的位置。
2、 如权利要求1所述的红外线与双摄像头结合的多点定位触摸装置，其特 征在于，该红外发射模块和红外接收模块在横纵两个方向上形成平行于显示屏 幕的光栅扫描网，该摄像头模块的镜头光轴中心线平行于该光冲册扫描网，或该 光轴中心线位于该光栅扫描网所在平面内。
3、 如权利要求2所述的红外线与双摄像头结合的多点定位触摸装置，其特 征在于，该两个摄像头放置在触摸屏的较长边上，该吸光带放置在触摸屏的其 余三边上，该两个摄像头拍摄区域的总和覆盖吸光带的全部。
4、 如权利要求1所述的红外线与双摄像头结合的多点定位触摸装置，其特 征在于，该装置的触摸物颜色采用除黑色外的任意其他颜色。
5、 如权利要求4所述的红外线与双摄像头结合的多点定位触摸装置，其特 征在于，该触摸物涂有高反光材料。
6、 如权利要求1或4所述的红外线与双对聂像头结合的多点定位触摸装置， 其特征在于，其进一步包括摄像装置的外部辅助光源。
7、 一种采用如4又利要求1~6所述的红外线与双摄<象头结合的多点定位触摸 方法，该方法包括步骤S101:在有触摸物存在情况下，记录纟皮触摸物遮挡的红 外接收管的位置信息；其特征在于，其还包括步骤S102:通过摄像头模块拍摄整个吸光带的图像，对所述触摸物所在的 角度信息进行分析；步骤S103:根据步骤S101和步骤S102分析出实际触摸物 的数据信息；步骤S104:重复步骤S101至步骤S103。
8、 如权利要求7所述的红外线与双摄像头结合的多点定位触摸方法，其特征在于，步骤S101、步骤S102可交换顺序或同步进^f亍。
9、 如权利要求7所述的红外线与双摄像头结合的多点定位触摸方法，其特 征在于，该方法中将触摸屏划分为两个区域，该两个摄像头分别对两个区域进 行拍摄。
10、 如权利要求7所述的红外线与双摄像头结合的多点定位触摸方法，其 特征在于，其进一步包括初始化步骤首次使用时先进行一次红外扫描，记录 无触摸物状态下的红外接收管检测到的信号强度作为对比参照值。
全文摘要
本发明公开了一种红外线与双摄像头结合的多点定位触摸装置及方法，其结合红外扫描模块的红外扫描技术与摄像装置的摄像技术，通过红外扫描技术初步获取触摸物的横向和纵向坐标值，以及，根据摄像装置所拍摄的触摸物反射光形成的亮条纹在以吸光带为背景的图片中位置，而提取的坐标角度信息，来确定实际的触摸点的坐标，结构简单、响应速度快、适用性广且可靠性高。
文档编号G06F3/042GK101581998SQ200910038490
公开日2009年11月18日 申请日期2009年4月8日 优先权日2009年4月8日
发明者周春景, 钟杰婷 申请人:广东威创视讯科技股份有限公司