专利名称：一种多点触摸定位方法
技术领域：
本发明涉及触摸屏图像定位技术，特别涉及一种多点触摸定位方法。
背景技术：
目前，触摸屏作为一种新型的交互显示设备，其应用范围越来越广泛，在 触摸屏行业内，大屏通常使用红外定位技术，但该技术在多点的实现与智能化 方面有着诸多无法逾越的技术难点，比如说通过红外定位确定屏幕上的两个操
作点时，则存在两个X轴坐标、两个Y轴坐标，如何匹配这两个操作点坐标 便成了红外定位智能化的难点之一，当操作点为多个时，该难点就更明显；其 难点之二是，在无源笔的情况下，若几个用户各拿着不同色的笔在屏幕上操作， 这时将无法判断哪一个用户用什么颜色的笔，特别是在电子沙盘等对战模式 下；同时，当有两个或两个以上的操作点在屏幕上移动时，单采用红外定位是 无法判断哪一个用户在操作的，这是红外定位智能化的又一难点。而在电容压 膜方式的触摸屏设备中，虽然解决了多点触摸的问题，但其实现的屏幕大小却 受到了限制，据乐观估计在二年内可能可以解决12寸大小屏幕的多点触摸问 题，可是对大屏在短时间内仍无法解决。
目前较好的一种方案是采用摄像头实现大屏定位，该方案可分为后定位和 前定位两种形式，但仍存在着很多不足之处，后定位在智能化方向还差一歩， 且对液晶屏、电子屏等有所限制，而前定位采用的投影技术是通过荧屏上出现 的操作位缺角来进行定位，这样使得用户视角效果等都不理想。
因此，同时增加交互式设备的智能化程度，增强用户对交互式设备智能化 的识别能力也就成为了嵌入式系统发展的当务之急。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种多点触摸定位方法，该方法实现了多点触摸的精确定位，提升了设备的智能化，方便用户对应 用软件的操作。
本发明通过以下技术方案实现 一种多点触摸定位方法，通过摄像头的智 能化分析与红外定位相结合，实现屏幕上多点触摸操作的定位，具体包括以下 步骤
(1) 设备硬件层中，摄像头监控屏幕，实时采集进入屏幕的图像信息并 将其送至主控单元的图像识别模块进行分析；同时红外定位设备分别采集X 轴上的图像坐标数据和Y轴上的图像坐标数据；
(2) 根据图像识别模块对摄像头采集到的图像信息的分析结果和红外定 位设备采集到的X轴坐标数据和Y轴坐标数据，主控单元的协调分析模块、 操作点组合分析模块和笔色分析模块依次进行操作点坐标配对、操作点分组管 理以及操作点信息编码；
(3) 硬件设备层的通讯发射单元将得到的编码信息发送至驱动软件层；
(4) 驱动软件层的通讯接收单元接收编码信息后，先对其进行信息正确 性的校验及错误纠正，然后送至分析服务单元进行解码，解码后的信息通过消 息触发接口发送至应用软件层；
(5) 应用软件层接收信息后，在相应的位置绘制菜单。 其中，步骤(2)具体为
(2-1)图像识别模块对摄像头采集到的图像信息进行分析，通过拍摄到 的各操作点位置确定各操作点之间的相对位置关系，通过分析屏幕前的人头数 和屏幕上的手臂数对各操作点进行分组，通过分析操作点的笔头色彩提取相近 的色彩值，即在28中色彩值中最接近的色彩值，例如出厂定义时白色的笔 为RGB (255， 255， 255)，灰色的笔为RGB (150， 150， 150)，若用户使用 的笔在色彩检査后得到的色彩值为RGB (254， 254， 254) RGB (225， 225， 225)之间的一个色彩值，则对其笔头色彩提取后，认为用户的这时使用的是 白色的笔进行标注，该色彩值为RGB (255， 255， 255);
(2-2)综合各操作点的相对位置关系以及红外定位设备采集到的X轴坐 标数据和Y轴坐标数据，协调分析模块进行操作点坐标配对，得到各操作点的坐标值；
(2-3)综合操作点的分组情况以及各操作点的坐标值，操作点组合分析 模块对操作点进行分组管理，判断同一组内的操作点是否为组合性操作，明确 操作者的操作方式；
(2-4)明确操作者的操作方式后，结合智能化图像识别模块提取的笔头 色彩值，对屏幕上的操作点坐标、操作方式及笔色属性的信息进行编码，形成 通讯用的编码信息。
步骤(2-1)中所述28种色彩值为系统出厂时默认设定的色彩值，28种色 彩值也可根据具体情况进行增减，其对应各色彩值的取值范围为RGB (0， 0， 0) RGB (255， 255， 255)。
步骤(2-3)中所述操作者的操作方式为单击选定或指定组合功能动作， 所述指定组合功能动作包括縮放、旋转和移动等。
以上步骤中，图像识别模块对各操作点位置的分析可得到各操作点的大体 位置，即各操作点之间的位置关系；对屏幕前的人头数及屏幕上的手臂数进行 分析，可确定操作者的人数与操作点的关系，并进行分组，即哪几个人进行了 哪几个点的操作；对各操作点的笔头颜色进行分析时，当操作者使用的是手指 头或其它无法判别的工具时，笔头颜色为默认笔色。
当图像识别模块图像分析结果和红外定位设备采集到的数据，主控单元进 行分析时，假如红外定位设备采集到以下数据X轴二个数据(100; 300)， Y轴二个数据(100; 200);而它的排列组合有四组，尤如矩形的四个角。而 假如智能化图像识别模块通过分析得到三个操作点的信息，证明这时大屏幕上 同时有三个点，图像设备模块分析出这三个点的大体坐标位置，比如说"左边 一个，右边二个"或"上面一个，下面二个"(甚至更加详细分别指出三个点 的大体坐标范围)结合红外定位设备采集到的数据和图像识别模块的分析结 果，这样就能准确的确定这三点的位置坐标了。假如图像识别模块的分析结果 是二个操作点，则可以将整个屏幕分为几个区域，然后通过操作点所在的区域 和红外定位设备采集到的数据即可得到二个操作点的准确位置坐标。
所述设备硬件层包括摄像头、红外定位设备、主控单元和通讯发射单元；所述主控单元包括依次连接的图像识别模块、协调分析模块、操作点组合分析 模块和笔色分析模块，所述摄像头、红外定位设备分别与图像识别模块连接， 通讯发射单元与笔色分析模块连接；所述驱动软件层包括依次连接的通讯接收 单元、分析服务单元和消息触发接口；所述应用软件层包括依次连接的应用硬 件接口端和应用软件菜单绘制模块；所述通讯单元与通讯发射单元连接，消息 触发接口与应用硬件接口端连接。所述通讯发射单元和通讯接收单元之间的通 讯方式为红外、蓝牙、串口、并口、 USB、 RFID或网口。
所述摄像头釆用多个，作为优选方案，所述摄像头的个数为2~3个，各摄 像头之间彼此通讯共享各自采集到的图像信息；这是因为若只使用一个摄像 头，则有可能出现一个操作点挡住另一个操作点的情况，因此使用多个摄像头 可以保证采集到的图像信息全面，以便智能化图像识别模块的正确分析。
本发明相对于上述现有技术，具有如下优点效果
本发明通过摄像监控与红外定位相结合，最大程度优化了系统的智能化特 征，对大屏幕上操作点的定位判断准确、迅速，不影响屏幕的视觉效果，可广 泛应用于多种场合。
本发明的系统可以根据其主控模块的规模与外接计算的能力不断新增智 能化识别的图形与动作，系统本身具有良好的扩充性，能最大程度的为应用软 件的人性化操作提供必要的硬件技术基础。
图1是本发明的方法流程图。
图2是本发明中主控单元的智能分析过程示意图。
图3是本发明的设备工作示意图。
图4是本发明中各单元模块的工作流程示意图。
具体实施例方式
下面结合实施例及附图，对本发明作进一歩的详细说明，但本发明的实 施方式不限于此。实施例
本实施例一种多点触摸定位方法，通过摄像头的智能化分析与红外定位相
结合，实现屏幕上多点触摸操作的定位，本实施例采用2个摄像头，如图1
的方法流程图及图4各单元模块的工作流程图所示，具体包括以下步骤
(1) 设备硬件层中，摄像头监控屏幕，实时采集进入屏幕的图像信息并 将其送至主控单元的图像识别模块进行分析；同时红外定位设备分别采集X 轴上的图像坐标数据和Y轴上的图像坐标数据；
(2) 根据图像识别模块对摄像头采集到的图像信息的分析结果和红外定 位设备采集到的X轴坐标数据和Y轴坐标数据，主控单元的协调分析模块、 操作点组合分析模块和笔色分析模块依次进行操作点坐标配对、操作点分组管 理以及操作点信息编码；
(3) 硬件设备层的通讯发射单元将得到的编码信息发送至驱动软件层；
(4) 驱动软件层的通讯接收单元接收编码信息后，先对其进行信息正确 性的校验及错误纠正，然后送至分析服务单元进行解码，解码后的信息通过消 息触发接口发送至应用软件层；
(5) 应用软件层接收信息后，在相应的位置绘制菜单。 此过程设备的工作状态如图3所示，两个摄像头1分别设于大屏幕的左上
角和右上角，红外定位设备设于大屏幕的边框，图中虚线部分为摄像头拍摄的 图像信息经智能化图像识别模块分析后得到的各操作点相对位置。 如图2主控单元的智能分析过程所示，其中步骤(2)具体为 (2-1)智能化图像识别模块对摄像头采集到的图像信息进行分析，通过 拍摄到的各操作点位置确定各操作点之间的相对位置关系，通过分析屏幕前的 人头数和屏幕上的手臂数对各操作点进行分组，通过分析操作点的笔头色彩提 取相近的色彩值，即在28中色彩值中最接近的色彩值，例如出厂定义时白 色的笔为RGB (255， 255， 255)，灰色的笔为RGB (150， 150， 150)，若用 户使用的笔在色彩检查后得到的色彩值为RGB (254， 254， 254) RGB (225， 225， 225)之间的一个色彩值，则对其笔头色彩提取后，认为用户的这时使用的是白色的笔进行标注，该色彩值为RGB (255， 255， 255);
(2-2)综合各操作点的相对位置关系以及红外定位设备采集到的X轴坐 标数据和Y轴坐标数据，协调分析模块进行操作点坐标配对，得到各操作点 的坐标值；
(2-3)综合操作点的分组情况以及各操作点的坐标值，操作点组合分析 模块对操作点进行分组管理，判断同一组内的操作点是否为组合性操作，明确 操作者的操作方式；
(2-4)明确操作者的操作方式后，结合智能化图像识别模块提取的笔头 色彩值，对屏幕上的操作点坐标、操作方式及笔色属性的信息进行编码，形成 通讯用的编码信息。
步骤(2-l)中的28种色彩值为系统出厂时默认设定的色彩值，28种色彩 值也可根据具体情况进行增减，其对应各色彩值的取值范围为RGB(O， 0， 0) RGB (255， 255， 255)。
步骤(2-3)中操作者的操作方式为单击选定或指定组合功能动作，指定 组合功能动作包括縮放、旋转和移动等。
以上步骤中，智能化图像识别模块对各操作点位置的分析可得到各操作点 的大体位置，即各操作点之间的位置关系；对屏幕前的人头数及屏幕上的手臂 数进行分析，可确定操作者的人数与操作点的关系，并进行分组，即哪几个人 进行了哪几个点的操作；对各操作点的笔头颜色进行分析时，当操作者使用的 是手指头或其它无法判别的工具时，笔头颜色为默认笔色。
当图像识别模块图像分析结果和红外定位设备采集到的数据，主控单元进 行分析时，假如红外定位设备采集到以下数据X轴二个数据(100; 300)， Y轴二个数据(100; 200);而它的排列组合有四组，尤如矩形的四个角。而 假如智能化图像识别模块通过分析得到三个操作点的信息，证明这时大屏幕上 同时有三个点，图像设备模块分析出这三个点的大体坐标位置，比如说"左边 一个，右边二个"或"上面一个，下面二个"(甚至更加详细分别指出三个点 的大体坐标范围)结合红外定位设备采集到的数据和图像识别模块的分析结 果，这样就能准确的确定这三点的位置坐标了。假如图像识别模块的分析结果是二个操作点，则可以将整个屏幕分为几个区域，然后通过操作点所在的区域 和红外定位设备采集到的数据即可得到二个操作点的准确位置坐标。
如图4所示，设备硬件层包括摄像头、红外定位设备、主控单元和通讯发 射单元；主控单元包括依次连接的图像识别模块、协调分析模块、操作点组合 分析模块和笔色分析模块，摄像头、红外定位设备分别与智能化图像识别模块 连接，通讯发射单元与笔色分析模块连接；驱动软件层包括依次连接的通讯接 收单元、分析服务单元和消息触发接口；应用软件层包括依次连接的应用硬件 接口端和应用软件菜单绘制模块；通讯单元与通讯发射单元连接，消息触发接 口与应用硬件接口端连接。
通讯发射单元和通讯接收单元之间的通讯方式为红外、蓝牙、串口、并口、 USB、 RFID或网口。
摄像头的个数也可为3个或更多，各摄像头之间彼此通讯共享各自采集到 的图像信息；这是因为若只使用一个摄像头，则有可能出现一个操作点挡住另 一个操作点的情况，因此使用多个摄像头可以保证采集到的图像信息全面，以 便智能化图像识别模块的正确分析。
如上所述，便可较好地实现本发明，上述实施例仅为本发明的较佳实施例， 并非用来限定本发明的实施范围；即凡依本发明内容所作的均等变化与修饰， 都为本发明权利要求所要求保护的范围所涵盖。
权利要求
1、一种多点触摸定位方法，其特征在于，通过摄像头的智能化分析与红外定位相结合，实现屏幕上多点触摸操作的定位，具体包括以下步骤(1)设备硬件层中，摄像头监控屏幕，实时采集进入屏幕的图像信息并将其送至主控单元的图像识别模块进行分析；同时红外定位设备分别采集X轴上的图像坐标数据和Y轴上的图像坐标数据；(2)根据图像识别模块对摄像头采集到的图像信息的分析结果和红外定位设备采集到的X轴坐标数据和Y轴坐标数据，主控单元的协调分析模块、操作点组合分析模块和笔色分析模块依次进行操作点坐标配对、操作点分组管理以及操作点信息编码；(3)硬件设备层的通讯发射单元将得到的编码信息发送至驱动软件层；(4)驱动软件层的通讯接收单元接收编码信息后，先对其进行信息正确性的校验及错误纠正，然后送至分析服务单元进行解码，解码后的信息通过消息触发接口发送至应用软件层；(5)应用软件层接收信息后，在相应的位置绘制菜单。
2、 根据权利要求1所述的多点触摸定位方法，其特征在于，步骤(2)具 体为(2-1)图像识别模块对摄像头采集到的图像信息进行分析，通过拍摄到 的各操作点位置确定各操作点之间的相对位置关系，通过分析屏幕前的人头数 和屏幕上的手臂数对各操作点进行分组，通过分析操作点的笔头色彩提取在 28中色彩值中最接近的色彩值；(2-2)综合各操作点的相对位置关系以及红外定位设备采集到的X轴坐 标数据和Y轴坐标数据，协调分析模块进行操作点坐标配对，得到各操作点 的坐标值；(2-3)综合操作点的分组情况以及各操作点的坐标值，操作点组合分析 模块对操作点进行分组管理，判断同一组内的操作点是否为组合性操作，明确 操作者的操作方式；(2-4)明确操作者的操作方式后，结合智能化图像识别模块提取的笔头 色彩值，对屏幕上的操作点坐标、操作方式及笔色属性的信息进行编码，形成 通讯用的编码信息。
3、 根据权利要求2所述的多点触摸定位方法，其特征在于，步骤(2-1) 中所述28种色彩值为系统出厂时默认设定的色彩值，其对应各色彩值的取之 范围为RGB (0， 0， 0) RGB (255， 255， 255)。
4、 根据权利要求2所述的多点触摸定位方法，其特征在于，步骤(2-3) 所述操作者的操作方式为单击选定或指定组合功能动作，所述指定组合功能动 作包括縮放、旋转和移动。
5、 根据权利要求1所述的多点触摸定位方法，其特征在于，所述设备硬 件层包括摄像头、红外定位设备、主控单元和通讯发射单元；所述主控单元包 括依次连接的图像识别模块、协调分析模块、操作点组合分析模块和笔色分析 模块，所述摄像头、红外定位设备分别与图像识别模块连接，通讯发射单元与 笔色分析模块连接；所述驱动软件层包括依次连接的通讯接收单元、分析服务 单元和消息触发接口 ；所述应用软件层包括依次连接的应用硬件接口端和应用 软件菜单绘制模块；所述通讯单元与通讯发射单元连接，消息触发接口与应用 硬件接口端连接。
6、 根据权利要求1所述的多点触摸定位方法，其特征在于，所述通讯发 射单元和通讯接收单元之间的通讯方式为红外、蓝牙、串口、并口、 USB、 RFID或网口。
7、 根据权利要求1所述的多点触摸定位方法，其特征在于，所述摄像头 的个数为2 3个，各摄像头之间彼此通讯共享各自采集到的图像信息。
全文摘要
本发明提供一种多点触摸定位方法，通过摄像头的智能化分析与红外定位相结合，实现屏幕上多点触摸操作的定位，在设备硬件层中，摄像头和红外设备同时采集图像数据，主控单元综合其数据及分析结果依次进行操作点坐标配对、操作点分组管理以及操作点信息编码，然后送至驱动软件层进行校验、错误纠正及解码，最后应用软件层接收其信息后在相应的位置绘制菜单。本发明通过摄像监控与红外定位相结合，最大程度优化了系统的智能化特征，对大屏幕上操作点的定位判断准确、迅速，不影响屏幕的视觉效果，可广泛应用于多种场合，其系统本身具有良好的扩充性，能最大程度的为应用软件的人性化操作提供必要的硬件技术基础。
文档编号G06F3/048GK101576788SQ20091004001
公开日2009年11月11日 申请日期2009年6月4日 优先权日2009年6月4日
发明者虎 周 申请人:广东威创视讯科技股份有限公司