多屏互动方法、终端设备和存储介质与流程

本发明涉及触摸控制领域，尤其涉及一种多屏互动方法、终端设备和存储介质。

背景技术：

多屏互动的场景中，多个终端设备连接到同一个主机(例如：电视机、投影机和个人电脑等等)上，各个终端设备能独立对主机进行触控操作，终端设备根据触摸装置上生成的触摸事件生成数据包，触摸事件可能是触摸装置上的一个或多个触摸点生成的，将数据包发送给主机，在触摸事件完成时，主机根据接收到的数据包识别触摸手势类型，根据触摸手势类型执行相应的操作，主机将界面信息的视频信号发送到触摸终端设备进行显示。例如：参见图1a所示的多屏互动系统的网络架构，终端设备10～终端设备1n连接到主机30上，终端设备10～终端设备1n分别可以独立对设备30进行触控操作。申请人在实施本发明的过程中现有的图1a的多屏互动架构中，多个终端设备采用竞争的方式对主机进行操作。例如：终端设备10在对主机30进行触控操作的过程中，终端设备11再次发起对主机30的触摸操作，那么终端设备11的触控操作会无法得到及时的响应，必须等到终端设备10完成当前的触控操作才能继续执行对主机30的触控操作，因此目前这种竞争的方式操作主机的方式存在访问效率低的问题。

技术实现要素：

本申请提供一种多屏互动方法、终端设备和存储介质，将两个或两个以上的终端设备上生成的数据包进行融合得到新的数据包，利用新的数据包对主机进行触控操作，解决了多个终端设备之间的访问冲突问题。

第一方面，本申请提供了一种多屏互动方法，包括：

第一终端设备接收来自至少一个第二终端设备的第二数据包，第二数据包是第二终端设备根据触摸装置上的一个或多个触摸点得到的；在第一终端设备存在根据触摸事件生成的第一数据包时，根据至少一个第二终端设备的第二数据包和第一数据包得到第三数据包；其中，第一数据包是根据所述第一终端设备根据触摸装置上一个或多个触摸点生成的。

其中，多屏互动系统包括第一终端设备和至少一个第二终端设备，至少一个第二终端设备分别通过第一终端设备与主机连接，即各个第二终端设备生成的第二数据包都需要发送给第二终端设备。

在一种可能的设计中，还包括：

在所述第一终端设备未生成所述第一数据包时，根据所述至少一个第二终端设备的第二数据包得到第四数据包；其中，第四数据包包括至少一个第二终端设备上触摸点的属性信息；将第四数据包发送给主机。

在一种可能的设计中，触摸点的属性信息包括：触摸点的状态信息、触摸点的标识信息和触摸点的位置信息中的一种或多种。

在一种可能的设计中，在所述第三数据包中，所述第一终端设备和至少一个第二终端设备上的触摸点的标识信息与触摸点的生成时间有关，且触摸点的标识信息在该触摸点的生存周期内保持不变。

在一种可能的设计中，在所述第三数据包中，所述第一终端设备和所述至少一个第二终端设备上的标识信息从0开始以1为步长进行递增，所述第一终端设备和所述至少一个第二终端设备的触摸点的属性信息在所述第三数据包中的存储位置与标识信息有关。

在一种可能的设计中，所述第三数据包中还包括当前有效触摸点数，所述当前有效触摸点数表示所述第一终端设备和所述至少一个第二终端设备上的触摸点的数量。

第二方面，本申请提供了一种多屏互动装置，包括：

收发单元，用于接收来自至少一个第二终端设备的第二数据包；其中，所述第二数据包是所述第二终端设备根据一个或多个触摸点生成的；

处理单元，用于在所述多屏互动装置生成第一数据包时，根据所述至少一个第二终端设备的第二数据包和所述第一数据包进行融合得到第三数据包；其中，所述第一数据包是所述多屏互动装置根据一个或多个触摸点生成的，第三数据包包括第一终端设备和至少一个第二终端设备上的触摸点的属性信息；

所述收发单元，还用于将所述第三数据包发送给主机。

在一种可能的设计中，所述处理单元，还用于在所述多屏互动装置未生成所述第一数据包时，根据至少一个第二终端的第二数据包得到第四数据包；其中，第四数据包包括至少一个第二终端设备上触摸点的属性信息；

所述收发单元，还用于将所述第四数据包发送给所述主机。

在一种可能的设计中，触摸点的属性信息包括触摸点的状态信息、触摸点的标识信息和触摸点的位置信息中的一种或多种。

在一种可能的设计中，在第三数据包中，第一终端设备和至少一个第二终端设备的触摸点的标识信息与触摸点的生成时间有关，且触摸点的标识信息在该触摸点的生存周期内保持不变。

在一种可能的设计中，在第三数据包中，第一终端设备和至少一个第二终端设备上的标识信息从1开始以1为步长进行递增，第一终端设备和至少一个第二终端设备的触摸点的属性信息在第三数据包中的存储位置与标识信息有关。

在一种可能的设计中，第三数据包还包括当前有效触摸点数，所述当前有效触摸点数表示第一终端设备和至少一个第二终端设备上的触摸点的数量。

本申请又一方面提供了一种装置，可以实现上述第一方面或第二方面中的多屏互动方法。例如所述通信装置可以是芯片(如基带芯片，或通信芯片等)或者终端设备。可以通过软件、硬件、或者通过硬件执行相应的软件实现上述方法。

在一种可能的实现方式中，所述装置的结构中包括处理器、存储器；所述处理器被配置为支持所述装置执行上述多屏互动方法中相应的功能。存储器用于与处理器耦合，其保存所述装置必要的程序(指令)和/或数据。可选的，所述装置还可以包括通信接口用于支持所述装置与其他网元之间的通信。

在另一种可能的实现方式中，所述装置，可以包括执行上述方法中相应动作的单元模块。

在又一种可能的实现方式中，包括处理器和收发装置，所述处理器与所述收发装置耦合，所述处理器用于执行计算机程序或指令，以控制所述收发装置进行信息的接收和发送；当所述处理器执行所述计算机程序或指令时，所述处理器还用于实现上述方法。其中，所述收发装置可以为收发器、收发电路或输入输出接口。当所述通信装置为芯片时，所述收发装置为收发电路或输入输出接口。

当所述装置为芯片时，发送单元可以是输出单元，比如输出电路或者通信接口；接收单元可以是输入单元，比如输入电路或者通信接口。当所述通信装置为网络设备时，发送单元可以是发射器或发射机；接收单元可以是接收器或接收机。

本申请的又一方面提了供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本申请的又一方面提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

根据以上的描述，第一终端设备将来自至少一个终端设备的数据包，以及自身生成的数据包进行融合得到新的数据包，将新的数据包发送给主机，以实现用户在第一终端设备和至少一个终端设备通过协作的方式对主机进行触控操作，解决了多个终端设备同时对主机进行触摸操作时的冲突问题。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对申请或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些申请，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是现有的一种多屏互动系统的网络架构图；

图1b是本申请提供的一种多屏互动系统的网络架构图；

图2是本申请提供的一种多屏互动方法的流程示意图；

图3是本申请提供的一种多屏互动方法的另一流程示意图；

图4a是本申请提供的一种多屏互动系统的另一网络架构图；

图4b是本申请提供的一种多屏互动方法的交互示意图；

图5a是本申请提供的一种多屏互动系统的另一网络架构图；

图5b是本申请提供的一种多屏互动方法的另一交互示意图；

图6a是本申请提供的一种多屏互动系统的另一网络结构图；

图6b是本申请提供的一种多屏互动方法的另一交互示意图；

图7a是本申请提供的一种多屏互动方法的另一交互示意图；

图7b是本申请提供的一种多屏互动方法的另一交互示意图；

图8a是本申请提供的一种终端设备的架构示意图；

图8b是本申请提供的一种终端设备的另一结构示意图。

具体实施方式

下面将结合本申请中的附图，对本申请中的技术方案进行描述。

图1b为本申请涉及的一种多屏互动系统的网络架构图，所述多屏互动系统包括多个终端设备和主机30，多个终端设备包括终端设备10、终端设备11、…、终端设备1n，终端设备10、终端设备11、…、终端设备1n之间可通过级联的方式进行连接，终端设备10通过网络20与主机连接。

在本申请中，各个终端设备之间，以及终端设备和主机之间可采用有线方式或无线方式进行通信，有线方式包括蓝牙、wifi或红外，有线方式包括以太网、通用串行总线usb或串口。

在申请中，终端设备10又称为第一终端设备，该第一终端设备可以直接与主机30进行通信，同时第一终端设备用于自身生成的数据包和/或来自第二终端设备的数据包进行融合。终端设备11～终端设备1n为第二终端设备，终端设备11～终端设备1n均与终端设备10连接，这样终端设备11～终端设备1n的根据触摸事件生成的数据包可发送给终端设备10处进行融合处理。

其中，各个终端设备之间，以及终端设备和主机30之间通过控制数据接口和业务数据接口进行通信，控制数据接口用于传输控制数据，例如：根据触摸事件生成的数据包；业务数据接口用于传输业务数据，例如：图像数据、音频数据或视频数据等。终端设备10接收来自主机30的视频信号，该视频信号是主机30根据用户界面生成的，终端设备10根据该视频信号在显示屏上进行显示，同时将该视频信号分发给终端设备11～终端设备1n，例如：终端设备10通过业务数据接口将视频信号分发给终端设备11～终端设备1n，以实现多屏互动系统上各个终端设备的用户界面与主机的用户界面保持同步。业务数据接口包括但不限于视频图形阵列vga接口、高清多媒体接口(highdefinitionmultimediainterface，hdmi)和数字视频接口dvi，控制数据接口包括但不限于通用串行总线(universalserialbus，usb)接口、rs232接口和rs485接口。

其中，多屏互动系统中的各个终端设备具有触摸装置，触摸装置包括但不限于触摸屏、触摸板或触摸框，用户手指接触触摸装置时，触摸装置上形成一个或多个触摸点，终端设备可以周期性的采集触摸装置上的触摸点的属性信息，根据触摸点的属性信息生成数据包发送给主机30，主机30可以是终端设备，也可以是服务设备。在以下的描述中，终端设备如果没有特别指示的话，即包括第一终端设备，也包括第二终端设备。

其中，多屏互动系统中的各个终端设备在满足时间同步的条件，各个终端设备中的触摸装置根据相同的上报周期上报数据包，触摸装置在上报周期内检测到触摸事件时，根据触摸事件生成数据包进行上报，触摸事件对应一个或多个触摸点。上报周期的长度可根据具体需求进行设置，本申请不作限制。数据包包括包头和包体，包头包括包头识别位和/或长度信息，包体包括一个或多个触摸点的属性信息，属性信息包括状态信息、标识信息、位置信息和尺寸信息中的一种或多种。

本申请中的终端设备可以部署在陆地上，包括室内或室外、手持、可穿戴或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。所述终端设备可以是手机(mobilephone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtualreality，vr)终端设备、增强现实(augmentedreality，ar)终端设备、工业控制(industrialcontrol)中的无线终端、无人驾驶(selfdriving)中的无线终端、远程医疗(remotemedical)中的无线终端、智能电网(smartgrid)中的无线终端、运输安全(transportationsafety)中的无线终端、智慧城市(smartcity)中的无线终端、智慧家庭(smarthome)中的无线终端等等。终端设备也可以是具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端设备可以叫做不同的名称，例如：终端设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、会话启动协议(sessioninitiationprotocol，sip)电话、无线本地环路(wirelesslocalloop，wll)站、个人数字处理(personaldigitalassistant，pda)、5g网络或未来演进网络中的终端设备等。

参见图2，图2是本申请提供的一种多屏互动方法的流程示意图，在本申请中，所述方法包括：

s201、第一终端设备接收来自至少一个第二终端设备的第二数据包。

具体的，在当前的上报周期内，第一终端设备接收来自至少一个第二终端设备的第二数据包，第二数据包也是各个第二终端设备在该上报周期内根据一个或多个触摸点生成的。第一终端设备可直接接收来自至少一个第二终端设备的第二数据包，也可以是通过一个或多个中间设备(例如：中继设备、路由设备等)接收来自至少一个第二终端设备的第二数据包，本申请不作限制。

本申请的终端设备具有触摸装置，触摸装置用于检测触摸事件，触摸事件对应一个或多个触摸点，触摸装置包括但不限于触摸板、触摸屏和触摸框，终端设备根据触摸装置上的一个或多个触摸点生成数据包。对于第二终端设备来说，第二终端设备通过触摸装置上的一个或多个触摸点生成第二数据包，触摸点表示用户手指与触摸装置的接触区域。在第二终端设备的数量为多个时，各个第二终端设备都会生成一个第二数据包，在触摸装置上发生触摸事件时，第二终端设备可以周期性的根据触摸事件对应的一个或多个触摸点生成第二数据包，直到触摸事件结束。

其中，第二数据包包括触摸点的属性信息，触摸点的属性信息包括标识信息、状态信息和位置信息，标注信息表示触摸点的身份，在同一个触摸事件对应的多个触摸点中，不同的触摸点具有不同的标识信息；状态信息表示触摸点在触摸装置上的状态，触摸点在触摸装置上的状态包括落下状态(down)、移动状态(move)和抬起状态(up)，落下状态表示触摸点刚接触触摸装置时的状态，移动状态表示触摸点在触摸装置上移动的状态，抬起状态表示触摸装置脱离与触摸装置接触的状态，即一个触摸点的生命周期包含落下状态、移动状态和抬起状态。位置信息表示触摸点在触摸装置上以某个原点为参考的坐标，通常使用x坐标和y坐标来表示。

s202、在第一终端设备生成第一数据包时，根据至少一个第二终端设备的第二数据包和第一数据包进行融合得到第三数据包。

具体的，在当前的上报周期内，第一终端设备通过触摸装置检测到触摸事件时，根据触摸事件对应的一个或多个触摸点生成第一数据包，第一数据包包括各个触摸点的属性信息，属性信息同样包括标识信息、状态信息和位置信息中的一种或多种，具体可参照s201中关于触摸点的属性信息的描述。

其中，第一终端设备将来自各个第二终端设备的二数据包和自身生成的第一数据包进行融合得到第三数据包，第三数据包中包括至少一个第二终端设备的触摸点和第一终端设备上的触摸点的属性信息。第一终端设备对各个第二终端设备上的触摸点，以及第一终端设备的触摸点进行重新编号，确保第三数据包中各个触摸点的标识信息不同。

举例来说，在上报周期内，终端设备11(第二终端设备)上有两个触摸点，终端设备11从0开始对两个触摸点进行编号：触摸点0和触摸点1，终端设备11根据该两个触摸点得到第二数据包，第一数据包包括该两个触摸点的标识信息、位置信息、状态信息和尺寸信息中的一种或多种。终端设备10(第一终端设备)上有两个触摸点，终端设备10从0开始对两个触摸点进行编号：触摸点0和触摸点1，终端设备10根据该两个触摸点生成第一数据包，第一数据包包括该两个触摸点的标识信息、状态信息、位置信息和尺寸信息中的一种或多种。终端设备10将第一数据包和第二数据包进行融合得到第三数据包，第三数据包中包括终端设备11和终端设备11在该上报周期内检测到的4个触摸点的标识信息、状态信息、位置信息和尺寸信息中的一种或多种，第三数据包中的4个触摸点的标识信息相对于先前在第二终端设备中的标识信息而言，需要确保4个触摸点的标识信息不相同，例如可以根据4个触摸点的生成时间的先后顺序重新进行编号，生成时间在前的触摸点的标识信息小于生成时间在后的触摸点的标识信息。

s203、将第三数据包发送给主机。

具体的，在当前的上报周期结束时，第一终端设备可通过控制数据接口将第三数据包发送给主机，例如：控制数据接口为usb接口，第一终端设备和主机之间可采用串行方式或并行方式进行通信，包头先于包体发送给主机。

实施本申请，终端设备对根据触摸事件生成的数据包，以及来自其他终端设备的根据触摸事件生成的数据包进行融合成一个新的数据包，新的数据包中包括终端设备和其他终端设备的触摸点的属性信息，根据新的数据包对主机进行触摸控制，实现了多个终端设备协作对主机进行控制的效果，相对于多个终端设备采用竞争的方式对主机进行触摸控制的方法，提高触控操作的效率和减少了等待时间。

参见图3，为本申请提供的一种多屏互动方法的又一流程示意图，在本申请中，所述方法包括:

s301、第一终端设备接收来自至少一个第二终端设备的第二数据包。

具体的，多屏互动系统中的各个终端设备根据相同的上报周期发送根据触摸事件生成的数据包。在当前的上报周期内，至少一个第二终端设备检测到一个或多个触摸点形成的触摸事件，采集一个或多个触摸点的属性信息，向第一终端设备发送根据一个或多个触摸点的属性信息生成的第二数据包。其中，至少一个第二终端设备中不同的终端设备对应的触摸点的数量可能不相同，也可能相同。对于至少一个第二终端设备中的每个终端设备来说，第二终端设备将第二数据包发送给第一终端设备。第二数据包由包头和包体组成，包头包括包头识别位、长度信息；包体包括触摸点的属性信息，触摸点的属性信息包括：标识信息、状态信息、位置信息和尺寸信息中的一种或多种，标识信息表示触摸点的身份，在触摸装置上存在多个触摸点时，不同的触摸点具有不同的标识信息；状态信息表示触摸点的状态：落下状态(down)、移动状态(move)和抬起状态(up)，落下状态表示触摸点刚接触触摸装置的状态，移动状态表示触摸点在触摸装置上移动的状态，抬起状态表示触摸点脱离与触摸装置的接触的状态。位置信息表示触摸点在触摸装置上的坐标，一般用x坐标和y坐标来表示；尺寸信息表示触摸点的大小，触摸点的形状近似为圆形，触摸点的大小和用户手指对触摸装置的按压力度有关。

例如：数据包的如表1所示：

表1

举例来说：在当前的上报周期内，第二终端设备1通过触摸装置检测到两个触摸点，第二终端设备1根据两个触摸点生成第二数据包1，第二终端设备1将第二数据包1发送给第一终端设备1；第二终端设备2通过触摸装置采集到1个触摸点，第二终端设备2根据该1个触摸点的属性信息生成第二数据包2，第二终端设备2将第二数据包2发送给第一终端设备。

s302、第一终端设备是否生成第一数据包。

具体的，在当前的上报周期内，第一终端设备检测触摸装置上是否发生触摸事件，若为是，执行s303；若为否，执行s305。

s303、根据至少一个第二终端设备的第二数据包和第一数据包融合得到第三数据包。

具体的，第二终端设备检测触摸装置上生成触摸事件时，获取触摸事件对应的一个或多个触摸点的属性信息，根据该一个或多个触摸点的属性信息生成第一数据包。

举例来说，第一终端设备检测到触摸装置上生成触摸事件，触摸事件对应触摸点1，第一终端设备采集触摸点1的属性信息，根据触摸点1的属性信息生成第一数据包；第一终端设备至少一个第二终端设备的第二数据包和第一数据包进行融合得到第三数据包，第三数据包的结构与第一数据包或第二数据包的结构相同，第三数据包也包括触摸点的标识信息、状态信息、位置信息和尺寸信息中的一种或多种，在第三数据包中，不同的触摸点具有不同的标识信息。

举例来说，根据s301的例子，第一终端设备生成的第一数据包，第一数据包包括触摸点1的属性信息，触摸点1的状态为移动状态，第二终端设备2发送的第二数据包1包括触摸点2的属性信息，触摸点2的状态为落下状态，第二终端设备2发送的第二数据包2包括触摸点3的属性信息，触摸点3的状态为移动状态，第一终端设备根据触摸点1、触摸点2和触摸点3生成对应的

s304、将第三数据包发送给主机。

具体的，在当前的上报周期结束时，第一终端设备将第三数据包发送给主机，第三数据包包括包头和包体，第一终端设备采用串行方式与主机进行通信，包头先于包体发送给主机。

s305、根据至少一个第二终端设备的第二数据包进行融合得到第四数据包。

具体的，在当前的上报周期内，第一终端设备未在触摸装置上检测到触摸事件，第一终端设备未在当前的上报周期内生成第一数据包，那么第一终端设备根据至少一个第二终端设备的第二数据包进行融合得到第四数据包，第四数据包包括触摸点的状态信息、标识信息、位置信息和尺寸信息中的一种或多种，在第三数据包中不同的触摸点具有不同的标识信息，至少一个第二终端设备上的触摸点在第三数据包中的标识信息与触摸点的生成时间有关，例如：标识信息使用数字来表示，先生成的触摸点的标识信息大于后生成的触摸点的标识信息。

s306、将第四数据包发送给主机。

具体的，在当前的上报周期结束时，第一终端设备将第四数据包发送给主机，第四数据包由包头和包体组成，第一终端设备采用串行方式向主机发送数据包。

在一种可能的实施方式中，第三数据包对应的多个触摸点的标识信息各部相同，触摸点的标识信息与生成时间有关，且触摸点的标识信息在该触摸点的生存周期内保持不变。

举例来说，对于第一终端设备、第二终端设备1和第二终端设备2，第一终端设备首先在触摸装置上检测到触摸点1，然后第二终端设备1在触摸装置上检测到触摸点2，再次第二终端设备2在触摸装置上检测到触摸点3，那么第一终端设备对3个数据包进行融合得到的第三数据包中，触摸点1的标识信息为0、触摸点2的标识信息为1，触摸点3的标识信息为2，

实施本申请，终端设备对根据触摸事件生成的数据包，以及来自其他终端设备的根据触摸事件生成的数据包进行融合成一个新的数据包，新的数据包中包括终端设备和其他终端设备的触摸点的属性信息，根据新的数据包对主机进行触摸控制，实现了多个终端设备协作对主机进行控制的效果，相对于多个终端设备采用竞争的方式对主机进行触摸控制的方法，提高触控操作的效率和减少了等待时间。

下面就几个具体的例子对本申请的多屏互动方法进行说明。

参见图4a所示的多屏互动系统，该多屏互动系统包括第一终端设备10、第二终端设备11和主机30。

基于图4a的多屏互动系统，参见图4b为本申请提供的一种多屏互动方法交互示意图，在本申请中，多屏互动方法包括：

s401、第二终端设备11根据一个或多个触摸点生成第二数据包。

具体的，在当前的上报周期内，第二终端设备11检测到触摸点111，根据触摸点111的属性信息生成第二数据包。

s402、第二终端设备11向第一终端设备10发送第二数据包，第一终端设备10接收来自第二终端设备11的第二数据包。

具体的，第二终端设备11可通过usb接口向第一终端设备10发送第二数据包。

s403、第一终端设备10根据一个或多个触摸点生成第一数据包。

具体的，在s401的上报周期内，第一终端设备10检测到触摸点101，根据触摸点101的属性信息生成第一数据包。

s404、第一终端设备10将第一数据包和第二数据包进行融合得到第三数据包。

具体的，第一终端设备10将第一数据包和第二数据包进行融合得到第三数据包，第三数据包中包括触摸点111和触摸点101的属性信息，在第三数据包中触摸点111的标识信息和触摸点111的标识信息不同。例如：根据触摸点111和触摸点101的生成时间，触摸点101先于触摸点111生成，在第三数据包中，触摸点101的标识信息为0，触摸点111的标识信息为1。融合过程相当于用户在第一终端设备10的触摸装置上进行触摸装置形成两个触摸点101和触摸点111，第一终端设备10在该上报周期内检测到的触摸点111和触摸点101的属性信息生成第三数据包。

s405、第一终端设备10向主机30发送第三数据包，主机30接收来自第一终端设备10的第三数据包。

具体的，第一终端设备10可通过控制数据接口向主机30发送第三数据包。

参见图5a，为本申请提供的一种多屏互动系统的网络结构，该多屏互动系统包括第一终端设备10、第二终端设备11和主机30。

基于图5a的多屏互动系统，本申请提供的一种多屏互动方法的另一交互示意图，在本申请中，所述方法包括：

s501、第二终端设备11根据一个或多个触摸点生成第二数据包。

具体的，在当前的上报周期内，第二终端设备11检测到触摸点111，根据触摸点111的属性信息生成第二数据包。

s502、第二终端设备11向第一终端设备10发送第二数据包，第一终端设备10接收来自第二终端设备11的第二数据包。

具体的，第二终端设备11可通过控制数据接口向第一终端设备10发送第二数据包。

s503、第一终端设备10将第二数据包作为第四数据包。

具体的，第一终端设备10在当前的上报周期内未检测到触摸事件，那么第一终端设备10直接将第二数据包作为第四数据包。

s504、第一终端设备10向主机30发送第四数据包，主机接收来自第一终端设备的第四数据包。

具体的，第一终端设备10可通过控制数据接口向主机30发送第四数据包，例如：usb接口。

参见图6a，为本申请提供的一种多屏互动系统的网络架构图，该多屏互动系统包括第一终端设备10、第二终端设备11、第二终端设备12和主机30。

基于图6a的网络架构，本申请提供了一种多屏互动方法的另一交互示意图，该方法包括：

s601、第二终端设备12根据一个或多个触摸点生成第二数据包。

具体的，第二终端设备12在上报周期内检测到触摸点121，根据触摸点121的属性信息生成第二数据包。

s602、第二终端设备11根据一个或多个触摸点生成第二数据包。

具体的，第二终端设备11在同一个上报周期内检测到触摸点111，根据触摸点111的属性信息生成第二数据包。

s603、第二终端设备12向第一终端设备10发送第二数据包，第一终端设备10接收来自第二终端设备12的第二数据包。

s604、第二终端设备11向第一终端设备10发送第二数据包，第一终端设备10接收来自第二终端设备11的第二数据包。

s605、第一终端设备根据一个或多个触摸点生成第一数据包。

具体的，第一终端设备在同一个上报周期内检测到触摸点101，根据触摸点101的属性信息生成第一数据包。

s606、第一终端设备将第一数据包和各个第二终端设备的第二终端设备的第二数据包进行融合得到第三数据包。

具体的，第一终端设备10将第一数据包、来自第二终端设备12的第二数据包和来自第二终端设备11的第二数据包进行融合得到第三数据包，第三数据包中包括触摸点121属性信息、触摸点111的属性信息、触摸点101的属性信息，在第三数据包中触摸点121、触摸点111的标识信息和触摸点101的标识信息互不相同。例如：根据触摸点121、触摸点111和触摸点101的生成时间的先后顺序为：触摸点101先于触摸点111生成，且触摸点111先于触摸点121生成，在第三数据包中，触摸点101的标识信息为0，触摸点111的标识信息为1，触摸点121的标识信息为2。融合过程相当于用户在第一终端设备10的触摸装置上进行触摸装置形成触摸点101、触摸点111和触摸点121，第一终端设备10在该上报周期内检测到的触摸点121、触摸点111、触摸点101的属性信息生成第三数据包。

s607、第一终端设备向主机30发送第三数据包，主机接收来自第一终端设备10的第三数据包。

参见图7a，为本申请提供的一种多屏互动系统的结构示意图，在本申请中，多屏互动系统包括第一终端设备10、第二终端设备12、第一终端设备11和主机30。

基于图7a的网络架构，本申请提供了一种多屏互动方法的另一交互示意图，该方法包括：

s701、第二终端设备12根据一个或多个触摸点生成第二数据包。

具体的，在上报周期内，第二终端设备12检测到触摸点121，根据触摸点121的属性信息生成第二数据包。

s702、第二终端设备11根据一个或多个触摸点生成第二数据包。

具体的，第二终端设备11在同一上报周期内，检测到触摸点111，根据触摸点111的属性信息生成第二数据包。

s703、第二终端设备12向第一终端设备10发送第二数据包，第一终端设备10接收来自第二终端设备12的第二数据包。

s704、第二终端设备11向第一终端设备10发送第二数据包，第一终端设备10接收来自第二终端设备11的第二数据包。

s705、第一终端设备10将各个第二终端设备的第二数据包进行融合得到第四数据包。

具体的，第一终端设备10在上报周期内未检测到触摸事件，第一终端设备10将来自第二终端设备12的第二数据包和来自第二终端设备11的第二数据包进行融合得到第四数据包，第三数据包中包括触摸点121属性信息、触摸点111的属性信息，在第三数据包中触摸点121、触摸点111的标识信息互不相同。例如：根据触摸点121和触摸点111的生成时间的先后顺序为：触摸点111先于触摸点121生成，在第三数据包中触摸点111的标识信息为0，触摸点121的标识信息为1。融合过程相当于用户在第一终端设备10的触摸装置上进行触摸装置形成触摸点111和触摸点121，第一终端设备10在该上报周期内检测到的触摸点121和触摸点111的属性信息生成第三数据包。

s706、第一终端设备10向主机30发送第四数据包，主机30接收来自第一终端设备10的第四数据包。

实施图4a～图7b的申请，终端设备对根据触摸事件生成的数据包，以及来自其他终端设备的根据触摸事件生成的数据包进行融合成一个新的数据包，新的数据包中包括终端设备和其他终端设备的触摸点的属性信息，根据新的数据包对主机进行触摸控制，实现了多个终端设备协作对主机进行控制的效果，相对于多个终端设备采用竞争的方式对主机进行触摸控制的方法，提高触控操作的效率和减少了等待时间。

上述图2～图7b详细阐述了本申请的一种多屏互动方法。

请参见图8a，图8a是本申请提供的一种终端设备的结构示意图，该终端设备8可以包括处理单元801和收发单元802。

收发单元802，用于接收来自至少一个第二终端设备的第二数据包；其中，所述第二数据包是所述第二终端设备根据一个或多个触摸点生成的；

处理单元801，在终端设备8生成第一数据包时，根据所述至少一个第二终端设备的第二数据包和所述第一数据包进行融合得到第三数据包；其中，所述第一数据包是终端设备8根据一个或多个触摸点生成的，所述第三数据包包括所述第一终端设备和所述至少一个第二终端设备上的触摸点的属性信息，不同的触摸点具有不同的标识信息；

收发单元802，还用于将所述第三数据包发送给主机。

在一种可能的实施方式中，

处理单元801还用于：在终端设备8未生成所述第一数据包时，根据所述至少一个第二终端设备的第二数据包得到第四数据包；其中，所述第四数据包包括所述至少一个第二终端设备上触摸点的属性信息；

收发单元802，用于将所述第四数据包发送给所述主机。

在一种可能的实施方式中，触摸点的属性信息包括：状态信息、标识信息、位置信息和尺寸信息中的一种或多种。

在一种可能的实施方式中，在所述第三数据包中，所述第一终端设备和至少一个第二终端设备上的触摸点的标识信息与触摸点的生成时间有关，且触摸点的标识信息在该触摸点的生存周期内保持不变。

在一种可能的实施方式中，在所述第三数据包中，第三数据包中各个触摸点的标识信息满足：生成时间在前的触摸点的标识信息大于生成时间在后的触摸点的标识信息。

在一种可能的实施方式中，在所述第三数据包中，各个触摸点的标识信息从0开始以1为步长进行编号，且触摸点的属性信息在第三数据包中的存储位置与该触摸点的标识信息有关。

在一种可能的实施方式中，所述第三数据包还包括当前有效触摸点数，所述当前有效触摸点数表示所述第一终端设备和所述至少一个第二终端设备上的触摸点的总数量。

本申请和图2～图7b的方法申请基于同一构思，其带来的技术效果也相同，具体过程可参照图2～图7b的方法申请的描述，此处不再赘述。

参见图8b，其示出了本申请实施例所涉及的具有触摸装置的终端设备的结构示意图，该终端设备可以用于实施上述实施例中提供的用于多屏互动方法。具体来讲：

存储器820可用于存储软件程序以及模块，处理器880通过运行存储在存储器820的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器820还可以包括存储器控制器，以提供处理器880和输入装置830对存储器820的访问。

输入装置830可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入装置830可包括触摸装置831(例如：触摸屏、触摸板或触摸框)。触摸装置831，也称为触摸屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触摸装置831上或在触摸装置831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触摸装置831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸装置831。

输出装置840可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。输出装置840可包括显示面板841，可选的，可以采用lcd(liquidcrystaldisplay，液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等形式来配置显示面板841。进一步的，触摸装置831可覆盖显示面板841，当触摸装置831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8b中，触摸装置831与显示面板841是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触摸装置831与显示面板841集成而实现输入和输出功能。

其中，输入装置830还包括接收器832，接收器832用于接收数据，接收的数据类型包括业务数据和控制数据，例如：接收器832包括用于接收视频信号的hdmi接收器和用于接收控制数据的usb接收器。输出装置840还包括发射器842，发射器842用于发送数据，发送的数据类型包括业务数据和控制数据，例如：发射器842包括用于发送视频信号的hdmi发射器和用于发送控制数据的usb发射器。在一种可能的实施方式中，发射器832和接收器842也可以合并为一个收发器。

处理器880是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器880可包括一个或多个处理核心；其中，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器880中。

具体在本实施例中，终端设备的显示单元是触摸屏显示器，终端设备还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令：

指示接收器832接收来自至少一个第二终端设备的第二数据包；其中，所述第二数据包是所述第二终端设备根据一个或多个触摸点生成的；

在生成第一数据包时，根据所述至少一个第二终端设备的第二数据包和所述第一数据包进行融合得到第三数据包；其中，所述第一数据包是所述第一终端设备根据一个或多个触摸点生成的，所述第三数据包包括所述第一终端设备和所述至少一个第二终端设备上的触摸点的属性信息，不同的触摸点具有不同的标识信息；

指示发射器842将所述第三数据包发送给主机。

在一种可能的实施方式中，处理器880还用于：

在所述第一终端设备未生成所述第一数据包时，根据所述至少一个第二终端设备的第二数据包得到第四数据包；其中，所述第四数据包包括所述至少一个第二终端设备上触摸点的属性信息；

指示发射器842将所述第四数据包发送给所述主机。

在一种可能的实施方式中，触摸点的属性信息包括：状态信息、标识信息、位置信息和尺寸信息中的一种或多种。

在一种可能的实施方式中，在所述第三数据包中，所述第一终端设备和至少一个第二终端设备上的触摸点的标识信息与触摸点的生成时间有关，且触摸点的标识信息在该触摸点的生存周期内保持不变。

在一种可能的实施方式中，在所述第三数据包中，第三数据包中各个触摸点的标识信息满足：生成时间在前的触摸点的标识信息大于生成时间在后的触摸点的标识信息。

在一种可能的实施方式中，在所述第三数据包中，各个触摸点的标识信息从0开始以1为步长进行编号，且触摸点的属性信息在第三数据包中的存储位置与该触摸点的标识信息有关。

在一种可能的实施方式中，所述第三数据包还包括当前有效触摸点数，所述当前有效触摸点数表示所述第一终端设备和所述至少一个第二终端设备上的触摸点的总数量。

本申请实施例和图2至图7b的方法实施例基于同一构思，其带来的技术效果也相同，具体过程可参照方法图2至图7b的方法实施例，此处不再赘述。

可选的，终端设备可以包括rf(radiofrequency，射频)电路810、包括有一个或一个以上计算机可读存储介质的存储器820、输入装置830、输出装置840、传感器850、音频电路860、wifi(wirelessfidelity，无线保真)模块860、包括有一个或者一个以上处理核心的处理器880、以及电源890等部件。本领域技术人员可以理解，图8b中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

rf电路810可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器880处理；另外，将涉及上行的数据发送给基站。通常，rf电路810包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim)卡、收发信机、耦合器、lna(lownoiseamplifier，低噪声放大器)、双工器等。此外，rf电路810还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于3gpp(3rdgenerationpartnershipproject，第三代合作伙伴计划，简称3gpp)、3gpp2((3rdgenerationpartnershipproject2，第三代合作伙伴计划2，简称3gpp2))、umts(universalmobiletelecommunicationssystem，通用移动通信系统，简称umts)、lte(longtermevolution，长期演进，简称lte)、lte-a(lte-advanced，长期演进升级版，简称lte-a)、wimax((worldwideinteroperabilityformicrowaveaccess，全球微波互联接入，简称wimax)、hsdpa(highspeeddownlinkpacketaccess，高速下行分组接入，简称hsdpa)、hsupa(highspeeduplinkpacketaccess，高速上行分组接入，简称hsupa)、tdma(timedivisionmultipleaccess，时分多址接入，简称tdma)、wcdma(widebandcodedivisionmultipleaccess，宽带码分多址接入，简称wcdma)、gsm(globalsystemformobilecommunication，全球移动通信系统，简称gsm、电子邮件、sms(shortmessagingservice，短消息服务)等。

可选的，终端设备还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在终端设备移动到耳边时，关闭显示面板841和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路860、扬声器861，传声器862可提供用户与终端设备之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经rf电路810以发送给比如另一终端设备，或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔，以提供外设耳机与终端设备的通信。

wifi属于短距离无线传输技术，终端设备通过wifi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8b示出了wifi模块870，但是可以理解的是，其并不属于终端设备的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

可选的，终端设备还包括给各个部件供电的电源890(比如电池)，其中，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

可选的，终端设备还可以包括摄像头891、蓝牙模块等，其中，摄像头891用于对周围环境曝光以得到帧图像，在一种方式中，该摄像头891将曝光得到的帧图像的参数传递给处理器880以使该处理器880对该帧图像做去噪、增强等处理，生成能够展示给用户的图片；在又一种可选的方案中，该摄像头891自带了图像处理器芯片，该图像处理芯片可以对该帧图像做初步处理，对该帧图像做初步处理后在将经处理的数据传递给该处理器880以使该处理器880最终生产能够展示给用户的图像。进一步地，该摄像头891的数量可以为一个也可以为多个。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于申请所涵盖的范围。