技术领域本发明涉及移动终端技术领域，尤其是一种多终端联合显示方法、装置及系统。
背景技术：
随着人们对手机等移动终端需求的多元化，移动终端大屏化的趋势越来越明显，生产商纷纷推出5寸或5寸以上的大屏手机。一方面，大屏的确可以给用户带来更好的显示体验；另一方面，大屏移动终端的弊端也非常明显。一是大屏不具有便携性和单手操作快捷性，二是大尺寸的屏幕更加耗电，对于目前已出产的大部分大屏手机来说，屏幕显示的耗电对终端使用时间的影响都很大。综上，移动终端的屏幕尺寸最终会受到限制。然而，用户在使用移动终端进行休闲娱乐时，尤其是在观看视频时，大屏幕的体验往往会更好。因此，需要一种能够折衷的方案，既利用现有的移动终端屏幕尺寸，又能够为用户提供更好地观看视频的视觉感受。
技术实现要素：
为此，本发明提供一种多终端联合显示方法、装置及系统，以力图解决或者至少缓解上面存在的问题。根据本发明的一个方面，提供一种多终端联合显示方法，该方法在第一移动终端中执行，包括步骤：响应于用户输入请求，设置用于联合显示视频的屏幕区域数量；为每个屏幕区域关联一个播放终端；将视频数据转换为数量与屏幕区域数量对应的子视频数据流，其中各子视频数据流分别与各屏幕区域相对应；以及将各子视频数据流分别推送给与各屏幕区域相关联的播放终端以便播放。可选地，在根据本发明的多终端联合显示方法中，屏幕区域数量至少为2。可选地，在根据本发明的多终端联合显示方法中，将视频数据转换为数量与屏幕区域数量对应的子视频数据流的步骤包括：对待播放的视频数据解码；将解码后的视频数据分割成与各屏幕区域相对应的子视频数据流；以及分别对每个子视频数据流进行编码，得到屏幕区域数量个子视频数据流。可选地，在根据本发明的多终端联合显示方法中，将解码后的视频数据分割成与各屏幕区域相对应的子视频数据流的步骤包括：把视频数据的每一图像帧分割成与各屏幕区域对应的子图像帧；以及拼接同一屏幕区域对应的各子图像帧，得到子视频数据流。可选地，在根据本发明的多终端联合显示方法中，分别对每个子视频数据流进行编码的步骤还包括：获取相关联的每个播放终端的分辨率；以及根据分辨率分别对每个子视频数据流进行内插处理。可选地，在根据本发明的多终端联合显示方法中，还包括步骤：依序对每个屏幕区域编号；以及根据编号顺序确定与之关联的播放终端摆放的物理位置，以提醒用户依位置摆放播放终端。可选地，在根据本发明的多终端联合显示方法中，还包括步骤：与多个播放终端建立广播组；获取播放终端的设备标识；其中，播放终端还包括所述第一移动终端。可选地，在根据本发明的多终端联合显示方法中，为每个屏幕区域关联一个播放终端的步骤包括：为每个屏幕区域分配一个播放标识；以及为每个播放标识关联一个设备标识。可选地，在根据本发明的多终端联合显示方法中，还包括步骤：在广播组中的多个播放终端接收各子视频数据流，播放各子视频数据流。根据本发明的另一方面，提供一种多终端联合显示装置，该装置适于驻留在第一移动终端中，装置包括：输入/输出接口，适于接收用户输入请求，还适于将各子视频数据流分别推送给与各屏幕区域相关联的播放终端，以便播放；分割模块，适于根据用户输入请求，设置用于联合显示视频的屏幕区域数量；关联分配模块，适于为每个屏幕区域关联一个播放终端；以及拼接模块，适于将视频数据转换为数量与屏幕区域数量对应的子视频数据流，其中各子视频数据流分别与划分的各屏幕区域相对应。可选地，在根据本发明的多终端联合显示装置中，屏幕区域数量至少为2。可选地，在根据本发明的多终端联合显示装置中，拼接模块包括：编解码子单元，适于对待播放的视频数据解码、并且分别对每个子视频数据流进行编码，得到屏幕区域数量个子视频数据流；以及拼接子单元，适于将解码后的视频数据分割成与各屏幕区域相对应的子视频数据流。可选地，在根据本发明的多终端联合显示装置中，拼接子单元还适于把视频数据的每一图像帧分割成与各屏幕区域对应的子图像帧、以及拼接同一屏幕区域对应的各子图像帧，得到子视频数据流。可选地，在根据本发明的多终端联合显示装置中，输入/输出接口还适于获取相关联的每个播放终端的分辨率；编解码子单元还适于根据分辨率分别对每个子视频数据流进行内插处理。可选地，在根据本发明的多终端联合显示装置中，分割模块还适于依序对每个屏幕区域编号；以及关联分配模块还适于根据编号顺序确定与之关联的播放终端摆放的物理位置，以提醒用户依位置摆放播放终端。可选地，在根据本发明的多终端联合显示装置中，还包括：控制模块，适于与多个播放终端建立广播组；以及获取播放终端的设备标识，其中，播放终端还包括第一移动终端。可选地，在根据本发明的多终端联合显示装置中，关联分配模块还适于获取每个屏幕区域的播放标识、且为每个播放标识关联一个设备标识。可选地，在根据本发明的多终端联合显示装置中，还适于驻留在该广播组中的多个播放终端中，输入/输出接口还适于接收由各子视频数据流；还包括播放模块，适于播放各子视频数据流。根据本发明的又一方面，提供了一种多终端联合显示系统，包括一个第一移动终端和至少一个其他播放终端，其中该系统中的所有终端都具有如上所述的多终端联合显示装置。由上面的技术方案可见，本发明不同于现有的在一个移动终端的显示屏上拼接显示图像内容的技术，而是在多个同尺寸的移动终端之间建立广播组，将多个移动终端作为播放终端虚拟拼接，而后将视频数据分割成多个子视频数据流，将子视频数据流与多个播放终端一一关联，通过选取一个移动终端做主控制设备，控制各子视频数据流关联输出到多个播放终端，实现多个播放终端同步播放视频数据，以达到视觉上扩大显示内容的效果，提高用户的观看体验。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本发明一个实施例的移动终端100的构造示意图；图2示出了根据本发明一个实施例的多终端联合显示方法200的流程图；图3示出了根据本发明一个实施例的多终端联合显示装置300的示意图；图4A示出了根据本发明一个实施例的多终端联合显示示意图；以及图4B示出了根据本发明另一个实施例的多终端联合显示示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1为根据本发明的一个实施方式的移动终端100构造示意图。参照图1，移动终端100包括：存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动终端100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。例如，运动传感器110、光传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中所述相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动终端100所支持的一个或多个通信网络。例如，移动终端100可以包括被设计成支持GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子系统124。音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。所述一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作系统152，例如Android、IOS或是WindowsPhone之类的操作系统。该操作系统152可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用154。这些应用在操作时，会从存储器150加载到处理器104上，并在已经由处理器104运行的操作系统之上运行，并利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用可以是独立于操作系统提供的，也可以是操作系统自带的。根据本发明的一个实施例，提供了一种具有联合显示功能的移动终端100，可以通过在多个移动终端100中布置相应的多终端联合显示装置300来实现上述功能。根据本发明的实现方式，多终端联合显示系统由至少两个移动终端100构成。并且，为达到令人舒适的显示效果，该系统中的多个移动终端100最好具有相同的尺寸。可以由用户设置其中一个移动终端100作为该系统中的主控制设备，通过建立广播组与其他多个移动终端100进行通信。图2示出了根据本发明一个实施例的多终端联合显示方法200的流程图。该方法200始于步骤S210，响应于用户输入请求，设置用于联合显示视频的屏幕区域数量。例如要求用户在作为主控制设备的第一移动终端上输入将视频内容划分成几个区域联合播放，响应于用户的输入，第一移动终端划分出相应数量个屏幕区域，一般地，屏幕区域都是平均划分得到的。其中屏幕区域数量至少要是2个，可以是包括一个主控制设备和其他一个播放设备，主控制设备同时也可以做播放设备。随后在步骤S220中，为上述每个屏幕区域关联一个移动终端100，作为播放设备。首先，第一移动终端100与该系统中的其他移动终端100建立广播组。例如，通过RSTP协议完成各终端之间通信数据的转发、学习等。而后，第一移动终端获取广播组中所有移动终端的设备标识。同时，第一移动终端作为主控制设备，为每个屏幕区域分配一个播放标识，如图4A所示，第一移动终端划分出左右两个屏幕区域，分别对应播放标识401和402。最后，第一移动终端分别为每个播放标识关联一个设备标识，如图4A所示，播放标识401对应移动终端1001，播放标识402对应移动终端1002。同理，当用户要将视频内容划分成四个屏幕区域时，如图4B所示，4个屏幕区域的播放标识是403、404、405和406，分别对应以下4个移动终端1003、1004、1005和1006。应当注意的是，由前文描述可知，作为主控制设备的第一移动终端，也可以同时作为播放设备播放视频内容。故而，所获取的设备标识中还包括第一移动终端自身的设备标识，以将其与其中一个播放标识相关联。将屏幕区域与移动终端相关联后，随后在步骤S230中，就要考虑视频内容的分配问题了。根据本发明的一个实施例，将视频数据转换为数量与屏幕区域数量对应的子视频数据流，其中各子视频数据流分别与划分的各屏幕区域相对应。该步骤又可以细分为以下几步：首先，对待播放的视频数据解码。例如，可以采用ffmpeg解码待播放视频数据，通过调用ffmpeg提供的API“avcodec_find_decoder”得到解码器，循环从视频文件中读取图像数据进行解码。在本发明中，对视频解码算法并不做限制，任何视频图像的解码算法都可以用于对待播放视频数据解码，与本发明的实施例相结合使用。然后，将解码后的视频数据分割成与各屏幕区域相对应的子视频数据流。例如，若划分了2个屏幕区域，那么就将待播放的视频数据划分成2个子视频数据流。具体做法是：把视频数据的每一图像帧分割成与各屏幕区域对应的子图像帧(例如，划分2个子图像帧)，然后拼接同一屏幕区域内对应的各子图像帧，得到子视频数据流。接着，分别对划分好的每个子视频数据流重新进行编码，得到屏幕区域数量个子视频数据流。考虑到可能会遇到以下情况：原本待播放视频的分辨率为1920*1080，将其划分为2个子视频后，每一个子视频数据流的分辨率可能会是960*1080，此时，若对应播放终端的分辨率为1920*1080，为保证视频的观看质量，在本步骤中，需要对子视频数据流进行插值操作。因此在本步中，还包括以下操作：获取相关联的每个播放终端的分辨率，根据播放终端的分辨率分别对每个子视频数据流进行内插处理。最后，将各子视频数据流分别推送给与各屏幕区域相关联的播放终端，以便播放。同样地，在广播组中的作为播放设备的移动终端，也就是播放终端，接收各子视频数据流，并执行相关指令播放各子视频数据流。在推送视频数据流时，一方面需要将子视频数据流与播放终端一一对应，另一方面，还需要注意各屏幕区域之间的顺序。因此，本步中，还要依序对每个屏幕区域编号，同时根据该编号顺序确定与之关联的播放终端摆放的物理位置，以提醒用户依位置摆放移动终端。根据某种实施方式，此处的编号亦可以与步骤S220中每个屏幕区域的播放标识通用。例如在图4A中，还是以401、402作为屏幕区域的编号，那么，相对应地，与之关联的两个移动终端1001、1002的摆放顺序就必须是1001位于1002的左侧。根据上述流程，当用户希望拥有大屏的观看体验、或者在某些需要放大视频内容的观看场景下，就可以通过本方案，将多个移动终端虚拟拼接，并且通过合适的摆放位置，实现跨屏扩大显示视频内容。同时，通过控制主控制设备(也就是第一移动终端)，实现视频内容的同步播放、暂停、回退等功能，以满足用户的观看需求，提高用户体验。图3示出了根据本发明一个实施例的多终端联合显示装置300的示意图。该装置300包括：输入/输出接口310、分割模块320、关联分配模块330、以及拼接模块340。其中，分割模块320分别与关联分配模块330和拼接模块340相耦接。输入/输出接口310适于接收用户输入请求，例如用户通过输入数字确定要划分几个屏幕区域，即要匹配几个移动终端来实现联合播放显示视频内容。根据另一实施例，输入/输出接口310还适于接收用户的选择输入，用户通过输入选取某一个移动终端作第一移动终端，作为主控制设备。分割模块320适于根据用户输入请求，设置用于联合显示的屏幕区域数量。定义屏幕区域数量至少为2。同时，分割模块320还适于依序对每个屏幕区域编号，以便于后续对播放视频的多个移动终端进行排序。关联分配模块330适于为每个屏幕区域关联一个移动终端作为播放终端。由上面的描述可知，关联分配模块330还适于根据屏幕区域的编号顺序确定与之关联的播放终端摆放的物理位置，以提醒用户依位置摆放播放终端。根据本发明的实施方式，本装置300还包括控制模块，适于与系统中的多个移动终端建立广播组，同时获取每个播放终端的设备标识，其中，作为主控制设备的第一移动终端也可以作为播放终端用于播放视频内容，故第一移动终端还适于获取自己的设备标识。这样的话，关联分配模块330还可以获取每个屏幕区域的播放标识、且为每个播放标识关联一个设备标识。根据一种实现方法，此处的播放标识可以就是各屏幕区域的编号。拼接模块340适于将视频数据相应转换为数量与屏幕区域数量相对应的子视频数据流，其中各子视频数据流分别与划分的各屏幕区域相对应。根据本发明的实施例，拼接模块340包括：编解码子单元和拼接子单元。其中，编解码子单元适于对待播放的视频数据解码，拼接子单元适于将解码后的视频数据分割成与各屏幕区域相对应的子视频数据流，而后，编解码子单元适于分别对每个子视频数据流进行编码，得到屏幕区域数量个子视频数据流。具体地，拼接子单元还适于把视频数据中的每一图像帧分割成与各屏幕区域对应的子图像帧、以及拼接同一屏幕区域对应的各子图像帧，得到子视频数据流。在基于图2的描述中提到过，在对待播放视频重新编码时，还需要考虑视频分辨率的问题。此时，输入/输出接口310还适于获取相关联的每个播放终端的分辨率，编解码子单元还适于根据分辨率分别对每个子视频数据流进行内插处理。可参考图2相关描述，具体做法此处不再赘述。对于视频数据的编解码处理、或者插值处理，可以通过调用ffmpeg实现，亦可以通过其他算法来实现，本方案对此处并不做限制。输入/输出接口310还适于将各子视频数据流分别推送给与各屏幕区域相关联的播放终端，以便播放。由于关联分配模块330已经将各屏幕区域、各子视频数据流、以及各播放终端相关联，所以输出接口按关联的标识对应推送视频数据流就可以了，用户依编号顺序摆放好播放终端的位置。图4A和图4B分别示出了设置用于联合显示的屏幕区域的两个示例，参考关于图4A和图4B的描述，详细地介绍了如何将各屏幕区域、各子视频数据流、以及各播放终端相关联，此处不再赘述。应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。A6、如A1-5中任一项所述的方法，还包括步骤：依序对每个屏幕区域编号；以及根据编号顺序确定与之关联的播放终端摆放的物理位置，以提醒用户依位置摆放播放终端。A7、如A1-6中任一项所述的方法，还包括步骤：与多个播放终端建立广播组；获取播放终端的设备标识；其中，播放终端包括第一移动终端。A8、如A7所述的方法，其中为每个屏幕区域关联一个播放终端的步骤包括：为每个屏幕区域分配一个播放标识；以及为每个播放标识关联一个设备标识。A9、如A7或8所述的方法，还包括步骤：在广播组中的多个播放终端接收各子视频数据流，播放各子视频数据流。B14、如B12或13所述的装置，其中，输入/输出接口还适于获取相关联的每个播放终端的分辨率；编解码子单元还适于根据所述分辨率分别对每个子视频数据流进行内插处理。B15、如B10-14中任一项所述的装置，其中，分割模块还适于依序对所述每个屏幕区域编号；以及关联分配模块还适于根据所述编号顺序确定与之关联的播放终端摆放的物理位置，以提醒用户依位置摆放播放终端。B16、如B10-15中任一项所述的装置，还包括：控制模块，适于与多个播放终端建立广播组；以及获取播放终端的设备标识，其中，播放终端包括第一移动终端。B17、如B16所述的装置，其中，关联分配模块还适于获取每个屏幕区域的播放标识、且为每个播放标识关联一个设备标识。B18、如B16或17所述的装置，其中，装置还适于驻留在该广播组中的多个播放终端中，输入/输出接口还适于接收各子视频数据流；装置还包括播放模块，适于播放各子视频数据流。此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。