一种多窗口同屏互动方法、终端及存储介质与流程

1.本发明涉及智慧屏应用领域，尤其涉及的是一种多窗口同屏互动方法、终端及存储介质。


背景技术：

2.随着硬件的升级，智慧屏(智能电视)逐渐从传统的单窗口调度系统发展到多窗口、多任务的调度系统；基于多窗口、多任务的智慧屏系统，给用户带来了更丰富的用户场景。
3.传统的智慧屏传屏服务，例如：游戏，只能简单地将手机屏幕的内容投射到智慧屏进行显示，而没有场景交互(即智慧屏中游戏场景与手机屏幕中游戏场景进行互动)；由于，智慧屏与手机屏幕没有相应的交互功能，因此，随着智慧屏系统性能的提升，需要一种可以实现智慧屏与手机屏幕的交互功能，以提供智慧屏与手机屏幕共同互动的交互场景和控制方法。
4.因此，现有技术还有待改进。


技术实现要素：

5.本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种多窗口同屏互动方法、终端及存储介质，以解决传统的智慧屏传屏服务无法进行场景互动的技术问题。
6.本发明解决技术问题所采用的技术方案如下：
7.第一方面，本发明提供一种多窗口同屏互动方法，多窗口同屏互动方法包括以下步骤：
8.获取投屏端的显示内容；
9.根据用户操作指令开启同屏互动功能，并在显示区域中创建第一显示窗口、第二显示窗口、第一指令间隔区域以及第二指令间隔区域；其中，所述第一显示窗口和所述第一指令间隔区域分别与所述投屏端相对应，所述第二显示窗口和所述第二指令间隔区域分别与本终端相对应；
10.将所述投屏端的显示内容显示在所述第一显示窗口中，并通过所述第一指令间隔区域获取所述投屏端的操作指令，在所述第一显示窗口中执行对应的操作；
11.通过所述第二指令间隔区域获取本终端的操作指令，并在所述第二显示窗口中执行对应的操作。
12.在一种实现方式中，所述获取投屏端的显示内容，之前包括：
13.获取所述投屏端的设备信息和状态信息；
14.根据所述设备信息获取对应的投屏协议，并根据所述投屏协议和所述状态信息与所述投屏端建立连接。
15.在一种实现方式中，所述获取投屏端的显示内容，包括：
16.检测所述投屏端中待投屏应用的启动状态；
17.若所述待投屏应用已启动，则根据所述投屏协议获取所述待投屏应用中的操作界面和/或显示区域内容。
18.在一种实现方式中，所述根据用户操作指令开启同屏互动功能，并在显示区域中创建第一显示窗口、第二显示窗口、第一指令间隔区域以及第二指令间隔区域，包括：
19.根据所述用户操作指令开启所述同屏互动功能；
20.创建多窗口拼接屏，并在所述多窗口拼接屏中设置所述第一显示窗口和所述第二显示窗口；
21.根据所述投屏协议分别设置所述第一指令间隔区域和所述第二指令间隔区域。
22.在一种实现方式中，所述用户操作指令包括：按键操作指令、语音控制指令以及图像手势指令中的任意一种。
23.在一种实现方式中，所述将投屏端的显示内容显示在所述第一显示窗口中，并通过所述第一指令间隔区域获取所述投屏端的操作指令，在所述第一显示窗口中执行对应的操作，包括：
24.获取所述投屏端中待投屏应用的应用名称，并在本终端中开启所述待投屏应用；
25.将所述投屏端的显示内容显示在所述第一显示窗口中；
26.根据特征码在所述第一指令间隔区域获取所述投屏端的操作指令，并在所述第一显示窗口中执行对应的操作。
27.在一种实现方式中，所述通过第二指令间隔区域获取本终端的操作指令，并在所述第二显示窗口中执行对应的操作，包括：
28.通过所述第二指令间隔区域获取本终端的操作指令；
29.确定本终端与所述投屏端的互动状态；
30.根据本终端的操作指令和所述互动状态，在所述第二显示窗口中执行对应的操作；
31.在所述第二显示窗口中显示互动后的状态和执行本终端的操作指令后的互动内容。
32.在一种实现方式中，还包括：
33.根据所述用户操作指令开启所述同屏互动功能，并在本终端的显示区域中显示二维码；其中，所述二维码包括：待投屏应用的名称、安装包路径以及连接请求；
34.根据所述投屏端发送的扫描结果和连接请求，与所述投屏端建立连接，并基于所述第二显示窗口和所述第二指令间隔区域与所述投屏端进行同屏互动。
35.第二方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有多窗口同屏互动程序，所述多窗口同屏互动程序被所述处理器执行时用于实现如第一方面所述的多窗口同屏互动方法。
36.第三方面，本发明提供一种存储介质，所述存储介质存储有多窗口同屏互动程序，所述多窗口同屏互动程序被处理器执行时用于实现如第一方面所述的多窗口同屏互动方法。
37.本发明采用上述技术方案具有以下效果：
38.本发明根据用户操作指令开启同屏互动功能，并在显示区域中创建多个显示窗口和多个指令间隔区域，利用不同的显示窗口分别显示投屏内容和互动内容，使用户在查看
投屏内容时可以查看投屏端发送的互动内容；并且，通过指令间隔区域分隔投屏端与本终端的指令，在多窗口同屏显示的情境下，实现了多窗口同屏互动的功能。
附图说明
39.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
40.图1是本发明的一种实现方式中多窗口同屏互动方法的流程图。
41.图2是本发明的一种实现方式中开启同屏互动功能前的窗口示意图。
42.图3是本发明的一种实现方式中开启同屏互动功能后的窗口示意图。
43.图4是本发明的一种实现方式中二维码连接的窗口示意图。
44.图5是本发明的一种实现方式中终端的功能原理图。
45.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
46.为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
47.示例性方法
48.如图1所示，本发明实施例提供一种多窗口同屏互动方法，所述多窗口同屏互动方法包括以下步骤：
49.步骤s100，获取投屏端的显示内容。
50.在本实施例中，所述多窗口同屏互动方法应用于终端中，所述终端为本实施例的投屏内容接收及显示的终端设备，所述终端包括但不限于：智慧屏(智能电视)、手机、平板电脑以及可穿戴设备等移动终端。
51.本实施例还将投屏端作为投屏内容的发送端，所述投屏端包括但不限于：手机、智慧屏(智能电视)、平板电脑以及可穿戴设备等移动终端；为了便于理解和区分，本实施例以手机作为所述投屏端，并以智慧屏作为所述终端对本实施例进行说明。
52.在本实施例中，用户可以在所述手机端通过传屏服务将应用(例如：游戏)投屏至所述智慧屏；之后，用户可以分别在所述手机和所述智慧屏中输入操作指令，从而基于各自的操作指令实现同屏互动或同屏竞技；而且，在实现同屏互动时，所述手机或所述智慧屏可以根据投屏内容对应的应用名称，从手机渠道(例如：应用推送安装)或智慧屏渠道(例如：应用商场)安装并启动相同的应用程序，以开启多窗口同屏互动功能。
53.进一步地，在开启多窗口同屏互动的场景下，在所述智慧屏中设置多个指令间隔区域，通过对应的指令间隔区域，手机投屏内容的显示窗口只接收所述手机端发送的控制指令，而所述智慧屏的应用开启窗口只接收所述智慧屏的控制指令，这样一来，在同屏互动的情况下，各窗口获取需要的控制指令，而不受其他控制指令的干扰；而在退出同屏互动功能的场景下，只需要解除指令间隔的限制即可。
54.具体地，在实现多窗口同屏互动时，需要将所述智慧屏与所述手机建立有线连接或无线连接(例如：wifi、蓝牙以及nfc等)；在建立连接的过程中，所述智慧屏获取所述手机的设备信息和状态信息，其中，所述设备信息包括：设备名称(例如：手机型号)和设备地址(例如：端口号、蓝牙地址)等信息；所述状态信息是指所述手机的连接状态(例如：无线连接状态或有线连接状态)信息。
55.进一步地，在获取到所述手机的信息后，根据所述手机的设备信息获取对应的投屏协议，例如：所述手机的无线投屏协议为dlna(digital living network alliance，数字生活网络联盟)协议；在获取对应的投屏协议后，先确定所述手机是否处于连接状态，即确定所述手机是否正在与其他设备进行投屏连接；若所述手机的投屏功能已经开启，且所述手机未与其他设备投屏连接，所述智慧屏则根据获取的投屏协议与所述手机端建立连接，以用于后续的投屏和共享服务。
56.即在本实施例的一种实现方式中，步骤s100之前包括以下步骤：
57.步骤s001，获取所述投屏端的设备信息和状态信息；
58.步骤s002，根据所述设备信息获取对应的投屏协议，并根据所述投屏协议和所述状态信息与所述投屏端建立连接。
59.在本实施例中，在所述智慧屏与所述手机连接后，用户可以在手机上启动需要投屏的应用程序，而所述智慧屏则会实时检测所述手机中应用程序的启动状态；若所述手机已经成功启动应用程序，所述手机通过投屏协议将屏幕显示内容传输至所述智慧屏，所述智慧屏则获取所述手机端应用程序的显示内容并进行显示，例如：应用程序的操作界面、应用程序中显示区域的内容等。
60.即在本实施例的一种实现方式中，步骤s100具体包括以下步骤：
61.步骤s110，检测所述投屏端中待投屏应用的启动状态；
62.步骤s120，若所述待投屏应用已启动，则根据所述投屏协议获取所述待投屏应用中的操作界面和/或显示区域内容。
63.本实施例通过检测手机端应用程序的启动状态，可在手机端启动应用程序时，获取手机中应用程序的操作界面和/或显示区域内容，并在智慧屏的显示区域中进行显示，实现手机与智慧屏之间的投屏功能。
64.如图1所示，在本发明实施例的一种实现方式中，多窗口同屏互动方法还包括以下步骤：
65.步骤s200，根据用户操作指令开启同屏互动功能，并在显示区域中创建第一显示窗口、第二显示窗口、第一指令间隔区域以及第二指令间隔区域。
66.在本实施例中，在所述智慧屏获取及显示所述手机端的投屏内容后，仅仅是在所述智慧屏的显示区域中实现投屏功能，其显示界面如图2所示；若要在投屏功能的基础上实现互动功能，则需要用户在所述智慧屏端输入同屏互动指令，并通过所述同屏互动指令开启所述智慧屏中的同屏互动功能；其中，所述同屏互动指令即为用户启动互动功能的操作指令。
67.进一步地，所述同屏互动指令包括但不限于：按键操作指令、语音控制指令以及图像手势指令中的任意一种；其中，所述按键操作指令为所述智慧屏机体上或遥控器上的互动功能按键；所述语音控制指令为通过遥控器语言功能或远场语音功能实现的控制指令；
所述图像手势指令为通过所述智慧屏的摄像头采集的用户摆出的手势指令，例如：用户双手摆出的y手势指令或者其他自定义手势指令。
68.进一步地，在用户输入同屏互动指令后，所述智慧屏则开启同屏互动功能，并创建多窗口拼接屏，并在所述多窗口拼接屏中设置对应的显示窗口；其中，所述多窗口拼接屏为多个窗口组成的拼接屏，所述多窗口拼接屏的窗口数量为投屏手机数量之和加一；例如：有两个手机正在与所述智慧屏进行投屏，则所述多窗口拼接屏的窗口数量为三个。
69.如图3所示，在一个实施例中，所述智慧屏在创建所述多窗口拼接屏时，会打开两个显示窗口；其中，窗口a用于显示手机的投屏内容，窗口b用于显示同屏互动内容及互动状态等。
70.进一步地，在创建多窗口拼接屏后，所述智慧屏根据显示窗口的性质设置对应的指令间隔区域，即根据显示窗口的作用设置对应的指令间隔区域，其中，所述指令间隔区域用于区分投屏设备与被投屏设备之间的操作指令，以免出现操作指令冲突的情况，从而使得所述智慧屏的互动功能紊乱；对应地，每个指令间隔区域仅用于接收对应显示窗口的设备操作指令；例如，窗口a用于接收手机输入的操作指令。
71.如图3所示，在一个实施例中，所述智慧屏在创建所述指令间隔区域时，窗口a用于接收投屏手机的控制指令，例如：用户在所述手机中输入的游戏控制指令；窗口b用于接收非投屏手机的控制指令，例如：用户在所述智慧屏中输入的游戏控制指令。
72.即在本实施例的一种实现方式中，步骤s200具体包括以下步骤：
73.步骤s210，根据所述用户操作指令开启所述同屏互动功能；
74.步骤s220，创建多窗口拼接屏，并在所述多窗口拼接屏中设置所述第一显示窗口和所述第二显示窗口；
75.步骤s230，根据所述投屏协议分别设置所述第一指令间隔区域和所述第二指令间隔区域。
76.本实施例在用户输入同屏互动指令时，通过开启同屏互动功能，并在多窗口拼接屏中设置多个显示窗口和多个指令间隔区域，使得手机在投屏时可以向智慧屏发送控制指令；并且，使得智慧屏在显示投屏内容时可以输入控制指令，与手机进行互动。
77.如图1所示，在本发明实施例的一种实现方式中，多窗口同屏互动方法还包括以下步骤：
78.步骤s300，将所述投屏端的显示内容显示在所述第一显示窗口中，并通过所述第一指令间隔区域获取所述投屏端的操作指令，在所述第一显示窗口中执行对应的操作。
79.在本实施例中，在创建多个显示窗口和多个指令间隔区域后，所述智慧屏会获取投屏的应用名称，即所述手机正在投屏的应用名称；通过获取投屏的应用名称，可在所述智慧屏中启动相同的应用程序，利用相同的应用程序实现与所述手机端的互动。
80.具体地，在所述智慧屏会获取投屏的应用名称后，先查询在所述智慧屏中是否已经安装该应用程序，若已经安装该应用程序，所述智慧屏则直接打开该应用程序，并在对应的显示窗口中显示；若未安装该应用程序，所述智慧屏则在自带的应用商城中查找及下载该应用程序；待下载完成后，自动安装及启动该应用程序。
81.进一步地，若所述智慧屏在自带的应用商城中未查询到对应的应用程序，则向所述手机反馈“应用无法找到”的提示信息，并提示用户在所述手机端的应用商城进行下载，
并将下载的应用安装包推送给所述智慧屏，待所述智慧屏接收及安装该应用安装包，自动启动该应用程序。
82.进一步地，在所述智慧屏启动相同的应用程序后，所述智慧屏在对应的显示窗口中显示对应的内容，将所述手机的投屏内容进行显示，例如：在窗口a中显示手机的投屏内容，窗口b中显示同屏互动内容及互动状态等；在显示对应的内容时，根据不同设备的控制指令进行互动。
83.具体地，在互动的过程中，所述智慧屏根据特征码区别所述手机控制指令和自身控制指令；其中，所述特征码为所述手机在发送控制指令时携带的特征码，该特征码用于标识所述控制指令来源于所述手机；若控制指令中有该标识，则通过所述手机对应的指令间隔区域获取来自所述手机端的控制指令，以在所述手机投屏的显示窗口中执行对应的操作；例如：通过手机指令间隔区域获取用户在所述手机中输入的游戏操作指令，以在手机投屏窗口中执行游戏操作。
84.即在本实施例的一种实现方式中，步骤s300具体包括以下步骤：
85.步骤s310，获取所述投屏端中待投屏应用的应用名称，并在本终端中开启所述待投屏应用；
86.步骤s320，将所述投屏端的显示内容显示在所述第一显示窗口中；
87.步骤s330，根据特征码在所述第一指令间隔区域获取所述投屏端的操作指令，并在所述第一显示窗口中执行对应的操作。
88.本实施例通过获取应用程序名称，可在智慧屏端自动启动与投屏应用相同的应用程序；并且，通过特征码对控制指令进行区分，可在互动的过程中，将来自手机端的控制指令作用于手机投屏显示窗口中，避免手机控制指令对智慧屏的影响。
89.如图1所示，在本发明实施例的一种实现方式中，多窗口同屏互动方法还包括以下步骤：
90.步骤s400，通过所述第二指令间隔区域获取本终端的操作指令，并在所述第二显示窗口中执行对应的操作。
91.在本实施例中，在互动的过程中，除了来自所述手机端的控制指令，还有用户在所述智慧屏中输入的控制指令，这部分的控制指令包括：用于与所述手机进行互动的控制指令以及用于控制所述智慧屏操作界面或功能的控制指令(例如：退出同屏互动功能的控制指令)
92.具体地，在所述智慧屏打开相同的应用程序后，在互动窗口中显示互动内容和互动状态；此时，所述智慧屏通过本终端对应的指令间隔区域，获取用户在本终端输入的操作指令；然后，确定所述智慧屏与所述手机的当前互动状态，并根据本终端的操作指令和所述互动状态，在所述互动窗口中执行对应的控制操作；例如：所述智慧屏与所述手机处于同屏竞技状态，根据获取的用户在所述智慧屏中输入的竞技控制指令，在互动显示窗口中执行竞技控制指令。
93.即在本实施例的一种实现方式中，步骤s400具体包括以下步骤：
94.步骤s410，通过所述第二指令间隔区域获取本终端的操作指令；
95.步骤s420，确定本终端与所述投屏端的互动状态；
96.步骤s430，根据本终端的操作指令和所述互动状态，在所述第二显示窗口中执行
对应的操作；
97.步骤s440，在所述第二显示窗口中显示互动后的状态和执行本终端的操作指令后的互动内容。
98.在上述的互动过程中，主要以所述手机端作为投屏内容发送端，在所述智慧屏中显示手机投屏内容，以及在所述智慧屏中进行两者之间的互动；而在其他的实现方式中还可以在所述手机端中显示所述智慧屏的投屏内容，并在所述手机端中进行两者之间的互动。
99.在本实施例的另外一种实现方式中，所述手机还可以通过二维码与所述智慧屏进行同屏互动，具体如下：
100.首先，在所述智慧屏中启动需要互动的应用程序，例如：游戏；然后，提示用户在所述智慧屏中输入同屏互动指令，以及开启同屏互动功能(过程如上所述)。
101.进一步地，待开启同屏互动功能后，创建多个指令间隔区域(过程如上所述)，并在所述智慧屏的显示区域设置互动二维码(如图4所示)，通过所述二维码与所述手机建立互动连接；其中，所述二维码包括：需要互动的应用程序的名称、安装包路径以及连接请求。
102.进一步地，在所述智慧屏中开启多窗口拼接屏模式，打开2个显示窗口，在窗口a中显示所述手机的扫描结果及所述手机的连接状态，窗口b中显示智慧屏所启动的应用程序，并在所述智慧屏建立窗口对应的指令区域响应对应设备发送的控制指令(窗口a只接收投屏手机的控制指令，窗口b只接收非投屏手机的控制指令)。
103.进一步地，用户通过手机扫描所述智慧屏中的二维码，获取所述二维码中的应用名称、安装包路径等信息，在所述手机端进行应用的安装、启动，并在所述智慧屏的投屏窗口中显示所述手机的投屏内容。
104.待完成同屏互动功能的多窗口显示任务后，即可根据不同设备的控制指令进行互动；若用户选择退出同屏互动功能，则询问用户是否需要在所述智慧屏中卸载当前同屏互动安装的应用；若用户选择同意，则对互动过程安装的应用进行卸载；若用户选择不同意，则保留该应用程序。
105.即在本实施例的一种实现方式中，所述方法还包括以下步骤：
106.步骤s510，根据所述用户操作指令开启所述同屏互动功能，并在本终端的显示区域中显示二维码；
107.步骤s520，根据所述投屏端发送的扫描结果和连接请求，与所述投屏端建立连接，并基于所述第二显示窗口和所述第二指令间隔区域与所述投屏端进行同屏互动。
108.当然，在本实施例的其他实现方式中，除了上述的二维码连接及互动方式，还可以通过nfc碰一碰等功能实现所述手机与所述智慧屏之间的投屏连接，以及在连接的基础上实现同屏互动的过程。
109.本实施例根据用户操作指令开启同屏互动功能，并在显示区域中创建多个显示窗口和多个指令间隔区域，利用不同的显示窗口分别显示投屏内容和互动内容，使用户在查看投屏内容时可以查看投屏端发送的互动内容；并且，通过指令间隔区域分隔投屏端与本终端的指令，在多窗口同屏显示的情境下，实现了多窗口同屏互动的功能。
110.示例性设备
111.基于上述实施例，本发明还提供一种终端，其原理框图可以如图5所示。
112.该终端包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该终端的处理器用于提供计算和控制能力；该终端的存储器包括存储介质以及内存储器；该存储介质存储有操作系统和计算机程序；该内存储器为存储介质中的操作系统和计算机程序的运行提供环境；该接口用于连接外部终端设备，例如：移动终端以及计算机等设备；该显示屏用于显示相应的多窗口同屏互动信息；该通讯模块用于与云端服务器或移动终端进行通讯。
113.该计算机程序被处理器执行时用以实现一种多窗口同屏互动方法。
114.本领域技术人员可以理解的是，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
115.在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，存储器存储有多窗口同屏互动程序，多窗口同屏互动程序被处理器执行时用于实现如上的多窗口同屏互动方法。
116.在一个实施例中，提供了一种存储介质，其中，存储介质存储有多窗口同屏互动程序，多窗口同屏互动程序被处理器执行时用于实现如上的多窗口同屏互动方法。
117.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
118.综上，本发明提供了一种多窗口同屏互动方法、终端及存储介质，其中，方法包括：获取投屏端的显示内容；根据用户操作指令开启同屏互动功能，并在显示区域中创建第一显示窗口、第二显示窗口、第一指令间隔区域以及第二指令间隔区域；将投屏端的显示内容显示在第一显示窗口中，并通过第一指令间隔区域获取投屏端的操作指令，在第一显示窗口中执行对应的操作；通过第二指令间隔区域获取本终端的操作指令，并在第二显示窗口中执行对应的操作。本发明在显示区域中创建多个显示窗口和多个指令间隔区域，利用对应的显示窗口分别显示投屏内容和互动内容，并通过指令间隔区域分隔投屏端与本终端的指令，在多窗口同屏显示的情境下，实现了多窗口同屏互动的功能。
119.应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。