投屏方法、投屏装置、电子设备以及计算机可读存储介质与流程

本公开涉及终端设备数据处理领域，尤其涉及投屏方法、投屏装置、电子设备及计算机可读存储介质。

背景技术：

目前，如手机、平板电脑等移动终端设备的功能日益丰富，用户能够通过移动终端进行浏览网页、视频等，但受限于移动终端的尺寸，通过移动终端的显示屏观看内容不清晰，不能满足用户需求。由此产生了投屏技术，投屏是指将移动终端的内容投射至电视、电脑、投影仪等大屏设备，以满足影音娱乐需求。用户在通过移动终端进行投屏时，不能方便的进行其他任务操作，不方便对投屏内容进行监控。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种投屏方法、投屏装置、电子设备及计算机可读存储介质。

根据本公开实施例的第一方面，提供一种投屏方法，应用于移动终端，移动终端包括显示屏，投屏方法包括：响应于投屏指令，基于当前显示于显示屏的第一界面内容渲染虚拟屏，使虚拟屏显示第一界面内容，其中，虚拟屏为移动终端后台进程；发送数据流至投屏设备，通过投屏设备显示当前虚拟屏显示的内容，其中，投屏设备与移动终端通信连接；将当前虚拟屏显示的内容，同步显示于显示屏的窗口内，其中，窗口显示于显示屏的第一位置。

在一实施例中，方法还包括：响应于操作指令，于显示屏中显示相应的界面内容，且窗口内持续显示虚拟屏显示的内容。

在一实施例中，方法还包括：响应于切换指令，基于当前显示于显示屏的第二界面内容渲染虚拟屏，并将第一投屏内容于显示屏中显示。

在一实施例中，方法还包括：响应于对窗口内显示的内容的控制指令，对虚拟屏显示的内容进行相应的播放处理，其中，播放处理包括以下至少一项：暂停播放、恢复播放、快进播放。

在一实施例中，方法还包括：响应于关闭指令，将显示于显示屏的窗口关闭或贴边隐藏；响应于开启指令，将关闭的窗口恢复，并同步显示虚拟屏的内容。

在一实施例中，方法还包括：响应于位置调节指令，调整窗口位置，使窗口显示于显示屏的第二位置；响应于尺寸调节指令，调整窗口在显示屏的显示尺寸。

根据本公开实施例的第二方面，提供一种投屏装置，应用于移动终端，移动终端包括显示屏，投屏装置包括：渲染单元，用于响应于投屏指令，基于当前显示于显示屏的第一界面内容渲染虚拟屏，使虚拟屏显示第一界面内容，其中，虚拟屏为移动终端后台进程；发送单元，用于发送数据流至投屏设备，通过投屏设备显示当前虚拟屏显示的内容，其中，投屏设备与移动终端通信连接；显示单元，用于将当前虚拟屏显示的内容，同步显示于显示屏的窗口内，其中，窗口显示于显示屏的第一位置。

在一实施例中，显示单元还用于：响应于操作指令，于显示屏中显示相应的界面内容，且窗口内持续显示虚拟屏显示的内容。

在一实施例中，响应于切换指令，渲染单元基于当前显示于显示屏的第二界面内容渲染虚拟屏，且显示单元将第一投屏内容于显示屏中显示。

在一实施例中，渲染单元还用于：响应于对窗口内显示的内容的控制指令，对虚拟屏显示的内容进行相应的播放处理，其中，播放处理包括以下至少一项：暂停播放、恢复播放、快进播放。

在一实施例中，显示单元还用于：响应于关闭指令，将显示于显示屏的窗口关闭或贴边隐藏；响应于开启指令，将关闭的窗口恢复，并同步显示虚拟屏的内容。

在一实施例中，显示单元还用于：响应于位置调节指令，调整窗口位置，使窗口显示于显示屏的第二位置；响应于尺寸调节指令，调整窗口在显示屏的显示尺寸。

根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的投屏方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的投屏方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过在移动终端显示屏中设置一窗口，在投屏过程中，在窗口内显示投屏内容，使得能够随时监控投屏内容，并且，窗口仅占显示屏的一部分面积，用户还能够对移动终端进行其他操作，对投屏不产生影响，使得用户在投屏过程中也能够监控投屏内容的同时进行其他操作，为用户提供了方便，提高了体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种投屏方法的流程示意图。

图2是根据一示例性实施例示出的一种投屏方法的移动终端和投屏设备的画面示意图。

图3是根据一示例性实施例示出的另一种投屏方法的流程示意图。

图4是根据一示例性实施例示出的另一种投屏方法的流程示意图。

图5是根据一示例性实施例示出的另一种投屏方法的流程示意图。

图6是根据一示例性实施例示出的另一种投屏方法的流程示意图。

图7是根据一示例性实施例示出的一种基于多摄像头的拍摄装置的示意框图。

图8是根据一示例性实施例示出的一种装置的示意框图。

图9是根据一示例性实施例示出的一种电子装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在一些相关技术中，投屏使用dlna(digitallivingnetworkalliance，数字生活网络联盟)协议，直接将要投屏的内容传送至投屏设备，投屏设备一端会根据投屏网址自动读取播放，移动终端可以通过指令更换投屏内容或退出投屏。这个方案的优点在于，在投屏过程中，内容投射至投屏设备后，移动终端可以继续操作其它内容，移动终端的操作不会影响投屏设备的投屏内容。但通过该种方式投屏的过程中，通过投屏设备显示出的内容，无法在移动终端上同步显示，使得用户与投屏设备不在一个空间时，无法通过移动终端监控当前播放的内容。

在另一些相关技术中，投屏通过miracast协议，将移动终端显示的内容直接镜像投放在投屏设备上。miracast协议是以wi-fi直连(wi-fidirect)为基础的无线显示标准，通过该种方式投屏时，投屏设备显示的内容与移动终端显示的内容同步，能够随时监控并控制投屏内容。但用户在投屏过程中，任何的操作都会通过投屏设备显示，因此不方便进行其他操作，并且由于镜像分辨率只能跟移动终端屏幕保持一致，一些情况下出现投屏的辨率过低的问题。

在又一些相关技术中，通过miracast协议投屏时，移动终端通过投屏内容渲染至后台的虚拟屏，讲虚拟屏镜像投放在投屏设备进行显示，由于虚拟屏不受硬件分辨率的限制，能够保证投屏的分辨率，同时因为设置了虚拟屏，也不影响在投屏过程中在移动终端上的任何操作，但该种方式下，无法通过移动终端监控当前的投屏内容。

为解决上述问题，本公开实施例提供一种投屏方法10，可以用于如手机、平板电脑等移动终端上，移动终端具有显示屏，并且能够与投屏设备通过miracast协议通信实现投屏，如图1所示，投屏方法10包括步骤s11-步骤s13：

步骤s11，响应于投屏指令，基于当前显示于显示屏的第一界面内容渲染虚拟屏，使虚拟屏显示第一界面内容，其中，虚拟屏为移动终端后台进程。

用户可以在需要投屏时，对移动终端输入投屏指令，移动终端响应于投屏指令，将当前移动终端显示屏显示的内容渲染至虚拟屏，使得虚拟屏已合适的分辨率显示第一界面内容，并且由于虚拟屏位于移动终端后台，并不直接在移动终端中显示，因此不影响移动终端当前显示的内容以及后续的操作。

步骤s12，发送数据流至投屏设备，通过投屏设备显示当前虚拟屏显示的内容，其中，投屏设备与移动终端通信连接。

移动终端可以已于投屏设备基于miracast协议连接，投屏设备可以是具有显示功能的电视、电脑等大屏设备，也可以是投影仪等能够显示投屏内容的设备。移动终端将持续将数据发送至投屏设备，投屏设备基于接收到的数据和miracast协议，镜像显示虚拟屏显示的内容。本公开中移动终端发送的数据可以包括图像内容，也可以包括声音内容，该声音内容为与虚拟屏当前显示的内容相应的声音，如虚拟屏当前的内容是视频，则声音内容即为视频中的声音，且与视频显示的内容同步，在投屏设备具有声音播放功能时，可以播放该与显示的图像同步的声音。

步骤s13，将当前虚拟屏显示的内容，同步显示于显示屏的窗口内，其中，窗口显示于显示屏的第一位置。

在将当前虚拟屏显示的内容投放于投屏设备的同时，在移动终端显示屏的显示区域中设置一个窗口，即一个显示区域，在该窗口内同步显示当前虚拟屏显示的内容。故此，在窗口内显示的内容，与通过投屏设备显示的内容相同，从而能够使用户能够方便的通过窗口监控当前播放的内容。另外，由于窗口并不占满整个显示屏，并且实际上仅需在显示屏的相对较小的面积进行显示，能够满足用户大致获知当前播放的内容即可，窗口所处的第一位置可以是位于靠近显示屏边缘或角落的位置，基于该种显示窗口的方式，在满足监控播放内容的同时，使得用户能够方便的对移动终端进行其他操作，并且不影响虚拟屏显示的内容也就不影响投屏内容。

图2示出了本公开投屏方法10的示意图，如图2所示，移动终端210在虚拟屏213中渲染图像，该图像即为要投屏到投屏设备220的内容，发送数据流至投屏设备220，使投屏设备220通过其屏幕221进行显示在虚拟屏213中渲染的图像，同时，在移动终端210的显示屏211上显示的窗口212内，同步显示虚拟屏213中渲染的图像。而，此时，于显示屏211的主要区域，可以显示当前用户进行其他操作的内容，而不影响投屏内容。其中，需要说明的是，虚拟屏213是移动终端210后台的进程，并不会直接显示于显示屏213上，图2中仅是为清楚的表达相互之间的关系，示出了虚拟屏213。

在一实施例中，如图3所示，投屏方法10还可以包括：步骤s14，响应于操作指令，于显示屏中显示相应的界面内容，且窗口内持续显示虚拟屏显示的内容。在投屏过程中，用户可以对移动终端输入操作指令对移动终端进行其他操作，移动终端于显示屏中显示与用户操作相关的内容，而当前显示屏中显示的内容和用户的其他操作不影响虚拟屏显示的内容，因此在窗口内可以持续的显示虚拟屏显示的内容，投屏设备也持续显示虚拟屏显示的内容。实现了在投屏过程中方便用户进行其他操作。

在一实施例中，如图4所示，投屏方法10还可以包括：步骤s15，响应于切换指令，基于当前显示于显示屏的第二界面内容渲染虚拟屏，并将第一投屏内容于显示屏中显示。其中，第一投屏内容为在切换指令前虚拟屏显示的内容、也就是在切换指令前投屏的内容。在一些情况下，用户需要更换投屏的内容，如在给他人展示多个文件内容时进行切换，或者需要更换观看的视频，用户事先通过操作，在移动终端显示屏显示准备投屏的第二界面内容，在通过向移动终端输入切换指令，如点击在窗口中设置切换按钮等方式，将当前显示于显示屏的第二界面内容渲染至虚拟屏，从而在不退出投屏的情况下，更改投屏内容，同时，将原投屏的内容显示在显示屏上，方便的实现了两者的切换。

在一实施例中，投屏方法10还可以包括：响应于对窗口内显示的内容的控制指令，对虚拟屏显示的内容进行相应的播放处理，其中，播放处理包括以下至少一项：暂停播放、恢复播放、快进播放。本实施例中，用户可以通过对窗口内显示的内容进行控制，从而相应的控制虚拟屏中的内容，已达到控制投屏设备显示的内容的目的，如用户可以通过点击设置于窗口内的暂停按钮、播放按钮、快进按钮对播放的内容进行相应的控制，从而通过窗口即可方便的对投屏显示的内容进行操作，无需切换界面，不影响用户其他操作和当前在显示屏中显示的内容。

在一实施例中，如图5所示，投屏方法10还可以包括：步骤s161，响应于关闭指令，将显示于显示屏的窗口关闭或贴边隐藏；步骤s162，响应于开启指令，将关闭的窗口恢复，并同步显示虚拟屏的内容。用户在一些情况下，可以通过向移动终端输入关闭指令将窗口暂时关闭或贴边隐藏，能够更加方便用户在投屏过程中对移动终端进行其他操作，保证了显示屏显示的内容；而在需要监控当前投屏的内容时，也可以通过向移动终端输入开启指令，将窗口重新显示于显示屏，并且同步播放虚拟屏的内容。

在一实施例中，如图6所示，投屏方法10还可以包括：步骤s171，响应于位置调节指令，调整窗口位置，使窗口显示于显示屏的第二位置；步骤s172，响应于尺寸调节指令，调整窗口在显示屏的显示尺寸。本实施例中，用户可以根据需要调整窗口的位置、窗口的尺寸，如当前窗口的显示位置影响了用户的其他操作，用户可以通过触屏拖拽等方式调节窗口位置，或通过双触点手势调整窗口尺寸，从而能够在保持监控播放内容的情况下方便进行其他操作。

基于同一个发明构思，图7示出了一种投屏装置100，应用于移动终端，移动终端包括显示屏，投屏装置100包括：渲染单元110，用于响应于投屏指令，基于当前显示于显示屏的第一界面内容渲染虚拟屏，使虚拟屏显示第一界面内容，其中，虚拟屏为移动终端后台进程；发送单元120，用于发送数据流至投屏设备，通过投屏设备显示当前虚拟屏显示的内容，其中，投屏设备与移动终端通信连接；显示单元130，用于将当前虚拟屏显示的内容，同步显示于显示屏的窗口内，其中，窗口显示于显示屏的第一位置。

在一实施例中，显示单元还用于：响应于操作指令，于显示屏中显示相应的界面内容，且窗口内持续显示虚拟屏显示的内容。

在一实施例中，响应于切换指令，渲染单元110基于当前显示于显示屏的第二界面内容渲染虚拟屏，且显示单元130将第一投屏内容于显示屏中显示。

在一实施例中，渲染单元110还用于：响应于对窗口内显示的内容的控制指令，对虚拟屏显示的内容进行相应的播放处理，其中，播放处理包括以下至少一项：暂停播放、恢复播放、快进播放。

在一实施例中，显示单元130还用于：响应于关闭指令，将显示于显示屏的窗口关闭或贴边隐藏；响应于开启指令，将关闭的窗口恢复，并同步显示虚拟屏的内容。

在一实施例中，显示单元130还用于：响应于位置调节指令，调整窗口位置，使窗口显示于显示屏的第二位置；响应于尺寸调节指令，调整窗口在显示屏的显示尺寸。

关于上述实施例中的投屏装置100，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的前述任一实施例装置的示意框图。例如，装置300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置300可以包括以下一个或多个组件：处理组件302，存储器304，电源组件306，多媒体组件308，音频组件310，输入/输出(i/o)的接口312，传感器组件314，以及通信组件316。

处理组件302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。

存储器304被配置为存储各种类型的数据以支持在装置300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件306为装置300的各种组件提供电源。电源组件306可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电源相关联的组件。

多媒体组件308包括在所述装置300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(mic)，当装置300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。

i/o接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件314包括一个或多个传感器，用于为装置300提供各个方面的状态评估。例如，传感器组件314可以检测到装置300的打开/关闭状态，组件的相对定位，例如所述组件为装置300的显示器和小键盘，传感器组件314还可以检测装置300或装置300一个组件的位置改变，用户与装置300接触的存在或不存在，装置300方位或加速/减速和装置300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置300可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器304，上述指令可由装置300的处理器320执行以完成上述方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图9是根据一示例性实施例示出的一种电子装置400的框图。例如，装置400可以被提供为一服务器。参照图9，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器442所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器442中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。

装置400还可以包括一个电源组件426被配置为执行装置300的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入输出(i/o)接口458。装置400可以操作基于存储在存储器442的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。