一种在虚拟现实的3D场景中操作2D应用的方法和装置与流程

本发明涉及虚拟现实技术领域，尤其涉及一种在虚拟现实(virtualreality，vr)的3d(三维)场景中操作2d(二维)应用的技术。

背景技术：

目前市场上大多安卓应用仍为手机应用，普通手机应用为2d界面，在虚拟现实(简称vr，下文中出现的vr均指代“虚拟现实”)机器中直接显示会有画面畸变及不易交互等问题，例如，受现有手柄硬件条件限制，暂不支持2d应用中的屏幕多点操作功能。

因此，如何实现在虚拟现实的3d场景中操作2d应用，解决2d应用在vr机器中画面畸变和不易操作等问题，成为本领域技术人员亟待解决的问题之一。

技术实现要素：

本发明的目的是提供一种在虚拟现实的3d场景中操作2d应用的方法和装置。

根据本发明的一个方面，提供了一种在虚拟现实的3d场景中操作2d应用的方法，其中，该方法包括步骤：

a在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息；

b将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用；

c基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮。

根据本发明的另一个方面，还提供了一种在虚拟现实的3d场景中操作2d应用的装置，其中，该装置包括：

创建装置，用于在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息；

运行装置，用于将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用；

调节装置，用于基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮。

根据本发明的又一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

根据本发明的再一个方面，还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

根据本发明的再一个方面，还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

与现有技术相比，本发明在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息，将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用，基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮，将2d应用界面实时映射到3d场景中，解决了普通2d应用在vr一体机中显示异常与不易交互的问题，用户可以在虚拟现实的一个3d场景的巨幕上像操作手机一样去操作2d应用，大幅提升用户在vr一体机上使用传统2d应用的体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出适于用来实现本申请实施方式的示例性计算机系统/服务器12的框图；

图2示出根据本发明一个方面的在虚拟现实的3d场景中操作2d应用的方法流程图；

图3示出根据本发明一个优选实施例的在虚拟现实的3d场景中操作2d应用的示意图；

图4示出根据本发明另一个优选实施例的在虚拟现实的3d场景中操作2d应用的效果示意图；

图5示出根据本发明又一个优选实施例的在虚拟现实的3d场景中操作2d应用的效果示意图；

图6示出根据本发明另一个方面的一种在虚拟现实的3d场景中操作2d应用的装置示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由asic、fpga、dsp等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、pda等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、vpn网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本申请，也应包含在本申请保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本申请作进一步详细描述。

图1示出了适于用来实现本申请实施方式的示例性计算机系统/服务器12的框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图1所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图1未示出，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图1中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理。

例如，存储器28中存储有用于执行本申请的各项功能和处理的计算机程序，处理单元16执行相应计算机程序时，本申请在虚拟现实的3d场景中操作2d应用被实现。

以下将详细描述本申请用于在虚拟现实的3d场景中操作2d应用的具体装置/步骤。

图2示出根据本发明一个方面的一种在虚拟现实的3d场景中操作2d应用的方法流程图。

该方法包括步骤s201、s202和s203。

在步骤s201中，装置1在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息。

具体地，在步骤s201中，装置1在虚拟现实的3d场景中创建虚拟窗口，并且，2d应用在运行时会生成一个图层，在步骤s201中，装置1获取该2d应用运行时所生成的图层(surface)信息。在此，所述surface是原始图像缓冲区(rawbuffer)的一个句柄。本领域技术人员应能理解，上述创建虚拟窗口等方式可以参照现有的虚拟现实中的创建方式进行。

在步骤s202中，装置1将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用。

具体地，2d应用在运行时会生成一个图层，通常情况下，该图层会被surfaceflinger合并显示到主屏幕，而此处，在步骤s202中，装置1将运行2d应用时生成的图层映射至所述虚拟窗口中，例如，通过修改surfacefliger模块中的相关代码，使得该运行2d应用时生成的图层显示到前述虚拟窗口中，以在3d场景中运行所述2d应用。

在此，surfaceflinger是一个独立的服务，其负责管理应用端的surface，将所有的surface复合，其是介于图形库和应用之间的一层。每个应用在它自己的surface完成各种图形操作后，请求surfaceflinger显示到屏幕，surfaceflinger就会将所有的surface叠加起来，并且反映到framebuffer。

此时，2d应用在前台显示，3d应用在后台显示，2d应用运行在3d应用场景中的一块面板上面，而3d应用的场景可以任意切换。并且，随着用户的姿势变化，装置1可以实时地追踪用户的头部位置，从而实时地变化该3d场景，使得用户的使用体验更真实。同样地，经过上述的处理之后，用户所看到的2d应用即是反畸变后的2d应用的画面，用户可以在虚拟现实的一个3d场景的巨幕上像操作手机一样去操作2d应用，大幅提升用户在vr一体机上使用传统2d应用的体验。

优选地，该方法例如可以应用于安卓android系统中。在此，可提供一种应用，基于android具有创建虚拟窗口(virtualdisplay)的功能，在运行2d应用时，系统会将其在虚拟窗口中运行2d应用，在主窗口运行本应用，再通过虚拟窗口提供的getsurface方法来获取2d应用的界面纹理，将此纹理拷贝并影射到本应用3d场景中的屏幕上显示。本领域技术人员应能理解，若其他现有或今后可能出现的系统同样适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

在步骤s203中，装置1基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮。

具体地，该2d应用的应用界面纹理可能会产生一定的变化，例如，其长度、宽度等信息会由于用户的操作产生一定的变化，例如，用户将该2d应用进行了放大、缩小等操作，或者，将运行该2d应用的设备的屏幕进行了一定的旋转，从而导致该2d应用的应用界面纹理的宽高产生了变化。当2d应用的界面纹理宽高发生变化时，映射到3d场景中的纹理宽高比也会随之发生改变，在步骤s203中，装置1基于该2d应用的应用界面纹理的宽高变化，动态调节该3d场景中虚拟窗口的宽高比以适应，并且，该虚拟窗口中包括用来操作该2d应用的操作控制按钮，包括但不限于移动按钮、微滑动按钮、返回按钮、音量调节按钮、屏幕缩放按钮等，用户通过操作这些按钮，可在该3d场景中操作该2d应用。

本领域技术人员应能理解，上述操作控制按钮仅为举例，其他现有或今后可能出现的操作控制按钮，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

在一优选实施例中，所述操作控制按钮包括移动按钮，其中，该方法还包括步骤s204(未示出)。在步骤s204中，装置1根据用户对所述移动按钮的操作，移动所述2d应用在所述3d场景中的显示位置。

具体地，该3d场景的虚拟窗口中包括移动按钮，用户例如通过手柄等控制装置，操作该移动按钮，在步骤s204中，装置1计算出交互位置在屏幕上的相对坐标，获取相对坐标后再乘纹理的宽高从而转化为虚拟窗口的相对坐标，将此坐标信息传至系统接口，进而根据用户对该移动按钮的操作，移动该2d应用在所述3d场景中的显示位置。

例如，如图3所示，可以看到在该虚拟窗口中包括一个移动按钮，用户通过手柄等控制装置操作该移动按钮，在步骤s204中，装置1根据用户对该移动按钮的操作，移动该2d应用在该3d场景中的显示位置，例如将该2d应用左右或上下移动，或直接移动至指定位置。

在此，通过操作虚拟窗口中的移动按钮，可以移动2d应用在3d场景中的显示位置，进一步提升了用户的使用体验。

在一优选实施例中，该方法还包括步骤s205(未示出)。在步骤s205中，装置1根据用户对所述操作控制按钮的操作，确定所述操作在所述3d场景中的交互位置坐标与交互类型，将所述交互位置坐标转化为所述2d应用的应用界面的相对位置坐标，并根据所述交互类型，操作所述2d应用。

具体地，用户例如通过手柄等控制装置，操作该3d场景的虚拟窗口中的操作控制按钮，在步骤s205中，装置1根据用户对该操作控制按钮的操作，确定该操作在该3d场景中的交互位置坐标与交互类型，例如，计算出交互位置在屏幕上的相对坐标，获取相对坐标后再乘纹理的宽高从而转化为虚拟窗口的相对坐标，再获取交互类型，如是微滑动操作类型，进而将该交互位置坐标传至系统接口，转化为该2d应用的应用界面的相对位置坐标，并根据该交互类型，操作该2d应用。

优选地，所述操作控制按钮还包括以下至少任一项：

返回按钮；

微滑动按钮；

音量调节按钮；

屏幕缩放按钮。

具体地，在移动设备，例如手机端，运行应用时，往往会有实体的返回键来返回到上一个页面或退出应用，但在vr设备中，由于可能没有实体的返回键，导致操作不便。因此，本发明在该3d场景的虚拟窗口中添加一返回按钮，如图4所示，可以看到在该虚拟窗口中包括一个返回按钮，用户通过手柄等控制装置操作该返回按钮，在步骤s205中，装置1在该3d场景中操作该2d应用实现返回，例如返回上一个页面或退出该2d应用。

又如，虽然在3d场景中的屏幕模型可模拟手机屏幕的点击、滑动等操作，但当滑动距离较小时，系统无法区分该操作是滑动还是点击，易引发错误判断。因此，本发明在该3d场景的虚拟窗口中添加两个微滑动按钮，如图5所示，可以看到在该虚拟窗口中包括两个微滑动按钮，分别是向上微滑动按钮和向下微滑动按钮，用户通过手柄等控制装置操作该微滑动按钮，可以实现对页面的微滑动操作，进一步地，当用户长按该微滑动按钮，可以实现页面的连续滑动操作，进而将滑动操作和点击操作进行区分。例如，用户通过点击操作该虚拟窗口中的向上微滑动按钮，实现对页面的向上微滑动；用户通过长按操作该虚拟窗口中的向上微滑动按钮，实现对页面的向上连续滑动。

再如，如图3所示，在该3d场景的虚拟窗口中还包括音量调节按钮和屏幕缩放按钮，用户通过操作该音量调节按钮可实现对该2d应用的音量调节，通过操作该屏幕缩放按钮可以实现在该3d场景中对该2d应用的屏幕的缩放。

在一优选实施例中，该方法还包括步骤s206(未示出)。在步骤s206中，装置1在启动应用时判断所述应用的2d属性，若所述应用属于2d应用，则执行前述步骤s201、s202及s203的操作。

具体地，在步骤s206中，装置1在启动应用时判断该应用的2d属性，也即，判断该应用是否属于2d应用，若该应用属于2d应用，则在虚拟现实的3d场景中创建虚拟窗口，并获取该2d应用运行时所生成的图层信息；将该图层信息映射至该虚拟窗口中，在该虚拟窗口中运行所述2d应用；基于该2d应用的应用界面纹理的宽高变化，动态调节该3d场景中虚拟窗口的宽高比以适应，其中，该虚拟窗口中包括用来操作该2d应用的操作控制按钮。其中，各个步骤所执行的具体操作与前述相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。

在此，装置1在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息，将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用，基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮，将2d应用界面实时映射到3d场景中，解决了普通2d应用在vr一体机中显示异常与不易交互的问题，用户可以在虚拟现实的一个3d场景的巨幕上像操作手机一样去操作2d应用，大幅提升用户在vr一体机上使用传统2d应用的体验。

图6示出根据本发明另一个方面的一种在虚拟现实的3d场景中操作2d应用的装置示意图。

该装置1包括创建装置601、运行装置602和调节装置603。

创建装置601在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息。

具体地，创建装置601在虚拟现实的3d场景中创建虚拟窗口，并且，2d应用在运行时会生成一个图层，创建装置601获取该2d应用运行时所生成的图层(surface)信息。在此，所述surface是原始图像缓冲区(rawbuffer)的一个句柄。本领域技术人员应能理解，上述创建虚拟窗口等方式可以参照现有的虚拟现实中的创建方式进行。

运行装置602将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用。

具体地，2d应用在运行时会生成一个图层，通常情况下，该图层会被surfaceflinger合并显示到主屏幕，而此处，运行装置602将运行2d应用时生成的图层映射至所述虚拟窗口中，例如，通过修改surfacefliger模块中的相关代码，使得该运行2d应用时生成的图层显示到前述虚拟窗口中，以在3d场景中运行所述2d应用。

在此，surfaceflinger是一个独立的服务，其负责管理应用端的surface，将所有的surface复合，其是介于图形库和应用之间的一层。每个应用在它自己的surface完成各种图形操作后，请求surfaceflinger显示到屏幕，surfaceflinger就会将所有的surface叠加起来，并且反映到framebuffer。

此时，2d应用在前台显示，3d应用在后台显示，2d应用运行在3d应用场景中的一块面板上面，而3d应用的场景可以任意切换。并且，随着用户的姿势变化，装置1可以实时地追踪用户的头部位置，从而实时地变化该3d场景，使得用户的使用体验更真实。同样地，经过上述的处理之后，用户所看到的2d应用即是反畸变后的2d应用的画面，用户可以在虚拟现实的一个3d场景的巨幕上像操作手机一样去操作2d应用，大幅提升用户在vr一体机上使用传统2d应用的体验。

优选地，该方法例如可以应用于安卓android系统中。在此，可提供一种应用，基于android具有创建虚拟窗口(virtualdisplay)的功能，在运行2d应用时，系统会将其在虚拟窗口中运行2d应用，在主窗口运行本应用，再通过虚拟窗口提供的getsurface方法来获取2d应用的界面纹理，将此纹理拷贝并影射到本应用3d场景中的屏幕上显示。本领域技术人员应能理解，若其他现有或今后可能出现的系统同样适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

调节装置603基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮。

具体地，该2d应用的应用界面纹理可能会产生一定的变化，例如，其长度、宽度等信息会由于用户的操作产生一定的变化，例如，用户将该2d应用进行了放大、缩小等操作，或者，将运行该2d应用的设备的屏幕进行了一定的旋转，从而导致该2d应用的应用界面纹理的宽高产生了变化。当2d应用的界面纹理宽高发生变化时，映射到3d场景中的纹理宽高比也会随之发生改变，调节装置603基于该2d应用的应用界面纹理的宽高变化，动态调节该3d场景中虚拟窗口的宽高比以适应，并且，该虚拟窗口中包括用来操作该2d应用的操作控制按钮，包括但不限于移动按钮、微滑动按钮、返回按钮、音量调节按钮、屏幕缩放按钮等，用户通过操作这些按钮，可在该3d场景中操作该2d应用。

本领域技术人员应能理解，上述操作控制按钮仅为举例，其他现有或今后可能出现的操作控制按钮，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。

在一优选实施例中，所述操作控制按钮包括移动按钮，其中，该装置1还包括移动装置(未示出)。移动装置根据用户对所述移动按钮的操作，移动所述2d应用在所述3d场景中的显示位置。

具体地，该3d场景的虚拟窗口中包括移动按钮，用户例如通过手柄等控制装置，操作该移动按钮，移动装置计算出交互位置在屏幕上的相对坐标，获取相对坐标后再乘纹理的宽高从而转化为虚拟窗口的相对坐标，将此坐标信息传至系统接口，进而根据用户对该移动按钮的操作，移动该2d应用在所述3d场景中的显示位置。

例如，如图3所示，可以看到在该虚拟窗口中包括一个移动按钮，用户通过手柄等控制装置操作该移动按钮，移动装置根据用户对该移动按钮的操作，移动该2d应用在该3d场景中的显示位置，例如将该2d应用左右或上下移动，或直接移动至指定位置。

在此，通过操作虚拟窗口中的移动按钮，可以移动2d应用在3d场景中的显示位置，进一步提升了用户的使用体验。

在一优选实施例中，该装置1还包括操作装置(未示出)。操作装置根据用户对所述操作控制按钮的操作，确定所述操作在所述3d场景中的交互位置坐标与交互类型，将所述交互位置坐标转化为所述2d应用的应用界面的相对位置坐标，并根据所述交互类型，操作所述2d应用。

具体地，用户例如通过手柄等控制装置，操作该3d场景的虚拟窗口中的操作控制按钮，操作装置根据用户对该操作控制按钮的操作，确定该操作在该3d场景中的交互位置坐标与交互类型，例如，计算出交互位置在屏幕上的相对坐标，获取相对坐标后再乘纹理的宽高从而转化为虚拟窗口的相对坐标，再获取交互类型，如是微滑动操作类型，进而将该交互位置坐标传至系统接口，转化为该2d应用的应用界面的相对位置坐标，并根据该交互类型，操作该2d应用。

优选地，所述操作控制按钮还包括以下至少任一项：

返回按钮；

微滑动按钮；

音量调节按钮；

屏幕缩放按钮。

具体地，在移动设备，例如手机端，运行应用时，往往会有实体的返回键来返回到上一个页面或退出应用，但在vr设备中，由于可能没有实体的返回键，导致操作不便。因此，本发明在该3d场景的虚拟窗口中添加一返回按钮，如图4所示，可以看到在该虚拟窗口中包括一个返回按钮，用户通过手柄等控制装置操作该返回按钮，操作装置在该3d场景中操作该2d应用实现返回，例如返回上一个页面或退出该2d应用。

又如，虽然在3d场景中的屏幕模型可模拟手机屏幕的点击、滑动等操作，但当滑动距离较小时，系统无法区分该操作是滑动还是点击，易引发错误判断。因此，本发明在该3d场景的虚拟窗口中添加两个微滑动按钮，如图5所示，可以看到在该虚拟窗口中包括两个微滑动按钮，分别是向上微滑动按钮和向下微滑动按钮，用户通过手柄等控制装置操作该微滑动按钮，可以实现对页面的微滑动操作，进一步地，当用户长按该微滑动按钮，可以实现页面的连续滑动操作，进而将滑动操作和点击操作进行区分。例如，用户通过点击操作该虚拟窗口中的向上微滑动按钮，实现对页面的向上微滑动；用户通过长按操作该虚拟窗口中的向上微滑动按钮，实现对页面的向上连续滑动。

再如，如图3所示，在该3d场景的虚拟窗口中还包括音量调节按钮和屏幕缩放按钮，用户通过操作该音量调节按钮可实现对该2d应用的音量调节，通过操作该屏幕缩放按钮可以实现在该3d场景中对该2d应用的屏幕的缩放。

在一优选实施例中，该装置1还包括判断装置(未示出)。判断装置在启动应用时判断所述应用的2d属性，若所述应用属于2d应用，则通知所述创建装置601、所述运行装置602及所述调节装置603执行其操作。

具体地，判断装置在启动应用时判断该应用的2d属性，也即，判断该应用是否属于2d应用，若该应用属于2d应用，则创建装置601在虚拟现实的3d场景中创建虚拟窗口，并获取该2d应用运行时所生成的图层信息；运行装置602将该图层信息映射至该虚拟窗口中，在该虚拟窗口中运行所述2d应用；调节装置603基于该2d应用的应用界面纹理的宽高变化，动态调节该3d场景中虚拟窗口的宽高比以适应，其中，该虚拟窗口中包括用来操作该2d应用的操作控制按钮。其中，各个装置所执行的具体操作与前述相同或基本相同，故此处不再赘述，并通过引用的方式包含于此。

在此，装置1在虚拟现实的3d场景中创建虚拟窗口，并获取2d应用运行时所生成的图层信息，将所述图层信息映射至所述虚拟窗口中，在所述虚拟窗口中运行所述2d应用，基于所述2d应用的应用界面纹理的宽高变化，动态调节所述3d场景中虚拟窗口的宽高比以适应，其中，所述虚拟窗口中包括用来操作所述2d应用的操作控制按钮，将2d应用界面实时映射到3d场景中，解决了普通2d应用在vr一体机中显示异常与不易交互的问题，用户可以在虚拟现实的一个3d场景的巨幕上像操作手机一样去操作2d应用，大幅提升用户在vr一体机上使用传统2d应用的体验。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本发明还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(asic)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。