沉浸式阅读实现方法、系统、终端设备及存储介质与流程

1.本发明涉及虚拟现实技术领域，尤其涉及一种沉浸式阅读实现方法、系统、终端设备及存储介质。


背景技术：

2.如今虚拟现实技术日渐成熟，在生产和生活都得到了良好应用，基于上述技术的沉浸式阅读改变了以往枯燥的阅读模式，使得用户身临其境，获得沉浸式的阅读体验。
3.关于沉浸式阅读，目前存在技术通过获取书籍内容的标识信息，根据标识信息展示相应的虚拟场景，或者通过将朗读书籍的语音转为文字数据，以文字数据匹配场景库，进而展示相应的虚拟场景。因为现有技术都是围绕书籍内容生成虚拟场景，进而营造沉浸式阅读氛围的，简单的场景展示并不能使用户完全融入到沉浸式阅读过程，导致用户在沉浸式阅读过程中体验感差。


技术实现要素：

4.本发明的主要目的在于提供一种沉浸式阅读实现方法、系统、终端设备及存储介质，旨在使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
5.为实现上述目的，本发明提供一种沉浸式阅读实现方法，应用于终端，所述沉浸式阅读实现方法包括：
6.向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；
7.在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；
8.在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。
9.可选地，所述向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频的步骤之前，还包括：
10.在检测到用户从所述章节列表信息中选择所述目标章节时，通过预设的朗读引擎对所述目标章节对应的所述阅读信息中的文字内容进行处理，得到相应的语音内容；
11.根据所述语音内容调取预设的背景音乐库中的背景音乐；
12.将所述语音内容和所述背景音乐结合生成所述朗读音频。
13.可选地，所述向所述vr设备发送所述预设关键词对应的场景特效信息的步骤之前，还包括：
14.在所述vr设备播放所述朗读音频过程中，通过预设的语音识别程序识别所述朗读音频内容中的所述预设关键词；
15.根据所述预设关键词生成所述场景特效信息。
16.可选地，所述在所述vr设备播放所述朗读音频过程中，通过预设的语音识别程序识别所述朗读音频内容中的所述预设关键词的步骤之后，还包括：
17.根据所述预设关键词关联对应的智能设备；
18.生成所述智能设备对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制所述智能设备的虚拟按钮；
19.向所述vr设备发送所述智能设备虚拟影像，以供所述vr设备显示所述智能设备虚拟影像；
20.在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成智能设备运行影像；
21.向所述vr设备发送所述智能设备运行影像，以供所述vr设备显示所述智能设备运行影像。
22.可选地，所述沉浸式阅读实现方法还包括以下步骤：
23.在检测到用户通过所述vr设备结束沉浸式阅读时，将所述虚拟静态场景、所述朗读音频、所述场景特效信息、所述智能设备虚拟影像以及所述智能设备运行影像中的至少两项进行混合剪裁，得到多媒体回放文件；
24.将所述多媒体回放文件与所述阅读信息对应的标识信息关联，以供用户通过所述标识信息调取并播放所述多媒体回放文件。
25.为了实现上述目的，本发明还提供一种沉浸式阅读实现方法，所述方法应用于vr设备，所述沉浸式阅读实现方法包括以下步骤：
26.接收并显示终端发送的基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；
27.接收并播放所述目标章节对应的基于所述阅读信息的朗读音频，其中，所述朗读音频由所述终端在检测到用户从所述章节列表信息中选择所述目标章节时向所述vr设备发送；
28.接收并展示朗读音频内容中的预设关键词对应的场景特效信息，其中，所述场景特效信息由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时向所述vr设备发送。
29.可选地，所述接收并播放所述目标章节对应的基于所述阅读信息的朗读音频的步骤之后，还包括：
30.接收并显示所述朗读音频内容中的所述预设关键词对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制对应智能设备的虚拟按钮，所述智能设备虚拟影像由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时，根据所述预设关键词关联对应的所述智能设备后生成，并向所述vr设备发送；
31.接收并显示智能设备运行影像，其中，所述智能设备运行影像由所述终端在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成并向所述vr设备发送。
32.本技术实施例还提出一种沉浸式阅读实现系统，所述沉浸式阅读实现系统包括终
端和vr设备；
33.所述终端，用于向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效；
34.所述vr设备，用于接收并显示基于所述阅读信息的所述虚拟静态场景，接收并播放所述目标章节对应的基于所述阅读信息的所述朗读音频，接收并展示所述朗读音频内容中的所述预设关键词对应的所述场景特效信息。
35.本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的沉浸式阅读实现程序，所述沉浸式阅读实现程序被所述处理器执行时实现如上所述的沉浸式阅读实现方法的步骤。
36.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有沉浸式阅读实现程序，所述沉浸式阅读实现程序被处理器执行时实现如上所述的沉浸式阅读实现方法的步骤。
37.本技术实施例提出的沉浸式阅读实现方法、系统、终端设备及存储介质，通过向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。本技术在显示虚拟静态场景的基础上增加场景特效，并以朗读音频的方式为用户呈现阅读内容，使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
附图说明
38.图1为本技术沉浸式阅读实现装置所属终端设备的功能模块示意图；
39.图2为本技术沉浸式阅读实现系统示意图；
40.图3为本技术沉浸式阅读实现方法第一示例性实施例的流程示意图；
41.图4为本技术沉浸式阅读实现方法第二示例性实施例的流程示意图；
42.图5为本技术沉浸式阅读实现方法第三示例性实施例的流程示意图；
43.图6为本技术沉浸式阅读实现方法第四示例性实施例的流程示意图；
44.图7为本技术沉浸式阅读实现方法第五示例性实施例的流程示意图；
45.图8为本技术沉浸式阅读实现方法第六示例性实施例的流程示意图；
46.图9为本技术沉浸式阅读实现方法第七示例性实施例的流程示意图；
47.图10为本技术沉浸式阅读实现方法中涉及的vr设备与终端交互流程示意图。
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。基于本技术方案，在显示虚拟静态场景的基础上增加场景特效，并以朗读音频的方式为用户呈现阅读内容，使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
50.具体地，参照图1，图1为本技术沉浸式阅读实现装置所属终端设备的功能模块示意图。该沉浸式阅读实现装置可以为独立于终端设备的、能够实现沉浸式阅读的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
51.在本实施例中，该沉浸式阅读实现装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
52.存储器130中存储有操作系统以及沉浸式阅读实现程序，沉浸式阅读实现装置可以将向vr设备发送的基于阅读信息的虚拟静态场景；向所述vr设备发送的所述目标章节对应的基于所述阅读信息的朗读音频；以及向所述vr设备发送的所述预设关键词对应的场景特效信息等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
53.其中，存储器130中的沉浸式阅读实现程序被处理器执行时实现以下步骤：
54.向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；
55.在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；
56.在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。
57.进一步地，存储器130中的沉浸式阅读实现程序被处理器执行时还实现以下步骤：
58.在检测到用户从所述章节列表信息中选择所述目标章节时，通过预设的朗读引擎对所述目标章节对应的所述阅读信息中的文字内容进行处理，得到相应的语音内容；
59.根据所述语音内容调取预设的背景音乐库中的背景音乐；
60.将所述语音内容和所述背景音乐结合生成所述朗读音频。
61.进一步地，存储器130中的沉浸式阅读实现程序被处理器执行时还实现以下步骤：
62.在所述vr设备播放所述朗读音频过程中，通过预设的语音识别程序识别所述朗读音频内容中的所述预设关键词；
63.根据所述预设关键词生成所述场景特效信息。
64.进一步地，存储器130中的沉浸式阅读实现程序被处理器执行时还实现以下步骤：
65.根据所述预设关键词关联对应的智能设备；
66.生成所述智能设备对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制所述智能设备的虚拟按钮；
67.向所述vr设备发送所述智能设备虚拟影像，以供所述vr设备显示所述智能设备虚拟影像；
68.在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成智能设备运行影像；
69.向所述vr设备发送所述智能设备运行影像，以供所述vr设备显示所述智能设备运行影像。
70.进一步地，存储器130中的沉浸式阅读实现程序被处理器执行时还实现以下步骤：
71.在检测到用户通过所述vr设备结束沉浸式阅读时，将所述虚拟静态场景、所述朗读音频、所述场景特效信息、所述智能设备虚拟影像以及所述智能设备运行影像中的至少两项进行混合剪裁，得到多媒体回放文件；
72.将所述多媒体回放文件与所述阅读信息对应的标识信息关联，以供用户通过所述标识信息调取并播放所述多媒体回放文件。
73.进一步地，存储器130中的沉浸式阅读实现程序被处理器执行时还实现以下步骤：
74.接收并显示终端发送的基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；
75.接收并播放所述目标章节对应的基于所述阅读信息的朗读音频，其中，所述朗读音频由所述终端在检测到用户从所述章节列表信息中选择所述目标章节时向所述vr设备发送；
76.接收并展示朗读音频内容中的预设关键词对应的场景特效信息，其中，所述场景特效信息由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时向所述vr设备发送。
77.进一步地，存储器130中的沉浸式阅读实现程序被处理器执行时还实现以下步骤：
78.接收并显示所述朗读音频内容中的所述预设关键词对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制对应智能设备的虚拟按钮，所述智能设备虚拟影像由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时，根据所述预设关键词关联对应的所述智能设备后生成，并向所述vr设备发送；
79.接收并显示智能设备运行影像，其中，所述智能设备运行影像由所述终端在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成并向所述vr设备发送。
80.本实施例通过上述方案，具体通过向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。本实施例在显示虚拟静态场景的基础上增加场景特效，并以朗读音频的方式为用户呈现阅读内容，使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过
程中体验感差的问题。
81.参照图2，图2为本技术沉浸式阅读实现系统示意图，所述沉浸式阅读系统包括终端和vr设备。
82.所述终端，用于向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效；
83.所述vr设备，用于接收并显示基于所述阅读信息的所述虚拟静态场景，接收并播放所述目标章节对应的基于所述阅读信息的所述朗读音频，接收并展示所述朗读音频内容中的所述预设关键词对应的所述场景特效信息。
84.本实施例中，终端向vr设备提供基于阅读信息的虚拟静态场景和朗读音频，由vr设备显示虚拟静态场景和播放朗读音频，在朗读音频内容中出现预设关键词时，vr设备接收并显示由终端发送的场景特效信息，使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
85.基于上述终端设备架构和系统架构但不限于上述架构，提出本技术方法实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本实施例方法的执行主体可以是一种沉浸式阅读实现装置，也可以是一种沉浸式阅读实现终端设备或服务器，本实施例以沉浸式阅读实现装置进行举例，该沉浸式阅读实现装置可以集成在具有数据处理功能的桌面电脑、笔记本电脑等终端设备上。
86.参照图3，本发明沉浸式阅读实现方法第一实施例提供一种流程示意图，所述沉浸式阅读实现方法包括：
87.步骤s10，向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；
88.具体地，阅读信息可以是书籍的图像、文本或者其他能够反映阅读内容的数据形式。通过预设的语义分析程序分析阅读信息得到场景关键词，根据场景关键词在预先创建的虚拟静态场景素材库中调取相应的虚拟静态场景素材，或者根据阅读信息生成相应的虚拟静态场景素材，该虚拟静态场景素材与阅读信息的内容相关。例如，通过预设的语义分析程序分析书籍中描写场景的关键词“公园”，生成公园相关的虚拟静态场景素材。另外，分析阅读信息得到阅读信息关键词，例如书籍名称，然后根据阅读信息关键词通过网络获取或者是从后台存储的数据中读取关于章节的信息，生成章节列表信息。将虚拟静态场景素材和章节列表信息结合生成虚拟静态场景，将该虚拟静态场景通过信息传输渠道发送给vr设备，以供vr设备进行显示。
89.步骤s20，在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；
90.具体地，在检测到用户从章节列表信息中选择想要阅读的目标章节时，根据阅读信息在预先创建的朗读音频库中调取相应的朗读音频，或者根据阅读信息生成相应的朗读音频，然后将该朗读音频通过信息传输渠道发送给vr设备，以供vr设备进行播放，以朗读的
形式为用户呈现阅读信息的内容。
91.步骤s30，在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。
92.具体地，在vr设备播放朗读音频过程中识别到预设关键词时，根据预设关键词在预先创建的场景特效库中调取相应的场景特效信息，或者根据预设关键词生成相应的场景特效信息，然后将该场景特效信息通过信息传输渠道发送给vr设备，以供vr设备进行展示。
93.本实施例通过上述方案，具体通过向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。本实施例通过向vr设备提供基于阅读信息的虚拟静态场景和朗读音频，由vr设备显示虚拟静态场景和播放朗读音频，在朗读音频内容中出现预设关键词时，向vr设备提供根据预设关键词生成的场景特效信息，使vr设备在虚拟静态场景的基础上进一步展示场景特效信息，并以朗读音频的方式为用户呈现阅读内容，如此，用户可以更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
94.进一步地，参照图4，本发明沉浸式阅读实现方法第二实施例提供一种流程示意图，基于上述图3所示的实施例，步骤s20，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频之前，还包括：
95.步骤s001，在检测到用户从所述章节列表信息中选择所述目标章节时，通过预设的朗读引擎对所述目标章节对应的所述阅读信息中的文字内容进行处理，得到相应的语音内容；
96.具体地，用户在vr设备显示的虚拟静态场景中可以看到章节列表信息，并可通过章节列表信息选择其中想要阅读的目标章节。在检测到用户选择目标章节时，找到阅读信息中关于目标章节的文字内容，例如，用户选择了a书籍的第一章，那么，就对a书籍中第一章的文字内容进行处理，将该文字内容输入到tts朗读引擎，由tts朗读引擎将文字内容转化为语音内容，得到输出的语音内容。
97.步骤s002，根据所述语音内容调取预设的背景音乐库中的背景音乐；
98.具体地，为了使用户在沉浸式阅读中得到更加丰富的声音体验，需要根据语音内容在预先创建的背景音乐库中寻找相应的背景音乐，并调取该背景音乐。例如，语音内容中出现了下雨的情节，就在背景音乐库中找到关于下雨的背景音乐，并调取该背景音乐。
99.步骤s003，将所述语音内容和所述背景音乐结合生成所述朗读音频。
100.具体地，在得到语音内容和对应的背景音乐之后，把上述两种音频文件进行叠加处理，或者是合并上述两种音频文件对应的两条音轨，生成带有背景音乐的朗读音频，作为最终输出的朗读音频。该朗读音频将发送给vr设备以供其播放。
101.本实施例通过上述方案，具体通过在检测到用户从所述章节列表信息中选择所述目标章节时，通过预设的朗读引擎对所述目标章节对应的所述阅读信息中的文字内容进行处理，得到相应的语音内容；根据所述语音内容调取预设的背景音乐库中的背景音乐；将所
述语音内容和所述背景音乐结合生成所述朗读音频。本实施例采用预设的朗读引擎，对用户选择的目标章节对应的阅读信息的文字内容进行处理得到语音内容，并在此基础上增加背景音乐得到最终的可供播放的朗读音频，使得用户可以通过听取朗读音频的方式轻松完成对阅读信息内容的阅读。
102.进一步地，参照图5，本发明沉浸式阅读实现方法第三实施例提供一种流程示意图，基于上述图3所示的实施例，步骤s30，向所述vr设备发送所述预设关键词对应的场景特效信息之前，还包括：
103.步骤s004，在所述vr设备播放所述朗读音频过程中，通过预设的语音识别程序识别所述朗读音频内容中的所述预设关键词；
104.具体地，在vr设备播放朗读音频过程中，通过预设的语音识别程序持续识别朗读音频的内容，并与预先设置的关键词库或者关键词表进行匹配，若匹配结果一致，则将相应的关键词提取出来，作为后续生成场景特效信息或者关联智能设备的必备信息。
105.步骤s005，根据所述预设关键词生成所述场景特效信息。
106.具体地，根据前步骤识别得到的朗读音频内容中的关键词，从场景特效素材库中选取相应的预先创建好的场景特效信息素材，或者找到若干个对应的场景特效信息素材并进行组合，最终生成场景特效信息。例如，对于预设关键词“暴风雨”，在场景特效素材库中找到暴风雨的声音和画面素材，或者找到暴风和下雨的声音和画面素材，并将两者组合成暴风雨声音和画面素材。然后，在暴风雨声音画面素材的基础上进一步生成暴风雨场景特效信息。
107.本实施例通过上述方案，具体在所述vr设备播放所述朗读音频过程中，通过预设的语音识别程序识别所述朗读音频内容中的所述预设关键词；根据所述预设关键词生成所述场景特效信息。本实施例通过语音识别程序识别到的朗读音频内容中的关键词，并根据关键词生成相应的场景特效信息，该场景特效信息用以提供给vr设备展示对应的场景特效，使得用户沉浸式阅读过程中能够接触到更加丰富的声音和画面元素。
108.进一步地，参照图6，本发明沉浸式阅读实现方法第四实施例提供一种流程示意图，基于上述图5所示的实施例，步骤s004，在所述vr设备播放所述朗读音频过程中，通过预设的语音识别程序识别所述朗读音频内容中的所述预设关键词之后，还包括：
109.步骤s006，根据所述预设关键词关联对应的智能设备；
110.具体地，根据前步骤识别得到的朗读音频内容中的关键词，找到并关联相应的智能设备，每个智能设备都具有唯一的身份id，用以区分不同的智能设备。在关联智能设备后，相当于获取该智能设备部分功能的控制权限，例如，关联蓝牙音箱后，获取蓝牙音箱开启、关闭、播放、暂停等功能的控制权限；关联智能电视后，获取蓝牙音箱开启、关闭、播放、暂停等功能的控制权限。
111.步骤s007，生成所述智能设备对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制所述智能设备的虚拟按钮；
112.具体地，在关联智能设备后，从预先创建的虚拟影像素材库中寻找相应的虚拟影像素材，然后找到一个完整的代表智能设备的虚拟影像素材，或者将找到的代表智能设备部件的虚拟影像素材进行组合，在虚拟影像素材的基础上添加相应的虚拟按钮，最终生成相应的智能设备虚拟影像。虚拟影像中的虚拟按钮不仅用于显示，且被赋予了控制相应智
能设备的功能。例如，用户可以通过操作蓝牙音箱虚拟影像中的虚拟开关按钮，控制蓝牙音箱开启或者关闭。
113.步骤s008，向所述vr设备发送所述智能设备虚拟影像，以供所述vr设备显示所述智能设备虚拟影像；
114.具体地，在生成智能设备虚拟影像之后，将该智能设备虚拟影像通过信息传输渠道发送给vr设备，以供vr设备显示该智能设备虚拟影像。如此，用户就可以通过vr设备呈现的虚拟画面中看到与周围真实智能设备相关的智能设备虚拟影像。
115.步骤s009，在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成智能设备运行影像；
116.具体地，如果检测到用户在佩戴vr设备观看到虚拟画面的时候，操作虚拟按钮以开启对应的智能设备。那么就会根据对应智能设备的真实运行情况生成智能设备运行影像，例如，用户所处的环境中有一台被关联的智能电视正在播放动画片，用户佩戴的vr设备正在显示智能电视虚拟影像，其中会展示一个虚拟开关。在虚拟开关被用户选择打开时，根据智能电视的实时工作画面生成智能电视运行影像，动画片的内容也被呈现在智能电视运行影像中。
117.步骤s010，向所述vr设备发送所述智能设备运行影像，以供所述vr设备显示所述智能设备运行影像。
118.具体地，在生成智能设备运行影像之后，将该智能设备运行影像通过信息传输渠道发送给vr设备，以供vr设备显示该智能设备运行影像。如此，用户就可以通过vr设备呈现的画面中看到周围已关联的智能设备的真实工作情况。
119.本实施例通过上述方案，具体通过根据所述预设关键词关联对应的智能设备；生成所述智能设备对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制所述智能设备的虚拟按钮；向所述vr设备发送所述智能设备虚拟影像，以供所述vr设备显示所述智能设备虚拟影像；在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成智能设备运行影像；向所述vr设备发送所述智能设备运行影像，以供所述vr设备显示所述智能设备运行影像。本实施例根据前步骤识别到的预设关键词找到并关联相应的智能设备，生成智能设备虚拟影像提供给vr设备显示，使得用户可以在vr设备中看到周围真实智能设备的相关影像，并且，在用户通过智能设备虚拟影像中的虚拟按钮选择开启智能设备时，根据智能设备的实时工作状况生成智能设备运行影像，提供给vr设备显示，使得现实场景中智能设备的工作情况被呈现到vr设备所呈现的虚拟画面中，用户可以获得更加丰富的互动体验以及画面享受。
120.进一步地，参照图7，本发明沉浸式阅读实现方法第五实施例提供一种流程示意图，基于上述图6所示的实施例，所述沉浸式阅读实现方法还包括以下步骤：
121.步骤s011，在检测到用户通过所述vr设备结束沉浸式阅读时，将所述虚拟静态场景、所述朗读音频、所述场景特效信息、所述智能设备虚拟影像以及所述智能设备运行影像中的至少两项进行混合剪裁，得到多媒体回放文件；
122.具体地，在检测到用户通过vr设备选择退出沉浸式阅读的时候，将前步骤使用过的虚拟静态场景、朗读音频、场景特效信息、智能设备虚拟影像和智能设备运行影像中的至少两项进行混合剪裁，相当于把此次沉浸式阅读过程的声音和画面通过混合剪裁的方式记
录下来，最终得到一个可以被vr设备直接使用的多媒体回放文件。
123.步骤s012，将所述多媒体回放文件与所述阅读信息对应的标识信息关联，以供用户通过所述标识信息调取并播放所述多媒体回放文件。
124.具体地，需要将前步骤生成的多媒体回放文件存储于后台，在需要的时候进行调用，为了快捷精准地在后台存储区找到目标多媒体回放文件，以及对不同的多媒体回放文件之间作出区分，需要将该多媒体回放文件与阅读信息对应的标识信息关联，例如，将基于a书籍的多媒体回放文件与a书籍的封面或者条形码关联。如此，后续若用户需要再次进行关于a书籍的沉浸式阅读，只需要使用设备扫描a书籍的封面或者条形码，即可调取并使用已存储的a书籍的多媒体回放文件。
125.本实施例通过上述方案，具体在检测到用户通过所述vr设备结束沉浸式阅读时，将所述虚拟静态场景、所述朗读音频、所述场景特效信息、所述智能设备虚拟影像以及所述智能设备运行影像中的至少两项进行混合剪裁，得到多媒体回放文件；将所述多媒体回放文件与所述阅读信息对应的标识信息关联，以供用户通过所述标识信息调取并播放所述多媒体回放文件。本实施例在检测到用户结束沉浸式阅读之后，将沉浸式阅读过程中使用过的声音和画面材料进行混合剪裁，生成多媒体回放文件，并且将多媒体回放文件与阅读信息的标识信息关联，后续用户需要再次进行该阅读信息的沉浸式阅读时，可以通过标识信息方便快捷地调取并使用多媒体回放文件进行沉浸式阅读。
126.参照图8，本发明沉浸式阅读实现方法第六实施例提供一种流程示意图，所述方法应用于vr设备，所述沉浸式阅读实现方法包括：
127.步骤a10，接收并显示终端发送的基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；
128.具体地，阅读信息可以是书籍的图像、文本或者其他能够反映阅读内容的数据形式。终端分析阅读信息得到场景关键词，根据场景关键词在预先创建的虚拟静态场景素材库中调取相应的虚拟静态场景素材，或者根据阅读信息生成相应的虚拟静态场景素材，该虚拟静态场景素材与阅读信息的内容相关。并且，终端分析阅读信息得到阅读信息关键词，例如书籍名称，然后根据阅读信息关键词通过网络获取或者是从后台存储的数据中读取关于章节的信息，生成章节列表信息。终端将虚拟静态场景素材和章节列表信息结合生成虚拟静态场景，将该虚拟静态场景通过信息传输渠道发送给vr设备，以供vr设备进行显示。
129.相应地，vr设备会接收终端发送的该虚拟静态场景，并启动内置的画面显示程序，按照虚拟静态场景对应的文件格式进行解码，在vr设备的显示屏中显示该虚拟静态场景。
130.步骤a20，接收并播放所述目标章节对应的基于所述阅读信息的朗读音频，其中，所述朗读音频由所述终端在检测到用户从所述章节列表信息中选择所述目标章节时向所述vr设备发送；
131.具体地，终端在检测到用户从章节列表信息中选择想要阅读的目标章节时，根据阅读信息在预先创建的朗读音频库中调取相应的朗读音频，或者根据阅读信息生成相应的朗读音频，然后将该朗读音频通过信息传输渠道发送给vr设备，以供vr设备进行播放，以朗读的形式为用户呈现阅读信息的内容。
132.相应地，vr设备会接收终端发送的朗读音频，并启动内置的音频播放程序，按照朗读音频对应的文件格式进行解码，然后通过vr设备自带的或者是连接的扬声器播放该朗读
音频。
133.步骤a30，接收并展示朗读音频内容中的预设关键词对应的场景特效信息，其中，所述场景特效信息由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时向所述vr设备发送。
134.具体地，终端在vr设备播放朗读音频过程中识别到预设关键词时，根据预设关键词在预先创建的场景特效库中调取相应的场景特效信息，或者根据预设关键词生成相应的场景特效信息，然后将该场景特效信息通过信息传输渠道发送给vr设备，以供vr设备进行显示。
135.相应地，vr设备会接收终端发送的场景特效信息，按照场景特效信息对应的文件格式进行解码，在vr设备的显示屏中显示画面形式的场景特效，或者播放音频形式的场景特效。
136.本实施例通过上述方案，具体通过接收并显示终端发送的基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；接收并播放所述目标章节对应的基于所述阅读信息的朗读音频，其中，所述朗读音频由所述终端在检测到用户从所述章节列表信息中选择所述目标章节时向所述vr设备发送；接收并展示朗读音频内容中的预设关键词对应的场景特效信息，其中，所述场景特效信息由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时向所述vr设备发送。本实施例中vr设备接收由终端发送的虚拟静态场景、朗读音频以及场景特效信息，在显示虚拟静态场景的基础上展示丰富的场景特效信息，并以朗读音频的方式为用户呈现阅读内容，使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
137.进一步地，参照图9，本发明沉浸式阅读实现方法第七实施例提供一种流程示意图，基于上述图8所示的实施例，步骤a20，接收并播放所述目标章节对应的基于所述阅读信息的朗读音频之后，还包括：
138.步骤a001，接收并显示所述朗读音频内容中的所述预设关键词对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制对应智能设备的虚拟按钮，所述智能设备虚拟影像由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时，根据所述预设关键词关联对应的所述智能设备后生成，并向所述vr设备发送；
139.具体地，终端在vr设备播放朗读音频过程中识别到预设关键词时，根据预设关键词关联对应的智能设备，然后生成所述智能设备对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制所述智能设备的虚拟按钮。例如，终端根据识别到的关键词“火车鸣笛”，关联用户周边真实环境的遥控小火车，然后生成遥控小火车虚拟影像，并且在遥控小火车虚拟影像中还带有可控制遥控小火车的虚拟开关按钮。然后，终端将生成的智能设备虚拟影像发送给vr设备。
140.相应地，vr设备会接收终端发送的智能设备虚拟影像，并启动内置的画面显示程序，按照智能设备虚拟影像对应的文件格式进行解码，在vr设备的显示屏中显示该智能设备虚拟影像。
141.步骤a002，接收并显示智能设备运行影像，其中，所述智能设备运行影像由所述终
端在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成并向所述vr设备发送。
142.具体地，如果终端检测到用户在佩戴vr设备观看到虚拟画面的时候，操作虚拟按钮以开启对应的智能设备。那么就会根据对应智能设备的真实运行情况生成智能设备运行影像，例如，用户所处的环境中有一台被关联的智能电视正在播放动画片，用户佩戴的vr设备正在显示智能电视虚拟影像，其中会展示一个虚拟开关。在虚拟开关被用户选择打开时，根据智能电视的实时工作画面生成智能电视运行影像，动画片的内容也被呈现在智能电视运行影像中。在生成智能设备运行影像之后，终端将该智能设备运行影像通过信息传输渠道发送给vr设备，以供vr设备显示该智能设备运行影像。
143.相应地，vr设备会接收终端发送的智能设备运行影像，并启动内置的画面显示程序，按照智能设备运行影像对应的文件格式进行解码，在vr设备的显示屏中显示该智能设备运行影像。
144.本实施例通过上述方案，具体通过接收并显示所述朗读音频内容中的所述预设关键词对应的智能设备虚拟影像，其中，所述智能设备虚拟影像包括供用户控制对应智能设备的虚拟按钮，所述智能设备虚拟影像由所述终端在所述vr设备播放所述朗读音频过程中识别到所述朗读音频内容中的所述预设关键词时，根据所述预设关键词关联对应的所述智能设备后生成，并向所述vr设备发送；接收并显示智能设备运行影像，其中，所述智能设备运行影像由所述终端在检测到用户通过所述虚拟按钮选择开启所述智能设备时，根据所述智能设备的运行情况生成并向所述vr设备发送。本实施例中vr设备接收由终端发送的智能设备虚拟影像，使得用户可以在vr设备中看到周围真实智能设备的相关影像，并且，在用户通过智能设备虚拟影像中的虚拟按钮选择开启智能设备时，接收终端根据智能设备的实时工作状况生成智能设备运行影像，使得现实场景中智能设备的工作情况被高度还原到vr设备所呈现的虚拟画面中，用户可以获得更加丰富的互动体验以及画面享受。
145.参照图10，本发明沉浸式阅读实现方法中涉及的vr设备与终端交互流程示意图：
146.阅读信息可以是vr设备实时识别用户的翻页动作并拍摄得到的书籍照片，也可以是终端通过网络获取或者是自身存储的关于某书籍的电子数据。
147.首先，终端向vr设备发送基于阅读信息的虚拟静态场景，虚拟静态场景中包含有可供用户选择目标章节的章节列表信息。相应地，vr设备接收并显示虚拟静态场景，用户通过vr设备可以看到虚拟静态场景以及其中的章节列表信息。当终端检测到用户从章节列表信息中选择目标章节时，就会采用朗读引擎将目标章节对应的阅读信息中的文字内容转化为语音内容，并且配上背景音乐，进一步生成朗读音频，向vr设备发送朗读音频。相应地，vr设备会接收并播放该朗读音频，用户只需要听取朗读音频即可完成对阅读信息的阅读。
148.终端持续识别vr设备播放的朗读音频的内容，如果识别到朗读音频内容中有预设的关键词时，就会根据该关键词生成场景特效信息，同时关联对应的智能设备并生成智能设备虚拟影像，智能设备虚拟影像包括有可供用户控制相应智能设备的虚拟按钮。终端将场景特效信息和智能设备虚拟影像发送给vr设备，相应地，vr设备接收场景特效信息智能设备虚拟影像，进一步展示场景特效信息和显示智能设备虚拟影像。终端如果检测到用户通过虚拟按钮选择开启对应的智能设备，就会根据该智能设备的真实运行情况生成智能设备运行影像，并向vr设备发送智能设备运行影像。相应地，vr设备接收并显示智能设备运行
影像。例如，当朗读到“火车发出了鸣笛声”，终端识别“火车鸣笛声”关键词，然后关联用户周边的遥控小火车，将相关的场景特效信息和小火车虚拟影像投送到vr设备显示的虚拟静态场景中，vr设备显示的小火车虚拟影像中会展示虚拟开关，用户可以选择开启或关闭小火车。当用户选择开启的时候，遥控小火车会相应地启动，终端可以将现实场景中小火车运行情况投送到vr设备中以供用户观看，vr设备会显示小火车运行影像，用户可以看到小火车运动的画面。又如，当朗读到“观看电视节目小猪佩奇”，终端识别“电视节目”和“小猪佩奇”关键字，将相关的场景特效信息和电视机虚拟影像投送到vr设备显示的虚拟静态场景中，vr设备显示的电视机虚拟影像中会展示虚拟开关，用户可以选择开启或关闭电视。当用户选择开启的时候，电视机会播放小猪佩奇动画片，终端可以将现实场景中电视机运行情况投送到vr设备中以供用户观看，vr设备会显示电视机运行影像，用户可以看到电视机正在播放小猪佩奇动画片。又如，当朗读到“扫地机器人打扫卫生”，终端识别“扫地机器人”关键字，将相关的场景特效信息和扫地机器人虚拟影像投送到vr设备显示的虚拟静态场景中，vr设备显示的扫地机器人虚拟影像中会展示虚拟开关，用户可以选择开启或关闭扫地机器人。当用户选择开启的时候，扫地机器人会相应地开始打扫，终端可以将现实场景中扫地机器人运行情况投送到vr设备中以供用户观看，vr设备会显示扫地机器人运行影像，用户可以看到扫地机器人正在工作的画面。
149.当用户想要结束沉浸式阅读的时候，会进行相应的退出阅读的动作，通过vr设备选择退出窗口。终端就会检测到用户结束沉浸式阅读，然后将上述步骤中生成的虚拟静态场景、朗读音频、场景特效信息等声音或者画面材料的至少两项进行混合剪辑，最终生成一个多媒体回放文件。该多媒体回放文件与阅读信息的标识信息关联，用户可以通过标识信息方便快捷地调取并使用多媒体回放文件进行沉浸式阅读。
150.本实施例中，终端为vr设备提供沉浸式阅读所需的声音和画面材料，vr设备在显示虚拟静态场景的基础上进一步展现丰富的场景特效信息，并以朗读音频的方式为用户呈现阅读内容，使用户更好地融入沉浸式阅读过程，并且，vr设备在虚拟画面中投放与沉浸式阅读内容相关的智能设备的虚拟影像，用户可以通过智能设备虚拟影像对现实环境中的智能设备进行控制，增加了沉浸式阅读过程的互动性。最后，终端会检测到用户结束沉浸式阅读的动作，将沉浸式阅读过程中使用过的声音和画面材料进行混合剪辑，得到多媒体回放文件，以供用户后续调取多媒体回放文件再次进行沉浸式阅读。
151.此外，本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的沉浸式阅读实现程序，所述沉浸式阅读实现程序被所述处理器执行时实现如上所述的沉浸式阅读实现方法的步骤。
152.由于本沉浸式阅读实现程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
153.此外，本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有沉浸式阅读实现程序，所述沉浸式阅读实现程序被处理器执行时实现如上所述的沉浸式阅读实现方法的步骤。
154.由于本沉浸式阅读实现程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一
一赘述。
155.相比现有技术，本技术实施例提出的沉浸式阅读实现方法、系统、终端设备以及存储介质，通过向vr设备发送基于阅读信息的虚拟静态场景，其中，所述虚拟静态场景包括供用户选择目标章节的章节列表信息；在检测到用户从所述章节列表信息中选择所述目标章节时，向所述vr设备发送所述目标章节对应的基于所述阅读信息的朗读音频；在所述vr设备播放所述朗读音频过程中识别到朗读音频内容中的预设关键词时，向所述vr设备发送所述预设关键词对应的场景特效信息，以供所述vr设备展示对应的场景特效。基于本技术方案，在显示虚拟静态场景的基础上增加场景特效，并以朗读音频的方式为用户呈现阅读内容，使用户更好地融入沉浸式阅读过程，解决用户在沉浸式阅读过程中体验感差的问题。
156.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
157.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
158.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
159.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。