虚拟场景的交互方法、装置、介质、设备以及产品与流程

本公开涉及虚拟现实，具体地，涉及一种虚拟场景的交互方法、装置、介质、设备以及产品。

背景技术：

1、虚拟现实技术是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。虚拟现实技术包含硬件和软件两方面内容，其系统通常由输入设备、输出设备、虚拟世界数据库、专业图形处理计算机以及软件系统等软硬件构成。

2、虚拟现实技术的核心是对虚拟环境的建模和绘制，并根据用户需要生成逼真的虚拟场景，然而，相关技术中生成的虚拟场景的质量不高，且无法实现用户与虚拟环境的无接触式交互。

技术实现思路

1、本公开的目的是提供一种虚拟场景的交互方法、装置、介质、设备以及产品，用于提高生成的虚拟场景的质量，且能够实现用户与虚拟环境的无接触式交互。

2、为了实现上述目的，第一方面，本公开提供一种虚拟场景的交互方法，包括：

3、利用扫描装置对真实场景进行扫描，得到真实场景模型；

4、提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景；

5、利用虚拟现实设备向用户展示所述虚拟场景，并获取所述用户的眼睛面向所述虚拟场景的目标图像；

6、基于所述目标图像，确定用户的交互意图，并基于所述交互意图对所述虚拟场景中的交互对象执行交互操作。

7、可选地，所述生成对抗网络还包括判别器，所述训练好的生成对抗网络是基于以下方式得到的：

8、获取与样本真实场景匹配的样本真实场景模型；

9、利用所述生成器对所述样本真实场景模型进行处理，确定样本虚拟场景；

10、利用所述判别器对所述样本真实场景模型和所述样本虚拟场景进行处理，确定判别结果，所述判别结果用于表征所述样本虚拟场景的真实性；

11、基于所述判别结果调整所述生成对抗网络的参数，直至满足预设条件，得到所述训练好的生成对抗网络。

12、可选地，所述基于所述目标图像，确定用户的交互意图，包括：

13、基于训练好的眼动追踪模型对所述目标图像进行处理，得到所述用户的眼神方向和注视位置；

14、基于所述眼神方向和所述注视位置，确实所述交互意图。

15、可选地，所述利用扫描装置对真实场景进行扫描，得到真实场景模型，包括：

16、利用所述扫描装置对所述真实场景进行扫描，得到点云数据；

17、对所述点云数据进行网格化处理和纹理映射处理，得到所述真实场景模型。

18、可选地，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

19、利用图像分割技术对所述真实场景模型进行处理，得到多个语义区域；

20、根据所述用户的调整操作，对所述真实场景模型中的多个所述语义区域进行调整。

21、可选地，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

22、利用图像风格迁移技术对所述真实场景模型的图像风格进行调整。

23、可选地，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

24、利用图像动态合成模型执行以下操作：

25、提取所述真实场景模型中的静态对象的运动特征；

26、基于预设动态对象生成规则对所述运动特征进行处理，得到动态对象。

27、可选地，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

28、利用图像超分辨率技术将所述真实场景模型的分辨率调整为目标分辨率。

29、可选地，所述图像动态合成模型包括变分自编码器和循环神经网络。

30、第二方面，本公开提供一种虚拟场景的交互装置，包括：

31、扫描模块，被配置为利用扫描装置对真实场景进行扫描，得到真实场景模型；

32、处理模块，被配置为提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景；

33、获取模块，被配置为利用虚拟现实设备向用户展示所述虚拟场景，并获取所述用户的眼睛面向所述虚拟场景的目标图像；

34、交互模块，被配置为基于所述目标图像，确定用户的交互意图，并基于所述交互意图对所述虚拟场景中的交互对象执行交互操作。

35、第三方面，本公开提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。

36、第四方面，本公开提供一种电子设备，包括：

37、存储器，其上存储有计算机程序；

38、处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任一项所述方法的步骤。

39、第五方面，本公开提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。

40、通过上述技术方案，通过利用训练好的生成对抗网络中的生成器对特征信息进行处理，确定虚拟场景，由于生成对抗网络具有深度学习的强大能力，能够从真实场景模型中提取高层次的特征信息，从而生成高质量的虚拟场景；以及通过用户的眼睛面向虚拟场景的目标图像，确定用户的交互意图，并基于交互意图对虚拟场景中的交互对象执行交互操作，能够实现用户与虚拟场景之间的无接触式交互，提高交互的便捷性和自然性。

41、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种虚拟场景的交互方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述生成对抗网络还包括判别器，所述训练好的生成对抗网络是基于以下方式得到的：

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像，确定用户的交互意图，包括：

4.根据权利要求1所述的方法，其特征在于，所述利用扫描装置对真实场景进行扫描，得到真实场景模型，包括：

5.根据权利要求1所述的方法，其特征在于，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

6.根据权利要求1或5所述的方法，其特征在于，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，在所述提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景的步骤之前，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述图像动态合成模型包括变分自编码器和循环神经网络。

10.一种虚拟场景的交互装置，其特征在于，包括：

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤。

12.一种电子设备，其特征在于，包括：

13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1~9中任一项所述的方法的步骤。

技术总结
本公开涉及一种虚拟场景的交互方法、装置、介质、设备以及产品，所述方法包括：利用扫描装置对真实场景进行扫描，得到真实场景模型；提取所述真实场景模型中的特征信息，并基于训练好的生成对抗网络中的生成器对所述特征信息进行处理，确定虚拟场景；利用虚拟现实设备向用户展示所述虚拟场景，并获取所述用户的眼睛面向所述虚拟场景的目标图像；基于所述目标图像，确定用户的交互意图，并基于所述交互意图对所述虚拟场景中的交互对象执行交互操作。本公开能够提高生成的虚拟场景的质量，且能够实现用户与虚拟环境的无接触式交互。

技术研发人员：张弼强,李波,张正清,吴学刚,杨振华,张雄
受保护的技术使用者：国家能源集团国源电力有限公司
技术研发日：
技术公布日：2024/11/21