基于AR技术的相机增强方法、系统及电子设备与流程

本发明涉及ar，具体涉及一种基于ar技术的相机增强方法、系统及电子设备。

背景技术：

1、照相机，简称相机，是一种利用光学成像原理形成影像并使用底片记录影像的设备，是用于摄影的光学器械。在现代社会生活中有很多可以记录影像的设备，它们都具备照相机的特征，比如医学成像设备、天文观测设备等。

2、被摄景物反射出的光线通过照相镜头(摄景物镜)和控制曝光量的快门聚焦后，被摄景物在暗箱内的感光材料上形成潜像，经冲洗处理(即显影、定影)构成永久性的影像，这种技术称为摄影术，分为一般照相与专业摄像。

3、当前相机技术已经取得了很大的进展，但是仍然存在一些限制和不足。特别是在拍摄体验和互动性方面，还有很大的提升空间。因此，有必要提供一种基于ar技术的相机增强系统和方法，以解决上述问题。

技术实现思路

1、针对现有技术的不足，本发明公开了一种基于ar技术的相机增强方法、系统及电子设备，用于解决上述存在的问题。

2、本发明通过以下技术方案予以实现：

3、第一方面，本发明提供了一种基于ar技术的相机增强方法，包括以下步骤：

4、通过摄像设备获取实际场景的图像或视频数据，并对获取的图像或视频数据进行数据预处理；

5、通过识别机构识别预处理后的图像或视频数据得到实际场景，并提取实际场景中的对象和选择；

6、通过交互模块与用户进行交互，接收用户的输入和选择，并转换为虚拟元素；

7、利用ar模块将虚拟元素与实际场景相结合，并通过渲染模块渲染增强现实后输出图像或视频。

8、更进一步地，所述方法中，识别机构包括

9、视点追踪模块，用于获取用户视点在真实场景中的3d坐标；

10、三维坐标映射模块，用于获取手在真实场景中的三维坐标；

11、裸手交互模块，用于获取手部骨骼节点的3d坐标，进而识别手势。

12、更进一步地，所述方法中，识别机构确定视点和手在物理场景的空间坐标，将手的信息以虚拟手的方式映射到视野所覆盖的虚拟场景的合适位置上，使虚拟的手实时到达用户所观察的区域。

13、更进一步的，所述方法中，识别机构通过视点处的手部追踪模块，将真实的手及动作，即时显示在大场景下的屏幕上，以真手驱动屏上虚拟手的方式实现人机交互。

14、更进一步的，所述方法中，用定位设备获取用户视点在大场景下的坐标信息，用更高精度的手部追踪模块获取用户视点坐标系下的手指关节数据，通过模型视图矩阵和投影矩阵，将虚拟场景中的手势坐标映射到屏幕上。

15、更进一步地，所述方法中，ar模块对用户的人脸图像进行三维重构，具体如下：

16、采集光照变化下的二维人脸图像；

17、人脸图像灰度化，去除色彩信息；

18、人脸图像去噪处理，消掉噪声点；

19、光照归一化，解决光照变化对人脸图像明暗的干扰，实现图像亮度的均衡；

20、基于三维人脸模型数据库构建形变模型；

21、从二维人脸图像中提取人脸参数，重构三维人脸模型。

22、更进一步地，所述方法中，渲染模块渲染增强时，首先读取3d模型数据，然后设立m×n个虚拟相机阵列对显示目标的多视点图像信息进行采集，再通过图像编码将多视点信息转化光场图像信息，最后将光场图像输入显示系统实现目标场景的3d显示。

23、更进一步地，所述方法中，光场信息的采集时间包括模型数据的读取时间、多视点图像的渲染时间、图像编码时间和图像传输时间。

24、第二方面，本发明提供了一种基于ar技术的相机增强系统，所述系统用于实现如第一方面所述的基于ar技术的相机增强方法，包括：

25、相机模块，用于拍摄实际场景的图像和视频；

26、ar模块，用于将虚拟元素与实际场景相结合，实现增强现实效果；

27、识别模块，用于识别实际场景中的对象和特征；

28、交互模块，用于与用户进行交互，接收用户的输入和选择；

29、渲染模块：用于将虚拟元素和实际场景渲染为最终的增强现实图像和视频。

30、第三方面，本发明提供了一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的程序，所述存储器与所述处理器耦接，且所述处理器执行所述程序时，实现第一方面所述的基于图片训练的拍摄方法。

31、本发明的有益效果为：

32、本发明通过将ar技术与相机技术相结合，可以实现更加互动和丰富的拍摄体验。用户可以通过ar技术选择虚拟元素和效果，并将其与实际场景相结合，实现增强现实效果。这不仅可以提高拍摄的趣味性和互动性，还可以为用户提供更加个性化、定制化的拍摄体验。

技术特征：

1.一种基于ar技术的相机增强方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，识别机构包括

3.根据权利要求2所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，识别机构确定视点和手在物理场景的空间坐标，将手的信息以虚拟手的方式映射到视野所覆盖的虚拟场景的合适位置上，使虚拟的手实时到达用户所观察的区域。

4.根据权利要求2所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，识别机构通过视点处的手部追踪模块，将真实的手及动作，即时显示在大场景下的屏幕上，以真手驱动屏上虚拟手的方式实现人机交互。

5.根据权利要求4所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，用定位设备获取用户视点在大场景下的坐标信息，用更高精度的手部追踪模块获取用户视点坐标系下的手指关节数据，通过模型视图矩阵和投影矩阵，将虚拟场景中的手势坐标映射到屏幕上。

6.根据权利要求1所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，ar模块对用户的人脸图像进行三维重构，具体如下：

7.根据权利要求1所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，渲染模块渲染增强时，首先读取3d模型数据，然后设立m×n个虚拟相机阵列对显示目标的多视点图像信息进行采集，再通过图像编码将多视点信息转化光场图像信息，最后将光场图像输入显示系统实现目标场景的3d显示。

8.根据权利要求1所述的一种基于ar技术的相机增强方法，其特征在于，所述方法中，光场信息的采集时间包括模型数据的读取时间、多视点图像的渲染时间、图像编码时间和图像传输时间。

9.一种基于ar技术的相机增强系统，所述系统用于实现如权利要求1-8任一项所述的基于ar技术的相机增强方法，其特征在于，包括

10.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的程序，所述存储器与所述处理器耦接，且所述处理器执行所述程序时，实现如权利要求1-8任一项所述的基于ar技术的相机增强方法。

技术总结
本发明涉及AR技术领域，具体涉及一种基于AR技术的相机增强方法、系统及电子设备，通过相机模块拍摄实际场景，并通过识别模块识别实际场景中的对象和特征。然后，用户可以通过交互模块选择虚拟元素和效果，并将其与实际场景相结合，实现增强现实效果。最后，渲染模块将虚拟元素和实际场景渲染为最终的增强现实图像和视频。本发明通过将AR技术与相机技术相结合，可以实现更加互动和丰富的拍摄体验。用户可以通过AR技术选择虚拟元素和效果，并将其与实际场景相结合，实现增强现实效果。这不仅可以提高拍摄的趣味性和互动性，还可以为用户提供更加个性化、定制化的拍摄体验。

技术研发人员：钟培望,徐银威
受保护的技术使用者：宜宾市天珑通讯有限公司
技术研发日：
技术公布日：2024/3/11