一种基于nerf的室内家电交互智能判断方法与流程

本发明涉及智能交互系统，具体为一种基于nerf的室内家电交互智能判断方法。

背景技术：

1、nerf是一种用于生成新的、合成的视图的技术，适用于复杂的场景，如室内和户外环境，它的核心思想是学习一个神经网络，该网络将3d空间中的一个点和一个观察方向作为输入，输出该点在该方向的颜色和不透明度，智能语音交互是基于语音输入的新一代交互模式，你可以通过说话就可以得到反馈结果，典型的应用场景——语音助手，自从iphone4s推出siri后，智能语音交互应用得到飞速发展，中文典型的智能语音交互应用如：虫洞语音助手、讯飞语点已得到越来越多的用户认可。

2、现有用户为了监控室内环境，还需要额外购买其他器材，用户需要手动输入设备的位置或配置房间的布局，整体的操作存在一定的局限性，而且现有技术不能实时反映室内环境，使得内部智能设备的使用功效较低。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于nerf的室内家电交互智能判断方法，解决了整体的操作存在一定的局限性，使得内部智能设备的使用功效较低的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于nerf的室内家电交互智能判断方法，具体包括以下步骤：

3、s1、手机扫描：在这个过程中，用户只需要用手机拍摄一段涵盖其房间内所有iot设备的视频即可；

4、s2、对相机外参进行推导：

5、(3)、特征提取与匹配：当特征在所有图像中都被提取出来后，colmap将开始进行特征匹配，特征匹配是指在两幅或者多幅图像之间找出相同的特征点，特征描述符，一个表示特征周围像素强度模式的向量在此阶段起关键作用，使用例如欧氏距离的方法，可以在不同图像中找到描述符最相似(即最接近)的特征，认定它们为匹配的特征点；

6、(4)、稀疏重建：有了匹配的特征点后，我们就可以通过计算这些特征点在，空间中的位置以及相机的位置和姿态来创建一个稀疏的三维模型，这是通过解决一个称为“光束法平差”的优化问题实现的，光束法平差基本上是一个最小化投影误差的过程。投影误差是图像上观察到的点和通过相机模型投影的3d点之间的距离。在此过程中，算法会尝试找到一组相机参数(包括每个相机的位置和姿态)以及3d点的位置，这些参数可以使得所有的投影误差最小，这个优化问题通常通过迭代的线性化方法来解决，如高斯-牛顿方法或者利文伯格-夸尔特方法。在每次迭代中，都会寻找一个参数更新，以使得投影误差进一步减小，当优化收敛时，我们就可以获得相机的位置和姿态，以及匹配特征点的三维坐标；

7、s3、nerf根据图像对室内环境进行重建，得到nerf模型；

8、s4、根据nerf模型，可得到室内中任意方位任意视角的图像,并由此可得：

9、(1)、房间内固定摄像头的位置

10、这个部分和2的部分方法相同，运用已有的图像序列与nerf的补充渲染，我们可以轻松的通过特征点匹配与稀松重建获得固定摄像头的位置参数；

11、(2)、房间内每个位置的家电的位置，这个部分我们实现了两种方法进行综合判断：

12、a.3d物体识别

13、i.生成3d模型：首先，使用nerf模型，我们能够从多个视角生成房间的3d模型，这包括物体的形状、颜色和位置等信息，这个模型能够覆盖到房间中的每一个角落，因此我们可以从这个模型中获取家电的具体位置；

14、ii.物体识别：然后，我们需要在3d模型中识别出家电。这可以通过训练一个深度学习模型来实现，这个模型能够识别3d模型中的各种家电，例如，我们可以训练一个3d卷积神经网络，这个网络能够处理3d数据并识别出家电的形状；

15、iii.家电定位：一旦我们在3d模型中识别出家电，我们就可以确定家电的位置，具体来说，我们可以找出家电模型的重心，这个重心就可以被用作家电的位置，这个位置是在3d空间中的，可以用来指导后续的设备控制；

16、b.2d的深度感知判断：

17、先对视频序列进行目标识别，确定家电大体位于空间的位置，随后再对每个家电的位置，用nerf分别渲染出来数个在不同位置面向家电的视角，根据双目摄像头的深度感知原理，以得到家电的空间信息：

18、i.目标识别：首先，需要在图像中识别出各种家电，这可以通过深度学习中的目标识别算法实现，例如yolo、ssd或者faster r-cnn等，这些算法能够在图像中识别出预先定义好的物体类别，并给出它们在图像中的位置(通常以一个包围盒表示)；

19、ii.空间定位：接下来，需要确定每个家电在三维空间中的位置。为了实现这一点，可以利用nerf模型的能力，首先，针对每个被识别出来的家电，可以将其包围盒中的每一个像素点的深度信息作为输入，通过nerf模型得到对应的三维坐标，这样，就可以得到每个家电在三维空间中的粗略位置；

20、iii.视角渲染与深度感知：为了获取家电的精确三维信息，可以使用nerf模型从不同的视角渲染出家电的图像，这类似于双目摄像头或多视图立体视觉的原理，通过比较同一个物体在不同视角下的图像，可以计算出物体的深度信息，在这个过程中，nerf模型能够生成任意视角的图像，因此可以提供足够的视角进行深度感知；

21、iv.三维建模：在得到家电的精确三维位置后，还可以进一步使用nerf模型对家电进行三维建模，具体来说，可以将家电的每个部分作为输入，通过nerf模型得到该部分在三维空间中的形状和颜色，这样，就可以得到家电的三维模型，这对于后续的智能家居控制非常有用；

22、s5、对房间内的智能家电进行建模，并得到一个数字孪生；

23、s6、为保证安全性与隐私，将后续的推理与控制部分放在边缘端；

24、s7、摄像头对人的姿态进行判断与推理，再根据智能家电的位置的到判断：

25、a.人体姿态估计：首先，需要从摄像头获取的视频流中进行人体姿态估计，这是一个计算机视觉中的重要问题，目标是在图像或视频中找出人体的关键点，如头、肩、肘、膝和脚等，然后确定这些关键点之间的空间关系，以此表示人的姿态，有很多深度学习的方法可以用于人体姿态估计，如openpose、alphapose等，这些方法首先会使用一个卷积神经网络(cnn)对图像进行处理，然后通过回归或分类任务找出人体的关键点，这些算法可以处理单人或者多人的姿态估计，而且能够处理2d或者3d的姿态估计；

26、b.姿态判断与推理：一旦得到人的姿态信息，我们就可以进行进一步的判断和推理，例如，我们可以通过分析关键点的位置和运动来判断人的行为，如走动、坐下、举手等，此外，我们也可以通过观察人的面部方向或者眼睛的注视点来推断出人的注意力，这些信息对于理解人的意图非常重要；

27、c.根据家电位置进行判断：在了解了人的姿态和行为后，我们还需要考虑到智能家电的位置，例如，如果人正在向电视看去，那么他可能想要打开电视；如果人在厨房并且向冰箱看去，那么他可能想要打开冰箱，在这个过程中，我们需要知道每个家电的位置，这可以通过前面的nerf建模得到，然后，我们可以根据人的位置和姿态以及家电的位置，判断出人可能想要与哪个家电交互。

28、优选的，所述s2(1)中，特征提取与匹配这是工作流程中的第一步，也是计算机视觉中的基础步骤，这一阶段的主要目标是在图像中找到并描述特殊的点，这些点对于图像中的物体或者场景具有代表性，如角点、边缘或其他显著的局部特征，这些特征具有独特的图像属性，使得它们在多个图像之间可以被相互识别和匹配，这些特征点经常被用来对图像和估计相机运动，特征提取器通常使用sift这些算法能够在各种尺度下找到并且描述这些特征，使其具有旋转、尺度和照度不变性。

29、优选的，所述s3中，nerf是一种用于生成新的、合成的视图的技术，适用于复杂的场景，如室内和户外环境，它的核心思想是学习一个神经网络，该网络将3d空间中的一个点和一个观察方向作为输入，输出该点在该方向的颜色和不透明度，nerf的主要优点在于它可以生成高质量的、逼真的合成视图，同时对场景的细节(如阴影和反射)也能进行精细的建模。然而，它的主要缺点是计算开销大，因为每生成一张新的视图都需要进行一次5d积分。

30、优选的，所述s3中，nerf的工作流程如下：

31、a.输入：nerf接收一组2d图像以及这些图像的相机参数(包括每个图像的相机位置和方向)作为输入，这些图像应当包括场景的多个视图，从而可以获取场景的全局信息；

32、b.训练过程：在训练过程中，nerf将场景中的每个点(在3d空间中)和一个视图方向作为输入，然后预测该点在该方向的颜色和体积密度，体积密度决定了光线在穿过该点时的衰减程度，这个过程可以看作是一个5d问题(3d空间中的点位置+2d的视觉角度)，训练时，nerf使用了一个积分损失函数，该函数衡量了网络预测的颜色和观测到的颜色之间的误差，这个积分过程实质上模拟了光线在场景中的传播过程，通过反向传播和梯度下降，nerf的参数会被优化，以使得预测的颜色尽可能接近观测到的颜色；

33、c.输出：在训练完成后，nerf可以生成新的、合成的视图。这是通过对场景中的每个点和一个新的观测方向进行前向传播，然后对预测的颜色和体积密度进行积分得到的。

34、优选的，所述s6中，将上述数字孪生转化，形成一个由房间空间以及房间内不同物体的坐标和种类构成的数据集合，并用此进行后续判断。

35、有益效果

36、本发明提供了一种基于nerf的室内家电交互智能判断方法。与现有技术相比具备以下有益效果：该基于nerf的室内家电交互智能判断方法，通过使用手机进行室内扫描，这是一个独特的方法，让用户能够直接使用手机来获取室内环境的信息，而不需要购买额外的硬件，利用nerf技术进行室内环境重建：现有的智能家居系统通常基于预设的房间布局和设备位置，而在方案中，通过手机扫描和nerf技术，自动地重建了室基于nerf重建信息与姿态感知的iot智能家居控制室内环境，这无疑提高了系统的易用性和灵活性，使用数字孪生模型进行智能家居控制，这是一个相对较新的概念，很少有现有的智能家居系统使用数字孪生模型来进行设备控制，通过利用nerf技术，用户不再需要手动输入设备的位置或配置房间的布局，系统可以自动地获取并建模这些信息，提高了智能家居系统的实时性和精度：数字孪生模型可以实时反映室内环境的状态，使得设备控制更加精确和高效，通过自动扫描和建模室内环境，用户在配置和使用智能家居系统时可以得到更加简洁且高效的体验，用户可以在任何时间通过手机重新扫描和更新室内环境，使得系统可以适应环境的变化，通过实时更新的数字孪生模型，智能家居系统可以得到更准确的设备状态信息，使得设备控制更加精确。