一种基于深度图像的实时三维重建方法及系统与流程

本发明涉及三维重建，特别涉及一种基于深度图像的实时三维重建方法及系统。

背景技术：

1、随着各种面向普通消费者的深度相机的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。

2、三维重建就是从输入数据中建立3d模型。对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色rgb图像，还包括每个点到深度相机所在的垂直平面的距离值，这个距离值为深度值(depth)，这些深度值共同组成了这一帧的深度图像。深度图像可以看做是一幅灰度图像，图像中的每一个点的灰度值代表了这个点在现实中的位置到相机所在垂直平面的真实距离距离。rgb图像中的每个点都会对应一个在相机的局部坐标系中的三维点。因此，深度相机的每一帧的深度图像相当于一个在相机的局部三维坐标系中的点云模型。基于深度相机的三维重建技术所使用的输入数据是rgb图像和深度图像，因此，这类技术也被称为基于rgbd数据的三维重建技术(d表示深度值，depth)。

3、目前，一般采用tsdf（全称：truncated signed distance function，基于截断地带符号距离函数）三维模型表示方法进行三维重建，tsdf是三维重建的主流方法，tsdf三维重建的流程包括：首先，采集深度图，将采集到的所有深度图转换为顶点图和法向量图；其次，通过双边滤波降噪；使用icp（iterative closest point，迭代最近点）算法估测相机姿态；再者，计算tsdf模型；再进行场景融合，将当前帧的表面信息融合进重建模型。由此可得，在现有技术中，未对采集到的深度图序列进行冗余筛选而全部用于三维重建，然而在实际重建过程中，当使用深度相机扫描一个中型或者大型对象时，会采集得到上千帧深度图序列，但大部分帧的深度图序列是冗余的，因此，未对深度图序列进行筛选而直接将全部深度图序列用于三维重建，将导致建模计算量大，不仅需要更高性能的计算设备，提高建模成本，还影响建模效率，导致建模效率低，因此，现有技术中的三维重建方法，不利于实时重建。

技术实现思路

1、基于此，本发明的目的是提供一种基于深度图像的实时三维重建方法及系统，用于解决现有技术中将采集到的深度图序列不进行冗余筛选而全部用于三维重建，导致深度图序列的计算量大，建模效率低，不利于实时重建的技术问题。

2、本发明一方面提供一种基于深度图像的实时三维重建方法，包括：

3、获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；

4、分别获取每一帧深度图 f的 ejit( f)、 edif( f)、以及 evel( f)，所述 ejit( f)用于衡量相机姿态变换幅度、所述 edif( f)用于衡量深度图是否提供足够信息重建，所述 evel( f)用于衡量相机移动速度；

5、根据每一帧深度图的 ejit( f)、 edif( f)、以及 evel( f)判断是否满足1+ ejit( f)＞ edif( f)+ evel( f)；

6、若满足1+ ejit( f)＞ edif( f)+ evel( f)，则淘汰对应帧的深度图；

7、若不满足1+ ejit( f)＞ edif( f)+ evel( f)，则入选对应帧的深度图以进行三维重建。

8、上述基于深度图像的实时三维重建方法，通过分别获取 ejit( f)以及 evel( f)用于筛选抖动帧、通过获取 edif( f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建，解决了现有技术中将采集到的深度图序列全部用于三维重建，不进行冗余筛选，导致深度图序列的计算量大，不利于实时重建。

9、另外，根据本发明上述的基于深度图像的实时三维重建方法，还可以具有如下附加的技术特征：

10、进一步地，分别获取每一帧深度图的 ejit( f)、 edif( f)、以及 evel( f)的步骤之前包括：

11、根据相机内参计算出相邻两帧深度图中每一像素点的相机坐标系坐标；

12、根据相邻两帧深度图中每一像素点的相机坐标系坐标计算出相机姿态，所述相机姿态包括相机相对于初始时刻的旋转变换和平移变换，当相机姿态通过矩阵表示时，则旋转变换用旋转矩阵表示、平移变换用平移矩阵表示；

13、其中，相机姿态的计算公式为：

14、；

15、其中， r、 t分别为相机姿态的旋转矩阵以及平移矩阵； ps为上一帧深度图中相机坐标系下的像素点的集合，即源点集合； pt为当前帧深度图中相机坐标系下的像素点的集合，即目标点集合； wi为源点变换后和目标点之间距离的权重，像素深度值越小，权重越大；

16、为范数的平方； i用于表示元素的序号；用于表示源点集合中的一个元素；用于表示目标点集合中的一个元素。

17、进一步地，权重的计算公式为：

18、；

19、其中， zi为源点集合点 i的深度； α、 β为可调参数，用于控制权重大小。

20、进一步地，在分别获取每一帧深度图的 ejit( f)、 edif( f)、以及 evel( f)的步骤中， ejit( f)的计算公式为：

21、；

22、其中，

23、，<﹒>表示向量内积，表示向量长度， vf表示当前帧相机观看方向向量； vf-1表示上一帧相机观看方向向量；

24、，表示当前帧之前若干帧（可调参数）的平均相机观看方向向量；

25、，其中， vk表示上一个评价合格的帧的相机观看方向向量；

26、用于衡量当前帧与上一帧之间的移动差距；

27、用于衡量当前帧与之前一段时间内平均移动的差距；

28、用于衡量当前帧与上一个被选中的帧的移动差距。

29、进一步地，在分别获取每一帧深度图的 ejit( f)、 edif( f)、以及 evel( f)的步骤中， edif( f)的计算公式为：

30、；

31、其中， k表示上一个评价合格的帧； θj与 θf定义相同， s为可调参数，用于调整 θj权重，表示向量长度， lj表示帧 j时刻相机的位置向量。

32、进一步地，在分别获取每一帧深度图的 ejit( f)、 edif( f)、以及 evel( f)的步骤中， evel( f)的计算公式为：

33、

34、其中，，表示帧 f前 m帧的移动距离之和， m为可调参数，表示整个扫描过程中的连续两帧移动距离之和，为整个扫描过程中的帧数。

35、进一步地，若不满足1+ ejit( f)＞ edif( f)+ evel( f)，则入选对应帧的深度图以进行三维重建的步骤之后包括：

36、对入选深度图进行去噪，去噪方法包括：

37、获取深度图中的每一像素点 p，通过改进后的双边滤波方法进行去噪，改进后的双边滤波方法的法向量更新公式为：

38、；

39、其中，为改进后的双边滤波方法的法向量； p为深度图中某一像素点； pold为点 p的旧坐标，n()为点的最邻近若干点集合（数量为可调参数），为点 p法向量；为点 p的旧法向量； g1， g2为权重，其值为以邻近点与要降噪的点的距离为自变量，取一维高斯函数的对应因变量值，其中高斯函数的参数为可调参数；

40、；

41、；

42、其中，<﹒>为向量内积。

43、本发明另一方面提供一种基于深度图像的实时三维重建系统，包括：

44、第一获取模块，用于获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；

45、第二获取模块，用于分别获取每一帧深度图 f的 ejit( f)、 edif( f)、以及 evel( f)，所述 ejit( f)用于衡量相机姿态变换幅度、所述 edif( f)用于衡量深度图是否提供足够信息重建，所述 evel( f)用于衡量相机移动速度；

46、判断模块，用于根据每一帧深度图的 ejit( f)、 edif( f)、以及 evel( f)判断是否满足1+ ejit( f)＞ edif( f)+ evel( f)；

47、第一执行模块，用于当满足1+ ejit( f)＞ edif( f)+ evel( f)，淘汰对应帧的深度图；

48、第二执行模块，用于当不满足1+ ejit( f)＞ edif( f)+ evel( f)，入选对应帧的深度图以进行三维重建。

49、本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于深度图像的实时三维重建方法。

50、本发明另一方面还提供一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的基于深度图像的实时三维重建方法。