多窗口的深度图像处理的方法、加速方法、装置及电子设备与流程

本申请涉及图像处理领域，具体涉及一种多窗口的深度图像处理的方法、加速方法、装置及电子设备。

背景技术：

1、基于双目立体视觉的深度相机对环境光照强度比较敏感，且比较依赖图像本身的特征，因此在光照不足、缺乏纹理等情况下很难提取到有效鲁棒的特征，从而导致匹配误差增大甚至匹配失败。

2、而基于结构光法的深度相机就是为了解决上述双目匹配算法的复杂度和鲁棒性问题而提出的，其他处理步骤和双目立体视觉类似。结构光法不依赖于物体本身的颜色和纹理，采用了主动投影已知图案的方法来实现快速鲁棒的匹配特征点，能够达到较高的精度，也大大扩展了适用范围。

3、随着深度相机的不断发展，以及机器视觉整个行业的爆发，对深度相机的要求标准也逐步提升，高精度的深度信息对整个行业及相关产业有着良好的促进作用，目前的深度相机存在精准度随着距离增加下降，并且边界模糊，数据不准确的问题。

技术实现思路

1、本申请旨在提供一种多窗口的深度图像处理方法、加速方法、装置及电子设备，通过调整匹配窗口，可以一定程度上减少误匹配的概率，以及改变滤波窗口，解决远距离时，边界效果差、过度平滑、精准度下降的问题。

2、保证深度相机在不同距离下，有较好的深度。

3、根据本申请的一方面，提出一种多窗口的深度图像处理的方法，包括：

4、获取含有散斑图案的参考图像；

5、获取所述参考图像的中心点位置；

6、根据所述参考图像上的点距中心点的距离，设置匹配窗口的大小；

7、获取含有所述散斑图案的场景图像；

8、根据设置的匹配窗口对场景图像进行匹配，得到深度信息。

9、根据一些实施例，所述方法还包括：获取所述参考图像的中心点位置，包括：

10、设定匹配模板；

11、根据所述匹配模板对所述参考图像进行匹配，得到匹配程度最高的图像块作为中心图像块；

12、根据中心图像块得到所述参考图像的中心点位置。

13、根据一些实施例，所述方法还包括：匹配窗口设置为距离所述中心点越远窗口越大。

14、根据一些实施例，所述方法还包括：所述匹配窗口含有5个以上的散斑。

15、根据一些实施例，所述方法还包括：得到深度信息后，根据不同的深度，使用不同大小的滤波窗口对得到的深度信息进行滤波。

16、根据一些实施例，所述方法还包括：所述滤波窗口随着深度距离的增加进行减小。

17、根据一些实施例，所述方法还包括：

18、根据不同的深度，设置不同的后处理参数，所述后处理参数用于对深度信息进行后处理。

19、根据一些实施例，所述方法还包括：

20、获取场景图像的中心；

21、根据获取所述参考图像的中心点位置和所述场景图像的中心进行预计算，得到视差信息；

22、根据预计算得到的视差信息进行匹配。

23、根据本申请另一方面，提出一种多窗口的深度图像处理的加速方法，包括：

24、获取场景图像的中心；

25、根据获取所述参考图像的中心点位置和所述场景图像的中心进行预计算，得到视差信息；

26、根据预计算得到的视差信息进行匹配。

27、根据本申请另一方面，提出一种多窗口的深度图像处理的装置，包括：

28、图像获取模块，用于获取含有散斑图案的参考图像和场景图像；

29、中心点计算模块，用于计算参考图像的中心点位置；

30、匹配模块，用于设置匹配窗口的大小，并根据设置的匹配窗口对场景图像进行匹配，得到深度信息；

31、后处理模块，用于对深度信息进行后处理。

32、根据本申请的另一方面，提供一种电子设备，包括：

33、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中任一项所述的方法。

34、根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现前述方法。

35、根据本申请示例实施例，通过根据投射器的畸变，针对图像中的不同区域使用不同大小的窗口进行匹配，保证深度的完整性。

36、根据本申请示例实施例，通过针对不同的深度距离，根据场景的实际情况，使用不同均值和中值滤波的窗口大小，以及后处理的参数，既保证了深度的精准度，也不会造成过度的后处理，避免使远距离的深度过度平滑。

37、应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

技术特征：

1.一种多窗口的深度图像处理的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取所述参考图像的中心点位置，包括：

3.根据权利要求1所述的方法，其特征在于，所述匹配窗口设置为距离所述中心点越远窗口越大。

4.根据权利要求1所述的方法，其特征在于，所述匹配窗口含有5个以上的散斑。

5.根据权利要求1所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述滤波窗口随着所述深度的增加而减小。

7.根据权利要求5所述的方法，其特征在于，还包括：

8.根据权利要求2所述的方法，其特征在于，还包括：

9.一种多窗口的深度图像处理的加速方法，其特征在于，包括：

10.一种多窗口的深度图像处理的装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

技术总结
本申请提供一种多窗口的深度图像处理的方法、加速方法、装置及电子设备。获取含有散斑图案的参考图像，所述散斑图案包括多个特征点；获取所述参考图像的中心点位置；根据所述参考图像上的点距中心点的距离，设置匹配窗口的大小；获取含有所述散斑图案的场景图像；根据设置的匹配窗口将参考图像与场景图像进行匹配，得到深度信息。通过根据投射器的畸变，针对图像中的不同区域使用不同大小的窗口进行匹配，保证深度的完整性。

技术研发人员：孙佳睿,柴晨喜,李楠,李健,金瑞
受保护的技术使用者：浙江舜宇智能光学技术有限公司
技术研发日：
技术公布日：2024/1/12