深度估计方法、装置及机器人与流程

本申请涉及人机交互，更具体的说，是涉及一种深度估计方法、装置及机器人。

背景技术：

1、随着传感器的发展和ai的赋能，越来越多的智能机器人广泛应用于生产、生活中，常见的机器人如清洁机器人、搬运机器人、陪伴类机器人等。

2、以清洁机器人为例，现有的清洁机器人已经不局限于单纯的清洁功能，其还可以通过设置的传感器来采集周围环境影像，进而实现避障等功能。对于常见的清洁机器人，基本都具备非接触式的避障功能，而为了完成这种功能，需要借助深度传感器来获取前方物体的深度信息。当前主流的清洁机器人一般选择采用基于tof原理的深度传感器。该类传感器由于原理所致（主动发射出来的光束数量是有限的），所提供的信息（点云）密度会随着距离的变远，而逐渐变得稀疏，导致测量得到的深度信息不全，进而影响后续依赖于深度信息的功能（如避障、检测等）的性能与效果的提升。

技术实现思路

1、鉴于上述问题，提出了本申请以便提供一种深度估计方法、装置及机器人，以得到更加全面的深度信息。具体方案如下：

2、第一方面，提供了一种深度估计方法，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，所述方法包括：

3、获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；

4、基于所述第一图像和所述第二图像，计算得到第一深度信息；

5、获取所述深度传感器采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

6、第二方面，提供了一种深度估计装置，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，装置包括：

7、图像获取单元，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；

8、第一深度信息计算单元，用于基于所述第一图像和所述第二图像，计算得到第一深度信息；

9、深度信息融合单元，用于获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

10、第三方面，提供了一种机器人，包括：

11、机器人本体；

12、设置在所述机器人本体前面板上的第一摄像模块和深度传感器，设置在所述机器人本体上方的第二摄像模块，所述第二摄像模块的角度可调节；

13、处理器，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像，并基于所述第一图像和所述第二图像，计算得到第一深度信息，获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

14、借由上述技术方案，本申请的深度估计方法应用于机器人，机器人本体前面板上设置有第一摄像模块和深度传感器，机器人本体上方设置有角度可调节的第二摄像模块，本申请获取第一摄像模块采集的第一图像，第二摄像模块采集的第二图像，基于第一图像和第二图像可以采用双目深度估计方法计算得到第一深度信息，并与深度传感器采集的第二深度信息进行融合，得到融合后的深度信息。显然，本申请通过在机器人本体上方额外增设一个角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的完整度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。

15、除此之外，本申请的机器人通过在本体上方设置角度可调节的第二摄像模块，可以大大提升摄像模块的扫描视野，配合前面板上设置的第一摄像模块可以增加人脸识别、家庭监控时的视野，使得人脸识别、家庭监控等功能的性能与效果更加优异。

技术特征：

1.一种深度估计方法，其特征在于，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取所述第二摄像模块采集的第二图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述按照设定步长调整所述第二摄像模块的角度，包括：

4.根据权利要求1所述的方法，其特征在于，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息的过程，包括：

5.根据权利要求4所述的方法，其特征在于，基于所述第二深度信息中所述空值坐标点周围坐标点的深度值，以及所述第一深度信息中所述空值坐标点对应的深度值，确定所述空值坐标点的目标深度值，包括：

6.根据权利要求1-5任一项的方法，其特征在于，还包括：

7.根据权利要求1-5任一项的方法，其特征在于，还包括：

8.根据权利要求1-5任一项的方法，其特征在于，还包括：

9.一种深度估计装置，其特征在于，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，装置包括：

10.一种机器人，其特征在于，包括：

11.根据权利要求10所述的机器人，其特征在于，所述第一摄像模块和所述第二摄像模块均为rgb摄像头；

12.根据权利要求10所述的机器人，其特征在于，所述机器人为清洁机器人、搬运机器人或陪伴机器人。

技术总结
本申请公开了一种深度估计方法、装置及机器人，本申请的机器人本体前面板上设置有第一摄像模块和深度传感器，机器人本体上方设置有角度可调节的第二摄像模块，本申请获取第一摄像模块采集的第一图像，第二摄像模块采集的第二图像，基于第一图像和第二图像计算得到第一深度信息，并与深度传感器采集的第二深度信息进行融合，得到融合后的深度信息。通过增设角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的完整度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。

技术研发人员：赖嘉骏,殷保才,李华清,张圆
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：
技术公布日：2024/1/11