一种大范围运动物体的高精度双目视觉测量方法及装置与流程

本发明涉及机器视觉，具体涉及一种大范围运动物体的高精度双目视觉测量方法及装置。

背景技术：

1、双目立体视觉测量利用成像设备从不同的位置获取被测物体的两幅图像，基于视差原理计算图像对应点间的位置偏差，来获取物体特征点的三维空间坐标，常用于物体的几何尺寸和空间位置与姿态的测量。

2、使用双目视觉测量系统实时测量运动物体(比如无人机、吊装施工的吊件、机械臂抓取的零部件等)的几何尺寸和空间位置与姿态时，考虑到被测物体的运动范围，需要采用较大的拍摄视场。增大相机的拍摄视场就会减小被测物体的影像在拍摄的图像中的比例，减少了表示被测物体影像的像素数量，降低了被测物体的几何尺寸和空间位置与姿态的测量精度。在一些极端的情况下，当拍摄的图片上表示被测物体影像的像素少到难以对被测物体进行图像识别与特征匹配时，就无法完成测量任务。因此，传统双目立体视觉测量方法难以同时满足大范围运动物体的大视场与高精度测量需求。

3、双目视觉的两个相机的基线长度也对测量效果和测量精度有直接影响。当运动物体距离双目视觉测量系统较近时，较小的基线长度就能够获得较大的视差图，实现较高的测量精度；此时，基线长度太大反而会减少两个相机拍摄的图像的重叠区域，影响立体匹配的效果。当运动物体距离双目视觉测量系统较远时，需要较大的相机基线长度才能获得较大的视差图，实现较高的测量精度。

技术实现思路

1、为了克服上述缺陷，本发明提出了一种大范围运动物体的高精度双目视觉测量方法及装置。

2、第一方面，提供一种大范围运动物体的高精度双目视觉测量方法，所述大范围运动物体的高精度双目视觉测量方法包括：

3、获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；

4、基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；

5、调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；

6、控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。

7、优选的，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：

8、

9、上式中，xw为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yw为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zw为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，为从云台坐标系到世界坐标系坐标变换的旋转矩阵，为从云台坐标系到世界坐标系坐标变换的平移向量。

10、优选的，所述基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标，包括：

11、当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为其中，为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；

12、当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为其中，为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。

13、优选的，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；

14、所述高精度云台配置有相机固定底座和相机滑动底座；

15、所述相机固定底座固定安装在所述高精度云台的固定底座安装部；

16、所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；

17、所述相机固定底座和相机滑动底座分别安装一组拍摄单元；

18、所述数据接口，用于与外界计算机进行通信；

19、所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。

20、进一步的，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。

21、进一步的，所述调节双目视觉测量设备，包括：

22、调节所述高精度云台的水平旋转角度、俯仰旋转角度；

23、调节两组拍摄单元之间的基线长度；

24、调节相机的镜片位置和放大倍率。

25、进一步的，所述基于双目视觉测量设备拍摄的图像对被测物体进行测量，包括：

26、初始化相机的放大倍率回到最小值；

27、对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；

28、调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；

29、对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。

30、进一步的，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：

31、将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。

32、进一步的，所述预先构建的机器学习模型的获取过程包括：

33、利用带有被测物体批注的图像构建训练数据；

34、利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。

35、进一步的，所述图像处理包括：图像校正、立体匹配和三维重建。

36、第二方面，提供一种大范围运动物体的高精度双目视觉测量装置，所述大范围运动物体的高精度双目视觉测量装置包括：

37、获取模块，用于获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；

38、预测模块，用于基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；

39、调节模块，用于调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；

40、测量模块，用于控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。

41、优选的，所述双目视觉测量设备拍摄的图像中被测物体对应的世界坐标的计算式如下：

42、

43、上式中，xw为拍摄图像时被测物体对应的世界坐标系x轴坐标值，yw为拍摄图像时被测物体对应的世界坐标系y轴坐标值，zw为拍摄图像时被测物体对应的世界坐标系z轴坐标值，x为拍摄图像时被测物体对应的云台坐标系x轴坐标值，y为拍摄图像时被测物体对应的云台坐标系y轴坐标值，z为拍摄图像时被测物体对应的云台坐标系z轴坐标值，为从云台坐标系到世界坐标系坐标变换的旋转矩阵，为从云台坐标系到世界坐标系坐标变换的平移向量。

44、优选的，所述预测模块具体用于：

45、当被测物体的运动状态为匀速运动时，拍摄下一帧图像时被测物体对应的世界坐标为其中，为拍摄当前帧图像时被测物体对应的世界坐标系x轴坐标值，为拍摄上一帧图像时被测物体对应的世界坐标系x轴坐标值，为拍摄当前帧图像时被测物体对应的世界坐标系y轴坐标值，为拍摄上一帧图像时被测物体对应的世界坐标系y轴坐标值，为拍摄当前帧图像时被测物体对应的世界坐标系z轴坐标值，为拍摄上一帧图像时被测物体对应的世界坐标系z轴坐标值；

46、当被测物体的运动状态为加速或减速运动时，拍摄下一帧图像时被测物体对应的世界坐标为其中，为拍摄上上帧图像时被测物体对应的世界坐标系x轴坐标值，为拍摄上上帧图像时被测物体对应的世界坐标系y轴坐标值，为拍摄上上帧图像时被测物体对应的世界坐标系z轴坐标值。

47、优选的，所述双目视觉测量设备，包括：两组拍摄单元、高精度云台、数据接口和控制系统；

48、所述高精度云台配置有相机固定底座和相机滑动底座；

49、所述相机固定底座固定安装在所述高精度云台的固定底座安装部；

50、所述相机滑动底座安装于滑轨上，所述滑轨安装在所述高精度云台的滑轨安装部；

51、所述相机固定底座和相机滑动底座分别安装一组拍摄单元；

52、所述数据接口，用于与外界计算机进行通信；

53、所述控制系统，用于控制所述高精度云台调节所述高精度云台的水平旋转角度、俯仰旋转角度，控制相机滑动底座在滑轨上移动调节两组拍摄单元之间的基线长度，控制相机的自动变倍镜头调节相机的镜片位置和放大倍率。

54、进一步的，所述拍摄单元包括：相机及安装于相机的镜头接口的自动变倍镜头。

55、进一步的，所述调节双目视觉测量设备，包括：

56、调节所述高精度云台的水平旋转角度、俯仰旋转角度；

57、调节两组拍摄单元之间的基线长度；

58、调节相机的镜片位置和放大倍率。

59、进一步的，所述测量模块具体用于：

60、初始化相机的放大倍率回到最小值；

61、对双目视觉测量设备拍摄的图像进行目标搜索，当双目视觉测量设备的两台相机均拍摄到被测物体的完整影像时，完成被测目标搜索；

62、调节双目视觉测量设备，直至被测物体位于双目视觉测量设备的拍摄图像中心区域，其中，当被测物体在拍摄帧图像中的占据比例不属于预设范围时，调节两组拍摄单元之间的基线长度及两组拍摄单元中相机的放大倍率，直至被测物体在拍摄帧图像中的占据比例属于预设范围；

63、对所述双目视觉测量设备拍摄的图像进行图像处理，得到被测物体的几何尺寸及空间位置与姿态。

64、进一步的，所述对双目视觉测量设备拍摄的图像进行目标搜索，包括：

65、将拍摄图像代入预先构建的机器学习模型，得到所述预先构建的机器学习模型输出的带有被测物体批注的拍摄图像。

66、进一步的，所述预先构建的机器学习模型的获取过程包括：

67、利用带有被测物体批注的图像构建训练数据；

68、利用所述训练数据对初始机器学习模型进行训练，得到所述预先构建的机器学习模型。

69、进一步的，所述图像处理包括：图像校正、立体匹配和三维重建。

70、第三方面，提供一种计算机设备，包括：一个或多个处理器；

71、所述处理器，用于存储一个或多个程序；

72、当所述一个或多个程序被所述一个或多个处理器执行时，实现所述的大范围运动物体的高精度双目视觉测量方法。

73、第四方面，提供一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现所述的大范围运动物体的高精度双目视觉测量方法。

74、本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

75、本发明提供了一种大范围运动物体的高精度双目视觉测量方法及装置，包括：获取双目视觉测量设备拍摄的图像中被测物体对应的世界坐标；基于被测物体的运动状态以及被测物体对应的世界坐标预测拍摄下一帧图像时被测物体对应的世界坐标；调节双目视觉测量设备，直至所述拍摄下一帧图像时被测物体对应的世界坐标位置处位于双目视觉测量设备的拍摄图像中心区域；控制双目视觉测量设备进行拍摄，并基于双目视觉测量设备拍摄的图像对被测物体的位置和姿态进行测量。本发明提供的技术方案能够实现大范围运动物体的高精度视觉测量，实时获取其几何尺寸和空间位置与姿态。相对传统的双目视觉测量技术，在采用相同相机的情况下，本发明具有更高的测量精度和更广泛的测量视场范围；相对多目视觉测量技术，本发明无需进行图像拼接，采集更少的图像数据即可获得相同甚至更好的测量精度，因此数据计算量相对更小，测量效率相对更高。