图像采集系统、方法、计算设备和存储介质与流程

本发明涉及全息成像，尤其涉及一种图像采集系统、方法、计算设备和存储介质。

背景技术：

1、3d显示器是一种面向未来的沉浸式的显示器，目前正在发展阶段。相关技术中，会在3d显示器的边框一圈固定4-6个rgb或rgbd相机，用于不同视角下人物图像数据的采集，将采集到的图像数据经过编码之后送到神经网络模型进行人物的立体重建。

2、然而，这些摄像头的安装位置和安装角度都是固定的，这就导致使用者只能在这些摄像头的光轴交会点的很小范围内活动，如果活动范围过大，则很容易超出某个摄像头的画面范围，导致图像数据缺失。而且，由于当前的神经网络模型都是利用固定位置的摄像头采集的图像数据进行训练得到的，所以在使用过程中，摄像头的位置和角度也得固定不变，使用者只有在这些摄像头的光轴交会点的很小范围内活动，摄像头所采集的图像才可以用于通过神经网络模型进行3d重建，否则就会重建失败，导致对方无法看到完整的3d图像。这就使得使用者必须长时间保持一个姿势，影响使用体验，也影响技术的推广。

3、因此，需要一种新的图像采集系统，以至少解决上述问题。

技术实现思路

1、本发明的主要目的是提供一种图像采集系统、方法、计算设备和存储介质，以增大图像采集对象的活动范围。

2、本发明提供一种图像采集系统，包括：第一图像采集装置，用于采集目标对象的至少两帧深度图像；多个第二图像采集装置，用于采集目标对象的多个不同角度的图像；控制器，用于根据至少两帧深度图像确定目标对象的位移，以及根据位移控制多个第二图像采集装置跟随目标对象分别进行偏转，以使目标对象至少处于多个第二图像采集装置的公共视场范围之内，并控制多个第二图像采集装置采集目标对象的多个不同角度的图像。

3、在一实施例中，第一图像采集装置的水平视场角不小于120°，和/或，其垂直视场角不小于90°。

4、在一实施例中，还包括：第一云台，第一云台与第一图像采集装置机械连接，以带动第一图像采集装置偏转；控制器还用于，根据位移控制第一云台运动，以使第一云台带动第一图像采集装置跟随目标对象进行偏转。

5、在一实施例中，还包括：多个第二云台，多个第二云台与多个第二图像采集装置一一对应机械连接，以带动多个第二图像采集装置分别进行偏转；控制器还用于，根据目标对象的位移控制多个第二云台运动，以使多个第二云台带动多个第二图像采集装置跟随目标对象分别进行偏转。

6、在一实施例中，每个第二云台包括至少三个旋转自由度。

7、在一实施例中，控制器还用于，针对每帧深度图像，获取目标对象的像素坐标和深度值，根据目标对象的像素坐标和深度值确定目标对象在第一图像采集装置的三维坐标系中的三维坐标；根据至少两帧深度图像各自对应的目标对象的三维坐标，确定目标对象的位移。

8、在一实施例中，目标对象包括目标人体；控制器还用于，对每帧深度图像依次进行灰度化处理和二值化处理，得到至少两张二值化图像，并分别提取该至少两张二值化图像中目标人体的轮廓图像，在轮廓图像中选择参考点，将参考点在至少两帧深度图像中的位置变化作为目标对象的位移。

9、在一实施例中，参考点包括目标人体的颈部中心点。

10、在一实施例中，控制器还用于，根据位移确定多个第二图像采集装置各自的偏转角度，控制多个第二图像采集装置按照各自的偏转角度分别进行偏转。

11、在一实施例中，控制器还用于，针对每个第二图像采集装置，基于预先标定的该第二图像采集装置相对于第一图像采集装置的三维坐标系的外参数，确定位移在该第二图像采集装置的三维坐标系中的位移投影；根据该第二图像采集装置的三维坐标系的法向量以及位移投影，确定该第二图像采集装置的偏转角度。

12、在一实施例中，控制器还用于，根据该第二图像采集装置的三维坐标系的法向量沿位移投影的位移等同于法向量绕各个坐标轴旋转，确定该第二图像采集装置的偏转角度。

13、在一实施例中，控制器还用于，根据多个第二图像采集装置各自的偏转角度，更新多个第二图像采集装置相对于第一图像采集装置的外参数。

14、在一实施例中，控制器还用于，将目标对象的位移距离与预设距离阈值进行比较，在目标对象的位移距离超过预设距离阈值的情况下，再根据位移控制多个第二图像采集装置跟随目标对象分别进行偏转。

15、在一实施例中，控制器还用于，利用目标对象的多个不同角度的图像，生成目标对象的三维图像。

16、本发明提供一种图像采集方法，基于上述的图像采集系统，包括：获取目标对象的至少两帧深度图像；根据至少两帧深度图像确定目标对象的位移，以及根据位移控制多个第二图像采集装置跟随目标对象分别进行偏转，以使目标对象至少处于多个第二图像采集装置的公共视场范围之内；控制多个第二图像采集装置采集目标对象的多个不同角度的图像。

17、本发明提供一种计算设备，其特征在于，包括处理器和存储器，存储器中存储有计算机程序，当计算机程序被处理器执行时，实现上述的图像采集方法。

18、本发明提供一种存储介质，存储有计算机程序，当计算机程序被处理器执行时，实现上述的图像采集方法。

19、利用本实施例的图像采集系统，可以利用第一图像采集装置获取目标对象的位移，控制多个第二图像采集装置跟随目标对象偏转，使得目标对象可以有更大的活动范围，为使用者带来更好的使用体验。

技术特征：

1.一种图像采集系统，其特征在于，包括：

2.根据权利要求1所述的图像采集系统，其特征在于，所述第一图像采集装置的水平视场角不小于120°，和/或，其垂直视场角不小于90°。

3.根据权利要求1所述的图像采集系统，其特征在于，还包括：

4.根据权利要求1所述的图像采集系统，其特征在于，还包括：

5.根据权利要求4所述的图像采集系统，其特征在于，每个所述第二云台包括至少三个旋转自由度。

6.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于，

7.根据权利要求1所述的图像采集系统，其特征在于，所述目标对象包括目标人体；

8.根据权利要求7所述的图像采集系统，其特征在于，所述参考点包括所述目标人体的颈部中心点。

9.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于，

10.根据权利要求9所述的图像采集系统，其特征在于，所述控制器还用于，

11.根据权利要求10所述的图像采集系统，其特征在于，所述控制器还用于，

12.根据权利要求9所述的图像采集系统，其特征在于，所述控制器还用于，

13.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于，

14.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于，

15.一种图像采集方法，其特征在于，基于如权利要求1至14中任一项所述的图像采集系统，包括：

16.一种计算设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求15所述的图像采集方法。

17.一种存储介质，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求15所述的图像采集方法。

技术总结
本发明提供一种图像采集系统、方法、计算设备和存储介质，该系统包括：第一图像采集装置，用于采集目标对象的至少两帧深度图像；多个第二图像采集装置，用于采集所述目标对象的多个不同角度的图像；控制器，用于根据所述至少两帧深度图像确定所述目标对象的位移，以及根据所述位移控制所述多个第二图像采集装置跟随所述目标对象分别进行偏转，以使所述目标对象至少处于所述多个第二图像采集装置的公共视场范围之内，并控制所述多个第二图像采集装置采集所述目标对象的多个不同角度的图像。利用第一图像采集装置获取目标对象的位移，控制多个第二图像采集装置跟随目标对象偏转，使得目标对象可以有更大的活动范围，为使用者带来更好的使用体验。

技术研发人员：李治富,李文宇,苗京花
受保护的技术使用者：北京京东方显示技术有限公司
技术研发日：
技术公布日：2024/1/14