相机标定自适应调整方法、装置、计算机设备及存储介质与流程

本发明涉及相机标定方法，更具体地说是指相机标定自适应调整方法、装置、计算机设备及存储介质。

背景技术：

1、在现代科技发展的背景下，计算机视觉和自动控制等领域取得了显著的进步。相机标定作为计算机视觉和摄影测量中的重要环节，用于确定相机的内部参数如焦距、主点等和外部参数如位置和朝向，是实现高精度图像处理和计算的关键步骤。

2、传统相机标定方法通常采用人工举着标定板在不同位置和角度进行标定，但这种方法存在着显著的局限性。首先，人工操作耗时费力且容易受到人为误差的影响，导致标定结果不稳定；其次，对于一些复杂场景或水中环境，人工标定方法难以适用，限制了在水池等特殊环境中进行相机标定的应用；为了解决传统方法的局限性，近年来，自动化相机标定技术得到了快速发展。自动化标定设备通过集成相机和机械臂等组件，可以自主地移动和调整标定板的位置和角度，从而实现自动化的相机标定。然而，目前现有的自动化标定设备大多数用于实验室或工业环境，其复杂性和成本使得其在泳池等户外环境中的应用受到限制。

技术实现思路

1、本发明提供相机标定自适应调整方法，实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。

2、为实现上述目的，本发明采用以下技术方案：相机标定自适应调整方法，包括：

3、获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；

4、根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；

5、根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；

6、若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。

7、其进一步技术方案为：所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息，包括：

8、使用深度学习模型提取所述视频帧的rgb特征和光流特征，以得到提取结果；

9、通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；

10、利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数。

11、其进一步技术方案为：所述使用深度学习模型提取所述视频帧的rgb特征和光流特征，以得到提取结果，包括：

12、将所述视频帧分解为不重叠的16帧片段，以得到分解结果；

13、通过kinetics-40预训练的i3d模型提取所述分解结果中的rgb特征和光流特征；

14、沿通道维度连接所述rgb特征和光流特征，以得到提取结果。

15、其进一步技术方案为：所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签，包括：

16、将所述提取结果输入全连接层，以得到时间类激活序列；

17、采用注意力模块计算所述提取结果的注意力权重矩阵；

18、将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；

19、根据mil公式以及注意力加权的时间类激活序列计算视频级别的动作概率；

20、根据所述动作概率确定动作区域，并生成伪标签。

21、其进一步技术方案为：所述根据预设的路径自主移动所述小船，包括：

22、根据小船当前位置以及目标位置确定所述小船需要移动的方向和距离，并驱动所述小船按照方向和距离移动。

23、其进一步技术方案为：所述调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，包括：

24、检测相机和标定板的相对位置和朝向，以得到第一结果；

25、计算相机和标定板的距离和角度差，以得到第二结果；

26、根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；

27、当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。

28、其进一步技术方案为：所述当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐，包括：

29、当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。

30、本发明还提供了相机标定自适应调整装置，包括：

31、视频帧获取单元，用于获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；

32、标定信息获取单元，用于根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；

33、判断单元，用于根据预设的路径自主移动所述小船；并判断是否需要更新所述标定信息；

34、调整单元，用于若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。

35、本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

36、本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

37、本发明与现有技术相比的有益效果是：本发明通过将相机安装在携带有定位传感器和避障传感器的小船上，且在小船上安装可调整标定板位置和角度的机械臂，根据获取的视频帧确定标定信息，在小船移动过程中，实时判断是否需要更新标定信息，当需要时，调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，重新进行标定，实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。

38、下面结合附图和具体实施例对本发明作进一步描述。

技术特征：

1.相机标定自适应调整方法，其特征在于，包括：

2.根据权利要求1所述的相机标定自适应调整方法，其特征在于，所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息，包括：

3.根据权利要求2所述的相机标定自适应调整方法，其特征在于，所述使用深度学习模型提取所述视频帧的rgb特征和光流特征，以得到提取结果，包括：

4.根据权利要求2所述的相机标定自适应调整方法，其特征在于，所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签，包括：

5.根据权利要求1所述的相机标定自适应调整方法，其特征在于，所述根据预设的路径自主移动所述小船，包括：

6.根据权利要求1所述的相机标定自适应调整方法，其特征在于，所述调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，包括：

7.根据权利要求6所述的相机标定自适应调整方法，其特征在于，所述当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐，包括：

8.相机标定自适应调整装置，其特征在于，包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

技术总结
本发明实施例公开了相机标定自适应调整方法、装置、计算机设备及存储介质。所述方法包括：获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。通过实施本发明实施例的方法可实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。

技术研发人员：任小枫,谢欣,郭羽,张剑华,郭东岩,王振华,张都思
受保护的技术使用者：杭州巨岩欣成科技有限公司
技术研发日：
技术公布日：2024/1/15