一种双目伺服相机目标定位方法与流程

1.本发明涉及相机目标定位技术领域，具体而言，涉及一种双目伺服相机目标定位方法。


背景技术：

2.面对越来越复杂多样的工业与服务业应用场景，使用机器人实现自动化运作已经成为必然趋势，而视觉又是机器人感知外界最重要的感官，使用双目相机对环境目标进行定位和场景识别可以实现机器人对环境的感知和目标信息的获取。
3.申请号为202110883403.5的发明公开了一种双目视觉引导的机器人智能装配方法、系统及装置，其系统流程图请见图1，该案的双目视觉单元固定在工作台上，获取工作区域的图像；其图像处理及计算单元负责图像的采集及处理，然后进行标定，首先进行单相机标定再进行双目标定，最后与机器人进行手眼标定，标定完成之后再进行位姿求解；通过以太网的方案将结果发送给机器人；机器人根据收到的数据调整装配的位姿。但是此案采用光轴平行固定的双目相机，视野范围较小，且没有自主识别场景的模块，因此其使用存在一定的局限性。
4.申请号为202110861361.5的发明公开了一种双目视觉检测缺陷的移动机器人标记装置，其装置示意图如图2所示，该装置包括：设置有机械臂的agv智能小车；用于标记缺陷位置的喷涂装置，且喷涂装置安装在agv智能小车上；安装在机械臂的末端的摄像头模块；与agv智能小车、喷涂装置、摄像头模块分别连接的控制器模块，且控制器模块安装在agv智能小车上。然而，其采用的也是固定平行的双目相机进行目标定位，视野范围较小，并且由于该发明使用自带的装在小车上的图像识别网络进行缺陷检测，而车载的ai计算单元受到设备本身的限制，计算速度慢且精度不如更大的模型系统，因而运算能力和使用场景也存在一定的局限性。
5.因此，本领域亟需一种能够具备更广泛的视野范围、更优的精度、更强的运算能力的双目伺服相机目标定位方法。


技术实现要素：

6.为解决上述问题，本发明提供一种双目伺服相机目标定位方法，通过采用双目独立转动的相机对目标进行跟踪，视野范围更大，且对于较远目标定位更加精确，并加入了云端实例分割模型对场景进行像素级识别，使机器人能够脱离需要人工手动指定目标在图像中位置的限制，且对目标检测具有更高的灵活性。
7.为达到上述目的，本发明提供了一种双目伺服相机目标定位方法，其通过一定位系统实现，所述定位系统包括：双目球形摄像机，用于拍摄场景画面，其中所述双目球形摄像机包括两个相机，每个相机均为球形相机；一云端ai服务器，通过无线网络与所述双目球形摄像机连接；
所述方法包括以下步骤：步骤s1：对所述双目球形摄像机进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵m1和m2，并据此计算两个相机坐标系的转换矩阵（r，t），其中r为旋转分量，t为平移分量；步骤s2：将所述定位系统初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；步骤s3：启动所述定位系统，所述双目球形摄像机将拍摄到的当前图像上传至所述云端ai服务器；步骤s4：所述云端ai服务器对当前图像进行orb特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（r，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；步骤s5：所述云端ai服务器采用solov2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；步骤s6：若目标区域重心偏离图像中心，则所述云端ai服务器下发跟踪指令调整所述双目球形摄像机的姿态，使目标区域重心向拍摄图像中心移动，所述云端ai服务器记录所述双目球形摄像机的实时姿态，并更新两个相机坐标系的转换矩阵（r，t）；步骤s7：所述双目球形摄像机再将拍摄到的当前图像上传至所述云端ai服务器，所述云端ai服务器再对当前图像进行orb特征提取并匹配，通过两个相机的内参与更新后的两个相机坐标系的转换矩阵（r，t）计算出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图。
8.在本发明一实施例中，其中，步骤s6具体包括：步骤s601：当目标区域重心偏离图像中心时，所述云端ai服务器向所述双目球形摄像机下发跟踪指令，其中跟踪所采用的算法为基于卡尔曼滤波的算法，其目标预设方程为：式中，f为状态转移矩阵，p为状态协方差矩阵，q为过程噪声矩阵， 表示k时刻的目标状态向量，表示k时刻的目标状态预测向量更新值， 表示预测出的状态协方差矩阵更新值；步骤s602：所述双目球形摄像机根据指令调整后，计算此时的状态方程为：式中，k为卡尔曼增益，h为测量矩阵，r为测量噪声矩阵，y（k）表示观测向量，为k+1时刻的状态协方差矩阵，为k+1时刻的目标状态向量；步骤s603：重复步骤s601~s602，使目标区域重心达到拍摄图像中心，并计算出两个相机当前的姿态；步骤s604：更新两个相机坐标系的转换矩阵（r，t）。
9.在本发明一实施例中，其中，步骤s604具体为：设任一相机的水平旋转角度为，俯仰旋转角度为，其中i为相机编号，t为目标状态向量维度索引，则更新后的旋转矩阵为其中，平移分量t不变。
10.在本发明一实施例中，其中，所述无线网络包括4g、5g及wifi网络。
11.本发明提供的双目伺服相机目标定位方法，与现有技术至少具备以下优势：1）相比传统的固定平行双目相机，球形双目相机具有更高的灵活性和适应性，观测的视野范围更大，且对于较远目标定位更加精确；2）将相机采集到的实时画面采用发送到云端识别的方式进行场景识别，无论是安装在机器人上或者应用于其他场景下，都具备较强的计算能力，可以实现对目标的精确定位、跟踪和场景的识别。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1为现有技术的双目视觉引导的机器人智能装配方法流程图；图2为现有技术的双目视觉检测缺陷的移动机器人标记装置示意图；图3为本发明一实施例系统架构示意图；图4为本发明一实施例的定位方法的流程图；图5为本发明一实施例中双目数学模型示意图。
14.附图标记说明：10-定位系统；101-双目球形摄像机；102-云端ai服务器；103-无线网络；s1~s6-步骤。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.图3为本发明一实施例系统架构示意图，图4为本发明一实施例的定位方法的流程图，如图3和图4所示，本实施例提供一种双目伺服相机目标定位方法，其通过一定位系统10实现，定位系统10包括：双目球形摄像机101，用于拍摄场景画面，其中双目球形摄像机包括两个相机，每个相机均为球形相机；本实施例不对相机的型号进行限定；
一云端ai服务器102，通过无线网络103与双目球形摄像机101连接；在本实施例中，其中，无线网络103可以为4g、5g、wifi网络，未来还可以为6g，现阶段无线网络传输速率已经可以满足数据传输的需求，且不会像常规以太网一样需要网线连接，更适用于各种场景。
17.其中，云端ai服务器102接收双目球形摄像机101上传的实时图像得到双目图像，并在双目图像中提取orb特征（oriented fast and rotated brief特征，是由关键点和描述子组成）进行匹配，生成点云拟合场景深度图，然后通过实例分割模型，对图像中的目标进行实例分割，如需要跟踪目标，则下发指令对双目相机姿态进行调整，最终实现对目标的定位与跟踪和场景的识别。本发明采用双目球形摄像机相比传统的固定平行双目相机具有更高的灵活性和适应性，对双目球形摄像机采集到的实时画面采用发送到云端识别的方式进行场景识别，可以应用云端ai服务器强大的运算能力，当该系统安装在机器人上或者其他场景下使用时均可以实现对目标的精确定位、跟踪和场景的识别，以下将通过具体步骤对所述定位方法进行详细说明。
18.所述方法包括以下步骤：步骤s1：对双目球形摄像机101进行标定，具体为采用张正友棋盘格进行标定，分别求出两个相机的内参矩阵m1和m2，并据此计算两个相机坐标系的转换矩阵（r，t），其中r为旋转分量，t为平移分量；步骤s2：将定位系统10初始化，其中两个相机镜头的拍摄朝向为完全平行的状态；步骤s3：启动系统，使双目球形摄像机101与云端ai服务器102之间通过无线网络103建立连接，双目球形摄像机101将拍摄到的当前图像上传至云端ai服务器102；步骤s4：云端ai服务器102对当前图像进行orb特征提取并匹配，通过两个相机的内参与两个相机坐标系的转换矩阵（r，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，计算所有特征点点云并生成场景深度图；图5为本发明一实施例中双目数学模型示意图，如图5所示，其中，分别设两个相机为左相机和右相机，左相机和右相机图像先进行orb特征提取并匹配，然后通过两个相机的内参与两个相机坐标系的转换矩阵（r，t）进行双目数学模型计算，得出世界坐标系下的对应特征点的坐标，其中，两个相机的光心分别为c0和c1，两个相机对应的图像坐标系中匹配上的一个orb特征点分别为x0和x1，其中，c0和x0为左相机参数，c1和x1为右相机参数，（r，t）为两个相机坐标系的转换矩阵。
19.通过相机内参和外参矩阵计算出目标像素对应实体坐标与该相机光心所连直线方程，将右相机的该方程转换至左相机坐标系，再求出两条直线最小距离处对应的垂线，以垂线段中点坐标作为该目标像素对应实体坐标位置的估计，实现对目标的定位，由此算出真实点p在场景中的世界坐标（x
p
，y
p
，z
p
），此为一般双目相机进行世界坐标转换的常规算法，因此不再赘述。
20.步骤s5：云端ai服务器102采用solov2实例分割模型对相机图像进行实例分割，并对目标区域场景中的物体进行像素级的分类与识别；其中solo为structure of the observed learning outcome的缩写；步骤s6：若目标区域重心偏离图像中心，则云端ai服务器102下发跟踪指令调整双目球形摄像机101的姿态，使目标区域重心向拍摄图像中心移动，云端ai服务器102记录双
目球形摄像机101的实时姿态，并更新两个相机坐标系的转换矩阵（r，t）；在本实施例中，其中，步骤s6具体包括：步骤s601：当目标区域重心偏离图像中心时，云端ai服务器102向双目球形摄像机101下发跟踪指令，其中跟踪所采用的算法为基于卡尔曼滤波的算法，其目标预设方程为：式中，f为状态转移矩阵，p为状态协方差矩阵，q为过程噪声矩阵， 表示k时刻的目标状态向量，表示k时刻的目标状态预测向量更新值， 表示预测出的状态协方差矩阵更新值；步骤s602：双目球形摄像机101根据指令调整后，计算此时的状态方程为：式中，k为卡尔曼增益，h为测量矩阵，r为测量噪声矩阵，y（k）表示观测向量，为k+1时刻的状态协方差矩阵，为k+1时刻的目标状态向量；由于目标状态向量包括目标的x，y 坐标以及在两个方向的速度x’和y’，那么观测向量就是两个坐标转换的速度x’和y’；步骤s603：重复步骤s601~s602，使目标区域重心达到拍摄图像中心，并计算出两个相机当前的姿态；步骤s604：更新两个相机坐标系的转换矩阵（r，t）。
21.为使算法预测准确，在具体实施时例如先使两个相机在前2.5秒钟不动作，初始的目标状态向量为，然后每隔0.5秒定位一次运动目标的坐标，获得5组观测数据y1、y2、...、y5，对这5组数据进行分析并确定目标运动状态，然后根据正交投影结论求出最小方差估计值从初始状态开始跟踪，假设系统噪声和观测噪声均为零均值高斯白噪声，其协方差分别用q和r表示，则根据经验值设定参数如下：根据步骤s601的目标预设方程可以预测出1时刻的为
ꢀꢀꢀꢀꢀꢀꢀ
（6.1）根据（6.1）式计算出偏移量（6.2）
ꢀꢀꢀꢀꢀ
（6.2）根据计算的偏移量，云端ai服务器102向双目球形摄像机101下发跟踪指令，即让双目球形摄像机101转动，设俯仰转动速度为vy，水平转动速度为v x
，双目球形摄像机101先俯仰转动秒，然后水平转动秒，使双目球形摄像机101提前运转到预定位置，以等待下次采集图像；此时得出卡尔曼预测的误差方差，如（6.3）；（6.3）将带入可以获得增益k（1）（6.4）；（6.4）为进行下一时刻的递推，计算出估计误差方差（6.5）
ꢀꢀ
（6.5）根据1时刻的图像位置与0时刻的位置差，再加上云端ai服务器102下发的转动量，获得当前时刻的观测值y（1），将其带入对进行修正，从而可以预测（6.6）， （6.6）依此类推，根据上述过程可以估计出，继而修正，以实现对目标的跟踪，故不再赘述。
22.记录两个相机当前旋转指令的参数和执行时间，根据时序参数叠加计算出两个相机当前的姿态，作为后续帧计算深度图的（r，t）矩阵更新。
23.在本实施例中，其中，步骤s604具体为：设任一相机的水平旋转角度为，俯仰旋转角度为，其中i为相机编号，t为目标状态向量维度索引，则更新后的旋转矩阵为其中，由于两相机相对固定，因此平移分量t不变，这样就完成了两各相机坐标系转换矩阵的更新。
24.步骤s7：双目球形摄像机101再将拍摄到的当前图像上传至云端ai服务器102，云端ai服务器102再对当前图像进行orb特征提取并匹配，通过两个相机的内参与更新后的两
个相机坐标系的转换矩阵（r，t）计算出世界坐标系下的对应特征点的坐标，并计算所有特征点点云并生成场景深度图。
25.本发明提供的双目伺服相机目标定位方法，相比传统的固定平行双目相机，球形双目相机具有更高的灵活性和适应性，观测的视野范围更大，且对于较远目标定位更加精确；同时将相机采集到的实时画面采用发送到云端识别的方式进行场景识别，无论是安装在机器人上或者应用于其他场景下，都具备较强的计算能力，可以实现对目标的精确定位、跟踪和场景的识别。
26.本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
27.本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
28.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。