带电作业场景下针对待作业物体的图像分割方法与流程

本发明涉及机器人技术领域，尤其涉及带电作业场景下针对待作业物体的图像分割方法。

背景技术：

图像分割技术可以分为语义分割与实例分割两种类别；语义分割的结果中对图像中的每个像素打上类别标签，同一类别的物体将作为一个整体被分割出来；而实例分割是目标检测与语义分割的结合，实例分割在图像中将目标检测出来，并为每个目标打上类别标签。

深度学习在图像分割领域有着广泛的应用。目前，在图像分割领域，有fcn、segnet、pspnet、mask-rcnn等多种网络模型被用于进行图像分割。但是在带电作业场景下，作业范围内物体种类较多，物体间彼此遮盖，物体受灰尘、锈蚀等自然原因导致的外观不一致，背景复杂，且容易收到强光影响，针对小目标的图像分割方法目前还未有涉及。

技术实现要素：

发明目的：本发明在上述背景技术的成果下，结合带电作业场景对于准确性与实时性的要求，提出了一种可用于针对待作业目标物体尤其是小目标物体进行实例分割的方法，供带电作业机器人的控制抓取模块进行作业。

技术方案：

带电作业场景下针对待作业物体的图像分割方法，包括步骤：

步骤一、在机器人上安装rgb相机和激光雷达，并对rgb相机和激光雷达进行联合标定得到相机坐标系与激光雷达坐标系之间的旋转及平移关系；

步骤二、利用采集并标注的训练数据训练得到图像分割模型，并采用该图像分割模型对rgb相机采集rgb图像进行识别分割得到待作业目标物体；

步骤三、根据步骤一得到的相机坐标系与激光雷达坐标系之间的旋转及平移关系，将步骤二识别分割得到的待作业目标物体变换至激光雷达坐标系下得到待作业目标物体的点云集合即为待作业物体。

所述步骤一具体为：

(11)在机械臂末端固定安装固定规格的标定板，通过rgb相机采集标定板的rgb图像，通过激光雷达采集标定板的灰度图和激光点云；

(12)在步骤(11)采集的数据中分别提取标定板上的标定点，通过pnp算法计算得到相机坐标系与激光雷达坐标系之间的旋转及平移关系。

还包括验证步骤：

将激光点云中的点根据步骤(12)得到的相机坐标系与激光雷达坐标系之间的变换关系及相机的成像原理变换到图像坐标系下，并计算激光点云中的点变换到图像坐标系下的坐标与图像坐标系下对应点的坐标之间的误差；

其中误差定义为激光点云中的点变换到图像坐标系下的坐标与图像坐标系下对应点的之间在x方向上或y方向上的像素差，若二者在x方向上或y方向上的像素差均不大于1像素，则认为，该标定在误差范围内；否则需重新采集数据进行标定。

所述步骤二中，根据实际作业的机器人所搭载的硬件算力部署相应图像分割模型，具体如下：

针对不使用gpu进行加速运算的情况下，首先采用预先训练得到的用以识别分割可确定作业整体范围及待作业目标物体位置的物体的图像分割模型识别分割得到对应物体，并根据该物体所在位置及其范围在该物体周边生成若干候选框，并在候选框内采用预先训练的分别用于识别分割不同待作业目标物体的若干图像分割模型分割出待作业目标物体；

针对使用gpu进行加速运算的情况下，首先采用预先训练得到的用以识别分割可确定作业整体范围及待作业目标物体位置的物体及不同待作业目标物体的图像分割模型识别分割得到所有物体，并根据所有物体间的相对位置关系搜索得到待作业目标物体。

所述步骤二中，所述图像分割模型输出识别结果、识别置信度、目标掩膜及目标掩膜最大范围的目标框，对所述图像分割模型识别分割得到的待作业目标物体的识别置信度进行判断，若其高于0.9，则该识别分割结果符合要求；否则舍弃该图像数据，并通过rgb相机重新采集rgb图像，重新进行识别分割。

所述步骤三具体如下：

(31)假设激光点云中某个点在激光雷达坐标系下的坐标为(x,y,z)，将坐标转化为齐次坐标(x,y,z,1)；

(32)根据激光点云的齐次坐标转换关系以及相机的成像原理求解出该点在图像坐标系中的坐标；

其中，激光点云的齐次坐标转换关系：

其中，(x，y，z)表示该点在相机坐标系中的坐标，r为相机坐标系与激光雷达坐标系之间的变换关系中的旋转矩阵，t为相机坐标系与激光雷达坐标系之间的变换关系中的平移向量；

相机的成像原理：

其中，fx、fy分别为rgb相机在x、y方向上的焦距，cx、cy分别为rgb相机光心相对于成像原点在x、y方向上的偏移距离，(u，υ)为该点在图像坐标系中的坐标；

(33)判断该点是否位于步骤二分割得到的待作业目标物体内，若处于待作业目标物体内，那么说明该点是待作业目标物体上一点；

(34)通过步骤(31)～(33)遍历激光点云中的每个点，将所有位于待作业目标物体内的点存入新的点集，即可获得待作业目标物体的点云集合。

有益效果：本发明可用于带电作业机器人的控制抓取模块作业，满足带电作业场景对于准确性与实时性的要求；且本发明可以根据实际作业的机器人所搭载的硬件算力和实际需求对图像分割模型进行针对性部署。

附图说明

图1为本发明针对小目标的图像分割流程图。

图2为联合标定应用流程图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明。

在本发明中，在机器人上安装有rgb相机和tof激光雷达，在机器人内设置有联合标定模块、图像分割模块及控制抓取模块，其中控制抓取模块与机械臂末端的作业工具连接，并控制作业工具进行作业。

本发明针对的待作业目标物体是需要被控制抓取模块进行拆装的避雷器、螺母等一类物体。

图1为本发明针对待作业目标物体的图像分割方法的流程图，如图1所示，本发明带电作业场景下针对待作业目标物体的图像分割方法包括如下步骤：

步骤一、固定rgb相机和tof激光雷达位置后，调用联合标定模块对rgb相机和tof激光雷达的组合系统进行标定，确定由多个不同传感器所构成组合系统的外参；标定流程如图2，具体为：

(11)检查各设备的连接无故障之后，在机械臂末端固定安装固定规格的标定板，通过rgb相机采集标定板的rgb图像，通过tof激光雷达采集标定板的灰度图和激光点云；

在本发明中，标定板采用圆孔、网格或棋盘格标定板，其上的圆孔、网格斑点或棋盘格角点构成标定点。

(12)联合标定模块在步骤(11)采集的数据中分别提取标定板上的标定点，通过解决一个pnp(perspective-n-point)问题，对rgb相机和tof激光雷达之间的外参进行标定，得到相机坐标系与激光雷达坐标系之间的变换(旋转及平移)关系；

(13)将激光点云中的点根据步骤(12)得到的相机坐标系与激光雷达坐标系之间的变换关系及相机的成像原理变换到图像坐标系下，并根据激光点云中的点变换到图像坐标系下的坐标与图像坐标系下对应点的坐标之间的误差，检查差值范围的合理性；其中误差定义为激光点云中的点变换到图像坐标系下的坐标与图像坐标系下对应点的之间在x方向上或y方向上的像素差，若二者在x方向上或y方向上的像素差均不大于1像素，则认为，该标定在误差范围内；否则需重新标定，即重复步骤(11)～(13)；

在本发明中，将标定结果(即相机坐标系与激光雷达坐标系之间的变换关系)以齐次坐标的形式进行保存，联合标定模块将标定结果保存在指定路径下，供后续其他模块使用。

步骤二、图像分割模块导入图像分割模型，针对采集的图像数据在带电作业的复杂背景下对待作业目标物体进行分割；

(21)机器人到达作业区域后，通过rgb相机和tof激光雷达分别采集rgb图像和激光点云；

(22)图像分割模块从指定的路径下导入经过训练的、可用于进行图像分割的图像分割模型；图像分割模型导入成功后，图像分割模块读取rgb相机采集到的rgb图像，并采用图像分割模型针对目标的物体进行分割；

在本发明中，图像分割模型是利用采集并标注的训练数据所训练的得到的神经网络模型，其中，标注是通过掩膜及类别进行标注，其可输出识别结果、识别置信度、目标掩膜及目标掩膜最大范围的目标框，且该图像分割模型已被转化为可用于c++程序回调的文件格式。

(23)如果在分割过程中，针对的是由多个物体组合而成的系统时，本发明采用以下两种方案：

方案一、首先分割出可以确定作业整体范围及待作业目标物体位置的大物体，并根据此大物体所在位置及其范围在该大物体周边生成若干候选框，并在候选框内进一步分割出目标小物体；该方案用于进行识别的单个模型可采用较为轻量化的图像分割模型，对系统的算力要求较小，即不使用gpu进行加速运算的情况下使用本方案；其缺点在于需要调用不同模型，进行多次分割，因此本发明针对该种方案，分别训练得到用以识别分割可确定作业整体范围的大物体的图像分割模型及分别用于识别分割不同待作业目标物体的若干图像分割模型。

方案二、对采集的图像首先进行整体分割，尽可能分割出图像中所有目标物体，随后根据这些物体间彼此的相对位置关系进一步进行搜索目标小物体；该方案需要采用层数、参数较多的模型，对算力要求较高，即使用gpu进行加速运算的情况下使用本方案；其优势在于只需要进行一次分割，因此本发明针对该种方案，训练得到用以识别分割可确定作业整体范围的大物体及不同待作业目标物体的图像分割模型。

这两种方案可以根据实际作业的机器人所搭载的硬件算力进行针对性部署；

对于两种方案的结果进行了筛选处理，最终的待作业目标物体的识别结果达到识别置信度高于0.9，即达到了目标要求；若识别置信度低于0.9，则舍弃该图像数据，返回步骤(21)；

分割结束后可以确定作业整体范围的大物体有比如避雷器、瓷瓶在作业范围内数量较少，但是目标明显的物体，小物体包括螺母、电线等体积小，分散但是与大物体有连接关系或固定位置关系的物体。

步骤三、根据步骤一得到的相机坐标系与激光雷达坐标系之间的旋转及平移关系，计算出rgb图像中分割出的目标物体在激光点云中所对应的点；

(31)假设读取到激光点云的某个点在激光雷达坐标系下的坐标为(x,y,z)，将坐标转化为齐次坐标(x,y,z,1)；

(32)根据激光点云的齐次坐标转换关系以及相机的成像原理求解出该点在图像坐标系中的坐标；

其中，激光点云的齐次坐标转换关系：

其中，(x，y，z)表示该点在相机坐标系中的坐标，r为相机坐标系与激光雷达坐标系之间的变换关系中的旋转矩阵，t为相机坐标系与激光雷达坐标系之间的变换关系中的平移向量；

相机的成像原理：

其中，fx、fy分别为rgb相机在x、y方向上的焦距，cx、cy分别为rgb相机光心相对于成像原点在x、y方向上的偏移距离，(u，υ)为该点在图像坐标系中的坐标；

(33)判断其是否位于步骤二分割得到的目标物体的掩膜区域内，若处于目标物体的掩膜区域中，那么说明该点是目标物体上一点；

(34)通过步骤(31)～(33)遍历激光点云中的每个点，将所有位于目标物体的掩膜区域中的点存入新的点集，即可获得目标物体的点云集合即为待作业物体；

将步骤三计算得到的待作业目标物体的点云集合传给控制抓取模块，用于后续作业。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。