一种电力线夹六自由度姿态估计方法、装置及存储介质与流程

本发明涉及物体检测，尤其涉及一种电力线夹六自由度姿态估计方法、装置及存储介质。

背景技术：

1、高压输电线路中长期使用的电力线夹易发热老化、折断，所以需要对电力线夹进行定期的更换。现有采用大型机械手对电力线夹进行更换的方式，对一个二维物体检测出一个平面框，但是这在实际应用中具有很多缺陷，例如在存在遮挡以及光照强度过高的情况下很难检测出原本的物体；而现有的三维检测技术还存在稳定性差、鲁棒性差等特点，难以准确地检测出具有遮挡或者光照强度高的电力线夹，这对机械臂进行抓取更换带来很大的不便；而现有的6d(six degrees of freedom,六自由度)姿态估计方法中，由于无纹理物体表面固有的匹配模糊性，噪声造成的错匹配误差是不可避免的，往往导致一个对应场对应多个6d位姿，拟合误差相似，这导致训练过程收敛到次优，阻碍了6d姿态估计的整体性能，对电力线检测精度低。

2、因此，现有的检测电力线夹的方法无法在具有遮挡的情况下进行预测，而且大多数是通过人工进行调整安装，大大影响了作业效率，现有的6d姿态估计方法还存在精度低等情况，对于需要实时检测的电力线夹更换难以胜任。同时，在一个杂乱的环境中，由于相机在拍照时物体背后信息会被遮挡，所以可以使用的对象信息就会受到严重限制。此外，在存在遮挡的情况下直接回归3d旋转的参数非常困难。

技术实现思路

1、本发明提供了一种电力线夹六自由度姿态估计方法、装置及存储介质，以实现在杂乱、遮挡以及高光强度环境中准确完整地检测出电力线夹的三维位姿，提高电力线夹的三维位姿的检测精度。

2、本发明提供了一种电力线夹六自由度姿态估计方法，包括：

3、获取电力线夹的图像，所述图像包括：rgb图像和深度图；对所述图像进行特征提取，将提取到的特征分别输入第一解码器网络和第二解码器网络进行处理，以使所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息；所述第二解码器网络对所述特征进行第二解码处理得到2d-3d点匹配域；

4、根据标注信息对所述自身遮挡映射信息与2d-3d点匹配域进行优化，将优化后的自身遮挡映射信息与2d-3d点匹配域输入到位姿预测器中，预测所述电力线夹的6d位姿的位姿估计。

5、进一步地，对所述图像进行特征提取，具体为：

6、在图像中裁剪出电力线夹对象图像，将所述电力线夹对象图像输入编码器进行特征提取，提取出若干个特征。

7、进一步地，所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息，具体为：

8、根据对所述特征进行第一解码处理，得到电力线夹在三维平面中的遮挡信息；根据所述遮挡信息，生成与所述电力线夹外切的最小边界长方体作为自身遮挡映射信息。

9、进一步地，所述第二解码器网络对所述特征进行第二解码处理得到2d-3d点匹配域，具体为：

10、获取摄像机坐标系中的若干个可见点，从相机中心出发与若干个所述可见点连接，生成若干条射线；

11、记录每条所述射线与物体坐标平面的若干个交点坐标，生成2d-3d特征点的对应关系作为2d-3d点匹配域。

12、进一步地，记录每条所述射线与物体坐标平面的若干个交点坐标，生成2d-3d特征点的对应关系作为2d-3d点匹配域，具体为：

13、将目标对象定义为：{p，h}；将目标坐标平面转换为摄像机坐标系，生成所述交点的在物体坐标系与在摄像机坐标系的表示；根据所述交点在物体坐标系与在摄像机坐标系的表示，生成2d-3d特征点的对应关系；

14、其中，p∈v，v表示摄像机坐标系中的若干个可见点；p＝[xp，xp，zp]t表示所述可见点的三维坐标；h＝{hx，hy，hz}表示射线与物体坐标平面的交点的三维坐标；hx，hy和hz为射线与分别与物体坐标系的o-yz，o-xz和o-xy平面的交点。

15、进一步地，将目标坐标平面转换为摄像机坐标系，并生成所述交点的在物体坐标系与在摄像机坐标系的表示，具体为：

16、将目标坐标平面转换为摄像机坐标系的转换公式为：

17、(rn*)tx＝(rn*)tt；

18、其中，x表示目标坐标平面上的一个3d点，r为三维旋转参数和t为平移参数；n*表示为摄像机坐标系的三维坐标轴上的点；

19、n*的表达式为：

20、

21、将可见点投影到二维像平面上，得到所述可见点的二维投影点；所述可见点的二维投影点的表达式为：

22、

23、其中，k表示相机内参矩阵；

24、根据转换公式和二维投影点，计算射线与各物体坐标系的平面的交点在摄像机坐标系下的表示:

25、在摄像机坐标系下的交点的计算式为：

26、

27、

28、

29、根据所述转换公式，生成所述可见点和交点在物体坐标系中的表达式为：

30、p0＝rtp-rtt；

31、h0＝rth-rtt；

32、p为可见点在摄像机坐标系下的表示；p0为可见点在物体坐标系中的表示；h为交点在摄像机坐标系下的表示；h0为交点在物体坐标系中的表示。

33、进一步地，根据标注信息对所述自身遮挡映射信息与2d-3d点匹配域进行优化，具体为：

34、获取用户对电力线夹的自身遮挡映射信息与2d-3d点匹配域的标注信息，所述标注信息由用户在交互界面分别对所述自身遮挡映射信息与所述2d-3d点匹配域进行人工标注而来；

35、根据自身遮挡映射信息、2d-3d点匹配域与对应的标注信息之间的损失，分别对所述自身遮挡映射信息与2d-3d点匹配域进行优化。

36、进一步地，根据自身遮挡映射信息、2d-3d点匹配域与对应的标注信息之间的损失，分别对所述自身遮挡映射信息与2d-3d点匹配域进行优化，具体为：

37、对比2d-3d点匹配域与对应的标注信息，计算2d-3d点匹配域与对应的标注信息之间的损失，生成三维跨层一致损失项；

38、所述三维跨层一致损失项的表达式为：

39、

40、其中，‖*‖1表示l1函数损失，|h0|表示电力线夹对象的最小边界长方体内的交叉点数；ψ为电力线夹对象的最小边界长方体；

41、对比自身遮挡映射信息与对应的标注信息，计算自身遮挡映射信息与对应的标注信息之间的损失，生成二维跨层一致损失项；

42、所述二维跨层一致损失项的表达式为：

43、

44、

45、

46、其中，eph为可见点和交点投射在相同的2d点上的第一地面投影；ehp为交点投射在相同的二维投影点上的第二地面投影；

47、对三维旋转参数、平移参数、可见点和对应的交点进行优化调整，直到三维跨层一致损失项和二维跨层一致损失项均收敛，分别得到优化后的自身遮挡映射信息与2d-3d点匹配域。

48、进一步地，将优化后的自身遮挡映射与2d-3d点匹配域输入到位姿预测器中，预测所述电力线夹的6d位姿的位姿估计，具体为：

49、将优化后的自身遮挡映射与2d-3d点匹配域输入到位姿预测器中，计算总体目标函数，输出电力线夹的6d位姿的位姿估计。

50、进一步地，总体目标函数包括：姿态的基本项、跨层一致性项和自遮挡项；

51、l＝lpose+lcl+locc；

52、lcl＝λ1lcl-2d+λ2lcl-3d；

53、locc＝λ3lh；

54、其中，l为总体目标函数；lpose为姿态的基本项，是2d-3d点匹配域、平移参数、可见掩码、区域分类和点匹配的组合损失项；lcl为跨层一致性项；locc为自遮挡项；lcl-3d为三维跨层一致损失项，lcl-2d为二维跨层一致损失项；λ1、λ2和λ3分别为预设的系数；

55、

56、

57、

58、其中，lh为自身遮挡函数，为第一自身遮挡子函数，为第二自身遮挡子函数；表示地面真实值的自遮挡坐标；表示相对三维旋转参数r的真实值；表示三维平移参数t的真实值。

59、作为优选方案，本发明利用第一解码器网络和第二解码器网络构成了双层网络结构，双层网络结构关注电力线夹的自遮挡信息，建立以观察者为中心的物体姿态的双层表示。第一层包含被自身遮挡的信息，即自身遮挡映射信息；第二层保留物体上可见点及其投影的对应场，即2d-3d点匹配域。

60、本发明在本质上不是直接确定每个可见点是否遮挡物体以及遮挡的位置，而是通过检查每个像素和物体坐标平面之间的自遮挡来简化姿态估计的过程。本发明通过摄像机中心的光线和每个可见点与物体坐标平面相交的位置最多为三个，利用这些交点的坐标形成物体的第二层表示。另外，引入两种跨层一致性损耗，使自遮挡、对应场(2d-3d点匹配域)和6d位姿同时对齐，减少了噪声的影响，特别是在存在遮挡的环境下，显著提升了检测性能，实现在杂乱、遮挡以及高光强度环境中仍然能准确完整地检测出电力线夹的三维位姿。

61、本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

62、相应地，本发明还提供一种电力线夹六自由度姿态估计装置，包括：图像处理模块、优化模块和位姿估计模块；

63、所述图像处理模块用于获取电力线夹的图像，所述图像包括：rgb图像和深度图；对所述图像进行特征提取，将提取到的特征分别输入第一解码器网络和第二解码器网络进行处理，以使所述第一解码器网络对所述特征进行第一解码处理得到自身遮挡映射信息；所述第二解码器网络对所述特征进行第二解码处理得到2d-3d点匹配域；

64、所述优化模块用于根据标注信息对所述自身遮挡映射信息与2d-3d点匹配域进行优化；

65、所述位姿估计模块用于将优化后的自身遮挡映射信息与2d-3d点匹配域输入到位姿预测器中，预测所述电力线夹的6d位姿的位姿估计。

66、相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如本
技术实现要素：
所述的一种电力线夹六自由度姿态估计方法。