技术特征：
1.一种基于单目视觉的反光零件位姿估计方法，其特征在于，包括以下步骤：s1.建立仿真数据集，仿真数据集中的每个图片包含多个反光零件，每个反光零件都标注有掩码和关键点，通过仿真数据集训练卷积神经网络，得到物体检测网络和关键点检测网络；s2.通过物体检测网络检测出目标物体；s3.对目标物体上的感兴趣区域，通过关键点检测网络来预测语义关键点的坐标，并在仿真图中自动标注关键点；s4.根据预测的关键点坐标以及关键点的三维信息，估算目标物体的位姿信息。2.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s1中仿真数据包含灯光变化、背景变化、反光属性的情况。3.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s1中仿真数据使用仿真软件通过将反光零件的cad模型放入有物理限制的虚拟三维背景场景中，背景场景用真实场景来着色，cad模型被放置在不同的位置和方位上。4.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s1中，掩码标注使用blender生成没有任何背景的图像，且反光零件模型被设置成非金属属性的材料，二值化每个零件，找到每个零件的轮廓并填充。5.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s1中，数据集包含各种不同场景的图片，使用从实际场景中拍得的图片作为背景，然后产生各种不同背景的仿真图片，以获得不同的带关键点标记的训练图片。6.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s3中，语义关键点的坐标的预测包括通过一张图片，一个关键点检测网络回归出该图片中各关键点的置信度图，关键点的位姿为该置信度图的最大值的坐标。7.根据权利要求6所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述置信度图是固定尺寸的i*j*k维的立方体，k代表的事关键点的数目，在训练时，标记的基准值是每个关键点被放置在有固定方差的利用高斯分布置信度图，使用均方误差来惩罚预测的置信度图与仿真的置信度图之间的差距。8.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s3中仿真图的生成包括：单独生成无任何背景且对应零件的png图片格式图，并把png图片分成4个通道：rgb通道和alpha通道，用alpha通道来确认是否像素是该物体的，从而得到物体的边界框。9.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s3中选择关键点时，选择代表该物体特征的关键点：对于平的表面，选择离散沿着边缘的点作为语义关键点；对于曲面或者对称的反光金属零件，选择沿着骨架离散的点作为语义关键点。10.根据权利要求1所述基于单目视觉的反光零件位姿估计方法，其特征在于，所述步骤s4还包括：对于预测关键点坐标的位姿误差，通过pnp结合ransac来剔除外点。
技术总结
本发明涉及视觉检测技术领域，特别涉及一种基于单目视觉的反光零件位姿估计方法。其包括以下步骤：S1.建立仿真数据集，仿真数据集中的每个图片包含多个反光零件，每个反光零件都标注有掩码和关键点，通过仿真数据集训练卷积神经网络，得到物体检测网络和关键点检测网络；S2.通过物体检测网络检测出目标物体；S3.对目标物体上的感兴趣区域，通过关键点检测网络来预测语义关键点的坐标，并在仿真图中自动标注关键点；S4.根据预测的关键点坐标以及关键点的三维信息，估算目标物体的位姿信息。本发明通过卷积神经网络进行物体的检测有很好的效果；建立仿真数据集来更加精确地进行物体位姿估计；关键点标注过程自动运行来避免过于累人的手动操作。累人的手动操作。累人的手动操作。
技术研发人员：陈晨 姜欣 刘云辉
受保护的技术使用者：哈尔滨工业大学（深圳）
技术研发日：2022.02.25
技术公布日：2022/6/10