一种三维姿态估计数据集的生成方法与流程

本发明属于计算机视觉技术领域，具体涉及一种三维姿态估计数据集的生成方法。

背景技术：

三维姿态估计广泛应用于机器人抓举、人体姿态识别、航天器对接等众多领域。随着深度学习的发展，不断产生新的三维姿态估计算法，模型姿态估计的能力也不断提高。深度学习之所以取得成功，归功于高容量的模型，高速增长的计算力，以及大规模标记数据的可用性。文献[1]研究表明大规模数据有助于表征学习，采用大规模的数据集进行训练，可能会对该领域产生极大的好处。在特定任务领域我们能够提供大量的数据来训练模型，但在大部分领域是难以做到的。例如卫星姿态估计问题，卫星作为国家保密资源，公开的数据很少。因此需要找到一种高效的生成三维姿态估计数据集的方法。

三维姿态估计中数据集的获取至关重要。传统的方法是利用深度相机等设备采集目标数据，但难以解决目标数据不足或者标记困难的问题。本发明提出的方法利用3d软件采集多视角目标图像数据，通过计算目标最小三维矩形框顶点的投影坐标，生成高质量的三维姿态估计数据集。

参考文献

[1]sunc,shrivastavaa,singhs,etal.revisitingunreasonableeffectivenessofdataindeeplearningera[c]//2017ieeeinternationalconferenceoncomputervision(iccv).ieee,2017:843-852.。

技术实现要素：

针对传统方法的不足，本发明提出一种硬件成本低、标注准确度高、适用范围广的三维姿态估计数据集的生成方法。

本发明提供的一种三维姿态估计数据集的生成方法，具体步骤为：

步骤s1、数据准备：

3d软件中导入目标3d模型，调整3d模型的大小和位置参数；

步骤s2、数据处理与采集：

3d软件中创建摄像机，设置摄像机运动轨迹、视图环境背景和光源属性，通过渲染采集目标图像数据；

步骤s3、数据标注：

通过相机标定以及坐标变换的方法标注目标最小三维矩形框顶点投影的像素坐标。

优选的，步骤s1具体包括：

步骤s11、从3d软件中导入目标的3d模型，3d软件包括但不限于3dsmax、solidworks、unity等；

步骤s12、根据模型实际大小设置系统单位转换比例，并将模型组合为一个整体；

步骤s13、设置模型初始旋转角度，调整模型在世界坐标系中的位置。

优选的，步骤s2具体包括：

步骤s21、根据需求创建一个或多个摄像机，摄像机目标对准s12中组合后的模型中心；

步骤s22、创建一个图形作为摄像机的运动轨迹，并以此作为s21中摄像机的路径约束，通过调整轨迹的大小和旋转角度实现不同角度与不同距离下对目标的观测；

步骤s23、添加视图环境背景，设置光源属性；

步骤s24、设置渲染的活动时间段和渲染区域，输出摄像机视图，采集多视角目标图像数据。

优选的，步骤s3具体包括：

步骤s31、利用3d软件中度量工具，测量目标最小三维矩形框中8个顶点和中心点在世界坐标系上的空间坐标值；

步骤s32、在3d软件中导入或者制作一个标准标定板，标定3d软件中摄像机的内参，所述内参具体包括：摄像机的焦距、图像像素坐标系中光轴投影的主点坐标、坐标轴的倾斜参数、每个像素代表的实际物理值大小，摄像机径向畸变系数和切向畸变系数；

步骤s33、利用步骤s22中摄像机的运动轨迹和目标的位置信息计算摄像机的外参，所述外参具体包括：摄像机的旋转矩阵和平移矩阵，前者描述世界坐标系的坐标轴相对于摄像机坐标系的坐标轴的方向，后者描述在摄像机坐标系下，空间原点的位置；

步骤s34、根据摄像机内参和外参，构建世界坐标到像素坐标的映射关系，通过坐标转换计算目标最小三维矩形框顶点空间坐标在目标图像上的二维投影像素坐标，完成目标最小三维矩形框的标注。

本发明利用3d软件采集多视角目标图像数据，通过计算目标最小三维矩形框顶点的投影坐标，生成高质量的三维姿态估计数据集。本发明通过3d软件采集目标数据，规避了深度相机等设备的使用，相比于传统方法硬件成本低；考虑到三维姿态估计数据集标注复杂，本发明通过相机标定和坐标转换的方法标注数据，规避了人工标注，同时标注准确度高；本发明通过3d软件自由生成不同视角、不同背景和光照等条件下的目标数据，通过导入或者制作不同领域目标的三维模型，可以生成多种不同领域的三维姿态估计数据集，并且在真实数据不足或难以获得时可以起到替代真实数据的作用，适用范围广泛。本发明生成的三维姿态估计数据集通过yolo-6d网络训练，最终测试准确率均高于90%，这对于深度学习在三维姿态估计中的应用具有重要意义。

附图说明

图1为本发明一种三维姿态估计数据集的生成方法整体流程框图。

图2为步骤s2以卫星模型为例生成的卫星数据图像。

图3为步骤s3以卫星模型为例的最小三维矩形框标注效果示意图。

具体实施方式

下面以3dsmax软件生成卫星三维姿态估计数据集为例进一步描述本发明方法。除了此处记载的实施示例外，采用本发明的内容利用其它3d软件生成不同目标三维姿态估计数据集的方法属于本发明的保护范围之内。

步骤s1、数据准备：

3dsmax软件中导入卫星3d模型，调整模型的大小和位置参数；

步骤s1具体包含如下操作：

步骤s11、下载公开的卫星3d模型，并导入3dsmax软件中；

步骤s12、将卫星3d模型组合为一个整体，设置系统单位转换，比如1单元=1毫米；

步骤s13、设置卫星旋转角度为0，并将其中心移动至世界坐标系原点处。

步骤s2、数据处理与采集：

3dsmax中创建目标摄像机，设置目标摄像机运动轨迹、视图环境背景和光源属性，模拟多角度轨道下摄像机对卫星数据的采集，渲染输出目标卫星图像。

步骤s2具体包含如下操作：

步骤s21、创建一个目标摄像机，将目标摄像机对准卫星中心即世界坐标系的原点；

步骤s22、自定义摄像机的运动轨迹，比如创建一个圆心在世界坐标系原点的圆，将目标摄像机通过路径约束将其运动轨迹固定在圆上，切换到目标摄像机视角，调整圆的半径，使得卫星在目标摄像机的视角中有一个合适的大小；

步骤s23、3dsmax环境中设置环境贴图作为数据背景，比如太空图片作为卫星图像背景，再打开精简材质编辑器，将环境贴图导入材质编辑器并将格式设置为“屏幕”，设置环境光以及摄像机的曝光参数，得到不同光源与不同背景下的卫星视图；

步骤s24、打开渲染设置，选择渲染对象为目标摄像机视图，自定义帧数范围和图片格式，比如渲染0到99帧的图像并保存为800×600的jpg文件，通过更改步骤s22中运动轨迹的旋转角度和半径，得到多角度轨道下的卫星图像数据。

步骤s3、数据标注：

以生成卫星三维姿态估计数据集为例，利用相机标定和坐标转换的方法标注卫星最小三维矩形框顶点空间坐标在二维图像上的投影，生成卫星三维姿态估计数据集。

步骤s3具体包含如下操作：

步骤s31、3dsmax中创建卷尺，测量卫星模型顶点坐标，得到卫星最小三维矩形框8个顶点及中心点在世界坐标系上的坐标；

步骤s32、3dsmax中创建一个标准标定板模型，比如7×6黑白棋盘格，仿照步骤s2，采集不同角度和距离下棋盘格的图片10~20张左右，利用matlab或者opencv进行棋盘标定，得到3dsmax中目标摄像机的内参；

步骤s33、通过摄像机运动轨迹和目标位置计算摄像机外参，比如步骤s22中摄像机运动轨迹为圆心在世界坐标系原点处的圆，已知圆的旋转角度，利用旋转矩阵列出目标摄像机的位置变化函数，目标摄像机坐标系的原点为目标摄像机所在的位置，摄像机坐标系的z轴为目标摄像机与目标中心的连线，y轴为运动轨迹处的切线，由此可换算出相机坐标系与世界坐标系之间的转换关系，每一帧卫星图像对应一个目标摄像机的外参；

步骤s34，利用摄像机的外参将世界坐标系转换到相机坐标系，再通过内参将相机坐标系转换到图像像素坐标系，通过坐标转换，得到卫星最小三维矩形框顶点坐标在二维图像上投影的像素坐标，即卫星三维姿态估计数据集的目标最小三维矩形框投影的像素坐标标签。

本发明的贡献在于利用3d软件实现多角度轨道下对目标数据的采集，并且自动标注目标最小三维矩形框。以生成卫星三维姿态估计数据集为例，传统方法一般是实地搭建卫星模型，利用深度相机等方式采集卫星数据，再对采集的数据进行人工标注，需要耗费较大的人力物力。本发明采用卫星3d模型，利用3d软件调整卫星背景、角度和位置信息获取多视角目标卫星图像数据，并实现卫星三维姿态数据集的自动标注。