一种用于空间位姿测量的图像去畸变方法与流程

本发明涉及计算机视觉和人工智能，特别涉及一种用于空间位姿测量的图像去畸变方法及其网络训练数据集，可用于深度学习网络训练用数据集制作，并能解决相机采集图像的去畸变问题。

背景技术：

1、在空间50m以内的近距离，精确地测量航天器，特别是非合作目标之间的相对位置和姿态(统称为位姿)是完成空间交会对接、攻防对抗、在轨捕获与维护等操作的重要前提，也是完成相关重大尖端国防及航天任务的关键技术之一。由于基于视觉的测量方法具有精度高、自主性强、成本低、设备简单、功耗低以及光学图像信息量大等优势，目前已经成为完成上述空间任务的主要方法之一。

2、基于机器视觉的位姿测量的原理是通过标定好的摄像机观测待测量对象上的特征点并记录图像，进而利用已知的世界坐标系和相机坐标系之间的位姿转换关系求得待测量对象相对于摄像机的位姿。其中拍摄无畸变的图像是非常重要的。然而机器视觉系统采集到的图像通常由于镜头加工的精度及相机光轴难以与被测物体所在平面垂直等影响，导致采集的图像产生畸变，最终影响了位姿测量精度。

3、传统的去畸变方法根据摄像机标定获取畸变系数，然后利用多项式畸变模型对畸变图像进行畸变校正。该方法有两大弊端，一是操作繁琐，需要对同型号的相机分别标定。且空间相机在轨服役期间，由于长期严苛的空间环境会使得内参、畸变系数等发生变化，该方法因为不能实时更新畸变系数，从而不能得到精确的位姿测量结果；其二是图像校正是一个非线性过程，基于多项式畸变模型的校正方法并不能代替真实的畸变模型，如果使用高阶多项式拟合计算量过大，而使用低阶多项式在去除畸变时引入了较大的系统误差，因此现有传统方法在实现各种复杂太空任务的高精度位姿测量时存在着操作繁琐、精度低的缺点。

4、近年来，随着深度学习网络结构的不断优化及计算效率的提高，深度学习的方法呈现出强大的性能。大量研究证明，深度学习在速度和可靠性方面展现出了比传统算法更大的优势，因此深度学习技术被广泛地应用于各种场合。与传统的假定求解模型具有清晰的解析公式，进而通过一定的线性近似建立的基于模型的分析方法不同，深度学习方法绕过建立解析模型的严格要求，通过输入、输出数据对训练给定的深度网络，以非参数的方式学习可靠的先验知识，定义给定网络的功能，从而实现非线性问题的正则化。因此，深度学习的方法对图像畸变校正这种非线性问题提供了新的途径。然而，深度学习网络需要可靠的、多样的大规模样本数据训练网络，以保证所训练网络模型的精度和泛化能力。

5、尽管在实际的空间或模拟实验场景下通过实验制作的数据集真实性高，但是其过程费时费力，难以满足数据集的规模需求。使用数学模型通过计算机仿真生成训练样本的方法方便可行，但是这种方法由于生成的数据真实性不足，从而影响了训练网络模型的精度。

6、对此，本专利提出一种基于数字孪生的数据集制作方法，通过使用实际系统的结构参数构建虚拟测量系统，最大限度地逼近实际的测量环境以及被测物体的特性，进而制作高保真的网络模型训练用数据集。同时建立了一种去畸变的u-net网络，结合制作的高保真数据集，通过深度学习网络实现采集图像的增强、降噪、去畸变，以解决空间航天位姿测量图像难以校正的问题。

技术实现思路

1、本发明公开了一种用于空间位姿测量的图像去畸变方法及其网络训练数据集。该方法基于数字孪生原理生成无畸变的真值数据集，然后采用radtan畸变模型或鱼眼畸变模型为真值图像加入随机畸变，从而可模拟普通透视镜头或鱼眼镜头的畸变情况，实现网络训练用大量数据集的制作。该数据集可直接作为u-net网络的输入，并以真值数据集作为u-net网络的标签输出。进而训练网络实现采集图像的畸变校正。该方法具有适用范围广、准确度高、应用灵活等优点。

2、一种用于空间位姿测量的图像去畸变方法，包括如下步骤：

3、步骤一，在数字孪生软件中，按照实际的测量过程，数字地建立所需的航天器模型、日光灯模型、测量背景等，生成测量环境。

4、步骤二，根据所使用相机的设计参数(焦距、传感器尺寸、输出图像尺寸等)，构建测量相机数字模型并控制相机旋转、平移运动，在设定的光照条件下。进而全方位采集被测对象的图像数据，形成无畸变的真值标签数据集。

5、步骤三，根据畸变模型、随机光照条件、噪声对上述真值数据集进行处理，形成畸变数据子集、随机光照下的数据子集、噪声污染的数据子集，最终形成训练用数据集。

6、步骤四，构建去畸变网络，利用上述数据集对其进行训练，使其具有畸变校正、图像增强及抑制噪音等功能，实现位姿图像的畸变校正。

7、本发明提供了一种用于空间位姿测量的图像去畸变方法。与现有技术相比，本发明的优点是：

8、1、使用数字孪生技术，搭建虚拟测量场景，采集被测对象图像，可获得真实的无畸变图像，无需费时费力地通过实验制作数据集，并克服了数学模型制作数据集精度不足的问题，很好地解决了深度学习网络真值标签难以获取的问题。

9、2、本方法利用数字孪生技术生成的标签数据集，进而可以制作高保真的网络训练输入数据集，能反映空间应用领域的极暗、过曝、噪声污染、镜头畸变特征，为提高网络模型的精度及泛化能力提供了一种新的途径。

10、3、建立了一种基于深度学习的图像去畸变方法，与传统畸变校正方法不同，本方法无需费时费力的相机标定过程，可以针对具体相机(普通透视相机、鱼眼相机)拍摄的图像仅通过深度学习网络处理完成去畸变。将该方法用于空间应用中测量目标的畸变校正的任务，可以解决该领域被测目标图像的实时畸变校正。

技术特征：

1.一种用于空间位姿测量的图像去畸变方法，其特征在于：所述方法基于数字孪生原理生成无畸变的真值数据集，然后采用radtan畸变模型或鱼眼畸变模型为真值图像加入随机畸变，从而模拟普通透视镜头或鱼眼镜头的畸变情况，实现网络训练用大量数据集的制作；该数据集可直接作为u-net网络的输入，并以真值数据集作为u-net网络的标签输出；进而训练网络实现采集图像的畸变校正。

2.如权利要求1所述用于空间位姿测量的图像去畸变方法，其特征在于，按照如下步骤：

3.如权利要求2所述用于空间位姿测量的图像去畸变方法，其特征在于，所述初始场景的设置

4.如权利要求2所述用于空间位姿测量的图像去畸变方法，其特征在于，所述数据集制作按照如下步骤：

5.如权利要求2所述用于空间位姿测量的图像去畸变方法，其特征在于，所述去畸变网络结构按照如下步骤：

6.如权利要求2所述用于空间位姿测量的图像去畸变方法，其特征在于，所述网络训练按照如下步骤：

技术总结
本发明公开了一种用于空间位姿测量的图像去畸变方法。该方法基于数字孪生原理生成无畸变的真值数据集，然后采用Radtan畸变模型或鱼眼畸变模型为真值图像加入随机畸变，从而可模拟普通透视镜头或鱼眼镜头的畸变情况，实现网络训练用大量数据集的制作。该数据集可直接作为U‑Net网络的输入，并以真值数据集作为U‑Net网络的标签输出。进而训练网络实现采集图像的畸变校正。该方法具有适用范围广、准确度高、应用灵活等优点。

技术研发人员：杨涛,彭磊,张妮妮,王丛华,姚航,姜军委,雷洁
受保护的技术使用者：西安知象光电科技有限公司
技术研发日：
技术公布日：2024/1/13