非合作目标部组件智能感知方法、电子设备及存储介质与流程

1.本发明涉及空间攻防技术领域，特别涉及一种机器人辅助实时在线增量学习的非合作目标部组件智能感知方法、电子设备及存储介质。


背景技术：

2.为实现飞行器柔性捕获、模块更换、部件拆卸等典型在轨服务与操控任务，需要解决失效非合作目标操作部位的识别、测量和三维重构技术。随着航天技术的飞速发展，未来自主在轨服务呈现出目标特性更加未知与多变、操作任务更加多样与精细的明显趋势。传统非合作目标批处理学习识别算法中存在的对未知目标和多样操作任务的泛化性弱、学习效率低、对增量数据模型适应性差的问题。


技术实现要素：

3.本发明的目的在于提供一种机器人辅助实时在线增量学习的非合作目标部组件智能感知方法、电子设备及存储介质，以解决传统非合作目标批处理学习识别算法中存在的对未知目标和多样操作任务的泛化性弱、学习效率低、对增量数据模型适应性差的问题。
4.为了解决以上问题，本发明通过以下技术方案实现：
5.一种非合作目标部组件智能感知方法，用于对空间非合作目标部组件动态进行在线智能识别与检测，包括：步骤s1、构建一预训练特征提取网络模型。步骤s2、结合所述预训练特征提取网络模型，基于元学习的小样本构建目标快速检测网络模型。步骤s3、将实时获取的所述非合作目标部组件的待检测图像数据集输入至所述目标快速检测网络模型内，输出感知结果。
6.可选地，所述步骤s1包括：步骤s11、获取有标签的自然图像数据集，采用所述有标签的自然图像数据集对第一卷积神经网络进行训练，获得特征提取基础网络模型的权值参数。
7.步骤s12、获取有标签的卫星图像数据集。
8.步骤s13、将所述特征提取基础网络模型的所述权值参数作为第二卷积神经网络模型的初值，通过对所述权值参数的迭代调整对所述第二卷积神经网络模型进行优化，将所述有标签的卫星图像数据集输入至优化后的所述第二卷积神经网络中进行训练，直至获得有效的图像特征，得到所述预训练特征提取网络模型。
9.可选地，所述步骤s11包括：所述有标签的自然图像数据集为预设的开源自然大规模有标签的图像数据集；
10.所述步骤s12包括：通过采集并筛选目标卫星在轨服务与操控任务下的若干个张空间非合作目标图像，并对筛选的所述空间非合作目标图像进行标注，获得所述有标签的卫星图像数据集。
11.可选地，所述步骤s12包括：所述有标签的卫星图像数据集中所包含的所述空间非合作目标图像包括在不同任务、不同光照、不同背景、不同尺度条件下的多种类、多视角下
的旋转运动目标卫星图像。所述有标签的卫星图像数据集中包含局部过曝、特征缺失、尺度不一、图像模糊和目标旋转中的多种复杂恶劣环境耦合下的空间非合作目标图像。
12.可选地，对若干个张所述空间非合作目标图像进行筛选包括以下过程：
13.对采集的原始的若干个空间非合作目标图像进行图像全局对比度归一化预处理。对预处理的若干个空间非合作目标图像进行图像放缩和基于优化分类的数据增广以对所述若干个空间非合作目标图像的进行有效扩充筛选，得到所述有标签的卫星图像数据集。
14.对采集的原始的若干个空间非合作目标图像进行图像全局对比度归一化预处理包括如下过程：假定原始的空间非合作目标图像用张量表示为：
[0015][0016]
式中，x表示图像的强度；表示张量表示符号；m表示图像行；n表示图像列；
[0017]
整个图像的对比度表示如下：
[0018][0019]
式中，k的取值范围为1～3，其中，当k＝1时，x
i,j,1
表示第i行第j列红色的强度；当k＝2时，x
i,j,2
表示第i行第j列绿色的强度；当k＝3时，x
i,j,3
表示第i行第j列蓝色的强度；
[0020]
是整个图像的平均强度，满足：
[0021][0022]
全局对比度归一化生成的图像采用如下公式进行表示：
[0023][0024]
其中，ε＝10-9
，λ＝0，s＝1；所述的基于优化分类的数据增广首先求出测试集每一类的分类正确率，然后找到测试集中正确率最低的一个分类。
[0025]
可选地，所述步骤s2包括：步骤s21、利用机器人的末端手眼相机动态采集非合作目标部组件的图像，随机筛选预设量的所述图像进行数据预处理，并对筛选处理后的图像进行标注，获得样本标签，获得当前操作任务下的非合作目标部组件的小样本训练数据集。
[0026]
步骤s22、将所述预训练特征提取网络模型的权值参数作为所述特征提取网络模型的初始化参数，采用元学习方法结合所述小样本训练数据集对所述特征提取网络模型进行微调训练，获得轻量化主干网络模型。
[0027]
步骤s23、采用凸优化方法对所述轻量化主干网络模型进行训练，获得目标快速检测网络模型。
[0028]
可选地，所述步骤s21包括：所述利用机器人的末端手眼相机动态采集非合作目标部组件的图像的步骤包括：在地面模拟环境下机器人辅助非合作目标动态抓捕试验系统下，通过控制所述机器人的机械臂末端由远及近运动，并利用所述机器人的末端手眼相机动态采集2m-0.2m逼近过程中的当前操作任务的非合作目标部件组件的图像数据。所述非
合作目标部件组件中每一部组件的图像数据的数量为100张。
[0029]
可选地，所述步骤s3包括：步骤s31、采用所述目标快速检测网络模型对通过所述机器人的机械臂末端实时获取的图像数据流进行快速训练，实时获得所述非合作目标部组件的状态信息参数。步骤s32、对所述状态信息参数中置信度低于95％的图像进行在线标注校正并重新优化训练所述目标快速检测网络模型的参数。步骤s33、采用基于时间约束下的超参加权优化知识蒸馏联合损失的在线增量学习优化训练所述目标快速检测网络模型，并对当前任务实时获取的样本流数据逐条训练反馈的模型参数进行实时更新预估。
[0030]
另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
[0031]
再一方面，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
[0032]
本发明至少具有以下优点之一：
[0033]
本发明为实现空间典型在轨服务与操控任务的自主化和智能化，开展机器人辅助视觉信息的空间非合作目标感知技术，并通过实时在线自学习系统实现对非合作目标抓捕部位和部件拆卸部位的泛化性智能感知，有效提升系统对复杂空间环境、未知动态目标、多样精细操作的自适应能力，提高面向多任务的空间非合作目标的泛化性智能识别性能，为机械臂在轨抓捕和部件拆卸精细操作任务提供技术支撑。
[0034]
本发明相对于传统非合作目标离线批处理学习识别与检测算法，本方法采用基于实时感知信息的在线增量自学习算法，实现流式数据的处理，完成对非合作目标抓捕部位和部件拆卸部位的泛化性智能感知，可有效提升系统对复杂空间环境、未知动态目标、多样精细操作的自适应能力，提高面向多任务的空间非合作目标的识别性能，具有目标识别泛化性高、学习速度快及环境自适应能力强等优点，能够全面提升空间操作的智能自主水平。
附图说明
[0035]
图1为本发明一实施例提供的一种非合作目标部组件智能感知方法流程图；
[0036]
图2为本发明一实施例提供的一种非合作目标部组件智能感知方法中的步骤s1的实现流程图；
[0037]
图3为本发明一实施例提供的一种非合作目标部组件智能感知方法中的步骤s2的实现流程图；
[0038]
图4为本发明一实施例提供的一种非合作目标部组件智能感知方法中的步骤s3的实现流程图。
具体实施方式
[0039]
以下结合附图和具体实施方式对本发明提出的一种机器人辅助实时在线增量学习的非合作目标部组件智能感知方法、电子设备及存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以
限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
[0040]
如图1所示，本实施例提供的一种非合作目标部组件智能感知方法，用于对空间非合作目标部组件动态进行在线智能识别与检测，包括：
[0041]
步骤s1、构建一预训练特征提取网络模型。
[0042]
步骤s2、结合所述预训练特征提取网络模型，基于元学习的小样本构建目标快速检测网络模型。
[0043]
步骤s3、将实时获取的所述非合作目标部组件的待检测图像数据集输入至所述目标快速检测网络模型内，输出感知结果。即机器人辅助实时在线增量学习的非合作目标部组件动态识别与检测，实现对机械臂末端实时获取的图像中的非合作目标抓捕部位和部件拆卸部位等部组件的动态在线智能感知。
[0044]
如图2所示，本实施例的所述步骤s1包括：
[0045]
步骤s11、获取有标签的自然图像数据集；采用所述有标签的自然图像数据集对第一卷积神经网络进行训练，获得特征提取基础网络模型的权值参数(参数初值)。
[0046]
所述步骤s11具体的包括：所述有标签的自然图像数据集为预设的开源imagnet自然大规模有标签的图像数据集。
[0047]
步骤s12、获取有标签的卫星图像数据集。在本实施例中，所述步骤s12包括：通过采集并筛选目标卫星在轨服务与操控任务下的若干个张空间非合作目标图像，并对筛选的所述空间非合作目标图像进行标注，获得所述有标签的卫星图像数据集。
[0048]
具体的，所述步骤s12通过采集并筛选飞行器柔性捕获、模块更换、部件拆卸等典型在轨服务与操控任务下的空间非合作目标图像，并对筛选的5000张图像(空间非合作目标图像)进行标注，获得样本标签，完成对20类空间非合作目标的关键部组件有标签训练数据集的构建(有标签的卫星图像数据集)。
[0049]
所述有标签的卫星图像数据集中所包含的所述空间非合作目标图像包括在不同任务、不同光照、不同背景、不同尺度条件下的多种类、多视角下的旋转运动目标卫星图像。
[0050]
所述有标签的卫星图像数据集中包含局部过曝、特征缺失、尺度不一、图像模糊和目标旋转中的多种复杂恶劣环境耦合下的空间非合作目标图像。
[0051]
所述步骤s12还包括：对若干个张所述空间非合作目标图像进行筛选包括以下过程：
[0052]
对采集的原始的若干个空间非合作目标图像进行图像全局对比度归一化预处理。
[0053]
对预处理的若干个空间非合作目标图像进行图像放缩和基于优化分类的数据增广以对所述若干个空间非合作目标图像的进行有效扩充筛选，得到所述有标签的卫星图像数据集。
[0054]
对采集的原始的若干个空间非合作目标图像进行图像全局对比度归一化预处理包括如下过程：
[0055]
假定原始的空间非合作目标图像用张量表示为：
[0056][0057]
式中，x表示图像的强度；表示张量表示符号；m表示图像行；n表示图像列；
[0058]
整个图像的对比度表示如下：
[0059][0060]
式中，k的取值范围为1～3，其中，当k＝1时，x
i,j,1
表示第i行第j列红色的强度；当k＝2时，x
i,j,2
表示第i行第j列绿色的强度；当k＝3时，x
i,j,3
表示第i行第j列蓝色的强度。
[0061]
是整个图像的平均强度，满足：
[0062][0063]
全局对比度归一化生成的图像采用如下公式进行表示：
[0064][0065]
其中，ε＝10-9
，λ＝0，s＝1。
[0066]
所述的基于优化分类的数据增广首先求出测试集每一类的分类正确率，然后找到测试集中正确率最低的一个分类。即所述特征提取基础网络模型对于这一类的分类效果不好，最后对这个分类进行数据增广处理。
[0067]
所述的20类空间非合作目标部组件(空间非合作目标关键部组件)包括锅形天线、推力器、对地观测相机、太阳帆板、太敏、红外地平仪、刚性臂、馈源、柔性臂、太阳帆板支架、锥形螺旋天线、卫星本体、星敏感器、星箭对接环、对接面、激光数传、喷管、测控天线、末端操作器、gps天线，并采用labelimg对图像进行标注。
[0068]
综上，所述的全局对比度归一化通过每个图像中减去其平均值，然后重新缩放将数值压缩到[0,1]的区间，使其像素上的标准差等于常数来保证图像的对比度不变。
[0069]
步骤s13、将所述特征提取基础网络模型的所述权值参数作为第二卷积神经网络模型的初值，通过对所述权值参数的迭代调整对所述第二卷积神经网络的模型参数进行优化训练，将所述有标签的卫星图像数据集输入至优化后的所述第二卷积神经网络中进行训练，直至获得有效的图像特征，得到所述预训练特征提取网络模型。
[0070]
在本实施例中，如图3所示，所述步骤s2包括：
[0071]
步骤s21、利用机器人末端手眼相机动态采集非合作目标部组件的图像，随机筛选预设量的所述图像进行数据预处理，并对筛选处理后的图像进行标注，获得样本标签，获得当前操作任务下的非合作目标部组件的小样本训练数据集。
[0072]
具体的，
[0073]
所述利用机器人末端手眼相机动态采集非合作目标部组件的图像的步骤包括：
[0074]
在地面模拟环境下机器人辅助非合作目标动态抓捕试验系统下，通过控制所述机器人的机械臂末端由远及近运动，并利用所述机器人的末端手眼相机动态采集2m-0.2m逼近过程中的当前操作任务的非合作目标部件组件的图像数据。
[0075]
所述非合作目标部件组件中每一部组件的图像数据的数量为100张，但本发明不以此为限。
[0076]
可以理解的是，所述构建的目标部组件小样本训练数据集不存在于所述步骤s12中构建的训练数据集，该数据属于小样本数据，单个部组件的图像数据为100张。
[0077]
步骤s22、将所述预训练特征提取网络模型的权值参数作为所述s1特征提取网络模型(darknet-53特征提取网络模型)的初始化参数，采用元学习方法结合所述小样本训练数据集对所述特征提取网络模型进行微调训练，获得轻量化主干网络模型。
[0078]
步骤s23、采用凸优化方法对所述轻量化主干网络模型进行训练，获得目标快速检测网络模型，实现不同目标部组件的快速识别。所述的凸优化方法是通过找到一个点列使得目标函数值持续减少，直到触发停止条件达到最小值。
[0079]
具体的，所述的步骤s22包含：所述凸优化方法的求解过程如下：
[0080]
设xk为第k次迭代的值，dk为第k次搜索方向，λk为第k次迭代的步长，则第k次迭代公式如下：
[0081]
x
k+1
＝xk+λ
kdk
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0082]
式中，x
k+1
为第k+1次迭代的值；
[0083]
其中，第k次的搜索方向满足：
[0084][0085]
f(xk+λ
kdk
)＜f(xk)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0086]
式中，f(xk)表示第k次迭代训练后的轻量化主干网络模型结果；f(xk+λ
kdk
)表示第k+1次迭代训练后的轻量化主干网络模型结果。
[0087]
由此可知，这里首先通过元学习方法对特征提取网络模型进行微调，实现轻量化主干网络模型的获取，然后对得到新学习的轻量化主干网络模型的参数集θ，采用凸优化算法对获得的所述参数集θ进行权重更新优化，使其能够在凸函数快速达到最优点。实现在参数空间中具有对不同任务的最优参数解θ1,θ2,...θn，θn表示第n个目标识别任务对应的轻量化主干网络模型的参数集，n表示不同目标识别任务个数。所获得的目标快速检测网络模型具有网络模型小、处理速度快的优点。
[0088]
所述的目标快速检测网络模型的目标识别率用不同目标识别平均精度(mean precision)采用如下公式表示：
[0089][0090]
其中，m为帧数，pi为每一帧图像的识别率，n为总的类别数，n
pre
∩n
gt
表示识别预测值和类别真值同为某一类别时值为1，不同类别时值为0。
[0091]
例如，若某一帧图像的类别真值为[1 1 0 1 1 0 1
···
n]，类别预测值为[1 1 1 1 1 0 1
···
n]，有t个类别预测正确，则此帧图像的识别率为t/n，n表示每一帧图像中非合作目标部组件中的种类个数。
[0092]
所述的目标快速检测网络模型的目标检测精度采用miou(mean intersection-over-union)表示，如下公式所示：
[0093][0094]
其中，m为部组件类别数，n
pre
∩n
gt
表示预测和真值同为某一类别的目标个数，n
pre
∪n
gt
表示表示预测和真值二者有一项为同一类别的目标个数。
[0095]
如图4所示，所述步骤s3包括：
[0096]
步骤s31、采用所述机器人的机械臂末端实时获取所述非合作目标关键部组件的图像数据流。
[0097]
步骤s32、将所述图像数据流输入至所述目标快速检测网络模型中，进入步骤s33。
[0098]
步骤s33、实时输出目标感知信息。所述目标感知信息为实时获得所述非合作目标部组件的状态信息参数；所述状态信息参数包括非合作目标部组件的类型、位置及置信度。
[0099]
步骤s34、判断所述状态信息参数中置信度是否大于95％，若是，进入步骤s35、若否，则对图像进行在线标注校正后返回步骤s32。
[0100]
步骤s35、采用基于时间约束下的超参加权优化知识蒸馏联合损失的在线增量学习优化训练所述目标快速检测网络模型，输出感知结果；以及对当前任务实时获取的样本流数据逐条训练反馈的模型参数进行实时更新预估，并返回步骤s32。
[0101]
所述步骤s35解决了传统离线批处理学习识别算法中存在的对未知目标和多样操作任务的泛化性弱、学习效率低、对增量数据模型适应性差的问题，具有目标识别泛化性高、学习速度快及环境自适应能力强等优点。
[0102]
所述的基于自动超参加权优化的知识蒸馏联合损失在线增量学习通过构建一个新的损失函数l
mlfcnn
(p,k
*
,t,t
*
)，使其可以平衡新类的预测和旧类的预测，从而最大限度的减小原始目标快速检测网络模型和更新的目标快速检测网络模型对旧类的响应之间的差异，具体实现如下：
[0103]
获取基于元学习的小样本目标快速检测网络模型的损失函数l
mlfcnn
(p,k
*
,t,t
*
)：
[0104][0105]
其中，p是所有类的网络响应集，k
*
是一个基本类，t是定位框回归层的输出，t
*
是真实定位框的候选框；表示当前网络类；r(t-t
*
)表示当前定位框回归与真实定位候选框之间的误差值。
[0106]
计算知识蒸馏损失函数l
dist
：
[0107][0108]
其中，ya和yb分别表示新模型和旧模型对于旧类的概率输出。ta和tb是新模型和旧模型对于回归位置的输出。n为是为蒸馏而取样的新类(当前用于目标识别任务的非合作目标部组件的类别)的数量，|ca|是旧目标类(表示原来已经用于训练的非合作目标部组件的类别)的数量。
[0109]
在线增量学习训练模型的总损失l是知识蒸馏损失和基于元学习的小样本目标快速检测网络模型损失的加权和：
[0110]
l＝l
mlfcnn
+λ(t)l
dist
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0111]
其中，超参数λ(t)用于平衡两个损失。
[0112]
具体地，λ(t)是基于时间约束条件自动优化获取的，针对空间不同任务的目标识别时间约束条件优化目标函数实现超参数的自适应动态调整。
[0113]
所述的基于自动超参加权优化的知识蒸馏联合损失在线增量学习中，平滑“软标
签”的超参数λ(t)设置为λ(t《5min)，优化器为adam，模型迭代的epoch为80，学习率为0.001，每20个epoch学习率衰减0.0001，batch大小为32。
[0114]
所述的目标快速检测网络模型学习率0.0001，优化器为adam，经过3k次迭代后权重衰减率为0.00005，动量(学习衰减率)设置为0.9，单个目标模型训练时间优于5min，目标识别率优于95％，目标检测精度优于90％。
[0115]
另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
[0116]
再一方面，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
[0117]
本实施例为实现空间典型在轨服务与操控任务的自主化和智能化，开展机器人辅助视觉信息的空间非合作目标感知技术，并通过实时在线自学习系统实现对非合作目标抓捕部位和部件拆卸部位的泛化性智能感知，有效提升系统对复杂空间环境、未知动态目标、多样精细操作的自适应能力，提高面向多任务的空间非合作目标的泛化性智能识别性能，为机械臂在轨抓捕和部件拆卸精细操作任务提供技术支撑。
[0118]
本实施例相对于传统非合作目标离线批处理学习识别与检测算法，本方法采用基于实时感知信息的在线增量自学习算法，实现流式数据的处理，完成对非合作目标抓捕部位和部件拆卸部位的泛化性智能感知，可有效提升系统对复杂空间环境、未知动态目标、多样精细操作的自适应能力，提高面向多任务的空间非合作目标的识别性能，具有目标识别泛化性高、学习速度快及环境自适应能力强等优点，能够全面提升空间操作的智能自主水平。
[0119]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0120]
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0121]
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部
分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0122]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。