一种面向空间站机械臂的动态目标测量在轨光照评估方法与流程

1.本发明涉及一种面向空间站机械臂的动态目标测量在轨光照评估方法，尤其适用于空间服务类大型机械臂在轨面临恶劣光照环境时开展目标测量所需在轨光照信息的精确测算与补偿，属于光电测量领域。


背景技术：

2.空间站机械臂配置视觉测量系统主要用于对机械臂工作区域的视觉监控和合作目标三维位姿的准确估计，为机械臂精准操控提供必需的视觉图像和目标位姿等参考信息。然而，空间站机械臂在轨运行期间时常面临复杂多变光照环境的严峻考验。尽管视觉相机在设计阶段已经充分考虑了抗杂散光等干扰因素，但由于空间站机械臂具备舱外爬行功能，在轨复杂多变的光照环境将导致视觉相机光轴与太阳光入射方向之间的夹角呈现随机性，容易引发相机视场范围内的光照差异大、背景种类复杂、运动不连续、多目标遮挡等系列问题。尤其是，一旦视觉相机迎面遭遇高强度太阳光直射或太阳入射角骤变等恶劣环境时，视觉图像对比度将骤降或过曝，这无疑给机械臂在轨任务的可靠性提出了严峻挑战。
3.目前，服务于国际空间站的大型机械臂在轨运行期间主要面临着复杂、恶劣、多变的空间光照环境的严峻考验，nasa率先提出两项针对性解决措施：一是，为机械臂手眼相机配置主动光源；二是研发地面数字图像增强算法。前者由于主动光源缺乏自动调节功能，仅适用于部分光照条件，可能会损失一些细节信息，因此，无法兼顾各种极端光照工况；后者需要图像下传地面，由此带来了较大的时延，根本无法保证机械臂在轨任务的连续开展。因此，空间站机械臂如何有效克服复杂多变的空间光照效应是制约机械臂在轨环境适应性水平的关键性技术难题之一。


技术实现要素：

4.本发明要解决的技术问题是：克服现有技术的不足，解决了面向空间站机械臂的动态目标测量在轨光照评估问题。
5.本发明目的通过以下技术方案予以实现：
6.一种面向空间站机械臂的动态目标测量在轨光照评估方法，可见光视觉相机具备单目与双目两种测量模式，光照评估方法包括：
7.确定合作目标图案；
8.可见光视觉相机主动光源照明器设置为关闭状态，获取图像并确定图像灰度信息，利用图像灰度信息进行目标检测与模式识别；根据目标检测与模式识别结果，确定图像中合作目标图案的视觉标记区域灰度dn差值；如果视觉标记区域灰度dn差值不低于设定阈值，则无需进行物面照度补偿；如果视觉标记区域灰度dn差值低于设定阈值，则打开可见光视觉相机主动光源照明器，重新获取视觉标记区域灰度dn差值，若重新获取的视觉标记区域灰度dn差值不低于设定阈值，则无需进行物面照度补偿，若仍低于设定阈值，则进行如下处理：
9.利用视觉标记区域灰度dn差值，确定相机像面照度；
10.利用相机像面照度，确定视觉标记表面发光亮度；
11.利用视觉标记表面发光亮度，确定左目图像物面照度补偿值、右目图像物面照度补偿值；
12.在左目图像物面照度补偿值、右目图像物面照度补偿值中，选取最大值，确定最终物面照度补偿值，并进一步确定光源照明功率。
13.优选的，所述合作目标图案同时满足如下条件：
14.图案包括各向同性的圆型标记点集；
15.在最远的观测距离处，图案中的标记点直径在相机图像中占据的像素数至少不低于相机的成像分辨力；
16.图案选用黑色与白色相搭配；
17.图案选用耐真空高低温的特殊漫反射材料制成；
18.图案满足旋转、平移、缩放唯一性；
19.在相机最近观测距离处所拍摄单幅图像中包含的异面标记点个数不应少于4。
20.优选的，采用单目测量模式获取bayer图像后，经非线性插值后得到rgb彩色图像，再转换成yuv图像数据格式，其中的y分量即为相机获取的图像灰度信息。
21.优选的，所述利用视觉标记区域灰度dn差值，确定相机像面照度包括：
22.利用视觉标记区域灰度dn差值，确定视觉标记区域灰度dn差值的统计均值，然后根据相机输出的图像量化位数，解算出相机图像探测器经光电转换后输出的图像灰度值，并进一步确定相机像面照度。
23.优选的，所述确定视觉标记表面发光亮度的方法为：
[0024][0025]
式中，τ为相机光学系统透过率；d/f表示相机相对孔径，即f数的倒数，π为圆周率，e
image
为相机像面照度。
[0026]
优选的，利用视觉标记表面发光亮度，根据可见光视觉相机主动光源照明器与合作目标的几何位置关系，确定左目图像物面照度补偿值、右目图像物面照度补偿值。
[0027]
优选的，所述光源照明功率的确定方法为：
[0028][0029]
式中，d为主动光源的照明距离，π为圆周率，θ为照明角度，k为光视效能，e
lamp-left
为左目图像物面照度补偿值，e
lamp-right
为右目图像物面照度补偿值，max为求二者中的最大值，光照均匀度为η。
[0030]
优选的，采用单目或者双目测量模式获取图像并确定图像灰度信息。
[0031]
一种面向空间站机械臂的动态目标位姿三维测量方法，采用上述的光照评估方法，进行光照评估后，进行如下处理：
[0032]
根据目标检测与模式识别结果中的最优候选连通域子集，利用灰度加权质心法提
取合作目标图案中各标记特征点中心在图像中的二维坐标值；
[0033]
确定可见光视觉相机的测量模式；
[0034]
对于单目测量模式，基于二维成像平面与三维空间之间的物理映射关系，利用所述二维坐标值、相机内参标定数据，确定单目测量模式下的目标位姿数据初值；然后利用相机-末端之间外参标定结果，确定目标-末端三维位姿参数；
[0035]
对于双目测量模式，重建三维坐标系后进行坐标转换，利用所述二维坐标值，确定双目测量模式下的三维位姿数据初值；然后利用相机-末端之间外参标定结果，确定目标-末端三维位姿参数。
[0036]
优选的，对于单目测量模式，采用最小二乘法确定单目测量模式下的目标位姿数据初值；对于双目测量模式，采用奇异值分解法确定双目测量模式下的三维位姿数据初值。
[0037]
本发明相比于现有技术具有如下有益效果：
[0038]
(1)本发明提供的合作目标图案设计原则能够有助于提升视觉图像对比度，且显著降低光照信息测算难度和计算量，提高光照估计的准确性和精度水平；
[0039]
(2)本发明提供的机械臂动态目标在轨光照评估方法能够实时、逆向解算出空间合作目标表面的发光亮度值及主动光源的物面照度补偿值，为相机主动光源自适应调节照明策略提供依据，显著改善在轨恶劣光照条件下的图像质量；
[0040]
(3)本发明提供的目标在轨光照评估方法能够对空间站机械臂自身所处的在轨光照环境进行客观量化评估，可进一步为空间站机械臂在轨健康监测提供重要数据；
[0041]
(4)本发明提供的空间站机械臂动态目标测量在轨光照评估系统有助于空间站机械臂提升自身的空间环境适应能力的同时，有效抑制复杂多变的空间光照效应；
[0042]
(5)本发明提供的目标位姿测量方法能够同时兼顾单目与双目两种测量模式，实时解算出空间合作目标与机械臂末端执行器之间的相对位姿关系，二者互为备份，显著提高机械臂在轨完成视觉测量功能的可靠性与安全性；
[0043]
(6)本发明通过快速、精准估计视觉相机拍摄的在轨图像中典型目标的发光亮度值，自动解算出相机主动光源物面照度的补偿信息，从而自适应调节视觉相机主动光源的照明策略，显著提升在轨图像质量的同时，有效增强机械臂视觉相机自身抵御光照干扰效应的鲁棒性和健壮性，为后续机械臂在轨任务或空间实验的顺利开展提供了可靠保障。
附图说明
[0044]
图1为面向空间站机械臂的动态目标测量在轨光照评估系统组成示意图。
[0045]
图2为左目相机坐标系和右目相机坐标系定义示意图。
具体实施方式
[0046]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步详细描述。
[0047]
如图1所示，一种面向空间站机械臂的动态目标测量在轨光照评估系统主要包括：可见光视觉相机、空间合作目标、多自由度数控装置、地面支持工装、在轨光照模拟器、照度计、地检计算机等设备。其中，可见光视觉相机内部配置主动光源照明器，主要用于拍摄包含空间合作目标的可见光图像传输至地检计算机，其固定安装于地面支持工装之上；空间
合作目标自身携带已知图案设计的视觉标记，其固定安装于多自由度数控装置支撑平台之上；多自由度数控装置用于模拟空间站机械臂目标适配器端尺盘表面，为合作目标提供稳固支撑及运动驱动，并将目标运动信息实时传输至地检计算机；地面支持工装主要模拟空间站机械臂末端执行机构端部，为可见光视觉相机提供固定支撑；在轨光照模拟器主要用于模拟各种复杂多变的光照环境；照度计主要用于实测目标表面的光照强度值；地检计算机主要接收可见光视觉相机采集的图像数据及目标运动信息，用于处理图像信息，实时测算目标表面的发光亮度值及主动光源的物面照度等数据。
[0048]
面向空间站机械臂的动态目标测量在轨光照评估方法主要涉及合作目标图案设计、在轨光照评估两部分技术方案；面向空间站机械臂的动态目标位姿三维测量方法在光照评估方法的基础上，还包括目标位姿三维测量。
[0049]
第一部分内容：合作目标图案技术方案。
[0050]
合作目标图案同时满足如下条件：
[0051]
1)图案优先选用具有各向同性的圆型标记点集，如无特殊要求，所有标记点的加工、安装厚度应保持一致性；
[0052]
2)图案尺寸根据相机的成像分辨力及其与合作目标之间的观测距离，保证即使在最远的观测距离处，标记直径在图像中占据的像素数应至少不低于相机的成像分辨力，使得相机依然能够对标记清晰成像；
[0053]
3)图案选用具有高对比度的黑色与白色相搭配；
[0054]
4)图案材料选用耐真空高低温的特殊漫反射材料，即尽可能选用具有高吸收率的黑色材料搭配高反射率的白色材料；
[0055]
5)图案满足旋转、平移、缩放唯一性；
[0056]
6)图案布局与合作目标外形特征相结合，使得在相机最近观测距离处所拍摄单幅图像中包含的异面标记点个数不应少于4，且保证在不干涉其他载荷设备的前提下，应尽可能增加标记点个数，以进一步提高位姿测量的精度和鲁棒性。
[0057]
第二部分内容：在轨光照评估技术方案。
[0058]
步骤(1)，可见光视觉相机主动光源照明器设置为关闭状态。
[0059]
步骤(2)，左(右)目灰度图像采集。
[0060]
左(右)目相机图像传感器自动完成光电转换以获取相机光学视场范围内的bayer图像，经非线性插值后得到rgb彩色图像，再转换成yuv图像数据格式，其中的y分量即为相机获取的图像灰度信息。
[0061]
步骤(3)，目标检测与模式识别。
[0062]
首先，判断图像中的目标边缘点列图包络直径是否超过6个像素，确保各目标区域具有清晰、锐利的边缘，且相邻的规则连通域边缘区域不会发生混叠现象；
[0063]
其次，基于区域生长原理，标记图像中的全部连通域，并按照各连通域占据的像素个数依次排序；
[0064]
再次，计算各连通域的圆度值，设定圆度值不低于75％作为形状判别准则，以快速筛选若干符合上述要求的候选连通域序列；
[0065]
最后，将合作目标图案设计中已知的标记点数量及其相对位置布局关系，作为训练样本，利用模式识别分类算法，遍历搜索上述连通域序列，选取一组与上述训练样本相匹
配的最优候选连通域子集，并依据训练样本中的标记点序号对最优子集中的各连通域进行相应位置确定，以建立二者之间的一一对应关系。
[0066]
步骤(4)，各视觉标记点区域图像对比度统计。
[0067]
计算单帧图像中各视觉标记点区域黑、白灰度dn差值的统计均值。倘若上述灰度dn差值不低于70，即可认定当前视觉成像光照环境理想，无需主动光源辅助照明，可直接转入第三部分目标位姿三维测量；反之，则认定当前视觉成像光照环境欠佳，则打开可见光视觉相机主动光源照明器，返回步骤(2)，重新计算单帧图像中各视觉标记点区域黑、白灰度dn差值的统计均值，如果该统计均值不低于70，则无需进行光源物面照度补偿，如果仍低于70，执行步骤(5)。
[0068]
步骤(5)，相机像面照度解算。
[0069]
代入上述图像中各视觉标记点区域黑、白灰度dn差值的统计均值，根据相机输出的图像量化位数，解算出相机图像探测器经光电转换后输出的物理灰度值。具体计算过程如下：
[0070]
现假设可见光视觉相机输出图像量化位数为x bit，该图像各视觉标记点区域黑、白灰度dn差值的统计均值为ω，则其对应的图像探测器经光电转换后实际输出的图像灰度值的计算公式为：
[0071][0072]
进一步可推导出，相机像面照度计算公式表示如下：
[0073][0074]
式中，t
exposal
表示相机采集单帧图像所需的曝光时间，单位：s(秒)；s
respond
表示图像探测器器件灵敏度和响应度，单位：dn/(nj/cm2)＝dn
×
cm2/nj，其中，nj为纳焦耳，1nj＝10-9
焦耳。
[0075]
鉴于照度是表征光照约束的重要指标，其量纲通常有两种表示方式：勒克斯lx和瓦特每平方米w/m2，为确保后续计算单位的统一性和连续性，现将二者之间的换算关系介绍如下：
[0076]
工程光学明确规定：“一个光源发出照度为1lx、频率为540
×
10
12
hz(赫兹)的单色光，在一定方向的辐射强度为1/683w/m2。”上述定义仅为参考值，具体应当结合相机选用的图像传感器件自身对白光谱(420～700nm)的响应度曲线(rgb三基色信道响应度之和)以及光源照度曲线共同确定。经光学分析可得，可见光视觉相机观测白光所得到的换算关系为：
[0077][0078]
步骤(6)，光源物面照度补偿值预估。
[0079]
代入空间站机械臂可见光视觉相机的光学设计参数，视觉标记表面发光亮度计算公式即可表示如下：
[0080][0081]
式中，τ为相机光学系统透过率；d/f表示相机相对孔径，即f数的倒数，π为圆周率。
[0082]
鉴于空间站机械臂可见光视觉相机采用双目集成一体化设计，在轨拍摄图像时，左目相机镜头始终正对合作目标，确保视觉标记位于左目图像中心视场区域内；而右目相机镜头的观测视角存在一定的位置偏差，如图2所示。
[0083]
对于左目图像而言，应假设主动光源正对垂直照射视觉标记表面，主动光源照明器出射光学的入射方向与视觉标记表面法向量之间的夹角α＝0，则此时光源照射视觉标记的物面照度补偿值计算公式应写成以下形式：
[0084][0085]
式中，ρ表示视觉标记表面白漆反射率，通常取百分比；l表示视觉标记表面反射光线对应的发光亮度，单位：cd/m2。
[0086]
对于右目图像而言，主动光源照明器出射光学的入射方向与视觉标记表面法向量之间存在一定的夹角α(单位：
°
)，则此时光源照射视觉标记的物面照度补偿值计算公式应写成以下形式：
[0087][0088]
因此，光源照明功率计算公式表示如下：
[0089][0090]
式中，d表示主动光源的照明距离(单位：m)，其默认值为可见光视觉相机清晰成像的最远距离，有时也可以根据第三部分目标位姿三维测量输出的结果进行动态调整；θ表示照明角度(单位：
°
)，通常要求覆盖相机观测视场全域；k为光视效能，单位：lm/w；光照均匀度为η，无量纲，一般取百分比。
[0091]
通常，光视效能k、光照均匀度η和照明角度θ对于同一相机光源均为固定常系数。其中，光视效能k在90～120lm/w取值；光照均匀度η在50％～70％取值。
[0092]
第三部分内容：目标位姿三维测量。
[0093]
步骤(7)，视觉标记点中心二维坐标定位与提取。
[0094]
利用灰度加权质心法准确提取各标记特征点中心在图像中的二维坐标值。
[0095]
步骤(8)，确定测量模式。
[0096]
空间站机械臂可见光视觉相机采用双目集成一体化设计。倘若选择单目测量模式，左(右)目相机独立顺序执行到此后转入步骤(9)；倘若选择双目测量模式，左目、右目相机必须同步完成图像灰度信息获取，这是双目测量的重要前提，然后转入步骤(10)。
[0097]
步骤(9)，单目位姿初值求解。
[0098]
代入左(右)目相机内参标定数据和各标记点三维坐标第三方仪器精测值，利用最小二乘法求解线性方程组可得单目测量的目标位姿数据初值(包括旋转矩阵r和平移向量
t)，然后转入步骤(12)。
[0099]
步骤(10)，三维重建与坐标转换。
[0100]
选择双目测量模式时，三维重建与坐标转换计算公式如下：
[0101][0102][0103]
其中，s
l
,sr分别为左、右目相机的非零比例系数，a
l
,ar表示左、右目相机的内参矩阵，且双目相机之间的外参标定结果表示为旋转矩阵rc和平移向量tc，(u
li
,v
li
)和(u
ri
,v
ri
)分别为标记点pi在左、右目图像中对于的特征点中心二维坐标值。现假设左目相机为参考坐标系，则标记点pi在左目相机坐标系中的三维坐标值可表示为p
ci
＝[x
ci
,y
ci
,z
ci
]
t
。综上所述，a
l
,ar，(u
li
,v
li
)，(u
ri
,v
ri
)，rc，tc均为已知常系数，根据上式即可求解标记点pi在左目相机坐标系中的三维坐标值p
ci
＝[x
ci
,y
ci
,z
ci
]
t
。则双目测量位姿计算公式即可转换为以下形式：
[0104][0105]
式中，标记点pi在相机坐标系中的三维坐标值可表示为p
ci
＝[x
ci
,y
ci
,z
ci
]
t
。
[0106]
步骤(11)，双目位姿初值求解。
[0107]
分别代入左/右目相机内参标定数据和各标记点三维坐标精测值，利用奇异值分解法svd求解双目测量模式下的目标位姿数据初值。
[0108]
步骤(12)，目标-末端位姿参数计算。
[0109]
根据上述求得的目标位姿初值(包括旋转矩阵r和平移向量t)，代入相机-末端之间的外参标定数据(包括旋转矩阵r
ce
和平移向量t
ce
)，遵循如下计算公式即可计算出目标-末端位姿参数(含旋转矩阵r
oe
和平移向量t
oe
)：
[0110][0111]
则目标-末端三个位置量和三个姿态角分别可计算为：
[0112]
[0113]
其中，旋转矩阵r
oe
是一个3
×
3的矩阵，包含3个相互独立的变量分别是三个旋转姿态角α
oe
,β
oe
,γ
oe
。
[0114]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
[0115]
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。