一种增材修复机器人虚实坐标智能匹配方法及系统

1.本发明属于虚拟技术领域，涉及一种增材修复机器人虚实坐标智能匹配方法及系统。


背景技术：

2.随着国家制造业需求的不断提升，工业机器人在汽车制造、机械加工、磨削抛光、焊接、增材制造等领域的应用越来越广泛，也是实现自动精准增材修复的主要发展方向。复杂、多样的修复需求给机器人的轨迹规划带来了巨大的挑战。传统的机器人示教编程存在效率低、精度差等问题。
3.数字孪生首先在仿真环境中规划待修复物件的修复轨迹并生成数控代码，之后根据数控代码控制机器人在现实世界中完成增材修复任务。修复物件仿真坐标与真实坐标的无差匹配是实现物件精准修复的前提和保证。当修复物件、末端执行器、机器人工作空间等重新布局或改变时，先前离线编程的结果需要根据更改后的场景重新调整，目前常采用人工方法调整，耗时耗力。


技术实现要素：

4.本发明的目的在于解决现有技术中的问题，提供一种增材修复机器人虚实坐标智能匹配方法及系统。
5.为达到上述目的，本发明采用以下技术方案予以实现：
6.一种增材修复机器人虚实坐标智能匹配方法，包括以下步骤：
7.s1：对实物图像进行特征提取，获取实物图像不同阶段的多尺度特征；
8.s2：将每一阶段的多尺度特征与同维度的上采样特征进行融合，得到图像的融合特征；对融合特征进行增强，获取增强后的整合特征，采用整合特征进行预测，获取实物的分割图像；
9.s3：对获取的分割图像进行位置描述，获取实物的真实坐标，同时建立实物的仿真三维模型，基于实物的真实坐标调整仿真三维模型的位置，实现实物与仿真三维模型的坐标匹配。
10.本发明的进一步改进在于：
11.所述s1中对实物图像进行特征提取的包括以下步骤，通过特征提取网络对实物图象进行特征提取：
12.s1.1：输入大小为cj×hj
×
wj的特征图pj，经过1个卷积块后，模块在一级残差阶段进行通道拆分，获取拆分特征p
aj
：
[0013][0014]
s1.2：计算直连特征：
[0015]
p
bj
＝cov(pj)
ꢀꢀ
(2)
[0016]
s1.3：拆分特征p
aj
在经过1个卷积块后进入二级残差阶段，二级残差阶段的输出特
征为p
mj
：
[0017][0018]
s1.4：将式(2)和式(3)进行融合，获得多尺度特征fj，其中j＝2,3,4，
[0019][0020]
式中，cov(.)表示卷积操作，表示通道拆分后取index部分的特征，为通道融合操作。
[0021]
所述s2包括以下步骤：
[0022]
s2.1：建立分割预测网络，将分割预测网络下每一阶段的上采样特征定义为g1～g4，将每一阶段的多尺度特征fj与同纬度的上采样特征融合，得到融合特征si；并对融合特征si进行增强：
[0023]
s2.2：对融合特征si进行压缩，得到缩减后的特征ti；
[0024]
s2.3：完成特征ti垂直坐标(h,1)和水平坐标(1,w)方向的编码，得到不同维度的编码特征和其中，c通道下垂直坐标为h的编码表述为：
[0025][0026]
水平坐标为w的编码表述为：
[0027][0028]
式中，xc(h,n)表示c通道中(h,n)位置处的特征值；
[0029]
s2.4：引入衰减系数r，通过式(7)输出整合特征
[0030][0031]
式中，σ(.)表示激活函数，见式(8)：
[0032][0033]
式中，ω为输入的一个特征，min(.)和max(.)分别代表获取最小值和最大值的函数；
[0034]
s2.5：采用维度拆分函数拆分通过式(9)和(10)预测两个维度的融合系数和和和分别表示位置信息和空间信息的重要程度；
[0035][0036][0037]
通过式(11)预估输出的特征ai：
[0038][0039]
式中，φ(
·
,site)表示维度拆分后取site方向的特征值，λ(
·
)为sigmoid激活函数，为乘积操作；
[0040]
s2.6：采用一个预测卷积和一个sigmoid激活函数预测分割图像，得到实物的分割
图像。
[0041]
所述s2.1中，通过单层3
×
3的卷积网络进行通道压缩。
[0042]
所述s3包括以下步骤：
[0043]
s3.1，对获取的分割图像进行位置描述，以实物图像的俯视图t
view
作为输入图像，通过式(12)输出实物的位置信息：
[0044]
x,y,h
p
,w
p
,γ＝ψ(f(t
view
))
ꢀꢀ
(12)
[0045]
式中，f(.)表示物体分割网络，ψ(.)为最小外接矩形算法，(x,y)，h
p
,w
p
分别代表待修复物件中心坐标、外接矩形的长度和宽度，γ为偏转角度；
[0046]
s3.2：采用格雷厄姆算法计算物体图像的最小凸包u
min
，获取u
min
中边的总数n
sum
；
[0047]
s3.3：定义数组v
rect
并初始化；
[0048]
s3.4：以u
min
任意一条边s
num
为起始边，定义s
num
左端点o
left
为旋转中心；
[0049]
s3.5：旋转s
num
，判断s
num
是否平行图像的坐标横轴，若成立，将边s
num
的编号num、旋转角度r
angle
、面积最小绑定矩形r
area
插入数组v
rect
中，令n
sum
＝n
sum-1，执行s3.6；否则继续执行s3.5；
[0050]
s3.6：判断n
sum
＝0是否成立，若成立，则顺时针选择下一条边，更新s
num
的信息，执行s3.5；否则执行s3.7；
[0051]
s3.7：根据最小绑定矩形的面积r
area
对v
rect
数组进行排序得到最小外接矩形，根据式(12)得到物件位置信息x,y,h
p
,w
p
,γ；
[0052]
s3.8：根据γ调整仿真端实物的旋转位置；
[0053]
s3.9：获取仿真端物体的位置表述x',y',h
p
',w
p
',γ'，获得x,y轴的偏差d
x
＝x-x'，dy＝y-y'，根据d
x
，dy平移仿真端的修复物件，平移结束后，更新d
x
，dy，判断d
x
≤1像素和dy≤1像素是否成立，若成立，则完成匹配；否则继续执行s3.9。
[0054]
所述建立的实物三维模型与实物实际的尺寸大小一致。
[0055]
所述坐标匹配时，将实物的仿真三维模型与实物分别放置在虚拟操作平台和实际操作平台上，以操作平台作为参考，视z轴为同轴，调整水平坐标进行坐标匹配。
[0056]
一种增材修复机器人虚实坐标智能匹配系统，包括特征提取模块、分割预测模块和坐标匹配模块；
[0057]
特征提取模块，用于对实物图像进行特征提取，获取实物不同阶段的多尺度特征；
[0058]
分割预测模块，用于将每一阶段的多尺度特征与同维度的上采样特征进行融合，得到图像的融合特征；对融合特征进行增强，获取增强后的整合特征，采用整合特征进行预测，获取实物的分割图像；
[0059]
坐标匹配模块，用于对获取的分割图像进行位置描述，获取实物的真实坐标，同时建立实物的仿真三维模型，基于实物的真实坐标调整仿真三维模型的位置，实现实物与仿真三维模型的坐标匹配。
[0060]
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。
[0061]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。
[0062]
与现有技术相比，本发明具有以下有益效果：
[0063]
本发明公开了一种增材修复机器人虚实坐标智能匹配方法，通过对实物图像进行分割处理，不仅可以获取实物的多尺度特征，还可以减小参数量，以此增强物件的全局和位置信息，提升特征空间描述能力，提高图像分割质量，基于此对实物的虚实坐标进行匹配修正，降低了仿真物模型与实物之间的位置误差，提高增材修复精度和效率，满足了工业应用的需求，取代了手工调整，节省了劳动力。
附图说明
[0064]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0065]
图1为本发明的物体分割网络图；
[0066]
图2为本发明的cspblock多尺度残差模块图；
[0067]
图3为本发明的attention模块图；
[0068]
图4为本发明位置信息描述图；
[0069]
图5为本发明对比实验测试结果图；
[0070]
图6为本发明实施例的数字孪生运行结果图。
具体实施方式
[0071]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0072]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0073]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0074]
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0075]
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据
具体情况理解上述术语在本发明中的具体含义。
[0076]
下面结合附图对本发明做进一步详细描述：
[0077]
本发明实施例公开了一种增材修复机器人虚实坐标智能匹配方法，具体的，采用图像分割模型获取实际场景下物件的分割图像，通过最小外接矩形预估物件真实坐标，仿真端据此执行平移与旋转操作，调整仿真物件的三维模型位置，实现坐标智能匹配；为最小化虚实坐标误差，提出基于attention的多尺度残差unet图像分割模型，通过多级残差策略提取物体多尺度特征，采用attention策略增强网络对位置信息的描述，提升特征空间表达能力，提高图像分割质量。
[0078]
参见图1，本发明实施例公开的基于attention的多尺度残差unet物体图像分割模型，由左右对称的特征提取网络和分割预测网络组成，
[0079]
步骤1：的特征提取网络先采用传统卷积核获得编码特征f1，再利用三个如图2所示cspblock多尺度残差模块获取物体的信息描述，并将三个模块的编码特征分别定义为f2～f4。cspblock多尺度残差模块通过多级残差连接方式，在大幅度降低计算代价的同时较好的保留多尺度特征，增强物体的描述能力，具体提取过程为：
[0080]
步骤1.1：假设输入大小为cj×hj
×
wj的特征图pj，在一级残差阶段，通过公式(1)进行通道拆分，获取拆分特征p
aj
，有效缩减网络参数；
[0081][0082]
步骤1.2：采用公式(2)计算直连特征p
bj
，完整的保留当前特征；
[0083]
p
bj
＝cov(pj)
ꢀꢀ
(2)
[0084]
步骤1.3：拆分特征p
aj
通过式(3)计算二级残差的输出特征p
mj
。
[0085][0086]
步骤1.4：采用式(4)融合p
bj
与p
mj
获得多尺度特征fj，j＝2,3,4。
[0087][0088]
式中，cov(.)表示卷积操作，为通道拆分后取index部分的特征，为通道融合操作。
[0089]
步骤2.1：将分割预测网络中每一阶段的上采样特征定义为g1～g4，将分割预测网络每一阶段的上采样特征gi直接与同维度的编码特征fi，i＝1,2,3,4融合得到融合特征si，参见图3，引入attention模块，增强融合特征si的位置描述，有效抑制干扰特征，提升特征的空间表达力。
[0090]
步骤2.2：将输入大小为c
1i
×h1i
×w1i
的融合特征si通过单层3
×
3的卷积网络进行通道压缩，得到缩减特征ti，降低计算损耗。
[0091]
步骤2.3：使用特征图分解的方式在水平维度和垂直维度对特征重新编码，具体来说，完成特征垂直坐标(h,1)、水平坐标(1,w)方向的编码，得到不同维度的编码特征和c通道下垂直坐标为h的编码表述为式(5)，水平坐标为w的编码表述为式(6)。
[0092]
[0093][0094]
式中，xc(h,n)表示c通道中(h,n)位置处的特征值。
[0095]
之后，采用通道融合操作、卷积操作和h_swish激活函数对不同维度的编码特征进行协调整合，在突出物体所在位置信息描述的同时，提升空间信息的关联性。
[0096]
步骤2.4：为限制模块的大小，在卷积操作中引入衰减系数r，通过式(7)输出大小为di/r
×1×
(w
1i
+h
1i
)的整合特征ts，式(7)中，σ(.)表示的激活函数的具体表示如式(8)所示；
[0097][0098][0099]
式中，ω为输入的一个特征，min(.)和max(.)分别代表获取最小值和最大值的函数；
[0100]
步骤2.5：采用维度拆分函数拆分特征并通过式(9)和(10)预测两个维度的融合系数和以此表示位置信息和空间信息的重要程度，
[0101][0102][0103]
最终的输出特征ai通过式(11)预估。
[0104][0105]
步骤2.6：分割预测网络经过四个上采样操作以及四个注意力模块后得到物体分割信息的准确描述a4，通过一个1
×
1的卷积预测分割图像，分割图像的大小与输入图像大小一致，提升物体坐标预测的准确性。
[0106]
步骤3：坐标修正
[0107]
步骤3.1：坐标匹配时，构建一个实物的仿真三维模型，仿真模型与实物的大小保持一致，并将虚实物体放置在位置固定的虚实操作平台上，可视为z轴无偏差，以水平调整为主。本发明实施例引入最小外接矩形算法，根据分割图像预估物体中心坐标。输入一个待修复兵马俑人头俯视图t
view
，输出的物体位置信息为式(12)，具体表述参见图4。
[0108]
x,y,h
p
,w
p
,γ＝ψ(f(t
view
))
ꢀꢀ
(12)
[0109]
式中，f(.)表示物体分割网络，ψ(.)为最小外接矩形算法，(x,y)，h
p
,w
p
分别代表待修复物件中心坐标、外接矩形的长度和宽度，γ为偏转角度；
[0110]
步骤3.2：采用时间复杂度较低的格雷厄姆算法计算物体图像的最小凸包u
min
，获取u
min
中边的总数n
sum
；
[0111]
步骤3.3：定义数组v
rect
并初始化；
[0112]
步骤3.4：以u
min
任意一条边s
num
为起始边，定义s
num
左端点o
left
为旋转中心；
[0113]
步骤3.5：旋转s
num
，判断s
num
是否平行图像的坐标横轴。若成立，将边s
num
的编号num、旋转角度r
angle
、面积最小绑定矩形r
area
插入数组v
rect
中，令n
sum
＝n
sum-1，执行步骤3.6；否则继续执行步骤3.5；
[0114]
步骤3.6：判断n
sum
＝0是否成立。若成立，则顺时针选择下一条边，更新s
num
的信息，执行步骤3.5；否则执行步骤3.7；
[0115]
步骤3.7：根据最小绑定矩形的面积r
area
对v
rect
数组进行排序得到最小外接矩形，根据式(12)得到物件位置信息x,y,h
p
,w
p
,γ；
[0116]
步骤3.8：根据γ调整仿真端实物的旋转位置；
[0117]
步骤3.9：获取仿真端物体的位置表述x',y',h
p
',w
p
',γ'，获得x,y轴的偏差d
x
＝x-x'，dy＝y-y'，根据d
x
，dy平移仿真端的修复物件，平移结束后，更新d
x
，dy，判断d
x
≤1像素and dy≤1像素是否成立。若成立，则完成智能匹配；否则继续执行步骤3.9。
[0118]
获得准确图像分割结果是增材修复物件坐标匹配的重要保障。由于在增材修复领域，尚无公开数据集，因此本发明实施例选择手提包公开数据集、自建增材修复数据集开展实验，验证所提图像分割方法的有效性。另外，实验采用如式(13)所示图像分割领域常用评价指标平均交并比(p
miou
)用于实验结果分析。
[0119][0120]
式中，n为用于测试的所有图像的总数，变量描述如表1所示。
[0121]
表1平均交并比(pmiou)变量描述
[0122][0123]
手提包公开数据集拍摄背景复杂、种类较多，包含550幅rgb彩色图及其标注真值图，500幅图像用于网络训练，50幅图像用于结果测试；自建增材修复数据集由将用于后续实验的陶瓷杯、螺丝钉、交汇管道、兵马俑人头以及叶轮共五种增材修复物件体组成，采集图像样本总计300幅，270幅用于模型训练，30幅用于结果测试。
[0124]
为使模型充分训练，采用数据增强方法，对样本图像随机进行裁剪、旋转、放缩等操作，扩充数据集样本数量，增强模型的鲁棒性。以自建数据集为例，经数据扩增后，训练图像扩增为800幅，测试图像扩增为200幅，满足模型学习要求。
[0125]
自建数据集部分实验结果如图5所示，手提包数据集、自建数据集多方法对比结果如表2所示。
[0126]
参见图5，输入图像源于自建数据集的五个不同物体，且物体在形态、颜色以及大小等方面存在较为明显的差异，图中的实验结果表明，在自建数据集上本发明实施例方法与unet的分割表现相当，表明本发明实施例方法有较强的适应能力。
[0127]
表2多种分割方法对比结果
[0128][0129]
由表2可以看出，与unet相比，本发明实施例所提模型在参数量下降20.02m的情况下，自建数据集的预测准确率提升了0.01；手提包数据集的分割精度相当，证明本文方法有较好的泛化能力。相较于先进算法res-net、segnet以及l-unet，分割效果略逊。原因是本文为保持较优的参数量以适应于工业实时性需求，所以对融合特征si进行大幅通道压缩，导致部分特征丢失，致使分割结果略有下降，本发明实施案例参数量更少的模型仍是较优选择。attention模块消融研究的实验结果表明，模型参数量在仅增加0.02m的情况下达到了更准确的预测效果，证明了本发明实施例所提attention模块的有效性。
[0130]
得到分割准确的图像后，利用最小矩形获得物体的中心坐标是实现虚实坐标匹配的又一重要环节。本发明实施例选用如图6所示的turin机器人1、机器人末端执行器2、相机3、待修复物件4、600mm
×
600mm的修复平台5完成真实场景的搭建。实验中，输入图像大小设置为640
×
640，采用不同摆放位置的兵马俑人头进行多次匹配实验，预估的实物中心点坐标与仿真端物件中心点坐标的匹配关系如表3所示。
[0131]
表3中心点坐标位置匹配
[0132][0133]
表3可以看出预估的物体中心坐标与真实的物体中心坐标的差值在水平方向和垂直方向的误差均小于等于1，以此表明匹配误差小于1mm，可以满足大部分工业数字孪生任务的需求，验证了本发明实施例坐标智能匹配算法的有效性。
[0134]
通过图6的数字孪生实验验证本发明实施例所述方法，通过实际测量，机器人第一修复点的虚实坐标误差小于1mm，进一步验证了本文方法的有效性。
[0135]
本发明实施例公开了一种虚实坐标智能匹配系统，包括特征提取模块、分割预测
模块和坐标匹配模块；
[0136]
特征提取模块，用于对实物图像进行特征提取，获取实物不同阶段的多尺度特征；
[0137]
分割预测模块，用于将每一阶段的多尺度特征与同维度的上采样特征进行融合，得到图像的融合特征；对融合特征进行增强，获取增强后的整合特征，对整合特征进行预测，获取实物的分割图像；
[0138]
坐标匹配模块，用于对获取的分割图像进行位置描述，获取实物的真实坐标，同时建立实物的仿真三维模型，基于实物的真实坐标调整仿真三维模型的位置，实现实物与仿真三维模型的坐标匹配。
[0139]
本发明一实施例提供的终端设备的示意图。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
[0140]
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
[0141]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
[0142]
所述处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0143]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
[0144]
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0145]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。