面向人机协作钻铆的虚实融合工艺引导方法及系统

1.本发明涉及虚拟现实技术领域，具体而言，涉及一种面向人机协作钻铆的虚实融合工艺引导方法及系统。


背景技术：

2.在飞机壁板钻铆的工业场景中，机器人具有精度高、稳定、效率高、能在危险场景工作的特点，而工人具有更强的感知能力、经验丰富、随机应变的特点。钻铆机器人体型庞大，不适合工作于狭小空间，因此很多时候需要工人手动进行钻铆。而人工手动钻铆过程中，需要兼顾多种信息且与机器人相配合，工作效率较低。


技术实现要素：

3.为解决上述问题，本发明实施例提供了一种面向人机协作钻铆的虚实融合工艺引导方法，应用于增强现实设备，所述增强现实设备通过上位机与机器人、力传感铆枪分别连接，所述方法包括：显示待钻铆部件的配准图像，以基于所述配准图像进行虚实配准；在确定目标孔位后，显示所述目标孔位的钻铆信息；所述钻铆信息包括虚拟孔位位置；获取所述机器人的状态信息，以及根据所述状态信息确定是否满足所述目标孔位的钻铆条件；若满足所述目标孔位的钻铆条件，则获取以及显示所述力传感铆枪的压力信息；所述压力信息为所述力传感铆枪与所述目标孔位所在位置之间的抵接压力；若所述压力信息满足所述目标孔位的钻铆条件，则控制所述机器人启动钻铆作业。
4.可选地，所述方法还包括：获取以及存储所述目标孔位的钻铆各个过程中所述力传感铆枪的压力信息；所述钻铆各个过程包括以下至少一项：钻铆预备阶段、钻铆过程阶段、钻铆完成阶段。
5.可选地，所述钻铆信息还包括工艺信息；所述工艺信息包括以下至少一项：孔径、铆接方法、铆钉类型、力度。
6.可选地，所述方法还包括：显示跟随视野移动的虚拟操作面板，所述虚拟操作面板包括以下至少一项功能开关：显示工艺信息开关、配准跟踪开关、机器人控制功能按钮、选择下一个孔位功能按钮。
7.可选地，所述方法还包括：接收用户输入的孔位选择指令，以及根据所述孔位选择指令确定所述目标孔位。
8.可选地，在所述获取所述机器人的状态信息之前，所述方法还包括：控制所述机器人移动至所述目标孔位，以及执行所述目标孔位对应的钻铆准备动作。
9.可选地，所述方法还包括：在预先对所述待钻铆部件建模的情况下，根据模型目标的方式进行配准跟踪；在预先在所述待钻铆部件上布置定位标识的情况下，根据图像目标的方式进行配准跟踪。
10.可选地，所述状态信息包括以下至少一项：压脚状态、刀具进给状态、钻铆单元送钉状态。
11.本发明实施例提供了一种面向人机协作钻铆的虚实融合工艺引导系统，用于执行上述面向人机协作钻铆引导的虚实融合工艺引导方法。
12.本发明实施例中采用虚实融合显示的方式对人机协作钻铆进行引导，包括增强现实信息显示、力度显示、机器人控制等功能的融合，通过增强现实信息显示可以免去工人查阅、记忆各类信息的时间精力，通过力度显示有利于准确的力度控制，通过增强现实设备控制机器人可以减少工人移动等操作，从而提高了工作效率。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
14.图1为本发明实施例中人机协作钻铆的场景示意图；
15.图2为本发明实施例中一种面向人机协作钻铆的虚实融合工艺引导方法的流程示意图；
16.图3为本发明实施例中ar设备显示的虚拟孔位及提示信息示意图
17.图4为本发明实施例中操作面板示意图；
18.图5为本发明实施例中单孔位引导流程的示意图。
具体实施方式
19.为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
20.现有技术中多为机器人钻铆或者人工钻铆，人机协作的钻铆方式能够适应更多场景，例如一侧开放而一侧空间狭小的场景，在空间开放的一侧由钻铆机器人进行钻铆，在空间狭小的一侧无法布置钻铆机器人则由人工进行钻铆。
21.本发明实施例中提供了一种虚实融合工艺引导方法及系统，在人机协作钻铆的场景下，钻铆工人佩戴增强现实(augmented reality，ar)设备，例如ar头盔、ar眼镜等，能够在视野中看到应该钻铆的孔的位置、孔径、钻铆方法等信息；另外，力传感铆枪上的力传感器能够实时测量力传感铆枪与待钻铆部件的接触力，并把力的大小实时显示在虚拟视野中，以便工人能够根据自己的输出力，保证钻铆力量维持在期望范围内；以及，系统根据工人的需求，提供引导操作。
22.参见图1所示的本发明实施例提供的人机协作钻铆的场景示意图，以飞机壁板为例，示出了钻铆机器人11、钻铆工人12、飞机壁板13、力传感铆枪14以及ar头盔15。
23.示例性地，在真实钻铆场景中，钻铆工人12站在飞机壁板13前面，钻铆机器人11布置在飞机壁板13后面，另外有一台上位机负责运行一个服务程序来进行ar头盔、钻铆机器人之间的信息交互。钻铆工人佩戴ar头盔，ar头盔和上位机在同一个局域网内通过socket进行通信，钻铆机器人和上位机通过2.4g通信。另外，钻铆工人手持力传感铆枪和机器人协作进行钻铆，力传感铆枪加装了力传感器，上位机可以传输力传感器的压力信息至ar头盔。
24.参见图2所示的一种面向人机协作钻铆的虚实融合工艺引导方法的流程示意图，该方法应用于上述ar设备，该ar设备通过上位机与机器人、力传感铆枪分别连接。该方法包括以下步骤：
25.s202，显示待钻铆部件的配准图像，以基于该配准图像进行虚实配准。
26.可选地，采用以下两种配准方式：在预先对待钻铆部件建模的情况下，根据模型目标(model target)的方式进行配准跟踪；在预先在待钻铆部件上布置定位标识的情况下，根据图像目标(image target)的方式进行配准跟踪。上述两种方式的核心均是计算跟踪物体的特征点来匹配。
27.基于上述任一配准方式，在ar设备的视野中显示待钻铆部件的配准图像，钻铆工人可以目视该配准图像与实际的待钻铆部件，将该配准图像与待钻铆部件重合，从而进行虚实配准。
28.s204，在确定目标孔位后，显示目标孔位的钻铆信息。
29.该钻铆信息可以包括虚拟孔位位置。在进行虚实配准后，即可准备进入钻铆流程。可由钻铆工人选择任一孔位作为下一个进行钻铆的目标孔位，或者由引导系统自动选择一个孔位作为下一个进行钻铆的目标孔位。该引导系统运行于上述ar设备中。
30.可选地，接收用户输入的孔位选择指令，以及根据该孔位选择指令确定目标孔位；或者，根据最短路径规划算法以及上一钻铆完成孔位，确定目标孔位。其中，孔位选择指令可以由钻铆工人通过ar设备输入。
31.s206，获取机器人的状态信息，以及根据该状态信息确定是否满足目标孔位的钻铆条件。
32.在确定上述目标孔位后，可以控制机器人移动至该目标孔位，以及执行目标孔位对应的钻铆准备动作。该钻铆准备动作包括机器人压脚放置于待钻铆部件之上、控制刀具进给、进钉等。
33.在机器人移动至目标孔位后，可以继续控制其进行钻铆准备动作。通过获取机器人的状态信息，可以确定机器人是否已准备好执行钻铆流程。可选地，上述状态信息可以包括：压脚状态、刀具进给状态、钻铆单元送钉状态等。
34.s208，若满足目标孔位的钻铆条件，则获取以及显示力传感铆枪的压力信息。
35.若不满足目标孔位的钻铆条件，则继续等待，直到满足该条件。在已满足上述钻铆条件后，钻铆工人可以通过ar设备获知该结果，从而将力传感铆枪顶紧该目标孔位所在位置。通过获取力传感铆枪的压力信息，可以确定力传感铆枪是否已抵接至待钻铆部件以及是否施加了合适的压力。上述压力信息为力传感铆枪与目标孔位所在位置之间的抵接压力。
36.需要说明的是，可以实时获取以及显示上述力传感铆枪的压力信息，从而提示钻铆工人正在施加的压紧力的大小，利于对力度进行精细控制。现有技术中，铆接并没有准确的力度控制，而从理论上来讲，力度对铆接质量有影响，因此本实施例中提出了具有力度测量功能的力传感铆枪，增加了钻铆过程中对力度信息的采集，不但能够对力度进行精细控制，还能够方便进行相关的实验和测试。
37.基于上述实验及测试的目的，还可以包括以下步骤：获取以及存储目标孔位的钻铆各个过程中力传感铆枪的压力信息。钻铆的各个过程可以包括：钻铆预备阶段、钻铆过程
阶段、钻铆完成阶段，从而可以对各阶段的力度分别进行测量及存储，进而分别进行研究。
38.s210，若压力信息满足目标孔位的钻铆条件，则控制机器人启动钻铆作业。
39.钻铆工人可以通过ar设备控制机器人启动钻铆作业。在本实施例中钻铆工人可以通过ar设备控制机器人的行为，基于ar设备与机器人之间的无线连接方式，钻铆工人无需移动站立位置就可以完成与机器人的交互。
40.本发明实施例提供的面向人机协作钻铆引导的虚实融合显示方法，采用虚实融合显示的方式对人机协作钻铆进行引导，包括ar信息显示、力度显示、机器人控制等功能的融合，通过ar信息显示可以免去工人查阅、记忆各类信息的时间精力，通过力度显示有利于准确的力度控制，通过ar设备控制机器人可以减少工人移动等操作，从而提高了工作效率。
41.进一步，上述钻铆信息还包括工艺信息，该工艺信息可以包括：孔径、铆接方法、铆钉类型、力度等信息。参见图3所示的ar设备显示的虚拟孔位及提示信息示意图，示出了上侧的配准标识、下侧的多个孔位(序号1-8)，以及序号5的孔位的工艺信息如下：“孔径：10mm、铆接方法：压铆、铆钉类型：平头铆钉、力度：80n”。在图3中还示出了压力信息，以压力显示条为例，显示条阴影长度表示当前施加的压力大小。在图3中最大显示条对应于200n，当前施加压力对应于约70n。
42.以下实施例以采用ar头盔对飞机壁板进行钻铆的工作场景为例进行说明。
43.示例性地，ar头盔使用微软的hololens 2，所有显示的ar信息通过unity开发后发布到头盔上运行。虚实配准通过导入vuforia软件开发工具包来实现。配准的方式有两种：一种是对飞机壁板模型进行建模，然后用model target的方式进行配准跟踪，另一种是在壁板上贴标识，然后用image target的方式配准跟踪。两种方式的核心都是计算跟踪物体的特征点来匹配。
44.当工人开始工作时，ar头盔会首先与飞机壁板配准，然后显示一个跟随视野移动的操作面板。基于此，上述方法还可以包括以下步骤：显示跟随视野移动的虚拟操作面板。上述虚拟操作面板可以包括以下功能开关：显示工艺信息开关、配准跟踪开关、机器人控制功能按钮、选择下一个孔位功能按钮等。
45.参见图4所示的操作面板示意图，在该操作面板中包括显示工艺信息开关、帮助开关、配准跟踪开关、机器人控制功能按钮(启动、完成)、选择下一个孔位功能按钮等。通过上述操作面板可以检查配准效果、选择下一个钻孔孔位、选择是否显示工艺信息等。当引导系统开始工作时，工人可以手动选择孔位进行钻铆，确定钻铆位置后，引导系统会根据预设的引导流程对工人进行引导完成钻孔和铆接的操作。
46.其中，引导系统整合了工人钻铆过程中所需要的所有信息，包括钻铆位置、力度、机器人的状态信息等。引导系统可以通过预设通信协议(例如opc ua)与机器人和钻铆单元进行通信，获取到机器人压脚状态、刀具进给状态、钻铆单元送钉状态等状态信息，并结合这些信息在ar头盔中提示工人钻孔和铆接的位置、力度等加工参数，工人则结合力传感器读数(显示在ar头盔中)和孔位的ar影像进行作业。这种人机交互算法和虚实融合显示方法大大方便了钻铆工人的工作。
47.参见图5所示单孔位引导流程的示意图，该引导流程可以包括以下步骤：
48.s501，确定待作业孔位序号，以及ar显示孔位位置。
49.s502，采集机器人压脚状态、刀具进给状态。在本实施例中以钻铆工艺为例进行说
明，包括钻孔及铆接步骤。
50.s503，判定是否满足钻孔启动条件。若是，则执行s504；若否，则等待后继续执行s502。
51.s504，工人持力传感铆枪顶紧。
52.s505，采集以及显示力传感铆枪的力传感器读数。在工人持力传感铆枪顶紧的过程中以及后续的持力传感铆枪铆接的过程中，均实时对力传感铆枪与飞机壁板之间的压力进行采集，并显示在ar头盔中。上述压力数据可以存储至ar头盔或上位机，供实验或测试使用。
53.s506，确认钻孔完毕。
54.s507，采集机器人压脚状态、钻铆单元送钉状态。
55.s508，判定是否满足铆接启动条件。若是，则执行s509；若否，则等待后继续执行s507。
56.s509，工人持力传感铆枪铆接。
57.s510，确认铆接完毕。
58.s511，自定义/算法指定下一个孔位序号。
59.为了能够方便工人一边铆接一边得知自己铆接的力度，本实施例在原始的铆枪上新设计了可拆装的机械结构，该机械结构内部装有环形力传感器，通过卡扣的不同卡紧位置，可以选择测量和铆接模式。力传感器会实时将采集的信息传到上位机，并且在ar头盔中显示出来，该钻铆力度数据既可以方便工人实时调整力度，也可以进行加工过程中的数据采集，作为其它研究工作的数据。
60.相比于现有技术，本实施例中采用ar显示的方法能够免去工人查阅和记忆钻铆顺序、力度等的时间，同时能够减少工人的学习时间，提高工作效率；现有技术中，铆接并没有准确的力度控制，而从理论上来讲，力度对铆接质量有影响，因此设计了新的力觉测量铆枪，增加了对力度信息的采集，这样能够方便进行相关的实验和测试；ar头盔的控制面板能够控制机器人的行为，这使得工作方式简单了很多，工人在原地就可以完成与机器人的交互。
61.本发明实施例还提供了一种面向人机协作钻铆的虚实融合工艺引导系统，用于执行上述面向人机协作钻铆的虚实融合工艺引导方法。
62.本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程度来指令控制装置来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程，其中所述的存储介质可为存储器、磁盘、光盘等。
63.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
64.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
65.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。