一种机器人的远程控制方法及装置与流程

1.本发明主要涉及机器人控制领域，尤其涉及一种机器人的远程控制方法及装置。


背景技术：

2.机器人是能够自动执行工作的机器装置，可以不同程度地代替人工执行部分工作，显著提高工作效率，广泛应用于各个领域。例如，在工业领域中，机器人可以实现生产过程的自动化，提高生产效率。在医疗领域中，机器人可以辅助检测和操作，可以降低医疗工作者的劳动强度。
3.然而，用户在现场操作机器人时，机器人在异常状态下可能对现场用户造成伤害，错误的操作也会导致机器人撞到物体或操作者。在医疗场景下，用户现场操作机器人甚至会造成医疗工作者和患者之间的交叉感染。
4.一些厂商开发了远程控制机器人，用户和机器人处在不同的环境中，可以实现用户在远程对机器人进行控制，可以防止现场环境对操作者造成的伤害，避免医疗工作者和患者之间的交叉感染。然而，机器人传回的图像清晰度不高或者成像具有局限性，用户无法了解机器人现场的全局情况，导致用户的操作效率不高，甚至有可能做出错误的操作。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种机器人的远程控制方法及装置，以提高机器人远程控制的效率和准确性。
6.为实现上述目的，本发明提出了一种机器人的远程控制方法，包括：通过本地端的3d摄像头采集本地环境的实时图像数据，所述本地环境包括机器人和所述机器人的操作对象；在远程端根据所述实时图像数据建立所述本地环境的实时数字双胞胎模型，并在所述远程端显示所述数字双胞胎模型；接收用户根据所述数字双胞胎模型输入的机器人的空间信息；基于所述空间信息确定用于控制机器人运动的运动控制命令，并根据所述运动控制命令控制所述机器人运动。
7.为此，在远程端建立本地端的数字双胞胎模型，数字双胞胎模型是对本地环境的实时映射，不仅可以给用户提供实时的本地环境的状态，还可以提供更多的现场细节，用户可以更全面地了解本地环境的实时状态，从而作出更加准确的决策，进而提高了机器人远程控制的效率和准确性。
8.在本发明的一实施例中，所述用户通过手柄输入所述机器人的空间信息，所述方法还包括：获取在机器人执行所述运动控制命令的过程中所采集的、机器人的末端执行器与所述操作对象之间的接触力和/或接触力矩；基于所述接触力和/或接触力矩对所述手柄施加回复力和/或回复力矩。
9.为此，通过对手柄施加回复力和/或回复力矩，用户可以直观感觉到末端执行器与操作对象之间的接触状况。
10.在本发明的一实施例中，获取在机器人执行所述运动控制命令的过程中所采集
的、机器人的末端执行器与所述操作对象之间的接触力和/或接触力矩之后，对所述接触力和/或接触力矩进行重力偏差补偿。
11.为此，可以消除接触力和/或接触力矩的重力偏差，提高力反馈的准确性。
12.在本发明的一实施例中，在远程端根据所述实时图像数据建立所述本地环境的实时数字双胞胎模型，并在所述远程端显示所述数字双胞胎模型包括：根据所述末端执行器的运动轨迹，预判所述末端执行器与所述操作对象的接触区域，并将所述接触区域标记在所述数字双胞胎模型中。
13.为此，可以预判末端执行器和操作对象的接触区域，避免末端执行器对操作对象的误触，提高了远程控制的准确性。
14.在本发明的一实施例中，所述机器人的末端执行器夹持超声探头，所述远程环境还包括超声成像仪，所述方法还包括：在所述超声成像仪根据所述超声探头采集的数据生成超声图像，在远程端根据所述超声图像和所述实时图像数据建立所述本地环境的实时数字双胞胎模型。
15.为此，可以实现超声机器人的远程控制，并提高远程控制的准确性和效率。
16.本发明还提出了一种机器人的远程控制装置，包括：采集模块，通过本地端的3d摄像头采集本地环境的实时图像数据，所述本地环境包括机器人和所述机器人的操作对象；建模模块，在远程端根据所述实时图像数据建立所述本地环境的实时数字双胞胎模型，并在所述远程端显示所述数字双胞胎模型；接收模块，接收用户根据所述数字双胞胎模型输入的机器人的空间信息；控制模块，基于所述空间信息确定用于控制机器人运动的运动控制命令，并根据所述运动控制命令控制所述机器人运动。
17.在本发明的一实施例中，所述用户通过手柄输入所述机器人的空间信息，所述装置还包括回复模块，所述回复模块获取在机器人执行所述运动控制命令的过程中所采集的、机器人的末端执行器与所述操作对象之间的接触力和/或接触力矩；基于所述接触力和/或接触力矩对所述手柄施加回复力和/或回复力矩。
18.在本发明的一实施例中，所述回复模块获取在机器人执行所述运动控制命令的过程中所采集的、机器人的末端执行器与所述操作对象之间的接触力和/或接触力矩之后，对所述接触力和/或接触力矩进行重力偏差补偿。
19.在本发明的一实施例中，所述建模模块包括：根据所述末端执行器的运动轨迹，预判所述末端执行器与所述操作对象的接触区域，并将所述接触区域标记在所述数字双胞胎模型中。
20.在本发明的一实施例中，所述机器人的末端执行器夹持超声探头，所述远程环境还包括超声成像仪，所述装置还包括：在所述超声成像仪根据所述超声探头采集的数据生成超声图像，在远程端根据所述超声图像和所述实时图像数据建立所述本地环境的实时数字双胞胎模型。
21.本发明还提出了一种电子装置，包括处理器、存储器和存储在所述存储器中的指令，其中所述指令被所述处理器执行时实现如上所述的方法。
22.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被运行时执行如上所述的方法。
附图说明
23.以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。其中，
24.图1是根据本发明的一实施例的一种机器人的远程控制方法的流程图；
25.图2是根据本发明的一实施例的一种机器人的远程控制装置的结构框图；
26.图3是根据本发明的一实施例的一种机器人的控制流程图；
27.图4是根据本发明的一实施例的一种机器人的远程控制的框图；
28.图5是根据本发明的一实施例的一种机器人的远程控制的示意图；
29.图6是根据本发明的一实施例的一种电子装置的框图。
30.附图标记说明
31.100 机器人的远程控制方法
32.101-104 步骤
33.200 机器人的远程控制装置
34.201 采集模块
35.202 建模模块
36.203 接收模块
37.204 控制模块
38.205 回复模块
39.301 运算器
40.302 pid调解模块
41.303 运动学转换模块
42.304 位置和姿态调节模块
43.305 力与力矩传感器
44.400 机器人控制系统
45.410 远程端
46.411 第一无线传输模块
47.412 第一处理器
48.413 显示器
49.414 手柄组件
50.420 本地端
51.421 第二无线传输模块
52.422 3d摄像头
53.423 机器人
54.4231 力与力矩传感器
55.4232 末端执行器
56.4233 第二处理器
57.424 成像仪
58.600 电子装置
59.601 存储器
60.602 处理器
具体实施方式
61.为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
62.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
63.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
64.图1是根据本发明的一实施例的一种机器人的远程控制方法100的流程图。机器人可以是工业机器人，也可以是医用机器人，也可以是其它应用场景的机器人。为了简化说明，本发明的实施例以工业机器人和医用机器人作为示例。在本发明的实施例中，远程指的是机器人和用户处于不同的环境中，其中机器人所处的环境称之为本地端，用户所处的环境称之为远程端。远程端和本地端之间具有物理隔离，远程端和本地端之间的距离不作限定。如图1所示，该方法包括：
65.步骤101，通过本地端的3d摄像头采集本地环境的实时图像数据，本地环境包括机器人和机器人的操作对象。
66.本地端设置有3d摄像头，3d摄像头可以是单个3d摄像头，也可以是3d摄像头阵列。可以理解，单个3d摄像头可以移动或者旋转，以获取3d图像。3d摄像头可以以固定采样率采集实时图像数据。3d摄像头可以采集本地环境中机器人和机器人的操作对象的实时图像数据。在一些实施例中，3d摄像头采集本地环境中工业机器人以及生产线的实时图像数据。在另一些实施例中，3d摄像头采集本地环境中医用机器人以及患者的实时图像数据。
67.步骤102，在远程端根据实时图像数据建立本地环境的实时数字双胞胎模型，并在远程端显示数字双胞胎模型。
68.采集到的本地环境的实时图像数据被传输到远程端，远程端的模型生成器根据实时图像数据建立本地环境的实时数字双胞胎模型。数字双胞胎模型是对本地环境的实时映射，可以对本地环境进行实时动态仿真，使得本地环境可以与数字双胞胎模型实现动作同步化，即本地环境中的机器人或操作对象发生变化时，远程端的数字双胞胎模型也会相应地发生变化。
69.例如，在工业机器人中，机器人的末端执行器相对于生产线上的产品移动时，远程端中的数字双胞胎模型中的机器人的末端执行器也会实时地相对于生产线上的产品移动。又例如，在医用机器人中，机器人的末端执行器相对于患者移动时，远程端中的数字双胞胎模型中的机器人的末端执行器也会实时地相对于患者移动。
70.在建立实时环境的数字双胞胎模型之后，在远程端显示数字双胞胎模型，用户可以根据数字双胞胎模型了解机器人和操作对象的实时状态，进而可以根据双胞胎模型做进一步的输入。
71.步骤103，接收用户根据数字双胞胎模型输入的机器人的空间信息。
72.用户在浏览数字双胞胎模型之后，输入机器人的空间信息，此步骤接收用户根据
数字双胞胎模型输入的机器人的空间信息。数字双胞胎模型是对本地环境的实时映射，不仅可以给用户提供实时的本地环境的状态，还可以提供更多的现场细节，用户可以更全面地了解本地环境的实时状态，从而作出更加准确的决策，进而提高了机器人远程控制的效率和准确性。
73.机器人的空间信息可以包括机器人的位置信息和姿态信息。
74.在一个实施方式中，基于与手柄耦合的力与力矩传感器采集用户操作手柄的力和/或力矩。将用户操作手柄的力转换为机器人的位置信息。将用户操作手柄的力矩转换为机器人的姿态信息。具体地，力与力矩传感器分别采集到用户操作手柄的力和/或力矩，其中力被转换为笛卡尔坐标系中反映机器人末端法兰部分位置的位置信息，力矩被转换为笛卡尔坐标系中反映机器人末端法兰部分姿态的姿态信息。其中，力与力矩传感器与手柄的耦合方式包括：力与力矩传感器内置在手柄中，或者力与力矩传感器安装在手柄上。
75.步骤104，基于空间信息确定用于控制机器人运动的运动控制命令，并根据运动控制命令控制机器人运动。
76.在这里，基于正交逆解算法将空间信息转换为机器人的关节坐标系信息。基于机器人的关节坐标系信息确定运动控制命令。其中，运动控制命令包括施加给机器人各关节电机的驱动定量，或者施加给末端执行器的驱动定量。比如，以工业六轴机器人为例，在基于步骤103确定机器人目标位置的空间信息后，将空间信息转换为机器人的关节坐标系信息，然后向每个关节的电机分别输送基于关节坐标系信息确定的驱动定量以控制将机器人移动到目标位置。
77.在一些实施例中，用户通过手柄输入机器人的空间信息，方法还可以包括：
78.获取在机器人执行运动控制命令的过程中所采集的、机器人的末端执行器与操作对象之间的接触力和/或接触力矩；基于所述接触力和/或接触力矩对所述手柄施加回复力和/或回复力矩。
79.末端执行器指的是任何一个连接在机器人边缘(关节)具有一定功能的工具。这可能包含机器人抓手，机器人工具快换装置、机器人碰撞传感器、机器人旋转连接器、机器人压力工具、顺从装置、机器人喷涂枪、机器人毛刺清理工具、机器人弧焊焊枪、机器人电焊焊枪等等。机器人末端执行器通常被认为是机器人的外围设备，机器人的附件，机器人工具，手臂末端工具。工业机器人中所应用的机械夹持式末端执行器多为双指头爪式，如果按手指的运动来分可以分为平移型和回转型。若按照机械夹持方式来分可以分为外夹式和内撑式，若按照机械结构特性来进行分类的话，可以分为电动(电磁)式、液压式与气动式，以及它们相互的组合。
80.在这里，在末端执行器处布置有力与力矩传感器。在机器人执行运动控制命令的过程中，力与力矩传感器采集机器人的末端执行器与操作对象之间的接触力和/或接触力矩。
81.基于接触力和/或接触力矩对手柄施加回复力和/或回复力矩。在这里，接触力与回复力的转换关系，可以为预定的线性或非线性转换关系。类似的，接触力矩与回复力矩的转换关系，也可以为预定的线性或非线性转换关系。优选地，基于与手柄耦合的力与力矩传感器采集的用户操作手柄的力和/或力矩与接触力和/或接触力矩之间的插值，确定回复力和/或回复力矩。比如，首先确定与手柄耦合的力与力矩传感器采集的用户操作手柄的力，
然后计算用户操作手柄的力与接触力的差值，再基于该差值确定回复力，比如将差值与预定系数的乘积确定为回复力。再比如，首先确定与手柄耦合的力与力矩传感器采集的用户操作手柄的力矩，然后计算用户操作手柄的力矩与接触力矩的差值，再基于该差值确定回复力矩，比如将差值与预定系数的乘积确定为回复力矩。
82.然后，通过电机等执行结构向手柄施加回复力和/或回复力矩，从而用户可以直观感受到末端执行器与操作对象之间的接触力和/或接触力矩，其中回复力的方向与用户操作手柄的力的方向相反，回复力矩的方向与用户操作手柄的力矩的方向相反。
83.在一些实施例中，获取在机器人执行运动控制命令的过程中所采集的、机器人的末端执行器与操作对象之间的接触力和/或接触力矩之后，对接触力和/或接触力矩进行重力偏差补偿。为此，可以消除接触力和/或接触力矩的重力偏差，提高力反馈的准确性。
84.在一些实施例中，在远程端根据所述实时图像数据建立所述本地环境的实时数字双胞胎模型，并在所述远程端显示所述数字双胞胎模型包括：根据所述末端执行器的运动轨迹，预判所述末端执行器与所述操作对象的接触区域，并将所述接触区域标记在所述数字双胞胎模型中。为此，可以预判末端执行器和操作对象的接触区域，避免末端执行器对操作对象的误触，提高了远程控制的准确性。
85.在一些实施例中，机器人的末端执行器夹持超声探头，远程环境还包括超声成像仪，该方法还包括：在超声成像仪根据超声探头采集的数据生成超声图像，在远程端根据超声图像和实时图像数据建立本地环境的实时数字双胞胎模型。为此，可以实现超声机器人的远程控制，并提高远程控制的准确性和效率。
86.图2是根据本发明的一实施例的一种机器人的远程控制装置200的结构框图。
87.一种机器人的远程控制装置200，包括：
88.采集模块201，通过本地端的3d摄像头采集本地环境的实时图像数据，本地环境包括机器人和机器人的操作对象。
89.建模模块202，在远程端根据实时图像数据建立本地环境的实时数字双胞胎模型，并在远程端显示数字双胞胎模型。
90.接收模块203，接收用户根据数字双胞胎模型输入的机器人的空间信息。
91.控制模块204，基于空间信息确定用于控制机器人运动的运动控制命令，并根据运动控制命令控制机器人运动。
92.在一些实施例中，用户通过手柄输入机器人的空间信息，装置还包括回复模块205，回复模块205获取在机器人执行运动控制命令的过程中所采集的、机器人的末端执行器与操作对象之间的接触力和/或接触力矩。基于接触力和/或接触力矩对手柄施加回复力和/或回复力矩。
93.在一些实施例中，回复模块205获取在机器人执行运动控制命令的过程中所采集的、机器人的末端执行器与操作对象之间的接触力和/或接触力矩之后，对接触力和/或接触力矩进行重力偏差补偿。
94.在一些实施例中，建模模块202包括：根据末端执行器的运动轨迹，预判末端执行器与操作对象的接触区域，并将接触区域标记在数字双胞胎模型中。
95.在一些实施例中，机器人的末端执行器夹持超声探头，远程环境还包括超声成像仪，该装置还包括：在超声成像仪根据超声探头采集的数据生成超声图像，在远程端根据超
声图像和实时图像数据建立本地环境的实时数字双胞胎模型。
96.在本发明实施方式中，可以基于用户操作手柄的力和/或力矩实现控制机器人。图3为本发明实施方式力与力矩的控制流程图。
97.图3是根据本发明的一实施例的一种机器人的控制流程图。
98.如图3所示，基于手柄输入的力与力矩确定出机器人的末端执行器与操作对象之间的接触力与接触力矩期望值(value1)被输入到运算器301。而且，布置在末端执行器的力与力矩传感器305采集得到末端执行器与操作对象之间的接触力和/或接触力矩的实际值(value2)被输入到运算器301。在运算器301中，计算期望值与实际值的差值，并将差值输入到pid调节模块302以执行pid调节。运动学转换模块303针对pid调节模块302输出的pid调节结果执行运动学转换(kinematics conversion)运算。位置和姿态调节模块304基于运动学转换模块303的运算结果调整机器人的位置和姿态，从而改变力与力矩传感器305所检测到的接触力和/或接触力矩。
99.图4是根据本发明的一实施例的一种机器人的远程控制的框图。图5是根据本发明的一实施例的一种机器人的远程控制的示意图。图4和图5示出了超声机器人的远程控制，其中的操作对象为患者，超声机器人的末端执行器夹持超声探头。
100.如图4和图5所示，远程端410包括：
101.第一无线传输模块411，用于基于与机器人423之间的无线通信连接向机器人423发送运动控制命令，以及基于无线通信连接从机器人423接收在机器人423执行运动控制命令的过程中所采集的、机器人的末端执行器4232与患者之间的接触力和/或接触力矩。
102.第一处理器412，内置有模型生成器，用于根据第一无线传输模块411接收的实时图像数据建立数字双胞胎模型。
103.显示器413，用于显示数字双胞胎模型。
104.手柄组件414，用于采集用户基于手柄输入的机器人的空间信息，基于空间信息确定用于控制机器人的运动控制命令，以及基于预先确定的映射关系，将接触力映射为回复力且将接触力矩映射为回复力矩，并向手柄输出回复力和回复力矩。
105.本地端420包括：
106.第二无线传输模块421，用于基于第一无线传输模块411之间的无线通信连接从手柄组件414接收运动控制命令，其中手柄组件包含手柄，运动控制命令基于机器人的空间信息确定的，该空间信息是手柄组件采集用户基于手柄的输入而获取的。
107.3d摄像头422，用于采集本地环境中机器人423和患者p的实时图像数据。
108.机器人423，包括力与力矩传感器4231，末端执行器4232和第二处理器4233。
109.力与力矩传感器4231，布置在机器人423的末端执行器4232中，用于采集机器人的末端执行器4232与患者之间的接触力和/或接触力矩。
110.第二处理器4233用于基于空间信息确定用于控制机器人运动的运动控制命令，还用于基于预先确定的映射关系，将接触力映射为回复力且将接触力矩映射为回复力矩。
111.末端执行器4232上夹持有超声探头，超声探头可以向患者发射超声波。
112.成像仪424，用于根据超声探头接收的回波生成超声图像。
113.在远程控制过程中，3d摄像头422采集机器人423和患者p的实时图像数据，通过第二无线传输模块421发送至远程端的第一无线传输模块411，第一处理器412中的模型生成
器根据实时图像数据建立数字双胞胎模型，显示器413显示该数字双胞胎模型，医务人员根据该数字双胞胎模型通过手柄组件414输入机器人的空间信息，该空间信息通过第一无线传输模块411发送至本地端的第二无线传输模块421，第二处理器4233基于空间信息确定用于控制机器人运动的运动控制命令，机器人423在运动控制命令的控制下运动。
114.至此，本发明的实施例提供一种机器人的远程控制方法及装置，在远程端建立本地端的数字双胞胎模型，数字双胞胎模型是对本地环境的实时映射，不仅可以给用户提供实时的本地环境的状态，还可以提供更多的现场细节，用户可以更全面地了解本地环境的实时状态，从而作出更加准确的决策，进而提高了机器人远程控制的效率和准确性。
115.图6为根据本发明实施方式的电子装置600的结构框图。
116.如图6所示，电子装置600包括处理器601和存储器602。
117.存储器602中存储有可被处理器601执行的应用程序，用于使得处理器601执行如图1所示的机器人的远程控制方法100。
118.其中，存储器602具体可以实施为电可擦可编程只读存储器(eeprom)、快闪存储器(flash memory)、可编程程序只读存储器(prom)等多种存储介质。处理器601可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为cpu或mcu。
119.需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
120.各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如fpga或asic)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
121.本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本文所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
122.用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
123.应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一
个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
124.以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围。任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所作的等同变化、修改与结合，均应属于本发明保护的范围。