一种机器人体表人机交互时序触觉动作的边缘识别方法

本发明涉及机器人触觉感知领域，具体是一种机器人体表人机交互时序触觉动作的边缘识别方法。

背景技术：

1、随着人工智能和机器人技术的不断增长，以及机器人在日常生活、工业、医疗、服务等领域的应用不断增多，人们对机器人的智能化和自主决策能力提出了更高的要求，以满足在实际应用中人们对其灵活、安全和智能的需求。传统的工业机器人通常采用集中式计算架构，依靠精准的位置控制和视觉感知来完成各项任务。但在复杂、不确定的环境下，缺乏触觉感知往往会导致效率低下和存在安全隐患，并且随着工业机器人采集的信息种类越来越丰富、数据量不断增长和对数据实时处理需求的日益增强，集中式计算架构已经显现出数据传输延迟、带宽不足和数据传输安全等问题。为解决上述问题，边缘计算系统应运而生。基于机器人体表触觉感知的边缘侧计算系统已成为人工智能与机器人领域中一个值得探索的热门研究方向。

2、近些年来，各种先进的触觉传感器不断涌现，有以机械手指尖为载体的单点式指尖触觉传感器，也有以高分辨率动作识别的大面积阵列式触觉传感器，需要对采集的大量触觉信息进行实时且高效的处理和分析。但如何处理这些触觉信息使机器人拥有像人类一样基于皮肤的触觉感知能力以识别外界动作意图，这一技术难题有待解决。

3、现如今面对机器人体表边缘侧触觉感知的需求，市场上涌现出许多针对边缘计算平台的设备，包括边缘服务器、边缘嵌入式人工智能计算设备等，科研人员也提出了许多针对机器人触觉信息处理和决策的智能算法模型，以实现机器人在边缘侧触觉感知更加智能化。考虑到智能机器人未来分布式边缘侧智能化的发展趋势，当前的触觉感知与机器人动作识别系统针对动态的触觉动作提取静态关键帧进行数据分析与处理，难以应对机器人时序触觉动作变换的动态识别场景，例如，申请号为202011253508.4的文献公开了一种机器人触觉动作识别系统及识别方法，将算法嵌入到资源有限的微控制器中，对关键帧触觉信息进行识别。动态的触觉交互动作的识别受限于传统数据处理方式、单一信息、内存容量、识别技术等，难以实现针对动态时序动作识别及切换的实时识别。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种机器人体表人机交互时序触觉动作的边缘识别方法。

2、本发明解决所述技术问题的技术方案是，提供一种机器人体表人机交互时序触觉动作的边缘识别方法，其特征在于，该方法包括以下步骤：

3、步骤1、搭建边缘识别系统；

4、所述边缘识别系统包括阵列式柔性触觉传感器、边缘侧无线传输采集电路、嵌入式人工智能计算设备、上位机和多关节机械臂；

5、阵列式柔性触觉传感器穿戴在多关节机械臂上，用于感受接触动作；阵列式柔性触觉传感器的m行n列电极分别与边缘侧无线传输采集电路的行接口和列接口通讯连接；嵌入式人工智能计算设备与上位机通信连接；边缘侧无线传输采集电路与上位机双向通讯连接；边缘侧无线传输采集电路与嵌入式人工智能计算设备双向通讯连接；上位机与多关节机械臂通信连接；

6、步骤2、构建时序触觉动作数据集；

7、s2.1、动作设计者采用标准动作将2r种时序触觉动作向m个参与者演示并施加于阵列式柔性触觉传感器的h个规划位置上，h个规划位置涵盖阵列式柔性触觉传感器的所有范围；再令m个参与者分别将2r种时序触觉动作按照动作设计者演示的标准动作施加于阵列式柔性触觉传感器进行人机交互，m个参与者的左手和右手对每种时序触觉动作各重复n次；

8、s2.2、每个参与者施加一次时序触觉动作于阵列式柔性触觉传感器上，边缘侧无线传输采集电路按照设定的采样频率采集阵列式柔性触觉传感器经人机交互产生的时序触觉信息并量化处理，再上传至上位机中；上位机接收到一次量化后的时序触觉信息记为一个时序触觉动作的数据样本，最后得到p＝2r×(m+1)×n×h×2个数据样本；每个数据样本包含(z×m)×n个数据，分别对应在完成一次时序触觉动作的人机交互时间里，边缘侧无线传输采集电路采集并上传的z帧的阵列式柔性触觉传感器的m行n列电极的各个行列交点处产生的压力值数据；

9、s2.3、在保证时序触觉动作数据集内的每个数据集样本包含至少一个完整的时序触觉动作进行人机交互产生的时序触觉信息的前提下，根据所存储的数据样本中帧数z的大小，设定每个数据集样本包含(z×m)×n个数据，其中z＝zmax×q；z表示设定的完成任一时序触觉动作的数据帧数；zmax表示上位机接收的时序触觉动作的数据样本中上传的数据帧数的最大值；q表示裕量；然后再对步骤s2.2采集的所有数据样本进行数据预处理，得到时序触觉动作数据集；

10、所述数据预处理是：若z＜z，则对该数据样本末尾以十进制0进行数据补全操作；

11、步骤3、构建改进的轻量级mobilevit混合网络模型；

12、混合网络模型由预处理层、识别层和分类层组成；识别层由依次连接的x个倒残差模块和y个前置有倒残差模块的mobilevit block结构组成；

13、基于混合网络模型的数据处理过程是：一次人机交互产生的z帧时序触觉信息作为输入首先进入到预处理层中；在预处理层中进行线性映射，将z帧时序触觉信息映射为向量的形式，再按时序进行拼接实现向量矩阵化，最后将向量矩阵化后的特征矩阵输入至识别层中；

14、在识别层中，首先经过x个依次连接的倒残差模块；在每个倒残差模块中，首先通过升维，将输入至本倒残差模块的特征矩阵的通道数提高为t1倍，得到高和宽大小均不变、通道数加深的升维后的特征矩阵；再使用激活函数进行特征提取，学习升维后的特征矩阵的空间信息并在不同通道间进行信息融合，得到相较于输入至本倒残差模块的特征矩阵的高和宽均缩小为1/t2倍、通道数提高为t1倍的特征提取后的特征矩阵，其中t2为大于1的正整数；再进行降维，将特征提取后的特征矩阵的通道数降低为t3，其中t3与t1之间的大小关系无要求，得到相较于输入至本倒残差模块的特征矩阵的高和宽均缩小为1/t2、通道数为t1/t3的降维后的特征矩阵；然后判断是否满足t2＝1且t1/t3＝1；如果满足，则降维后的特征矩阵再与输入至本倒残差模块的特征矩阵通过捷径分支相加，得到与输入至本倒残差模块的特征矩阵大小相同的特征矩阵作为输出；如果不满足，则输出降维后的特征矩阵；

15、将经x个倒残差模块输出的特征矩阵输入至依次连接的y个前置有倒残差模块的mobilevit block结构中；在每个前置有倒残差模块的mobilevit block结构中，首先通过倒残差模块对输入至本前置有倒残差模块的mobilevit block结构的特征矩阵依次进行升维、特征提取和降维处理，再输入至mobilevit block结构中；在mobilevit block结构中，首先对输入至mobilevit block结构的特征矩阵按每列的序列信息进行拆分，使相同位置的信息做信息交互，再输入至transformer block中并行做全局表征，然后再折叠至与输入至mobilevit block结构的特征矩阵相同大小的特征矩阵，再与输入至mobilevit block结构的特征矩阵通过捷径分支在通道维度上按输入至mobilevit block结构的特征矩阵在前、经折叠后输出的特征矩阵在后的顺序进行拼接，得到2倍通道数的特征矩阵；2倍通道数的特征矩阵再使用卷积层进行特征融合，得到与输入至mobilevit block结构的特征矩阵大小相同的特征矩阵作为输出；

16、将识别层输出的特征矩阵输入至分类层中，首先进行全局池化操作，对特征矩阵每个通道上的特征值进行求平均操作，得到一个包含所有通道信息的向量作为全局池化的输出，再进行全连接操作，将全局池化得到的向量映射至预测类别的分类向量，输出分类向量中最大的数值所对应的结果；

17、步骤4、训练改进的轻量级mobilevit混合网络模型：在上位机内构建步骤3得到的改进的轻量级mobilevit混合网络模型，读取步骤2的时序触觉动作数据集并将其随机划分为训练集、验证集和测试集；将训练集中的每个数据集样本的z帧时序触觉信息输入至混合网络模型中进行训练，训练过程中，每个epoch得到一次混合网络模型的权重文件，从中选取验证集准确率最高的权重文件，完成训练，得到训练后的改进的轻量级mobilevit混合网络模型；

18、步骤5、时序触觉动作的识别：在嵌入式人工智能计算设备中部署训练后的改进的轻量级mobilevit混合网络模型并对其进行优化和加速，生成二进制文件；编写人机交互时序触觉动作的边缘识别程序，用边缘识别程序调用二进制文件实现训练后的混合网络模型的实例化，得到实例化的混合网络模型；然后参与者对搭载阵列式柔性触觉传感器的多关节机械臂的关节部位施加时序触觉动作，嵌入式人工智能计算设备进行推理识别过程，输出时序触觉动作的识别结果；

19、嵌入式人工智能计算设备的推理识别过程是：嵌入式人工智能计算设备对边缘侧无线传输采集电路上传的时序触觉信息的m行n列数据进行求和；若和小于预先设定的阈值，则接收下一帧时序触觉信息，并对下一帧时序触觉信息的m行n列数据进行求和，直至和大于等于预先设定的阈值；若和大于等于预先设定的阈值，则认为有时序触觉动作施加于阵列式柔性触觉传感器上，则从当前帧开始连续接收并按照时间先后存储z帧时序触觉信息于嵌入式人工智能计算设备中；当存储的数据量达到z帧时序触觉信息的数据量后，将z帧时序触觉信息输入至实例化的混合网络模型中进行与步骤3相同的数据处理过程，输出时序触觉动作的识别结果。

20、与现有技术相比，本发明有益效果在于：

21、(1)本发明搭建的改进的轻量级mobilevit混合网络模型以多帧的时序触觉信息序列作为输入，参照transformer模型的注意力机制对自然语言的处理方式，在空间维度上对输入的时序触觉信息进行逐帧空间信息提取、向量映射的操作，映射的向量在时间维度上按时序进行拼接实现向量矩阵化，再将矩阵化后得到的时序触觉信息的特征矩阵输入至识别层中，完成对触觉信息的空间-时间维度的数据处理与特征提取，最后通过分类层输出识别结果实现对时序触觉动作意图的识别。

22、(2)本发明的混合网络模型的识别层是以mobilevit block为核心，辅以倒残差模块增加网络的非线性能力，整体网络模型属于轻量型网络，能够在不损失识别准确率或者损失很小的情况下，满足其在计算复杂度及内存资源受限的边缘设备上高效运行并加速推理。

23、(3)本发明中使用的mobilevit block结构，充分考虑了触觉信息在时序上的动态变化，mobilevit block结构的核心是transformer block，在处理长序列数据时能很好地捕捉不同位置之间的依赖关系，配合由cnn模块组成的unfold和fold模块，使其具有空间归纳偏置能力，并且将能加速网络收敛的优点融入到mobilevit block结构中以解决transformer block存在的训练困难、迁移困难、调整困难的缺点，加快网络的推理和收敛速度，使得网络更加稳定高效。

24、(4)本发明使用的边缘识别系统灵活性高，设计出能够进行无线数据传输的边缘侧无线传输采集电路，有效避免了传统有线传输的布线约束问题，可以在更多环境中配置，通用性好，具备极高的应用和社会价值。

25、(5)本发明赋予了多关节机械臂边缘侧智能化，其识别算法部署在嵌入式人工智能计算设备中，从而减轻了上位机的运算负担，减少大量的触觉信息带来的计算资源占用和延迟，提高触觉感知的实时性，有效缓解了带宽不足和数据传输安全问题。