基于手套的多模态数据采集系统的制作方法

本发明涉及人机交互，具体涉及基于手套的多模态数据采集系统。

背景技术：

1、触觉作为人类五感之一，在我们理解和适应物理环境或者虚拟环境的过程中起着不可替代的作用。随着计算机科技的迅速发展，vr/ar人机交互中视/听觉信息技术得以快速更新且趋于成熟，但触觉信息技术还存在较大挑战，触觉交互可以增进人机交互的自然性，使普通用户能按其熟悉的感觉技能进行人机通讯，且有研究指出，触觉反馈在与视觉信息一致的情况下，对提升用户操控水平和降低错误率有帮助。

2、自然人、机器人和数字人之间基于触觉信息的手部人机交互是指以机械手或人手为信息沟通起点，穿戴数据采集手套系统进行操作，实时获取手部姿态信息、压力信息、环境温湿度信息等，通过远程传输技术将信息发送至另外个体，也可用于第三方的触觉复现。现有技术中，多源异构数据信息的实时同步采集是触觉信息技术的难点。

3、目前作为关注度较高的产品化数据采集手套5dt data glove(www.5dt.com)采用了光纤技术集成了18个弯曲传感器专注于手部运动数据的测量。研究方面，feng wen(wenf,zhang z,he t,et al.ai enabled sign language recognition and vr spacebidirectional communication using triboelectric smart glove[j].2021.)等人使用生态挠性纤维和起皱丁腈组成摩擦起电层，以导电织物为电极，制备了一种柔性薄摩擦电传感器，能偶获得手部姿态信息。赵裕沛(赵裕沛,费飞,杨德华,陈超.面向手部康复应用的数据手套技术研究[j].仪器仪表学报,2017,38(10):2415-2421.)等人采用了9轴mems微惯性传感器，以11个传感器分布于不同关节以获取整只手的运动姿态。公开号为cn105446485a的中国专利文献公开了基于数据手套和位置跟踪仪的人手运动功能捕捉系统及方法。公开号为cn103955295a的中国专利文献公开了采用数据手套进行姿态获取并对虚拟手进行模拟抓取。

4、然而，人手作为与外界触觉环境进行交互的重要感知交互通道，除了运动姿态信息之外，还有温湿度，压力触感，和抓握时关节角度信息等都是十分关键的信息，同时采集以上多模态数据形式的手套，并对多通道多源异构数据进行采集分析的手套还十分少见。

技术实现思路

1、本发明提供了基于手套的多模态数据采集系统，实现了多通道多源异构数据的精确采集，包括指尖压力信息、环境温湿度信息、手掌姿态信息、手指关节运动数据，用于自然人、机器人和数字人之间基于触觉信息的手部人机交互，用于第三方的触觉复现。

2、具体采用的技术方案如下：

3、基于手套的多模态数据采集系统，包括采集电路模块，采集电路模块集成压力传感器、温湿度集成传感器、弯曲度传感器和姿态传感器分别用于多通道同步采集触觉信息；压力传感器和温湿度集成传感器均设置于手套指尖处，弯曲角度传感器设置于手套手指关节处，姿态传感器设置于手套手背部；

4、采集电路模块包括主控电路、稳压电路、压力采集电路、温湿度采集电路、手指弯曲度采集电路、选通放大电路、imu采集电路和蓝牙通讯电路；

5、主控电路通过adc通道读取压力采集电路中压力传感器采集的电信号，并计算得到压力数据；主控电路通过i2c通道读取温湿度采集电路中温湿度集成传感器采集的数据位输出信号，计算得到湿度数据和温度数据；主控电路通过i2c通道读取imu采集电路中的姿态传感器的测量值，得到手掌姿态数据；主控电路通过adc通道和选通放大电路以遍历式轮询形式读取手指弯曲度采集电路中弯曲角度传感器采集的电信号，计算得到手指关节运动数据；蓝牙通讯电路负责主控电路的主控制器与上位机之间的通信，完成多模态数据的采集。

6、优选的，基于手套的多模态数据采集系统包括五个压力传感器、一个温湿度集成传感器、十个弯曲度传感器和一个姿态传感器；压力传感器设置于手套指尖处，温湿度传感器设置于手套食指指尖处，弯曲角度传感器分别设置于手套近指骨间关节处与手套掌指关节处，姿态传感器设置于手套手背部靠近腕关节处。

7、优选的，主控电路的主控制器首先对实时接收的电信号进行滤波处理、移动平均处理后，再将其映射为传感器压力数值f；最后，对压力数值f[fmin，fmax]进行最大和最小压力值的数据样本过滤以及线性函数归一化处理(将f归一化为0-1的数值)得到压力数据；

8、优选的，主控电路的主控制器对实时接收的数据位输出信号进行滤波处理后，再进行转换处理，温湿度数据各占20位数据位，由温度和湿度的二进制数据值srh,st转换为十进制格式后通过公式转换为实际温湿度值；再对湿度值rh和温度值t进行加权平均平滑化处理，权数ω按照近大远小，即ωn-1<ωn<ωn+1来突出近期数据对温湿度测量的影响，提高传感器传输信号的准确性。

9、具体的，基于巴特沃斯滤波器模型进行滤波处理，基于巴特沃斯滤波器模型的传递函数为滤波频域为人体皮肤机械感受器敏感频域0.4-1000hz。

10、压力采集电路、温湿度采集电路信号采集电路在受到外界噪声干扰的情况下，易混入测量电路噪声、环境跳变性噪声等干扰，因此，本发明在主控电路的主控制器中加入了滤波算法，来有效抑制环境信号的干扰。

11、所述的手指关节运动数据包括掌指关节运动数据、近指骨间关节运动数据和远指骨间关节运动数据；优选的，所述的手指关节运动数据通过以下步骤得到：

12、主控电路的主控制器首先对实时接收的电信号进行数据样本过滤以及线性函数归一化处理(将v归一化为0-1的数值)，基于电信号与存储掌指关节角度的掌指关节运动数据r掌[r掌min,r掌max]、存储近指骨间关节角度的近指骨间关节运动数据r近[r近min,r近max]的映射关系获得归一化后电信号对应的掌指关节实时角度θ掌和近指骨间关节实时角度θ近，通过公式推演得到远指骨间关节实时角度θ远，对所有远指骨间关节实时角度汇总存储得到远指骨间关节运动数据r远[r远min,r远max]。

13、弯曲角度传感器采集的电信号由mosfet管、电阻和运算放大器进行信号放大，结合主控电路(1)的io通道进行导通控制，主控电路(1)通过以遍历式轮询形式读取每个弯曲角度传感器采集的电信号。

14、为了满足手套系统小型化、便利化的需求，应对弯曲度传感器数量多的问题，引入了选通放大电路，运用复合型双mosfet管的低阻抗导通特性，利用主控电路上丰富的普通io通道进行导通控制，以遍历式轮询形式采集每一个弯曲度传感器的数据，节省adc采集通道的数量，减少复杂放大电路的重复使用，提升电路集成度；同时在弯曲度传感器后续放大电路端加入可调电阻，匹配轮询采集方法，对每个弯曲度传感器配置独立放大倍数，以减少传感器个体差异对测量精度的影响。

15、所述的蓝牙通讯电路选择性地同步发送异构数据，包括压力数据、温度数据、湿度数据、手掌姿态数据和手指关节运动数据，延时小于5ms；通过主控制器将所有数据采集完成后，将数据转换为十六进制并重新编码，重新编码后的数据通过蓝牙模块传输至上位机系统，由上位机系统进行解密呈现，数据的标准格式为：数据帧头+数据标志位+压力数据+温湿度数据+中间位+姿态数据+关节弯曲数据+数据结束位+校验位；在pc端的上位机接收程序中，开启并初始化串口后等待数据接收，对传输的数据进行解码分析，判断获得的数据的准确性，通过gui工具以图标的形式实时显示手部触觉信息，或是使用unity 3d进行手部姿态的复现。

16、与现有技术相比，本发明的有益效果在于：

17、(1)本发明提出了多通道信号遍历采集方法和基于指尖压力预测远指骨间关节角度算法，选通放大电路匹配遍历式轮询采样方法，较好实现了多通道同步采集多源异构数据，减少了信号采集通道的数量，提高了软硬件的集成度。

18、(2)本发明的基于手套的多模态数据采集系统具有可靠性高、功耗低、续航时间长、体积小、重量轻、使用方便等技术优势，可以作为vr/ar的虚拟手交互设备、智能机器人的灵巧手操作设备、人手指康复设备。

19、附图说明

20、图1为基于手套的多模态数据采集系统的触觉数据采集框架图。

21、图2为手套的无线通讯构成图。

22、图3为基于手套的多模态数据采集系统的温湿度和压力采集结构图。

23、图4为基于手套的多模态数据采集系统的选通放大电路图。

24、图5为基于手套的多模态数据采集系统的imu采集电路图。

25、图6为基于手套的多模态数据采集系统的蓝牙通讯电路图。

26、图7为基于手套的多模态数据采集系统的主控电路图。

27、图8为手套的正面布局示意图。

28、图9为手套的背面布局示意图。