一种具备接近觉和触觉感知的多模态传感器及系统

本发明涉及机器人，特别是涉及一种具备接近觉和触觉感知的多模态传感器及系统。

背景技术：

1、类似于皮肤上的机械感受器，触觉传感器将各种环境刺激转换为数字信号，并已部署在各种智能机器人、人机界面和虚拟/增强现实中。然而，这些触觉传感器仅在物理接触时起作用，无法对非接触或者接近刺激做出反应。对于下一代人机交互，接触前的近场感知可以提供关于物体的重要信息，例如方向、距离和运动信息。完整的传感过程涉及接近觉和触觉传感，这将统一接近和接触传感范式，为进一步的运动规划和智能决策提供重要支持。

2、以前的研究已经做出了许多努力来开发基于各种策略的双模态传感器，例如磁场、电容效应、摩擦电效应或它们的组合。尽管这些策略取得了重大进展，但它们也存在一些局限性。例如，基于磁场和电容效应的方法具有良好的响应速度和高适应性。它们可以通过检测极性相反的信号更容易地区分触觉和接近觉刺激，但会受到周围物体和变化的磁场条件等环境干扰的影响。基于摩擦起电和静电感应耦合的摩擦纳米发电机在应力传感和非接触传感方面取得了重大进展。然而，由于电信号变化的趋势相同，仅依靠摩擦电信号很难准确区分触觉和接近式刺激。此外，一些研究使用摩擦纳米发电机和电阻传感的组合来分别实现接近觉和触觉传感。尽管这些研究取得了重大进展，但获得丰富的触觉感知和多维非接触信息仍是一个相当大的挑战。

技术实现思路

1、本发明的目的在于解决已有传感器很难准确区分触觉和接近式刺激的技术问题，提出一种具备接近觉和触觉感知的多模态传感器及系统。

2、本发明的技术问题通过以下的技术方案予以解决：

3、一种具备接近觉和触觉感知的多模态传感器，包括摄像头、透明基底、照明模块、支撑框架、摩擦层和电极层，所述摄像头、所述透明基底和所述照明模块设置在所述支撑框架上，所述透明基底具有标记图形，所述摄像头用于捕捉所述标记图形的变化信息，所述照明模块用于为所述摄像头提供照明，所述电极层设置在所述透明基底上，所述摩擦层设置在所述电极层上，其中所述透明基底、所述摩擦层和所述电极层为柔性材料，物体接近所述电极层或与所述摩擦层接触而带来电势变化或电子转移，由所述电极层产生电信号输出。

4、在一些实施例中，所述透明基底和所述摩擦层的材料为硅胶类或橡胶类或聚氨酯类材料；优选地，所述透明基底的材料为聚二甲基硅氧烷pdms和透明硅胶的混合物；优选地，所述摩擦层的材料为pdms。

5、在一些实施例中，所述支撑框架具有框架底部和框架外围，所述摄像头设置在所述框架底部上，位于所述框架外围内，所述框架外围形成开口部，所述透明基底、所述摩擦层和所述电极层设置在所述开口部上。

6、在一些实施例中，所述照明模块环绕所述透明基底设置在所述框架外围上。

7、在一些实施例中，还包括设置在所述开口部上的透明支撑板，所述透明基底设置在所述透明支撑板上。

8、在一些实施例中，所述标记图形为标记点阵列。

9、在一些实施例中，所述摩擦层和电极层构建为阵列化摩擦纳米发电机。

10、在一些实施例中，所述电极层包括由液态金属形成的电极和覆盖在液态金属之间的区域的硅胶。

11、本发明还提出了一种具备接近觉和触觉感知的多模态传感系统，包括处理器和如上述的多模态传感器，所述处理器将所述电极层输出的电信号数据和所述摄像头捕捉的图像数据进行融合处理，实现接近觉和触觉的多模态感知与分辨。

12、在一些实施例中，所述处理器基于卷积神经网络进行所述融合处理，所述卷积神经网络包括两个卷积网络通道，所述图像数据和所述电信号数据分别由一个卷积网络通道进行两个卷积层和池化层的处理，所述两个卷积网络通道的输出经过融合层进行拼接，然后通过全连接层进行进一步的特征融合，最终通过多分类任务得到预测的结果。

13、本发明与现有技术对比的有益效果包括：

14、本发明提出的具备接近觉和触觉感知的多模态传感器及系统，结合了摩擦电传感和视觉触觉传感技术，实现了对接触和非接触刺激的有效识别和感知。通过这种协同作用，可以实现精确的非接触式交互和触觉感知。

15、多模态传感器的表面采用柔性材料制成，整体具有较小的体积和紧凑型，可以在各种复杂环境中实现灵活操作。

16、此外，在一些实施例中，还具有如下有益效果：

17、透明基底由具有良好光学透明性和柔韧性的材料制成，例如硅胶、聚氨酯等。良好光学透明性可以允许光线透过在透明基底内部发生折射等；较好的柔韧性，可以使透明基底适应复杂的曲面形状；具有耐磨性和耐腐蚀性，可以使透明基底保证长期使用的可靠性。

18、结合接近交互和多功能触觉感知，将帮助机器人进行物体识别和人机交互，扩大了在智能物流，智慧工厂等领域的应用。

19、本发明实施例中的其他有益效果将在下文中进一步述及。

技术特征：

1.一种具备接近觉和触觉感知的多模态传感器，其特征在于，包括摄像头、透明基底、照明模块、支撑框架、摩擦层和电极层，所述摄像头、所述透明基底和所述照明模块设置在所述支撑框架上，所述透明基底具有标记图形，所述摄像头用于捕捉所述标记图形的变化信息，所述照明模块用于为所述摄像头提供照明，所述电极层设置在所述透明基底上，所述摩擦层设置在所述电极层上，其中所述透明基底、所述摩擦层和所述电极层为柔性材料，物体接近所述电极层或与所述摩擦层接触而带来电势变化或电子转移，由所述电极层产生电信号输出。

2.如权利要求1所述的多模态传感器，其特征在于，所述透明基底和所述摩擦层的材料为硅胶类或橡胶类或聚氨酯类材料；优选地，所述透明基底的材料为聚二甲基硅氧烷pdms和透明硅胶的混合物；优选地，所述摩擦层的材料为pdms。

3.如权利要求1或2所述的多模态传感器，其特征在于，所述支撑框架具有框架底部和框架外围，所述摄像头设置在所述框架底部上，位于所述框架外围内，所述框架外围形成开口部，所述透明基底、所述摩擦层和所述电极层设置在所述开口部上。

4.如权利要求3所述的多模态传感器，其特征在于，所述照明模块环绕所述透明基底设置在所述框架外围上。

5.如权利要求3所述的多模态传感器，其特征在于，还包括设置在所述开口部上的透明支撑板，所述透明基底设置在所述透明支撑板上。

6.如权利要求1至5任一项所述的多模态传感器，其特征在于，所述标记图形为标记点阵列。

7.如权利要求1至6任一项所述的多模态传感器，其特征在于，所述摩擦层和电极层构建为阵列化摩擦纳米发电机。

8.如权利要求1至7任一项所述的多模态传感器，其特征在于，所述电极层包括由液态金属形成的电极和覆盖在液态金属之间的区域的硅胶。

9.一种具备接近觉和触觉感知的多模态传感系统，其特征在于，包括处理器和如权利要求1至8任一项所述的多模态传感器，所述处理器将所述电极层输出的电信号数据和所述摄像头捕捉的图像数据进行融合处理，实现接近觉和触觉的多模态感知与分辨。

10.如权利要求9所述的多模态传感系统，其特征在于，所述处理器基于卷积神经网络进行所述融合处理，所述卷积神经网络包括两个卷积网络通道，所述图像数据和所述电信号数据分别由一个卷积网络通道进行两个卷积层和池化层的处理，所述两个卷积网络通道的输出经过融合层进行拼接，然后通过全连接层进行进一步的特征融合，最终通过多分类任务得到预测的结果。

技术总结
本发明公开了一种具备接近觉和触觉感知的多模态传感器及系统，其中具备接近觉和触觉感知的多模态传感器包括摄像头、透明基底、照明模块、支撑框架、摩擦层和电极层，摄像头、透明基底和照明模块设置在支撑框架上，透明基底具有标记图形，摄像头用于捕捉标记图形的变化信息，照明模块用于为摄像头提供照明，电极层设置在透明基底上，摩擦层设置在电极层上，其中透明基底、摩擦层和电极层为柔性材料，物体接近电极层或与摩擦层接触而带来电势变化或电子转移，由电极层产生电信号输出。本发明结合摩擦电传感和视觉触觉传感技术，实现了对接触和非接触刺激的有效识别和感知，通过这种协同作用，可以实现精确的非接触式交互和触觉感知。

技术研发人员：丁文伯,穆世龙,李寿杰,赵洪发,宋子午,王子涵,陈鑫磊,黄绍伦
受保护的技术使用者：清华大学深圳国际研究生院
技术研发日：
技术公布日：2024/1/15