一种基于堆栈式自动编码的力触觉信息的生成方法

本发明属于触觉互联网，尤其涉及一种基于堆栈式自动编码的力触觉信息的生成方法。

背景技术：

1、随着触觉再现技术和互联网的发展，互联网用户对沉浸式远程操作和与物理世界进行交互的需求也越来越多。触觉互联网在双边远程操作和线上购物等中具有巨大的潜在应用，为了实现具有令人有沉浸感的触觉体验，触觉互联网产生了额外的需求，包括触觉数据的采集、压缩、传输、重建和显示。力触觉信号可以通过先进的表面触觉设备展示出物体的形状和纹理，这使得触觉互联网能够改善与真实或虚拟环境的交互沉浸感。本发明重点关注触觉互联网中的表面材质的触觉纹理特征获取，具体方式为从表面材质的视觉纹理图像中获取触觉纹理特征。

2、目前，触觉数据的获取方法主要可以分为以下三类：(1)基于外部装置的触觉数据获取，是通过笔式及其他形式的采集设备获取其与物体表面接触时的振动信号，加速度信号等，此过程需要使用专用的采集设备，且采集到的数据不适合用于裸指触觉再现；(2)裸指触觉数据获取，是通过测量设备采集裸指与物体表面交互时的力信号、加速度信号、位移等，该方法对不同受试者采集到的数据差异性较大，且需要专业的测量设备，成本高昂；(3)从图像信息中获取触觉数据，是通过机器学习、特征提取等方式从图像信息中获取触觉数据。但目前的表面材质力触觉信号的触觉数据特征的提取方法的维度较高，如果不经处理直接构建映射模型会带来参数量巨大、模型难以优化、运算时间长等问题。

技术实现思路

1、本发明的目的在于提供一种基于堆栈式自动编码的力触觉信息的生成方法，旨在解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于堆栈式自动编码的力触觉信息的生成方法，包括以下步骤：

4、步骤s1、利用深度卷积网络模型vgg16提取表面触觉图像的特征；

5、步骤s2、通过堆栈式自动编码器中的编码器进行表面材质触觉纹理信息的特征提取；应用矩形权重矩阵和偏置向量对原始触觉信息进行降维，得到触觉信息的特征；

6、步骤s3、在完成表面材质的触觉纹理和图像纹理特征提取后，通过一种轻量级的用于时序序列处理的机器学习方法，基于门控循环网络gru建立从视觉信息到触觉信息的跨模态转换模型；

7、步骤s4、通过一个解码器将表面材质的触觉纹理特征重构为表面材质的触觉纹理信息，应用矩形权重矩阵和偏置向量将特征重构，恢复到输入信号相同的维度，得到触觉信号的重构；

8、步骤s5、计算原始触觉信号与重构的触觉信号间的平均相对误差；对误差进行求导沿着导数下降的方向更新权重和偏置，从而确定编码器和解码器的参数；

9、步骤s6、最小化通过表面材质的视觉纹理特征映射得到的表面材质的触觉纹理特征和通过对表面材质的触觉纹理信号进行特征提取得到的触觉纹理特征之间的误差，从而确定门控循环网络的参数；

10、步骤s7、将训练好的模型保留；最后通过映射模型获取触觉纹理特征并通过解码器重构触觉纹理信号。

11、进一步的，所述步骤s1中，得到表面触觉图像的特征的具体途径为：

12、采用深度卷积模型vgg16提取表面触觉图像的特征，vgg16的卷积层中卷积核滑动扫过整个图像的数据矩阵，卷积核所带有的系数与其感受野内的数据计算hadamard积后形成新的隐藏层，在多次卷积后执行池化运算以缩减图像数据维度，将卷积网络最后一层的数据展开得到图像的特征矢量，然后将其与全联接层或softmax层相连以完成分类任务，通过分类的准确度来佐证特征提取方法的有效性。

13、进一步的，所述vgg16的网络由13个卷积层和5个池化层组成，vgg16采用3×3尺寸的卷积滤波器；所述池化分为平均池化和最大值池化，平均池化用于将池化窗扫描区域内的数值进行平均计算，最大值池化用于将池化窗口扫过的区域内的数据保留最大值。

14、进一步的，所述步骤s3的具体途径为：

15、图片特征向量pt作为输入进入gru中，图片特征向量pt与状态向量ht-1作为输入向量进入网络中，输出端得到一个处理后的视觉纹理特征向量和一个新的状态向量ht；

16、在gru的结构中，pt和ht-1被并行地送入两个门中：重置门和更新门，重置门决定了ht-1在多大程度上被保留下来，更新门控制着状态的更新；对重置门和更新门输出rt和zt，通过以下的两个公式计算得到：

17、rt＝sigmoid(wrpt+urht-1)

18、zt＝sigmoid(wzpt+uzht-1)

19、其中，是网络的参数；给出rt，保留的历史信息rt⊙ht-1首先与pt结合，然后通过下式：

20、ht＝tanh(whpt+uh(rt⊙ht-1))

21、其中，是参数，⊙代表着逐元素相乘的乘法；在ht的基础上，状态向量将参与即将到来的时间即时状态ht，如下式所示：

22、ht＝(1-zt)⊙ht-1+ztht

23、处理后的图像信号pt如下式所示：

24、

25、其中，是参数矩阵。

26、进一步的，所述步骤s5的具体途径为：

27、解码器和编码器共同构成了堆栈式自动编码器，其中涉及的所有参数可表为集合：

28、

29、为了得到最优参数θ(l)*，f(l)、f(l+1)和三个相连的层共同组成了一个自动编码器ae，ae参数θ(l)*通过下式确定：

30、

31、即最小化每一个自动编码器的重构误差，从原始的表面材质的触觉纹理信号作为第一个自动编码器的输入和目标输出，当第一个自动编码器的参数确定后，其隐藏层被提取出来作为下一个自动编码器的输入和目标输出，参数确定依次进行，当每个编码器的参数确定后，堆栈式自动编码器的参数随之确定；沿着导数下降的方向更新参数，并保留误差最小时的权重和偏置作为编码器和解码器的最终参数。

32、进一步的，所述步骤s6的具体途径为：

33、将门控循环神经网络中的所有参数封闭到一个集合：

34、

35、最佳参数组合φ*由最小化通过表面材质的视觉纹理特征映射得到的表面材质的触觉纹理特征和通过对表面材质的触觉纹理信号进行特征提取得到的触觉纹理特征c之间的误差得到，如下式：

36、

37、参数优化过程采用adam算法，通过带有动量的梯度下降来求解参数集合，达到误差最小化的目的。

38、进一步的，所述步骤s7的具体途径为：

39、训练过程完成后，将最终更新后的模型参数保留，将提取的视觉图像特征通过映射模型来获取触觉纹理特征，并将获取的触觉纹理特征通过解码器重构触觉纹理信号，从而实现从视觉图像到触觉信息的跨模态生成。

40、与现有技术相比，本发明的有益效果是：

41、该基于堆栈式自动编码的力触觉信息的生成方法，将图像信息与触觉信息的特征进行提取，在低维的空间进行视觉图像特征到触觉纹理特征的跨模态映射，并将生成的触觉纹理特征重构回触觉信息，该方法很大程度上降低了触觉信息采集成本，并且很好的解决了直接构建映射模型会带来参数量巨大、模型难以优化、运算时间长等问题。