一种融合视觉与触觉的多模态针刺手法识别方法以及系统

本发明涉及数据识别，尤其涉及一种融合视觉与触觉的多模态针刺手法识别方法以及系统。

背景技术：

1、针刺手法是一种传统的中医治疗方法，目前的针刺手法传承教学主要以口传心授的方式进行，缺乏统一的针刺手法量化与手法识别建模方案。由于针刺手法具有行针时手部运动规律复杂、动作幅度小，且手指间相对运动信息难以精准表征等特点，目前还缺乏一种有效的量化与识别方法。

2、即使利用传统的针刺手法参数仪，可以量化手指触觉特征，但是无法从整体视觉角度量化针刺手部的运动规律；而采用成本更高的基于三维运动追踪的方法不仅需要同时架设多台摄像头进行手势追踪，而且仅能从视觉角度获得手指的相对位置空间信息，无法得到行针过程中手指间的压力和速度信息等触觉信息，因此依靠现有技术难以构建一种兼顾视觉与触觉特征的多模态针刺手法识别方案。

技术实现思路

1、(一)要解决的技术问题

2、鉴于现有技术的上述缺点、不足，本发明提供一种融合视觉与触觉的多模态针刺手法识别方法以及系统，其解决了现有技术难以针对兼顾视觉与触觉特征的针刺手法进行识别的技术问题。

3、(二)技术方案

4、为了达到上述目的，本发明采用的主要技术方案包括：

5、第一方面，本发明实施例提供一种融合视觉与触觉的多模态针刺手法识别方法，包括：

6、对以波形形式表示的触觉压电信号和手部空间信号进行特征提取，再依据得到的压电信号特征和手部空间信号特征进行单信号特征或多信号特征融合的随机输出；

7、将以视频帧形式表示的针刺图像数据交由相互独立的多个卷积通道处理，同时通过挤压和非线性激活操作施加注意力机制来自适应校准每个卷积通道的权重以得到图像特征；

8、对随机输出结果和图像特征进行张量积运算得到张量外积，并依据张量外积以及分别为图像特征和随机输出结果构建的权重矩阵进行张量融合得到融合张量，即融合识别结果。

9、可选地，对以波形形式表示的触觉压电信号和手部空间信号进行特征提取，再依据得到的压电信号特征和手部空间信号特征进行单信号特征或多信号特征融合的随机输出之前，还包括：

10、对获取的触觉压电信号的原始数据和手部空间信号的原始数据进行预处理，得到触觉压电信号和手部空间信号；

11、将获取的针刺手法视频按帧进行分割处理，生成不同针刺手法所对应的视频帧数据集；

12、通过对得到的每一针刺手法所对应的触觉压电信号、手部空间信号以及视频帧数据集进行打包操作，得到用于后续特征提取的每一针刺手法的合成数组。

13、可选地，对以波形形式表示的触觉压电信号和手部空间信号进行特征提取，再依据得到的压电信号特征和手部空间信号特征进行单信号特征或多信号特征融合的随机输出包括：

14、分别通过cnn和滑动窗口对以波形形式表示的触觉压电信号和手部空间信号进行特征提取，得到压电信号特征和手部空间信号特征；

15、采用一随机因子对压电信号特征和手部空间信号特征进行压电信号特征输出或手部空间信号特征输出或者同时存在压电信号特征和手部空间信号特征多信号特征融合的随机输出：

16、其中，随机因子满足如下随机输出条件：

17、

18、式(1)中，α为压电信号特征，β为手部空间信号特征，a为随机因子，用于处理以波形形式表示的触觉压电信号和手部空间信号，并生成包含压电信号特征和手部空间信号特征之中一种或者多种的随机输出结果。

19、可选地，将以视频帧形式表示的针刺图像数据交由相互独立的多个卷积通道处理，同时通过挤压和非线性激活操作施加注意力机制来自适应校准每个卷积通道的权重以得到图像特征包括：

20、将以视频帧形式表示的针刺图像数据交由相互独立的卷积通道进行卷积处理；

21、通过对以视频帧形式表示的针刺图像数据进行挤压和非线性激活生成卷积通道特征的信息并收集全局空间信息，以进行每个卷积通道的权重的自适应校准；

22、基于自适应的权重，以concatenation的方式将不同的卷积通道中提取到的数据进行特征融合；

23、经过重复多次交由相互独立的卷积通道处理和施加注意力机制的步骤，得到图像特征；

24、其中，在交由卷积通道进行处理时，对针刺图像数据向外进行拓展即在图像外层补0，以使卷积核每次滑动一次，即做一次卷积计算时的步长设置为1，卷积核的工作满足如下条件：

25、

26、

27、

28、式(2)-(4)中，padding为填充参数即完成图像外层补0，f为每一层的卷积核的长度，s为卷积核的移动步长，h为输入特征图的长，w为输入特征图的宽，hout为输出特征图的长，wout为输出特征图的宽。

29、可选地，通过对以视频帧形式表示的针刺图像数据进行挤压和非线性激活生成卷积通道特征的信息并收集全局空间信息，以进行每个卷积通道的权重的自适应校准包括：

30、通过第一挤压公式将以视频帧形式表示的针刺图像数据在相应维度空间上进行压缩；

31、通过第二挤压公式将首次压缩的针刺图像数据再次压缩；

32、通过relu激活函数将再次压缩的针刺图像数据中不符合预设要求的数据剔除掉；

33、通过激励函数将剔除操作之后的数据的维度空间伸展还原为首次压缩的空间维度，并通过sigmoid激活函数将伸展还原之后的数据映射到一个[0,1]的区间中；

34、其中，

35、第一挤压公式为：

36、

37、式(5)中，fsq是指输出特征值uc是指输入的特征图通过平均池化层的压缩来完成在空间维度w×h上的挤压处理，即将w×h×c的输入转换成1×1×c的输出；

38、第二挤压公式为：

39、x＝fc(fsq(uc)) (6)

40、式(6)中，x表示再次挤压处理的输出，fc表示通过全连接层的再次压缩来完成空间维度c上的挤压处理，即将1×1×c的输入转换成1×1×c/r的输出；

41、relu激活函数为：

42、

43、sigmoid激活函数为：

44、

45、式(8)中，e表示自然对数；

46、激励函数为：

47、s＝fex(z,w)＝relu(g(z,w))＝σ(w2δ(w1z)) (9)

48、式(9)中，fex表示循环神经网络中门的机制，即通过参数w来为每个特征通道生成权重，其中参数w被用来显式地建模特征通道间的相关性，z表示公式(5)的输出，g表示sigmoid形式的gating机制，δ和σ分别表示relu和sigmoid激活函数，w1、w2是对参数w的向量分解得到的参数，为图像的通道数，r为降低维度的超参数。

49、可选地，对随机输出结果和图像特征进行张量积运算得到张量外积，并依据张量外积以及分别为图像特征和随机输出结果构建的权重矩阵进行张量融合得到融合张量，即融合识别结果包括：

50、获取随机输出结果的一维张量和图像特征的一维张量；

51、对随机输出结果的一维张量和图像特征的一维张量进行扩充，使张量增加一维，得到随机输出结果和图像特征的高维张量特征；

52、依据随机输出结果和图像特征的高维张量特征进行张量积运算得到张量外积；

53、分别为图像特征和随机输出结果构建相应的权重矩阵；

54、依据张量外积以及图像特征的权重矩阵和随机输出结果的权重矩阵，通过张量融合公式进行张量融合得到融合识别结果；

55、其中，张量融合公式为：

56、

57、式(10)中，h为最终融合之后得到的张量，r为重建矩阵的数量，wa表示随机输出结果的张量的权重，wv为图像特征的张量的权重，z为张量外积，za为随机输出结果经扩充得到的高维张量特征，zv为图像特征经扩充得到的高维张量特征。

58、第二方面，本发明提供一种融合视觉与触觉的多模态针刺手法识别模型，包括：

59、波形数据特征提取与处理模块，用于对以波形形式表示的触觉压电信号和手部空间信号进行特征提取，以及依据得到的压电信号特征和手部空间信号特征进行单信号特征或多信号特征融合的随机输出；

60、视觉数据特征提取与处理模块，用于将以视频帧形式表示的针刺图像数据交由相互独立的多个卷积通道处理，同时通过挤压和非线性激活操作施加注意力机制来自适应校准每个卷积通道的权重，得到图像特征；

61、多模态特征融合模块，用于对随机输出结果和图像特征进行张量积运算得到张量外积，并依据张量外积以及分别为图像特征和随机输出结果构建的权重矩阵进行张量融合得到融合张量，即融合识别结果。

62、可选地，波形数据特征提取与处理模块包括：

63、波形数据预处理单元，用于对获取的触觉压电信号的原始数据和手部空间信号的原始数据进行预处理，得到触觉压电信号和手部空间信号；

64、cnn网络，用于对获取的以波形形式表示的手部空间信号进行特征提取，得到手部空间信号特征；

65、滑动窗特征提取网络，用于对获取的以波形形式表示的触觉压电信号进行特征提取，得到触觉压电信号特征；

66、随机块，用于处理以波形形式表示的触觉压电信号和手部空间信号，并生成包含压电信号特征和手部空间信号特征之中一种或者多种的随机输出结果；

67、随机块采用一随机因子对压电信号特征和手部空间信号特征进行压电信号特征输出或手部空间信号特征输出或者同时存在压电信号特征和手部空间信号特征多信号特征融合的随机输出：

68、其中，随机因子满足如下随机输出条件：

69、

70、式(1)中，α为压电信号特征，β为手部空间信号特征，a为随机因子，用于处理以波形形式表示的触觉压电信号和手部空间信号，并生成包含压电信号特征和手部空间信号特征之中一种或者多种的随机输出结果。

71、可选地，视觉数据特征提取与处理模块包括：

72、视频帧预处理单元，用于将获取的针刺手法视频按帧进行分割处理，生成不同针刺手法所对应的视频帧数据集；

73、多个堆叠的视觉特征提取注意力块，每一视觉特征提取注意力块包括类卷积组件和注意力机制组件；

74、类卷积组件包括三条互相独立的并行的第一卷积通道、第二卷积通道、第三卷积通道以及concatenation层，第一卷积通道包括依次连接的1×1卷积层和3×3卷积层，第二卷积通道包括依次连接的1×1卷积层和最大池化层，第三卷积通道包括依次连接的1×1卷积层和5×5卷积层，concatenation层连接第一卷积通道、第二卷积通道以及第三卷积通道的输出，以进行将不同的卷积通道中提取到的数据进行特征融合；

75、注意力机制组件包括依次连接的平均池化层、第一全连接层、relu层、第二全连接层以及sigmoid层；平均池化层用于通过第一挤压公式将以视频帧形式表示的针刺图像数据在相应维度空间上进行压缩；第一全连接层用于通过第二挤压公式将首次压缩的针刺图像数据再次压缩；relu层用于通过relu激活函数将再次压缩的针刺图像数据中不符合预设要求的数据剔除掉；第二全连接层用于将剔除操作之后的数据的维度空间伸展还原为首次压缩的空间维度；sigmoid层用于通过sigmoid激活函数伸展还原之后的数据映射到一个[0,1]的区间之中。

76、可选地，多模态特征融合模块包括：

77、张量获取单元，用于获取随机输出结果的一维张量和图像特征的一维张量；

78、张量扩张单元，用于对随机输出结果的一维张量和图像特征的一维张量进行扩充，使张量增加一维，得到随机输出结果和图像特征的高维张量特征；

79、张量积运算单元，用于依据随机输出结果和图像特征的高维张量特征进行张量积运算得到张量外积；

80、权重矩阵构建单元，用于分别为图像特征和随机输出结果构建相应的权重矩阵；

81、融合识别单元，用于依据张量外积以及图像特征的权重矩阵和随机输出结果的权重矩阵，通过张量融合公式进行张量融合得到融合识别结果；

82、其中，张量融合公式为：

83、

84、式(10)中，h为最终融合之后得到的张量，r为重建矩阵的数量，wa表示随机输出结果的张量的权重，wv为图像特征的张量的权重，z为张量外积，za为随机输出结果经扩充得到的高维张量特征，zv为图像特征经扩充得到的高维张量特征。

85、(三)有益效果

86、本发明的有益效果是：本发明提出了一种融合视觉与触觉的多模态针刺手法识别方案，对于针刺手法这类包含多种模态信息的动作识别，为以波形形式表示的触觉压电信号和手部空间信号设计了相应的特征提取注意力块和随机组合输出模式，以增强触觉特征的多样性，丰富了波形数据特征的组合形式，提高了模型的泛化能力；以及为视频帧形式表示的针刺图像数据设计了卷积通道和注意力机制互补的方式，图像数据中的重要数据特征提取能力，同时在增加网络深度和宽度的同时，减少网络的计算量。而本发明后续多模态融合识别方案基于张量的多模态特征融合方式可以将这两种信息形式融合在一起，实现更全面、准确的针刺手法监测和识别。