控制方法、装置、训练方法、电子设备及存储介质与流程

本技术涉及信息技术与医学领域，特别涉及一种基于脑电信号的控制方法、控制装置、神经网络模型的训练方法、电子设备及非易失性计算机可读存储介质。

背景技术：

1、残疾患者大多由于意外交通事故、自然灾害、各种疾病等原因，造成肢体的瘫痪或缺失，导致日常生活受到极大影响。随着科学技术的不断进步，利用脑机接口进行肢体动作的识别，并用来对残肢患者进行假肢辅助控制已成为当前研究热点。

2、脑机接口技术是通过脑电信号来直接读取人类的思维活动，并将其解码成肢体控制信息。然而，由于脑电信号的信噪比低，测量分析复杂度和难度较稿，导致通过脑电直接读取人类的思维活动将其解码成肢体控制信息难度太大。

技术实现思路

1、有鉴于此，本技术提供一种基于脑电信号的控制方法、控制装置、神经网络模型的训练方法、训练装置、电子设备以及非易失性计算机可读存储介质。

2、本技术实施方式提供的控制方法，包括：

3、获取用户控制目标对象的脑电信号；

4、利用神经网络模型对所述脑电信号进行处理得到控制信息，所述神经网络模型由脑电训练信号和肌电训练信号训练得到；

5、根据所述控制信息对所述目标对象进行控制。

6、在某些实施方式中，所述利用神经网络模型对所述脑电信号进行处理得到控制信息，包括：

7、使用预设频率范围的4阶巴特沃斯带通滤波器对所述脑电信号进行滤波得到预处理脑电信号；

8、利用所述神经网络模型对所述预处理脑电信号进行处理得到所述控制信息。

9、在某些实施方式中，所述神经网络模型包括串联的第一子网络和第二子网络，所述利用神经网络模型对所述脑电信号进行处理得到控制信息，包括：

10、通过所述第一子网络对所述脑电信号进行处理得到肌肉活动表征，所述第一子网络由所述脑电训练信号和所述肌电训练信号训练得到；

11、通过所述第二子网络对所述肌肉活动表征进行处理得到所述控制信息，所述第二子网络根据所述肌电训练信号训练得到。

12、在某些实施方式中，所述神经网络模型包括第三子网络，所述第三子网络通过与第四子网络相互学习训练得到，所述第三子网络根据所述脑电训练信号与所述第四子网络根据所述肌电训练信号进行相互学习训练。

13、在某些实施方式中，所述控制方法还包括：

14、获取用户控制目标对象的肌电信号；

15、所述利用神经网络模型对所述脑电信号进行处理得到控制信息，包括：

16、利用所述神经网络对所述脑电信号和所述肌电信号进行处理得到控制信息。

17、在某些实施方式中，所述神经网络包括第三子网络和第四子网络，所述利用所述神经网络对所述脑电信号和所述肌电信号进行处理得到控制信息，包括：

18、通过所述第三子网络对所述脑电信号进行处理得到第一分类结果；

19、通过所述第四子网络对所述肌电信号进行处理得到第二分类结果；

20、根据所述第一分类结果和所述第二分类结果确定所述控制信息；

21、其中，所述第三子网络通过与第四子网络相互学习训练得到，所述第三子网络根据所述脑电训练信号与所述第四子网络根据所述肌电训练信号进行相互学习训练。

22、在某些实施方式中，所述脑电信号、所述脑电训练信号和所述肌电训练信号的采样频率相同，且所述脑电信号、所述脑电训练信号和所述肌电训练信号的采集时长相同。

23、本技术实施方式提供的神经网络模型的训练方法，包括：

24、获取用户控制目标对象的脑电训练信号和肌电训练信号；

25、根据所述肌电训练信号确定训练肌肉活动表征；

26、利用所述脑电训练信号和所述训练肌肉活动表征对第一预设网络进行训练得到第一子网络；

27、利用所述训练肌肉活动表征对第二预设网络进行训练得到第二子网络；

28、将所述第一子网络和所述第二子网络串联得到所述神经网络模型。

29、在某些实施方式中，所述根据所述肌电训练信号确定训练肌肉活动表征，包括：

30、使用预设频率的陷波器对所述肌电训练信号进行滤波得到预处理肌电训练信号；

31、使用流形学习将所述预处理肌电训练信号进行降维映射得到所述训练肌肉活动表征。

32、在某些实施方式中，所述利用所述脑电训练信号对第一预设网络进行训练得到第一子网络，包括：

33、使用预设频率范围的4阶巴特沃斯带通滤波器对所述脑电训练信号进行滤波得到预处理脑电训练信号；

34、利用所述预处理脑电训练信号和所述训练肌肉活动表征对第一预设网络进行训练得到所述第一子网络。

35、在某些实施方式中，所述利用所述预处理脑电训练信号对第一预设网络进行训练得到所述第一子网络，包括：

36、利用所述预处理脑电训练信号对第一预设网络进行训练得到训练输出肌肉活动表征；

37、基于所述训练输出肌肉活动表征和所述训练肌肉活动表征，通过第一损失函数计算所述第一预设网络的损失值；

38、根据所述第一预设网络的损失值修正所述第一预设网络的参数，以得到所述第一子网络。

39、在某些实施方式中，所述第一预设网络包括3层的双向lstm，每层所述双向lstm包括100个隐层单元，dropout＝50％，学习率为0.005。

40、在某些实施方式中，所述第一损失函数表示为：

41、

42、其中，f(xi)为第一预设网络输出的训练输出肌肉活动表征，ti为训练肌肉活动表征。

43、在某些实施方式中，所述利用所述训练肌肉活动表征对第二预设网络进行训练得到第二子网络，包括：

44、利用所述训练肌肉活动表征对所述第二预设网络进行训练得到训练控制信息；

45、基于所述训练控制信息，通过第二损失函数计算所述第二预设网络的损失值；

46、根据所述第二预设网络的损失值修正所述第二预设网络的参数得到所述第二子网络。

47、在某些实施方式中，所述第二预设网络包括3层的双向lstm，每层所述双向lstm包括100个隐层单元，dropout＝50％，学习率为0.005。

48、在某些实施方式中，所述第二损失函数表示为：

49、

50、其中，pm(ti)为样本ti经过所述第二预设网络产生的类别概率值。

51、在某些实施方式中，所述将所述第一子网络和所述第二子网络串联得到所述神经网络模型，包括：

52、将所述第一子网络和所述第二子网络串联得到串联网络；

53、通过所述脑电训练信号对所述串联网络进行训练得到串联输出控制信息；

54、基于所述串联输出控制信息，通过第三损失函数计算所述串联网络的损失值；

55、根据所述串联网络的损失值修正所述串联网络的参数，以得到所述神经网络模型。

56、在某些实施方式中，所述第三损失函数表示为：

57、

58、其中，pm(ti)为样本ti经过所述第三预设网络产生的类别概率值。

59、本技术实施方式提供的神经网络模型的训练方法，包括：

60、获取用户控制目标对象的脑电训练信号和肌电训练信号；

61、根据所述肌电训练信号确定训练肌肉活动表征；

62、第三子网络根据所述脑电训练信号与所述第四子网络根据所述训练肌肉活动表征进行相互学习训练；

63、根据训练好的所述第三子网络生成所述神经网络模型。

64、在某些实施方式中，所述根据所述肌电训练信号确定训练肌肉活动表征，包括：

65、使用预设频率的陷波器对所述肌电训练信号进行滤波得到预处理肌电训练信号；

66、使用流形学习将所述预处理肌电训练信号进行降维映射得到所述训练肌肉活动表征。

67、在某些实施方式中，所述第三子网络根据所述脑电训练信号与所述第四子网络根据所述训练肌肉活动表征进行相互学习训练，包括：

68、通过所述第三子网络对所述脑电训练信号进行处理得到第一训练分类结果；

69、通过所述第四子网络对所述训练肌肉活动表征进行处理得到第二训练分类结果；

70、基于所述第一训练分类结果和所述第二训练分类结果，通过第四损失函数计算所述第三子网络和/或所述第四子网络的损失值；

71、根据所述第三子网络的损失值修正所述第三子网络的参数，和/或根据所述第四子网络的损失值修正所述第四子网络的参数。

72、在某些实施方式中，所述第四损失函数表示为：

73、

74、其中，k＝1,2,3,l,k，

75、在某些实施方式中，所述根据训练好的所述第三子网络生成所述神经网络模型，包括：

76、将训练好的所述第三子网络确定为所述神经网络模型。

77、在某些实施方式中，所述根据训练好的所述第三子网络生成所述神经网络模型，包括：

78、联合训练好的所述第三子网络和训练好的所述第四子网络得到所述神经网络模型。

79、本技术实施方式提供的基于脑电信号的控制装置包括：

80、第一获取模块，用于获取用户控制目标对象的脑电信号；

81、处理模块，用于利用神经网络模型对所述脑电信号进行处理得到控制信息，所述神经网络模型由脑电训练信号和肌电训练信号训练得到；

82、控制模块，用于根据所述控制信息对所述目标对象进行控制。

83、本技术实施方式提供的神经网络模型的训练装置，包括：

84、第二获取模块，用于获取用户控制目标对象的脑电训练信号和肌电训练信号；

85、第一确定模块，用于根据肌电训练信号确定训练肌肉活动表征；

86、第一训练模块，用于利用脑电训练信号和训练肌肉活动表征对第一预设网络进行训练得到第一子网络；

87、第二训练模块，用于利用训练肌肉活动表征对第二预设网络进行训练得到第二子网络；

88、串联模块，用于将第一子网络和第二子网络串联得到神经网络模型。

89、本技术实施方式提供的神经网络模型的训练装置，包括：

90、第三获取模块，用于获取用户控制目标对象的脑电训练信号和肌电训练信号；

91、第二确定模块，用于根据肌电训练信号确定训练肌肉活动表征；

92、第三训练模块，用于第三子网络根据脑电训练信号与第四子网络根据训练肌肉活动表征进行相互学习训练；

93、生成模块，用于根据训练好的第三子网络生成神经网络模型。

94、本技术实施方式提供的电子设备，包括处理器、存储器和计算机程序，其中，所述计算机程序被存储在所述存储器中，当所述计算机程序被处理器执行时，使得所述处理器执行上述基于脑电信号的控制方法以及上述神经网络模型的训练方法。

95、本技术实施方式提供的包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被处理器执行时，使得所述处理器执行上述基于脑电信号的控制方法或执行上述神经网络模型的训练方法。

96、本技术实施方式的控制方法、控制装置、训练方法、电子设备以及可读存储介质中，通过获取到控制目标对象的脑电信号，并通过由脑电训练信号和肌电训练信号训练得到的神经网络模型对脑电信号进行处理，从而可以将脑电信号转换为控制目标对象运动的控制信息，如此，提高了整体脑机接口的性能，使假肢能灵活自由的完成大脑下达的指令动作，有利于残肢患者能够进行日常的生活交流合作，恢复部分的生活自理和工作交流能力。

97、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。