一种基于计算机视觉的磁刺激系统及方法

本发明属于磁刺激，具体涉及一种基于计算机视觉的磁刺激系统及方法。

背景技术：

1、经颅磁刺激是一种非侵入性的神经调控技术，通过线圈中变化的磁场产生变化的电场，从而调节刺激部位神经细胞/纤维可塑性等，达到改善患者功能的目的。根据不同的分类方式可涉及单脉冲经颅磁刺激、成对脉冲经颅磁刺激、经颅重复磁刺激等。其中经颅重复磁刺激在临床治疗的应用中最为广泛，适应症包括神经功能损伤及结构损伤的各类疾病。

2、将经颅重复磁刺激应用在外周神经丛、神经干、神经肌肉接头(肌群)刺激时，被称为重复外周磁刺激。重复外周磁刺激在近年的临床研究中逐渐成为热点，刺激靶点已不再仅限于中枢。

3、另外：患者神经损伤后的重塑通常与功能改善紧密相关，即患者的功能改善不仅是局部肌纤维的收缩，而是尽力恢复该肌群原有的功能，如由于桡神经损伤导致患者无法进行腕背伸的动作，此时应改善腕部背伸的功能，而不是局限于达到某一个肌肉出现收缩的目标即可。通过沿着靶肌肌纤维走行且功能性收缩的方向进行刺激，可以更好地促进损伤神经对外周的控制，从而为患者带来更有利的康复结果。

4、然而，外周肌群或神经丛在体表投影的范围较刺激线圈的磁场富集区域更大，现有常规经颅磁线刺激时均为固定位置的局部刺激，尚不能在一次治疗中尽可能完全覆盖整个肌群的治疗靶区。并且，目前利用人力对患者多个治疗靶区进行手动刺激的方法极大地降低了临床治疗效率，同时也会因为更换治疗人员而可能存在刺激的手动定位误差。

技术实现思路

1、有鉴于此，本发明提供了一种基于计算机视觉的磁刺激系统及方法，以解决现有常规经颅磁线刺激时均为固定位置的局部刺激的问题。并且，目前利用人力对患者多个治疗靶区进行手动刺激的方法临床治疗效率低下，同时也可能因治疗人员不同而治疗区域定位存在误差的问题。

2、本发明采用的技术方案如下：

3、一种基于计算机视觉的磁刺激系统，包括：

4、1.图像采集模块：包括多个摄像机，多个摄像机分别从不同角度位置实时采集人体的二维图像；

5、所述磁刺激治疗仪设在治疗椅一侧，其中，以治疗椅为零点，治疗椅到磁刺激治疗仪的方向为x轴，x轴垂直的水平轴为y轴，垂直轴为z轴建立三维空间坐标系；

6、所述摄像机为三个，分别为a摄像机、b摄像机和c摄像机，其中，所述a摄像机固定于磁刺激治疗仪上，a摄像机的z方向距离零点为1m，x方向距零点为2m；b摄像机放z方向距离零点为1.5m，y方向距零点约为2m；c摄像机z方向距离零点为2m，x方向距离零点3m，y方向距离零点1m。在这种放置条件下，三个摄像头有足够的视场重叠，聚焦于座椅所在的相对零点。同时三个摄像头可以从三个方向采集患者的关键点，保证了角度多样性。同时要注意清除视场主体内的杂物，保证照明充足，以获得良好的图像质量。如果设置三个以上的摄像头，其放置位置的考量同上所述。

7、摄像机的布局需考虑以下因素：

8、1.1视场重叠：

9、基本重叠：摄像机的放置位置应使其视野在目标点预计移动的区域中显著重叠。这种重叠对于三角测量至关重要，它可以确保在任何给定时间都可以从至少两个不同角度看到该点。

10、完整覆盖：理想情况下，整个感兴趣区域应被摄像机的重叠视野覆盖，以确保可以在该点的整个运动过程中连续跟踪该点。

11、1.2.基线距离：

12、足够的间隔：相对于房间的大小和治疗区域，摄像机的放置位置不应太近。较大的基线(任意两个相机位置之间的距离)可以通过提供更宽的视角差异来提高三角测量精度，这对于深度估计至关重要。

13、避免距离过大：另一方面，如果摄像机相距太远，图像中的关键点可能会显得非常小，或者视差可能太大，从而难以匹配图像中的对应点。

14、1.3.角度多样性：

15、不同角度：放置摄像机以从不同角度捕捉场景。这种多样性有助于减少不同摄像机视图中匹配点的模糊性，并提高3d重建的稳健性。

16、避免平行对齐：相机不应平行对齐或从过于相似的角度捕获场景，这会降低三角测量深度估计的有效性。

17、1.4.尽量减少遮挡：

18、放置摄像机以尽量减少对关键点的遮挡，尤其是房间内的永久固定装置或家具的遮挡。遮挡可能导致跟踪丢失或重建路径不准确。

19、1.5.高度和标高：

20、高度考虑：摄像机应放置在能够清晰观察感兴趣区域的高度，避免障碍物并减少遮挡的可能性。

21、角度考虑：选择仰角时应平衡对感兴趣区域的良好观察的需要与最小化透视变形的需要，并确保有效的点检测。

22、1.6.灯光和背景：

23、照明条件：确保相机位置不会导致光源直接眩光，并且感兴趣区域光线充足，以优化图像质量。

24、对比度和背景：保证治疗时治疗区域背景整洁，以确保深度学习模型有足够的对比度进行准确检测和跟踪。

25、每一个相机通过以下方法进行标定：

26、首先，需要对三个相机(位于位置a、b、c)中的每一个进行标定，以确定其内在参数(如焦距、主点和镜头畸变系数)和外在参数(每个相机的位置和方向)。可以使用放置在房间内不同位置和方向的校准图案(例如棋盘)来完成校准。工作原理如下：

27、棋盘图案可以提供清晰、高对比度的网格，软件可以轻松检测到。黑白方块的格子为校准算法提供了精确的跟踪点。校准软件首先分析捕获的图像以检测棋盘格正方形的角点。这些检测到的角点用作计算相机的内部参数(如焦距、主点和畸变系数)和外部参数(相机相对于棋盘的位置和方向)。参数估计：使用检测到的角点及其在棋盘上已知的现实世界坐标，软件采用数学模型来估计相机的参数。此过程通常涉及求解从针孔相机模型和镜头畸变模型导出的一系列方程。此任务可由opencv(计算机开源视觉库)提供的findchessboardcorners和calibratecamera等函数来完成，以此达到检测棋盘图案和校准相机的目的。

28、2.图像处理模块：基于计算机视觉对采集的二维图像进行处理，以在二维图像上标记骨骼关键点，并根据预定义的肢体连接结构来连接关键点以构建带有标记的人体骨骼的可视化图像；

29、所述图像处理模块包括：

30、预处理模块：用以对实时采集的二维图像进行尺寸标准化调整；也就是将图像大小调整为固定尺寸而不扭曲其纵横比；

31、处理模块：将预处理模块处理后的二维图像输入置信度分数获取模型中，输出人体不同身体部位的关键点，并根据预定义的肢体连接结构来连接关键点以构建人体骨骼的可视化图像。

32、所述处理模块在输出人体不同身体部位的关键点的同时，通过预训练和学习，输出关键点对应的置信度分数，所述处理模块设定阈值，通过设定阈值来过滤掉低置信度的关键点；

33、所述阈值为pck@0.2；

34、所述通过预训练和学习，输出关键点对应的置信度分数具体包括以下步骤：

35、步骤s1：通过摄像机采集n位受试者的视频信息，手动标注每个受试者不同部位的关键点，并形成数据集，将所述数据集按照7:3比例分为训练集和测试集；

36、步骤s2：将训练集导入置信度分数获取模型中进行训练，得到关键点对应的置信度分数；

37、步骤s3：基于测试集以及s2中的置信度分数测试所述置信度分数获取模型；

38、步骤s4：获取摄像机实时采集的视频信息，将视频信息输入置信度分数获取模型，得到当前人体关键点对应的置信度分数。

39、步骤s2中，所述置信度分数获取模型包括：

40、2.1坐姿特征适应层：通过修改或添加图层、或调整卷积层为坐姿的区域赋予更多权重以更好地捕捉与下半身相关的特征；其中，所述调整卷积层通过下式实现：

41、

42、其中y为卷积层优化后输出的特征矩阵，x为原始图像处理后、输入模型的特征矩阵，i，j为特征矩阵元素的索引，k为卷积层滤波器，a,b分别为卷积核的长和宽，w为k的权重函数，通过调整权重函数w矩阵的值可以为坐姿区域赋予更多权重，以优化坐姿特征提取和预测；

43、2.2深度估计调整层：用以区分开在坐姿下有可能重叠的肢体；深度估计调整层包括：

44、引入重叠估计步骤：separation(r，，s)＝σ(∑kwk·hk(r，s)+bias)其中h为提取的画面主题边缘和质地的特征矩阵，r，s为特征矩阵的一维索引和二维索引，w为权重，bias为偏置项，σ为sigmoid函数，separation为重叠概率函数；

45、引入深度矫正项：c(r，s)＝separation(r，，s)(dest(r，s)-dgt(r，s))2其中dest是对于肢体处于输入图像(二维平面上)的深度估计，dgt是基于训练集的groundtruth，对深度矫正项进行最小优化以获得模型对深度特征(肢体重叠)的感知能力；

46、2.3数据集和训练调整层：用以引入姿势变异性，让训练数据中包含各种坐姿，并引入下半身可能被遮挡的部分的训练样本，让置信度分数获取模型能够针对被遮挡部分的数据做出正确的估计；

47、2.4所述自定义损失函数层通过以下步骤构建：

48、步骤a1：构建关键点准确度损失函数，用以优化关键点的准确度，如下式所示：

49、

50、其中pm为预测的坐姿下的关节关键点的位置值，m代表可见关键点的索引，为训练集的ground truth，wi为优化坐姿预测的权重函数，m为可见的关键点的总个数；

51、步骤a2：构建关键点可见性损失函数，用以优化当关键点不可见的情况置信度分数获取模型的准确度，如下式所示：

52、

53、其中vn表示第n个关键点是否可见的权重，n代表关键点的索引，n代表关键点的总个数，yn是表示关键点是否可见的指示函数，表示模型预测的表示关键点可见的概率；

54、步骤a3：构建姿势一致性损失函数，确保置信度分数获取模型的输出遵循一定的解剖规则，如下式所示：

55、

56、其中s表示解剖意义下相互连接的关键点对，z为点对的数量，px代表实际点,代表预测点，x代表某一个关键点的编号(或索引，如膝关节关键点的索引)，y代表对应的近邻关节点编号(或索引，如在膝关节-踝关节点对中，x表示膝关节关键点，则y表示踝关节关键点)；

57、步骤a4：基于摄像机的位置以及步骤a1-a3构建的关键点准确度损失函数、关键点可见性损失函数和姿势一致性损失函数确定自定义损失函数层，如下式所示：

58、

59、其中p是相机编号，q为关键点准确度损失函数、关键点可见性损失函数和姿势一致性损失函数的编号，通过优化混合损失函数，确保模型从关键点预测、关键点可见性、姿势一致性等方面达到较好的预测效果；

60、2.5所述上下文感知层如下式所示：

61、cperception＝softmax(wc·f+bc)

62、其中cperception是上下文感知层的输出，表示不同上下文的概率分布，wc是权重，bc是偏置，所述上下文感知层是一个全连接层，它将特征f映射到上下文输出，softmax将输出规范为概率分布的激活函数。

63、3.多图像信息融合模块：基于三角测量重建每个骨骼关键点在每个时间帧的3d位置；

64、所述多图像信息融合模块包括：

65、转换模块：用以将可视化图像上关键点的2d像素坐标转换为相机坐标系中相应的3d射线；

66、三角测量模块：基于得到的3d射线获取与其对应的相交或最接近相交的空间3d点；

67、坐标获取模块：获取每个相机在时间序列上的3d点的坐标，得到的空间3d点坐标实时反馈给机械臂系统；

68、4.输入单元、机械臂、磁刺激治疗仪及控制器：输入单元用以输入人体的待刺激路径，控制器根据输入的刺激路径，并基于带有标记的人体骨骼的可视化图像和每个人体骨骼关键点在每个时间帧的3d位置，控制机械臂带动磁刺激治疗仪移动。

69、一种基于计算机视觉的磁刺激方法，包括：

70、步骤1：通过多个摄像机分别从不同角度位置实时采集人体的二维图像；

71、步骤2：基于计算机视觉对采集的二维图像进行处理，以在二维图像上标记骨骼关键点，并根据预定义的肢体连接结构来连接关键点以构建带有标记的人体骨骼的可视化图像；

72、步骤3：基于三角测量重建每个骨骼关键点在每个时间帧的3d位置；

73、步骤4：通过输入单元输入人体的待刺激部位，控制器根据输入的刺激任务，基于带有标记的人体骨骼的可视化图像和每个人体骨骼关键点在每个时间帧的3d位置，控制机械臂带动磁刺激治疗仪移动。

74、综上所述，由于采用了上述技术方案，本发明的有益效果是：

75、1.本发明中，在整体设备上增加摄像头，采用计算机视觉算法实时处理不同摄像头传来的图像，并在软件中做多角度信息融合获得患者关节关键点的三维位置信息。可做到患者实时标记患者全身关键点，只需在磁刺激仪的软件中输入需要进行治疗的靶区以及刺激区域，即可反馈给机械臂自主完成治疗疗程，极大地提升诊疗效率与精度。

76、2.本发明中，在对运动功能障碍的患者进行外周磁刺激时，机械臂将线圈沿着肌纤维走行的方向进行刺激，同时带领患者主动配合做出对应的动作，可以更好地改善患者的运动控制能力。