上肢镜像康复训练机器人系统、控制方法和计算机介质

1.本发明属于上肢镜像康复训练机器人的
技术领域：
：，特别是涉及上肢镜像康复训练机器人系统、控制方法和计算机介质。
背景技术：
：：2.脑卒中发病率、致残率居高不下，患者发病后不但有不同程度的上肢运动功能障碍，而且常并发焦虑、抑郁等心理问题。因此，卒中后及时有效的上肢运动功能康复训练，整合精准的心理干预治疗，将有效提升患者参与康复训练的自主意愿和心理健康水平，有效改善患者的日常生活活动能力和加速患者回归社会进程，临床上具有十分重大的意义。然而我国康复治疗的专业人才严重短缺，亟需新型康复手段和智能设备，辅助治疗师对脑卒中患者进行康复训练，加速患者的康复进程。基于镜像原理的上肢康复训练机器人可以实现大量、重复、精准的镜像康复训练，解决了传统康复手段和设备的康复效果有限、无法实现个体化精准康复等问题。然而，目前镜像康复机器人存在智能化程度低、康复训练模式单一、交互性差等问题，一定程度上制约了镜像康复机器人的临床应用与推广。因此，针对以上问题，本发明进行了上肢镜像康复训练机器人关键技术的研究。技术实现要素：3.发明目的：为了解决上述的技术问题，本发明提供了一种上肢镜像康复训练机器人系统、控制方法和计算机介质。本系统利用cv获得患者健侧肢体的运动轨迹信息，通过镜像映射与控制算法控制协作机器人ur5带动患侧肢体进行康复训练。同时，在患者进行镜像康复训练的过程中，系统可实时采集患者的面部表情并进行分析，将识别结果存储到服务器端的数据库中，医生可通过客户端查看患者在整个康复训练过程中的情绪状态变化情况。4.技术方案：为达到上述发明目的，本发明提供如下技术方案：5.一种上肢镜像康复训练机器人系统，该系统包括硬件部分和控制系统：6.所述硬件部分，包括安装有康复辅具的协作式机器人、设有易于握持的把手和六面均设有视觉标签的正方体康复训练道具、视觉摄像头和计算机工作站，患者健侧上肢手部抓握正方体康复训练道具，患侧上肢手部抓握协作式机器人上的康复辅具，计算机工作站利用视觉摄像头获得患者健侧肢体的运动轨迹信息和患者的面部表情，计算机工作站控制协作式机器人的运动，将获取到的健侧运动信息镜像映射到患侧，实现健侧上肢带动患侧上肢的镜像康复训练；7.所述控制系统，包括基于视觉标签的3d视觉定位模块、基于视觉的面部表情识别模块、患者情绪状态可视化模块和协作式机器人控制模块，将各模块进行集成，实现控制协作式机器人带动患侧肢体进行康复训练同时进行面部表情监测。8.作为优选方案，所述协作式机器人选自ur5协作式机器人；所述视觉标签选自aruco视觉标签；所述视觉摄像头选自azurekinectdk。9.作为优选方案，所述正方体康复训练道具的每个表面均设有凹槽，视觉标签固定在凹槽中，易于握持的把手连接到正方体的顶面和底面的两个相邻顶点处。10.基于视觉标签的3d视觉定位模块的控制方法，主要采用3d视觉定位算法，包括如下：由于正方体康复训练道具的每个面都有一个正方形视觉标签，在模型使用过程只要其中有一个标签未被遮挡，识别程序就可以通过识别该标签获得正方形标签的4个角点在像素坐标系中的坐标值，进而通过计算正方形的对角线交点获得标签中心点在像素坐标系中的坐标值，最后将标签中心点在像素坐标系中的坐标值传入视觉摄像头的点云转换函数中，便可以获得该点在相机坐标系中的三维空间坐标值。11.基于视觉的面部表情识别模块的控制方法，主要采用面部表情识别算法，包括如下：当检测到人脸时，将该帧图像传入训练好的模型进行识别，将识别结果通过以太网发送并存储到服务器中；在镜像康复训练过程中引入情绪状态控制因素，当训练过程中系统检测到患者持续5s出现负面情绪时，会立即停止。12.作为优选方案，主要采用基于mini-xception卷积神经网络修改的multiscale-mini-xception卷积神经网络，包括如下：该网络的第一层分别使用卷积核为1×1、3×3和5×5的卷积层，分别对每个卷积层进行批归一化操作，将得到的特征图相加后送入下一级网络，其余网络结构与原始mini-xception卷积神经网络结构相同；当检测到人脸时，会将该帧图像传入训练好的multiscale-mini-xception卷积神经网络模型进行识别，将识别结果通过以太网发送并存储到服务器中；在镜像康复训练过程中引入情绪状态控制因素，当训练过程中系统检测到患者持续5s出现负面情绪时，会立即停止。13.协作式机器人控制模块的控制方法，采用ur5协作式机器人时，包括如下：通过给ur5发送urscript程序的方式实现对机器人的编程控制，使用servoj(get_inverse_kin(p[x,y,z,rx,ry,rz]),t＝0.1,lookahead_time＝0.01,gain＝1)函数作为ur5的运动控制指令，其中参数x,y,z是ur5末端在机器人基座坐标系下的三维空间位置，主要通过改变这3个参数完成机械臂末端的运动控制；rx,ry,rz为旋转参数，本系统未考虑旋转量，故将这三个参数设为定值；t为机械臂末端到达目标位置所需要的时间，lookahead_time为平滑运动轨迹的提前时间，gain为控制增益参数；通过socket接口向ur5的30003端口发送控制脚本程序，控制机械臂末端持续向目标点运动，同时接收ur5的30003端口返回的实时数据，以获取机器人的反馈信息，通过接收并解析该数据包实现ur5的运行状态监测。[0014]患者情绪状态可视化模块的控制方法，包括如下：在服务器端安装mysql数据库服务，使用基于python的djangoweb框架搭建了一个情绪状态可视化网站，使用阿里云g2可视化引擎和layui前端解决方案将情绪数据可视化图表渲染到web客户端界面。[0015]本发明最后提供了一种计算机工作站，所述计算机工作站上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的控制方法的步骤。[0016]有益效果：本发明设计的上肢镜像康复训练机器人系统实现了患者自主意愿控制下的健侧带动患侧的镜像康复训练，同时将脑卒中患者的面部表情作为康复训练过程中的监测指标。该信息可以间接反映患者在训练过程中的参与度和自主意愿，为医生分析脑卒中患者训练过程的心理活动和设计更加个性化的生理和心理干预方案提供了参考。附图说明[0017]图1为康复训练道具的3d模型设计图(a)健侧；(b)患侧。[0018]图2为系统整体设计方案图。[0019]图3为azurekinectviewer软件演示图。[0020]图4为标签图像示例。[0021]图5为aruco标签粘贴顺序示意图。[0022]图6为静止状态下标签中心点在相机坐标系中的x、y和z轴坐标测量值。[0023]图7为重复移动时标签中心点在相机坐标系中的x、y和z轴坐标测量值。[0024]图8为multiscale-mini-xception网络架构图。[0025]图9为mini-xception网络训练过程的准确率(左)和损失值(右)。[0026]图10为mini-xception卷积神经网络的验证集混淆矩阵。[0027]图11为multiscale-mini-xception网络训练过程的准确率(左)和损失值(右)。[0028]图12为multiscale-mini-xception卷积神经网络的验证集混淆矩阵。[0029]图13为镜像康复训练控制逻辑流程图。[0030]图14为基于情绪状态的控制逻辑。[0031]图15为机械臂轨迹跟踪精度测试实验示意图。[0032]图16为原点对齐后的手持康复训练道具运动轨迹与机械臂末端跟踪轨迹对比图。[0033]图17为机械臂轨迹跟踪精度测试中x轴、y轴和z轴向跟踪误差测量值。[0034]图18为情绪识别结果概率散点图。具体实施方式[0035]下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。[0036]实施例1机器人系统设计[0037]为了精准感知患者健侧的主动运动意图，追踪健侧运动轨迹，选用azurekinectdk作为视觉定位装置。[0038]为了实现健侧带动患侧的镜像康复训练，分别在患者的健侧和患侧设计了不同的康复训练康复训练道具，以确保机器人能够精准识别健侧肢体的运动意图，同时将健侧的运动轨迹镜像到患侧，带动患侧肢体进行康复训练。[0039]在健侧康复训练康复训练道具设计方面，要求该康复训练道具既是患者熟悉的日常生活器具，又能够较为方便的贴装视觉标签。因此，设计了一个现实生活中喝水时使用的杯子作为训练康复训练道具。同时，参考了传统的基于单个视觉标签的识别方案和基于3d视觉的定位方案，拟设计一种可以在多个角度被识别到的训练康复训练道具模型。其主要由一个10cm×10cm×10cm正方体康复训练道具主体和一个易于握持的把手组成，如图1(a)所示。在其6个表面都粘贴有视觉标签，保证了该模型在不同角度下都可以被相机识别到。为了便于安装视觉标签，在其每个表面切出一个边长为5cm，深度为1mm的正方形凹槽，设计的视觉标签可以固定在模型每个表面的中心位置。模型的把手连接到正方体康复训练道具的顶面和底面的两个相邻顶点处，可以减少握持时肢体对视觉标签的遮挡面积。最后对模型的各个外侧边缘都进行了圆角处理，降低其边缘的锋利度。[0040]在患侧康复训练康复训练道具设计方面，要求与健侧的手部动作一致，即采用抓握的方式与机器人交互，同时考虑相比于其它手部动作，抓握动作对于脑卒中偏瘫患者较为容易。因此，本发明设计了一种可安装在机械臂末端的圆柱形康复训练道具，并对所有的边缘部分进行圆角处理以降低边缘的锋利度，在其底部的圆盘上预留螺孔，以便于与机械臂末端通过螺丝固定，如图1(b)所示。[0041]为了实现带动脑卒中患者的患肢运动的功能，需要一种执行机构，其应该拥有较高的自由度，准确的重复精度，极高的安全性和较大的工作范围空间。协作式机器人是设计和人类在共同工作空间中有近距离互动的机器人，不仅性价比高、易于控制而且安全方便，因此非常适用于本系统。丹麦的universalrobots公司生产的ur系列的协作式机器人，其内部控制器在发生碰撞等异常状态时能够触发保护性停止，可以在康复训练过程中保证与脑卒中患者交互的安全性。本发明选用ur5作为镜像康复训练的执行机构，其位姿重复性为±0.1mm，工作范围可以基本覆盖人体上肢的活动空间，可以保证脑卒中患者在训练时拥有较大运动范围和较高的跟踪精度。[0042]ur5主要由控制箱、示教器和机械臂组成，通过示教器可以控制机器人的开关机，示教器支持触摸功能，可以通过触摸屏对其进行图形化编程。其控制箱预留多种接口，其中包含一个以太网接口用于与外部设备进行数据交换。计算机工作站可以通过该以太网接口与其进行通信，并对其发送控制指令或请求获取机器人的状态参数。[0043]上肢镜像康复机器人系统整体设计方案如图2所示，主要由ur5机器人、kinect、移动计算机工作站等组成。移动计算机工作站通过usb与kinect相连，获取患者的健侧肢体运动意图和康复训练过程中的面部表情信息。移动计算机工作站通过路由器与ur5进行连接，实现对ur5机器人的运动控制，将获取到的健侧运动信息镜像映射到患侧，实现了健侧带动患侧的镜像康复训练。同时，移动计算机工作站通过路由器将镜像康复训练数据以及患者训练过程中的情绪状态等信息上传至服务器，康复医师可以在网页端查看患者在康复过程中的情绪状态变化、康复训练的各类数据等。[0044]实施例2基于视觉标签的3d视觉定位算法[0045]azurekinectdk在视觉定位方面具有优良的性能和较低的成本，所以本发明选用该设备实现健侧手部位置空间定位。github上的开源python库(pyk4a)封装了一系列azurekinectsdk的操作接口，可以对azurekinectdk十分方便地进行编程操作，同时python语言具有易读和快速开发特性，因此本发明选用python语言编写azurekinectdk的读取/控制程序。[0046]1、azurekinectdk设备安装与调试[0047]azurekinectdk的底部具有快速拆卸固定螺孔，通过该螺孔可以将azurekinectdk安装在可伸缩和调平的三脚架上。受限于azurekinectdk相机的视场和深度相机的工作范围，为了获得最佳的工作视野，需要考虑azurekinectdk的摆放位置。由于本系统主要关注脑卒中患者的上肢运动轨迹，且azurekinectdk的最大视角为120°，深度工作半径为0.5-5.46米，将azurekinectdk摆放至高度与受试者肩部平齐，距离人体正前方约1.5米处，此时构成的圆台形空间可以满足人体上肢运动所需空间范围。通过移动三脚架和调节三脚架的伸缩机构使azurekinectdk达到该工作位置。[0048]为了方便将azurekinectdk相机坐标系方便映射到机器人坐标系中，需要将azurekinectdk相机坐标系的y轴尽可能与机器人的基座平面垂直。由于机器人的基座平面基本上与地面垂直，所以可以通过水平尺对其进行调平以达到上述效果。首先将水平尺的底部平面固定在azurekinectdk的顶部平面，然后转动三脚架顶部的球窝结构，使水平尺三轴的气柱尽量都位于中点位置，此时azurekinectdk的顶部平面相对于地面达到近似水平状态。最后连接azurekinectdk的电源线，使用usb数据线将azurekinectdk与pc的usb3.0接口连接，pc端安装azurekinectdk驱动程序和azurekinectsdk，使用azurekinectviewer软件测试其软硬件安装是否成功。如图3所示，azurekinectdk可以正常获得rgb图像，深度图像，红外图像等信息即表示azurekinectdk已安装完成。[0049]2、基于视觉标签的检测原理[0050]为了获得训练康复训练道具在相机坐标系下的空间坐标，当前最流行的识别方法之一是使用aruco标签对模型进行标记。本发明通过检测高可靠性的aruco标签，间接获得人体手部的空间坐标位置。aruco标签识别基于aruco库，这是一个由rafael和sergiogarrido开发的用于检测方形基准标记的流行库。这些标签的主要优点是单个标签能够提供足够多的对应关系(其四个角)，从而获得相机姿态。此外，由于该标签使用二进制编码，其鲁棒性更好，允许识别算法对其进行错误检测和纠正。[0051]aruco标签是由黑色边框和内部包含二进制标识符(id)的矩阵图案组成的方形标记。其黑色边框便于在图像中快速检测，二进制编码允许其识别标识符和并进行错误检测和校正。如图4是aruco标签的一些示例，其中图中上半部分3个标签从左向右分别对应标识符为0、1、2，下半部分3个标签从左向右分别对应标识符为3、4、5。[0052]整个标签识别步骤如下：[0053]1.检测候选标签：首先使用自适应阈值对图像进行二值化，然后从二值化后的图像中提取轮廓，查找作为候选标签的正方形形状，并丢弃那些不清晰或不近似于正方形的轮廓，删除太小或太大的轮廓，删除彼此太近的轮廓等。[0054]2.在检测候选标签之后，通过分析其内部编码来验证它们是否是真的标签。首先应用透视变换来获取规范的标签图像，使用otsu算法对规范图像进行二值化值处理，以区分白色位和黑色位。然后根据标签大小和边框大小将标签图像划分为不同的单元格，计算每个单元格中的黑色或白色像素点个数，以确定它是白色位还是黑色位。最后分析图像以确定标签是否属于特定标签，必要时还会使用纠错技术。[0055]3.通过aruco库提供的标签检测函数可以对aruco标签进行检测，当aruco标签被检测到时，该函数会返回aruco标签的四个角点在像素坐标系中的坐标值，标签id等。通过计算标签的四个角点围成矩形的中心位置，便可以获得标签中心点在像素坐标系中的坐标值。[0056]3、基于视觉标签的模型定位方法[0057]为了减少视觉标签在使用过程中由于旋转产生的遮挡问题，本发明设计了一种正方体康复训练道具训练模型，其每个表面都有一个5cm×5cm的凹槽便于粘贴视觉定位标签。使用打印机在a4纸上打印出6个5cm×5cm的aruco标签，按照一定的顺序，将其粘贴在刻有方形凹槽的模型表面上。本发明中视觉标签的粘贴顺序如图5所示，id0～4张贴在模型的侧面，id5张贴在顶部，id6张贴在底部。[0058]由于该模型的每个面都有一个aruco标签，在模型使用过程只要其中有一个标签未被遮挡，识别程序就可以通过识别该标签获得标签的4个角点在像素坐标系中的坐标值，进而通过计算4个角点的中心位置获得标签中心点在像素坐标系中的坐标值。最后将标签中心点在像素坐标系中的坐标值传入azurekinectdk的点云转换函数中，便可以获得该点在相机坐标系中的三维空间坐标值。[0059]通过上述方法制作的视觉标签模型，在相机视野中进行任意运动时会有4种状态：(1)视野中未检测到模型，未发现标签；(2)视野中检测到模型，发现1个标签；(3)视野中检测到模型，发现2个标签；(4)视野中检测到模型，发现3个标签。其中第一种情况主要发生在模型移速过快或完全被遮挡时，此时视觉标签无法被检测到，标签检测函数将会返回空值，本系统在该情况下将会使机械臂保持静止不动。当视野中仅检测到1个标签时，使用该标签的中点值作为健侧肢体运动轨迹追踪点；当视野中检测到2～3个标签时，判断每个标签的4个角点围成的面积的大小，取像素点较大的面积的标签的中点作为视觉标签识别点。[0060]4、视觉标签定位性能测试实验[0061]为了验证使用azurekinectdk对视觉标签进行定位的准确率和稳定性，做了如下实验：[0062]1)在微星gp63笔记本电脑上下载并安装最新的nvidia显卡驱动程序、microsoftvisualc++redistributableforvisualstudio2015运行库、azurekinectsdk、pycharm、python3.7。[0063]2)将azurekinectdk连接电源并通过usb线缆连接到微星gp63笔记本电脑的usb3.0接口，启动azurekinectviewer检查确认已正确设置azurekinectdk。[0064]3)使用pycharm新建python工程，基于开源库pyk4a调用azurekinectsdk，编写标签中心点坐标位置数据采集程序。[0065]4)将贴有标签的康复训练道具静止放置在桌面上，运行步骤3中的程序，每隔1秒记录一次，持续记录一段时间内获得的标签中心点在相机坐标系下的三维坐标值并保存为csv文件，验证使用azurekinectdk在被测物体静止状态下读取到的坐标值漂移情况。[0066]5)将贴有标签的康复训练道具固定在机械臂末端，设置ur5的机械臂末端沿相机坐标系下x，y，z坐标方向同时变化10厘米并进行多次往返移动。运行步骤3中的程序，每秒记录30次，持续记录一段时间内测得的模型中心点在相机坐标系下的三维坐标值并保存为csv文件，验证使用azurekinectdk追踪目标时，测得的位移量的精确度和重复精度。[0067]5、试验结果与分析[0068]当azurekinectdk能采集到一张稳定清晰的照片时，标签检测函数才能准确的求得标签的4个角点的位置，进而才能求得标签中心的x，y坐标位置，其主要影响标签中心点在相机坐标系中的x，y值，而标签中心点深度信息z值的准确性主要受azurekinectdk的深度测量精度影响。[0069]使用azurekinectdk对静止的视觉标签进行测量实验，总共记录到了799条记录，x轴、y轴和z轴的测量结果如图6所示，其中x，y，z轴测量值的统计指标如表1所示。[0070]表1静止状态下获得的被测目标的x，y，z轴测量值统计指标[0071][0072]由上表1可知，基于视觉标签方案使用azurekinectdk的对静止目标测量时，x轴与y轴方向的极差较小，为2mm，方差也较小；z轴上的极差最大，为5mm，方差也最大，这些统计指标均小于使用人体跟踪sdk时获得的双臂肘关节点测量值的统计指标，测量值的最大波动为毫米级。其中众数可以看作azurekinectdk对被测静止目标的稳定观测值，可以发现平均值与众数的偏差较小，最大不超过0.2mm，总体测量值围绕众数波动，说明测量过程中的总体测量值未产生较大偏移。[0073]在使用azurekinectdk对重复移动的视觉标签进行测量实验时，总共记录到了1460条记录，x轴、y轴和z轴的测量结果如图7所示，其中x，y，z轴测量值的统计指标如表2所示。[0074]表2运动状态下获取被测目标的x，y，z轴测量值统计指标[0075][0076][0077]由上表可知，基于视觉标签方案使用azurekinectdk的对重复往返运动目标的运动距离测量最大误差为7mm。综上所述，基于视觉标签的定位方法的准确率和稳定性更高，故本发明选用该方法追踪镜像康复训练中的健侧运动轨迹。[0078]实施例3基于视觉的面部表情识别算法[0079]1、卷积神经网络[0080]arriaga等人提出一种可用于实时面部情绪识别的mini-xception卷积神经网络，该卷积神经网络接受48×48×1的张量作为输入，其前两层每层是一个卷积核为3×3的卷积层，在每个卷积操作后都进行批标准化操作，然后经线性整流函数(linearrectificationfunction,relu)激活后输出。中间4层每层由2个深度可分离卷积层和一个步长为2，卷积核为1×1的卷积层组成，每个卷积操作后都进行批标准化操作，并在第1个深度可分离卷积层后使用relu进行激活操作，在第2个深度可分离卷积层后进行步长为2的最大值池化操作，最后将得到的特征图相加后输出。最后一层应用全局平均池化和softmax激活函数生成预测。[0081]本发明在上述提出的mini-xception卷积神经网络的架构基础上改进并设计了一种multiscale-mini-xception卷积神经网络，如图8所示，该网络的第一层分别使用卷积核为1×1、3×3和5×5的卷积层，分别对每个卷积层进行批归一化操作，将得到的特征图相加后送入下一级网络，其余网络结构与原始mini-xception卷积神经网络结构相同。原始mini-xception卷积神经网络的前两层使用了感受野为3×3的相同卷积核，本发明提出的multiscale-mini-xception卷积神经网络的第一层使用了3个不同感受野的卷积核代替原卷积神经网络中的前两层神经元，相较于原始mini-xception卷积神经网络减少了总网络训练参数，同时引入5×5的卷积核使该卷积神经网络拥有更大的感受野，引入1×1卷积核尝试提取原始图像中的精细特征。[0082]2、实验方法[0083]本发明选用安装有windows10系统的台式pc对支持向量机和卷积神经网络模型进行训练，本发明选用的修改过ferplus2013数据集作为模型训练数据集，其原始数据集共有35888张尺寸为48×48像素的不同人脸表情的灰度图像，对每张照片，有10个人投票其情绪属于neutral、happiness、surprise、sadness、anger、disgust、fear、contempt、unknown或notface标签。考虑到本系统更加关注患者是否出现正向或负向情绪，所以本发明将原始数据集划分为三类，如表3所示，将其中的happiness分类作为正向情绪(positive)分类，surprise、sadness、anger、disgust、fear、contempt分类合并作为负向情绪(negative)分类和neutral分类作为中性情绪(neutral)分类。同时剔除掉原始数据集中属于notface标签的图像和出现不同情绪类别投票数相同的图像数据，最终得到的数据集中包含31052张图像。[0084]表3情绪状态重分类划分表[0085][0086]使用matlabr2021a中的分类学习工具箱对支持向量机的参数进行训练。经典的图像识别特征主要有方向梯度直方图(histogramoforientedgradient)、局部二值模式(localbinarypatter)的直方图，分别用数据集中图像的原始像素值、方向梯度直方图(histogramoforientedgradient)、局部二值模式(localbinarypatter)的直方图作为特征对支持向量机进行训练，使用十折交叉验证计算模型的精确性，以评估模型的平均准确率。核函数选择分别选用了线性核函数、二次核函数、三次核函数、高斯核函数，其中高斯核函数分别选用核尺度设置为sqrt(p)/4、sqrt(p)、sqrt(p)*4的高斯核，p为预测变量的数量。[0087]使用pycharm软件和tensorflow框架对卷积神经网络的网络参数进行训练，设置batch-size为128，将修改过ferplus2013数据集中的80％的原始图像数据划分为训练集，20％的原始图像数据划分为验证集，并在每次划分前都会对原始数据集的数据序列进行随机化重新排序，使用adam优化器对训练过程进行优化，使用交叉熵作为损失函数，将初始学习率设置为0.01，每当验证集的损失值超过10次不下降时，使学习率变为原来的一半，当验证集的损失值超过50次下降小于0.0001时，停止对卷积神经网络的参数进行训练。[0088]3、实验结果与分析[0089]分别对mini-xception卷积神经网络和multiscale-mini-xception卷积神经网络在相同条件下进行了10次训练，对比了原始mini-xception卷积神经网络和multiscale-mini-xception卷积神经网络的所需训练的网络参数数量、相同的学习率下降参数下的平均训练所需epoch、验证集的平均准确率和最高验证集准确率，如表4所示；[0090]表4两种卷积神经网络模型的参数对比表[0091][0092]由上表可知，原始mini-xception卷积神经网络的10次训练的平均准确率为83.89％，其验证集准确率最高的一次实验的训练过程的损失值和准确率如图9所示，其混淆矩阵如图10所示。multiscale-mini-xception卷积神经网络10次训练的平均准确率为83.89％，其验证集准确率最高的一次实验的训练过程的损失值和准确率如图11所示，其混淆矩阵如图12所示。通过对比可知，multiscalemini-xception卷积神经网络在所需训练的网络参数减少的情况下，可以获得和原始mini-xception卷积神经网络差不多相同的验证集识别准确率。所以本发明选用训练过的验证集准确率最高的multiscale-mini-xception卷积神经网络作为情绪识别的卷积神经网络模型。[0093]实施例4上肢镜像康复机器人系统集成[0094]为了使上肢镜像康复机器人系统实现镜像康复训练，并将两个关键技术(脑卒中患者的健侧运动意图识别和情绪状态识别)进行有机集成，需要在机器人镜像控制策略、训练过程的情绪状态数据记录等方面进一步进行研究。本实施例阐述了机器人系统集成过程中ur5机械臂的控制策略和面部情绪状态的数据可视化方法，并对ur5机械臂的跟踪性能和面部情绪状态识别效果做了测试。[0095]1、镜像控制策略实现[0096]建立以镜像康复为原则的脑卒中上肢镜像康复机器人，通过感知患者的运动意图、运动状态和心理情绪特征，将肢体康复和情绪监测相融合，建立个性化的多模态精准康复训练新范式。[0097]1.1、ur5机械臂控制策略实现[0098]所以本发明选择通过给ur5发送urscript程序的方式实现对机器人的编程控制。使用servoj(get_inverse_kin(p[x,y,z,rx,ry,rz]),t＝0.1,lookahead_time＝0.01,gain＝1)函数作为ur5的运动控制指令，其中参数x,y,z是ur5末端在机器人基座坐标系下的三维空间位置，本发明也是主要通过改变这3个参数完成机械臂末端的运动控制；rx,ry,rz为旋转参数，本发明中未考虑旋转量，故将这三个参数设为定值；t为机械臂末端到达目标位置所需要的时间，本发明在上位机程序端每隔0.06s向机器人发送一次指令，经实验测试发现，在t设置为0.1s时，机械臂不会由于电机加减速运动而产生卡顿现象，故将其设置为0.1s；lookahead_time为平滑运动轨迹的提前时间，本发明根据实际测试将lookahead_time参数设置为0.01s；gain为控制增益参数，本发明根据实际测试将其设置为1。[0099]本发明通过socket接口向ur5的30003端口发送控制脚本程序，控制机械臂末端持续向目标点运动，同时接收ur5的30003端口返回的实时数据，以获取机器人的反馈信息，通过接收并解析该数据包实现ur5的运行状态监测。[0100]1.2、镜像康复训练控制策略实现[0101]本发明通过追踪健侧上肢握持的康复训练道具，带动患侧进行镜像运动训练。pc端使用pycharm软件编写python程序对ur5进行控制，程序的控制逻辑如图13所示，首先通过示教器将机械臂末端拖动到一个较为方便的交互位置，读取示教器的坐标参数值，通过该坐标值初始化ur5的机械臂末端的起始位置。[0102]配置kinect的捕获rgb和红外深度视频的分辨率帧数为1080p30fps，深度镜头设置为wfov_2×2binned模式并启动视频捕获。当aruco标签检测函数检测到视野中包含的aruco标签时，使用实施例2中提到的策略获取第一次检测到的标签中心在相机坐标系下的坐标值作为起始坐标值。[0103]然后持续检测aruco标签在视野中的运动位置，计算新测得的3个轴向的坐标值与上一次测得的坐标值的差值，计算3个差值的平方和的平方根，求得两点的直线距离，当两点的直线距离超过5mm时使用前述控制方式控制机械臂向新测得的目标点移动。通过机器人的反馈信息查询机械臂末端是否抵达目标点，直到抵达目标点时，检查相关标志位获得是否还要继续训练，如果继续，则重新使用aruco标签检测函数继续测量aruco标签在相机坐标系下的位置是否更新；如果终止，则跳出程序循环，停止镜像训练程序。[0104]2、情绪监测及数据可视化[0105]2.1、基于情绪状态的康复训练流程[0106]本发明使用azurekinectdk在检测视觉标签的同时对视野中的人脸进行检测，当检测到人脸时，会将该帧图像传入训练好的multiscale-minixception卷积神经网络模型进行识别，将识别结果通过以太网发送到实验室中另一台安装有mysql数据库软件的服务器中。在镜像康复训练过程中引入情绪状态控制因素，当训练过程中系统检测到患者持续5s出现负面情绪时，会立即停止训练同时发出警告信息。其基于情绪状态的控制逻辑如图14所示。[0107]2.2、脑卒中患者情绪状态可视化[0108]本发明选用一台独立台式pc作为服务器，在服务器端安装mysql数据库服务，使用基于python的djangoweb框架搭建了一个简易的可视化网站，使用阿里云g2可视化引擎和layui前端解决方案将情绪数据可视化渲染到web客户端页面。当用户访问该网站地址时，首先会进入登陆界面。当用户输入用户名和密码并点击登录时，使用jquery的ajax异步请求工具请求mysql数据库中的用户名和密码字段进行匹配，匹配成功时进入数据可视化界面。在可视化界面，网页会自动每隔1秒刷新一次页面，当有情绪识别数据传入mysql数据库时，本网页会使用ajax异步请求工具请求数据库中的情绪识别结果字段，使用阿里云g2可视化引擎重新载入新传入的数据并渲染在实时情绪识别分类概率图中。网页下半部分还实现了历史数据筛选显示功能，使用layui中的时间与日期选择模块和数据表格模块实现了历史数据筛查和表格显示，同时将筛查到的数据再次使用阿里云g2可视化引擎绘制在情绪识别历史数据图中示。[0109]2.3、实验方法[0110]2.3.1机械臂轨迹跟踪精度测试实验如图15所示，实验在实验室的室内环境下完成，选用吸顶式日光灯作为实验光源。实验设备有微星gp63笔记本电脑、azurekinectdk、polarisvegast和ur5，其中polarisvegast是一款类似于azurekinectdk的高精确度标签追踪系统，在其三角锥视场区域内对视觉标签的测量精度可以达到亚毫米级。[0111]实验过程如下所述：[0112]1)将polarisvegast的39号标签与40号标签分别固定在手持康复训练道具的上部和机械臂末端的前部，开启轨迹追踪软件nditooltrack，持续记录两个标签的空间位置信息。[0113]2)在微星gp63笔记本电脑端开启运动跟随测试程序，该测试程序通过python编写，该程序首先初始化ur5机械臂的起始位置，然后将从azurekinectdk第一帧图像获取到的手持康复训练道具的标签的中心点坐标作为起始坐标点，将后续获取到坐标值与起始坐标值做差，最后将差值作为位移信息传递给ur5，控制机械臂末端沿标签运动相同的方向移动相同差值的距离做跟随运动。[0114]3)手持康复训练道具并分别在三个不同的平面上移动康复训练道具，使每个平面上的运动轨迹近似为矩形轨迹。[0115]4)康复训练道具移动结束后，在nditooltrack软件中停止记录数据，并将刚才记录得到的数据导出为csv文件，并筛选出记录到有效数据以便分析。[0116]2.3.2情绪状态识别有效性的测试实验[0117]本实验在实验室的室内环境下完成，选用吸顶式日光灯作为实验光源。实验设备有台式pc、azurekinectdk。[0118]实验过程如下所述：[0119]1)本发明分别剪辑了《烈火英雄》、《舌尖上的中国》、《夏洛特烦恼》三部电影中的悲伤、平和与搞笑片段，每个片段大概5分钟，并在每个片段的片头加入了15s的轻音乐。[0120]2)让受试者全程佩戴耳机观看3部感情色彩不同的电影片段，使用azurekinectdk的rgb相机持续记录受试者在观看过程中的面部图像。[0121]3)将采集到的视频每隔1s截取1帧并送入训练好的卷积神经网络模型，记录经过softmax层后得到的概率值，并将其导出为csv文件便于分析。[0122]2.3.4实验结果与分析[0123]机械臂轨迹跟踪精度测试结果[0124]本发明使用polarisvegast对在上述控制策略下的机械臂的跟踪精度进行了测量实验，总共记录到了2549条有效记录。为了对齐两个运动轨迹的起始坐标点，分别将每个标签测量点的x，y，z轴测量值减去起始点的x，y，z轴测量值，测得的运动轨迹如图16所示。对齐起始坐标点后，将同一帧测得的康复训练道具点x坐标值与机械臂末端点x坐标值做差，得到x轴的跟踪误差，同理，得到y轴和z轴的跟踪误差，结果如图17所示，其中x，y，z轴的跟踪误差测量值的统计指标如表5所示。[0125]表5手持康复训练道具和机械臂末端的x，y，z轴跟踪误差统计指标[0126][0127][0128]由上表5可知，使用polarisvegast测得的手持康复训练道具和机械臂末端轨迹在x轴向上的最大跟踪误差为20.751mm，在y轴向上的最大跟踪误差为24.746mm，在z轴向上的最大跟踪误差为19.786mm。综上所述，基于上述控制策略的机械臂追踪轨迹与手持康复训练道具的运动轨迹最大误差为y轴方向上，最大误差为24.746mm，跟踪精度为厘米级。[0129]情绪状态识别有效性的测试结果[0130]如图18所示，受试者在观看《舌尖上的中国》时，中性情绪的整体平均概率值较大，面部表情较为平静；观看《烈火英雄》时，负向情绪的整体平均概率值虽然相较于其他两个较高，但与中性情绪概率值相似，产生这种情况的原因可能是本发明使用的神经网络的层数较少，未能学习到有较好区分度的网络参数；观看《夏洛特烦恼》时，受试者整体的正向情绪的概率值较高，此时其他两种情绪的整体平均概率值较低，说明该神经网络模型对正向情绪与其他两种情绪的区分度较高。[0131]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。当前第1页12当前第1页12