基于图像视觉的动作捕捉方法、双目定位装置及系统与流程

本发明涉及计算机视觉运动捕捉领域，特别涉及一种基于图像视觉的动作捕捉方法、双目定位装置及系统。

背景技术：

实验及临床研究表明，由于中枢神经系统存在可塑性，在大脑损伤后的恢复过程中，具有功能重建的可能性。目前认为脑血管意外或者外伤导致的神经损伤引发的下肢瘫痪的患者经过正规的康复训练可以明显减少或减轻瘫痪的后遗症。

随着科技水平提高，人们可以利用自动化机械辅助设备对肢体上不能正常活动的患者进行康复训练治疗，目前在日常的家庭护理康复治疗中，国内常使用家用型的肢体运动康复仪来对受损的肢体运动恢复。它本身以以神经促通技术为核心，使肌肉群受到低频脉冲电刺激后按一定顺序模拟正常运动，除直接锻炼肌力外，通过模拟运动的被动拮抗作用，协调和支配肢体的功能状态，使其恢复动态平衡；同时多次重复的运动可以向大脑反馈促通信息，使其尽快地最大限度地实现功能重建，打破痉挛模式，恢复自主的运动控制，尤其是家用的时候操作简便。这种疗法可使瘫痪的肢体模拟出正常运动，增强患者康复的自信心，最大限度恢复患者下肢的肌张力和肢体运动。

然而，市场上现有的康复训练设备仅仅是根据需要提供了基本的重复运动需求，医护人员对患者的恢复情况仅仅是通过基本观察，询问患者以及医护经验来获得。这不利于医护人员把控患者的恢复情况，给医疗和患者造成了经济上、精神上和时间上的损失。

技术实现要素：

有鉴于此，本发明实施例提供了一种基于图像视觉的动作捕捉方法、双目定位装置及系统，实现的下肢关键点捕捉技术，不但为医护人员提供可靠的患肢运动分析数据源，相对现有的基于视觉的动作捕捉技术，具有设备要求低，环境要求低，架设要求低的特点，定位精度高的特点，同时满足下肢康复机器人的数据获取要求。

第一方面，提供一种基于图像视觉的动作捕捉方法，所述方法包括：

获取第n帧图像中的标定点位p；

利用预设关系和所述标定点位p在第n-1帧图像中标定点位p2以及第n-2帧图像中的标定点位p3对所述标记点位p在第n+1帧图像中标记点位pc进行预测，其中所述预设关系为：

xp＝2xp2-xp3

yp＝2yp2-yp3

其中，p、p2、p3为同一标记点位在连续三帧图像中的标记点位，xp和yp分别为p帧下预测的标定点位的pc。

在预测的到的第n+1帧图像中标记点位pc作为种子进行区域填充处理，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数符合指定大小连通域的种子点确定为有效候选点位，得到pm；

在预测的到的第n+1帧图像中标记点位pc的邻域内进行处理的标定点位pn；

若pm和pn至少找到一个，则确认成功跟踪上标定点位。

利用标定好的标定点位做计算得到所有标定点位的空间坐标数据。

可选地，所述获取第n帧图像中的标定点位p之前，还包括：

实时获取涵盖所有标记点位的图像；

对采集到的图像进行图像处理得到二值化图像；

对得到的二值化图像按照预设条件进行逐行扫描，将查找到的符合所述预设条件的线段确定为潜在候选标记点位的中心；

将所有查找到的所述潜在候选标记点位作为种子进行区域填充处理，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数符合指定大小连通域的种子点确定为有效候选点位；

对连续采集的tc帧图像的有效候选点位进行定位点识别，tc为采集的帧数，将tc帧图像里统计在同一位置定位次数的达到tc/2数量的的一半的有效候选点位中心点确定为最终保留的候选点；

若最终保留的候选点的个数符合预设个数则启动做标定点位的跟踪。

可选地，所述实时获取涵盖所有标记点位的图像，包括：

选定图像处理的经验位置，将所有的标定点位都在r范围内，其中r范围为在图像宽度从左到右的八分之一到八分之七之间，在图像高度的三分之一到八分之七之间。

可选地，所述将所有查找到的所述潜在候选标记点位作为种子进行区域填充处理，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数不合指定大小连通域的种子点确定为有效候选点位，包括：

所有候选点作为种子作区域填充处理，使用八邻域种子填充方法，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数不符合指定大小连通域的种子点做排除处理，有效个数的上下限阈值分别为tu，td，在tu和td之间的个数为有效候选点位，否则为无效候选点位进行排除，其中tu为3.14*(au*width)2，td为3.14*(ad*width)2，width是图像的宽度，au为0.025，ad为0.035；

再对连通域形状的圆度小于阈值tr的种子点进行排除，圆度的计算公式是4π*s/c，这里s为连通域像素个数，c为连通域边界像素个数，tr取0.4；

利用符合以上条件的连通域的边界进行最小二乘法的椭圆拟合，找到中心坐标。

可选地，所述对采集到的图像进行图像处理得到二值化图像，包括：

对采集到的图像进行图像灰度化得到第一过程图像；

对所述第一过程图像进行中值滤波处理得到第二过程图像；

对所述第二过程图像进行二值化处理的到二值化图像。

可选地，所述利用标定好的标定点位做计算得到所有标定点位的空间坐标数据之后，还包括：

把所述空间坐标数据实时传输到数据分析设备供使用。

可选地，所述方法还包括：

若没有找到pm和pn中任一个，则确认跟踪失败，发出跟踪失败信号。

可选地，所述对得到的二值化图像按照预设条件进行逐行扫描，将查找到的符合所述预设条件的线段确定为潜在候选标记点位的中心，包括：

对得到的二值化图像按照预设长度比例关系以线段为中心横向或纵向两侧扩展逐行扫描并也符合预设长度比例关系的线段确定为潜在候选标记点的中心。

第二方面，提供一种双目定位装置，所述装置包括：

双目摄像头；

用于固定所述双目摄像头的固定装置，所述固定装置具有两个方向上旋转自由度并可以对所述自由度进行栓紧固定；

用于承载所述固定装置的可伸缩杆；

用于上述部件的底盘，所述可伸缩杆垂直安装在所述底盘上；

在所述底盘的底部安装有至少三个万向轮；

所述底盘中安装有计算模块、供电模块、数据传输模块。

第三方面，提供一种双目定位系统，包括如上述的双目定位装置和定位用的自定义标记。

所述定位用的自定义标记的形状为两个环和一个圆，三者同心圆图案，颜色从外到内分别为黑白黑，最外圆直径上线段长度的比例关系为1∶1∶3∶1∶1。

本发明提供的基于图像视觉的动作捕捉方法、双目定位装置及系统，通过对标记点位的捕捉为后续进行动作捕捉做好铺垫，利用固定在患者下肢关键点上的标记点位和针对标记点位的视觉定位及双目视觉技术实时获取下肢关键点的位置信息，对康复训练过程中保持对患肢状态进行实时检测。让医护人员从多方位角度获得患者的状态，从而做出更科学的决策。

附图说明

图1是本发明实施例中的双目定位装置的结构示意图；

图2是本发明实施例中的双目定位系统的结构示意图；

图3是本发明实施例中的双目定位系统中的定位用的自定义标记的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例中提供一种基于图像视觉的动作捕捉方法，所述方法包括：

获取第n帧图像中的标定点位p；

利用预设关系和所述标定点位p在第n-1帧图像中标定点位p2以及第n-2帧图像中的标定点位p3对所述标记点位p在第n+1帧图像中标记点位pc进行预测，其中所述预设关系为：

xp＝2xp2-xp3

yp＝2yp2-yp3

其中，p、p2、p3为同一标记点位在连续三帧图像中的标记点位，xp和yp分别为p帧下预测的标定点位的pc。

在预测的到的第n+1帧图像中标记点位pc作为种子进行区域填充处理，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数符合指定大小连通域的种子点确定为有效候选点位，得到pm；

在预测的到的第n+1帧图像中标记点位pc的邻域内进行处理的标定点位pn；

若pm和pn至少找到一个，则确认成功跟踪上标定点位。

利用标定好的标定点位做计算得到所有标定点位的空间坐标数据。

本发明提供的基于图像视觉的动作捕捉方法，通过对标记点位的捕捉为后续进行动作捕捉做好铺垫，利用固定在患者下肢关键点上的标记点位和针对标记点位的视觉定位及双目视觉技术实时获取下肢关键点的位置信息，对康复训练过程中保持对患肢状态进行实时检测。让医护人员从多方位角度获得患者的状态，从而做出更科学的决策。

可选地，所述获取第n帧图像中的标定点位p之前，还包括：

实时获取涵盖所有标记点位的图像；

对采集到的图像进行图像处理得到二值化图像；

对得到的二值化图像按照预设条件进行逐行扫描，将查找到的符合所述预设条件的线段确定为潜在候选标记点位的中心；

将所有查找到的所述潜在候选标记点位作为种子进行区域填充处理，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数符合指定大小连通域的种子点确定为有效候选点位；

对连续采集的tc帧图像的有效候选点位进行定位点识别，tc为采集的帧数，将tc帧图像里统计在同一位置定位次数的达到tc/2数量的的一半的有效候选点位中心点确定为最终保留的候选点；

若最终保留的候选点的个数符合预设个数则启动做标定点位的跟踪。

可选地，所述实时获取涵盖所有标记点位的图像，包括：

选定图像处理的经验位置，将所有的标定点位都在r范围内，其中r范围为在图像宽度从左到右的八分之一到八分之七之间，在图像高度的三分之一到八分之七之间。

可选地，所述将所有查找到的所述潜在候选标记点位作为种子进行区域填充处理，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数不合指定大小连通域的种子点确定为有效候选点位，包括：

所有候选点作为种子作区域填充处理，使用八邻域种子填充方法，填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数不符合指定大小连通域的种子点做排除处理，有效个数的上下限阈值分别为tu，td，在tu和td之间的个数为有效候选点位，否则为无效候选点位进行排除，其中tu为3.14*(au*width)2，td为3.14*(ad*width)2，width是图像的宽度，au为0.025，ad为0.035；

再对连通域形状的圆度小于阈值tr的种子点进行排除，圆度的计算公式是4π*s/c，这里s为连通域像素个数，c为连通域边界像素个数，tr取0.4；

利用符合以上条件的连通域的边界进行最小二乘法的椭圆拟合，找到中心坐标。

可选地，所述对采集到的图像进行图像处理得到二值化图像，包括：

对采集到的图像进行图像灰度化得到第一过程图像；

对所述第一过程图像进行中值滤波处理得到第二过程图像；

对所述第二过程图像进行二值化处理的到二值化图像。

可选地，所述利用标定好的标定点位做计算得到所有标定点位的空间坐标数据之后，还包括：

把所述空间坐标数据实时传输到数据分析设备供使用。

可选地，所述方法还包括：

若没有找到pm和pn中任一个，则确认跟踪失败，发出跟踪失败信号。

可选地，所述对得到的二值化图像按照预设条件进行逐行扫描，将查找到的符合所述预设条件的线段确定为潜在候选标记点位的中心，包括：

对得到的二值化图像按照预设长度比例关系以线段为中心横向或纵向两侧扩展逐行扫描并也符合预设长度比例关系的线段确定为潜在候选标记点的中心。

下面结合上面的技术方案对下肢进行恢复训练提供一种应用场景加以说明：

1.在患肢指定位置固定若干标志，双目设备使设备正对标记点方向，保持一定距离是镜头中的图像可以覆盖所有关键点位标记。

2.患者和康复设备一切就绪等待双目设备发开始运动信号。

3.此时双目开始实时采集图像，下面是标记点标定阶段：

1)首先选定图像处理的经验位置，用来假定康复设备开始时所有的标定点位都在r范围内，其中r在图像宽度width的八分之一到八分之七之间(从左到右)，在图像高度height的三分之一到八分之七之间(从上到下)。

2)对采集到的图像灰度化和3*3模板的中值滤波处理，然后使用局部自适应二值化方法对图像进行二值化处理，这里局部自适应二值化方法使用的是计算图像中每一个像素所在3*3领域内的所有像素灰度的平均值作为阈值t，大于阈值t则将此像素设为白色，否则设为黑色。

3)在得到的二值图像上，根据本专利实施例标记点使用最外圆直径上黑白黑白黑线段长度的比例关系为1∶1∶3∶1∶1，横向逐行扫描图像统计黑白像素个数，找到符合自定义标志直径上黑白像素长度比例的线段，计算此线段中心，再基于此中心位置纵向两侧扩展扫描、统计黑白像素，找到也符合上述黑白长度比例的线段，取线段中心并判定此中心为潜在的候选标记点的中心。

4)所有候选点作为种子作区域填充处理。这里的种子填充算法使用的是八邻域种子填充方法。填充过程中标记连通域边界并统计连通域中的像素个数，对填充区域像素个数不符合指定大小连通域的种子点做排除处理，这里设有效个数的上下限阈值分别为tu，td，在tu和td之间的个数为有效候选点位，否则为无效候选点位进行排除。其中tu为3.14*(au*width)2，td为3.14*(ad*width)2，width是图像的宽度，au为0.025，ad为0.035。再对连通域形状的圆度小于阈值tr的种子点做排除。圆度的计算公式是4π*s/c，这里s为连通域像素个数，c为连通域边界像素个数。tr取0.4。利用符合以上条件的连通域的边界进行最小二乘法的椭圆拟合，找到中心坐标。

5)先对连续采集的若干帧图像进行定位点识别，采集的帧数为tc，在tc帧里，统计在同一位置定位次数的达到tc的一半的中心点，没有达到则进行排除。

4.如果最终保留的候选点符合预设的标定个数，则可以发送开始运动信号，进行标定点位的跟踪。

5.标定点位跟踪阶段：

1)跟踪时，由于康复设备不需要较快的移动速度，这里假定当前帧p里的标定点一定在上一帧p2标定点位附近，不符合的进行排除，而对p帧标定点位的预测使用的是p2帧和上上帧p3的点进行估计。这里使用的是二次回归运动模型，加公式1所示。

xp＝2xp2-xp3

yp＝2yp2-yp3(1)

xp和yp分别为p帧下预测的标定点位的pc。p3，p2，p。

2)以此预测位作为种子点执行3中的4)步骤，得到pm。

3)在pc的邻域内，这里取width*0.1宽度的方框作为邻域。在此区域内做3中的2)，3)和4)步骤，得到中心点位pn。

4)pm和pn至少找到一个，则认为成功跟踪上标定点位，否则跟踪失败，发出跟踪失败信号。

6.利用标定好的双目视觉对双目获得的标定点位做计算得到所有标定点位的空间坐标，并把数据实时传输到数据分析设备。

本方案实现的下肢关键点捕捉技术，不但为医护人员提供可靠的患肢运动分析数据源，相对现有的基于视觉的动作捕捉技术，具有设备要求低，环境要求低，架设要求低的特点，定位精度高的特点，同时满足下肢康复机器人的数据获取要求。

结合图1所示，提供一种双目定位装置，所述装置10包括：

双目摄像头1，优选地，可以采用usb定焦定基线距彩色双目摄像头；

用于固定所述双目摄像头的固定装置2，所述固定装置2具有两个方向上旋转自由度并可以对所述自由度进行栓紧固定；

用于承载所述固定装置的可伸缩杆3，通过调整可伸缩杆可以实现固定装置的上下位置调整；

用于上述部件的底盘4，所述可伸缩杆垂直安装在所述底盘上；

在所述底盘的底部安装有至少三个的万向轮5，调整位置后万向轮可以进行锁紧避免发生窜动，通过增加万向轮便于整个装置的搬运或转移；

所述底盘4中安装有计算模块、供电模块、数据传输模块，计算模块用于对双目摄像头采集的图像数据进行处理，供电模块用于为装置提供电能，为了便于数据传输模块用于实现元器件间的通信。

本发明提供的双目定位装置可以利用前文中介绍基于图像视觉的动作捕捉方法，通过对标记点位的捕捉为后续进行动作捕捉做好铺垫，利用固定在患者下肢关键点上的标记点位和针对标记点位的视觉定位及双目视觉技术实时获取下肢关键点的位置信息，对康复训练过程中保持对患肢状态进行实时检测。让医护人员从多方位角度获得患者的状态，从而做出更科学的决策。

结合图2和3所示，提供一种双目定位系统，包括如上述的双目定位装置10和定位用的自定义标记20。

双目定位装置实时获取固定在辅助运动患肢关键位置侧面的标记。标记点使用的是两个环和一个圆，三者同心的图案，颜色从外到内分别为黑白黑，最外圆直径上黑白黑白黑线段长度呈现一定的比例关系，比例关系为1∶1∶3∶1∶1，这里标记的大小取相同的7cm大小。在辅助设备运动前，在图像经验有效范围内利用图像处理技术对双目设备采集到的彩色图像数据进行灰度化，中值滤波和自适应二值化处理，然后横向逐行扫描图像统计黑白像素个数，找到符合自定义标志直径上黑白长度比例的线段，计算此线段中心，再基于此中心位置纵向两侧扩展扫描、统计黑白像素，找到也符合上述黑白长度比例的线段，取线段中心并判定此中心为潜在的候选标记点的中心。对所有候选点作为种子作区域填充处理，排除所有填充区域大小、圆度不符合条件的区域，接着计算保留下来的填充区域进行连通域边界的椭圆拟合，得到中心坐标。再根据若干帧内，对连续重复定位次数超过一定阈值的点位和规定的标定点个数确定最终的标定点位。在辅助设备运动时，根据上述图像处理方法结合定位点前后帧关系，利用二次回归运动模型预测标记点位。结合上述的自定义标记局部扫描方法和上述填充拟合方法，得到实时稳定跟踪运动中的标记点。利用双目视觉原理计算得到的所有标记点的中心，并把数据实时传输到数据分析设备。

本方案实现的下肢关键点捕捉技术，不但为医护人员提供可靠的患肢运动分析数据源，相对现有的基于视觉的动作捕捉技术，具有设备要求低，环境要求低，架设要求低的特点，定位精度高的特点，同时满足下肢康复机器人的数据获取要求。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，readonlymemory)、随机存取存储器(ram，randomaccessmemory)、磁盘或光盘等。

以上对本发明所提供的一种基于图像视觉的动作捕捉方法、双目定位装置及系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。