一种基于小动物图像和足底压力数据融合的步态分析方法

1.本发明属于医学研究方法技术领域，具体涉及一种基于小动物图像和足底压力数据融合的步态分析方法。


背景技术：

2.步态分析(gait analysis)是指对人或动物的步行规律进行研究。对人类步态分析对疾病诊断、病因分析、疗效和残废鉴定、人工关节和义肢设计、截瘫病人行走功能重建等均有重要意义。而对动物进行步态分析，则在利用动物模型进行疾病研究和药物开发时有着重要的应用价值。一些步态分析方法是基于观察的评估，这些方法是主观的。在这些方法中，虽然一些严重的步态障碍可以通过肉眼观察到，但没有定量测量，细微的变化可能会被忽视。
3.借助仪器的自动步态分析方法近年来得到了越来越多的应用。目前已有基于光学运动捕捉系统的步态分析方法，这种方法用红外摄像机捕捉由反射标记定义的人体运动，这些系统跟踪空间信息和人体运动，并以100-200hz的采样率提供高精度数据。力板和肌电图(emg)系统是另外两个定量步态分析工具，与光学运动捕捉系统一起在这些专门的中心常用。力板测量行走过程中的地面反力(rgfs)，并与光学运动捕捉系统记录的运动学信息同步，可提供基于逆动力学的动力学信息。肌电图系统捕捉骨骼肌产生的电活动，可以用来研究肌肉活动。可穿戴传感器技术，包含了惯性体传感器、鞋垫压力传感器和无线肌电图传感器，它们可以为室内和室外环境的实时步态分析提供丰富的信息，提供从诊所到自由生活环境的无缝步态分析。gillis等人利用两个垂直于运动方向(矢状面)的高速摄像机对大鼠关节运动学进行了2d分析研究，其中假设大鼠后肢运动为平面。一个三维分析系统，用于测量动物模型的三维关节运动学，允许受试者自然地运动。该系统同时使用多个摄像机，可以在三维空间中精确测量每个标记(附着在皮肤上的骨骼标志上的反射标记)的位置。eftaxiopoulou t等人在2014年研究了一种方法，用于检测左后肢注射短暂神经阻滞引起的坐骨神经损伤引起的大鼠步态的细微运动改变。他们使用了光学运动跟踪系统和digigait(一种自动步态分析系统)的组合，同时将动态和运动学参数组合在一起。digigait采用电动透明跑步机带，是catwalk技术的前身。自动步态分析系统catwalk利用专门的软件对步态的几个方面进行客观测量，并利用高分辨率视频对啮齿动物步态进行评估。中国发明专利申请“cn105374053a老鼠步态分析中的足底压力分布获取方法、装置及系统”提供了一种利用图像处理方法将老鼠的足底压力与足部的位置进行对应的方法。
4.然而，这些现有的方法中均是通过间接方法来研究动物的运动姿态和足底压力，而无法准确实时地量化小动物的足底压力。而如果直接用压力传感器等现有的装置对小动物的足底压力进行测试，又只能获得压力数值，难以将压力数值与小动物的四足及其行走的图像进行对应。因此，现有的这些方法不能够对细致的动物行为学变化做出足够敏感的反馈。


技术实现要素：

5.针对现有技术的缺陷，本发明提供一种基于小动物图像和足底压力数据融合的步态分析方法，目的在于通过一种将压力板采集的足底压力数据与小动物的运动图像进行融合的方法，实现对四足足底压力数据的分析。
6.一种基于小动物图像和足底压力数据融合的步态分析方法，包括如下步骤：
7.步骤1，采集小动物的运动图像，同时用压力板采集小动物的足底压力数据；
8.步骤2，对所述运动图像采用人工智能框架标记出小鼠的左前脚、右前脚、左后脚和右后脚的预估坐标；
9.步骤3，将运动图像中每一帧的预估坐标与同时刻的足底压力数据进行对应，得到小动物左前脚、右前脚、左后脚和右后脚四足的实时足底压力数据。
10.优选的，步骤2中，所述人工智能框架选自deeplabcut、sleap、deepposekit或dlc model zoo。
11.优选的，步骤3的具体过程为：
12.步骤3.1，将左前脚和右前脚的预估坐标连线取中点，得到a点；将左后脚和右后脚的预估坐标连线取中点，得到b点；将左前脚和左后脚的预估坐标连线取中点，得到c点；将右前脚和右后脚的预估坐标连线取中点，得到d点；取线段ab和线段cd的交点，即为原点；
13.步骤3.2，从原点出发与a、b、c和d点分别连线并延长至两倍，取所得线段上原点之外的另一端点，分别得到a`、b`、c`和d`点四个点；从原点出发与左前脚、右前脚、左后脚和右后脚的预估坐标分别连线并延长至两倍，取所得线段上原点之外的另一端点，分别得到e`、f`、g`和h`点四个点；
14.步骤3.3，将原点、a`点、c`点和e`点为顶点的四边形区域确定为左前脚的运动范围；将原点、a`点、d`点和f`点为顶点的四边形区域确定为右前脚的运动范围；将原点、b`点、c`点和g`点为顶点的四边形区域确定为左后脚的运动范围；将原点、b`点、d`点和h`点为顶点的四边形区域确定为右后脚的运动范围；
15.步骤3.4，根据压力板采集到的足底压力数据获得每只脚的压力区域，根据所述压力区域与所述运动范围的距离判断所述压力区域的压力数据属于哪一只脚，然后对每一块压力区域进行积分，得到左前脚、右前脚、左后脚和右后脚四足的实时足底压力数据。
16.优选的，步骤3.4中，将所述压力板采集到的数据通过投影变换的方法映射到所述运动图像中，并采用regionprops函数识别左前脚、右前脚、左后脚和右后脚的运动范围，得到对应的足底压力数据。
17.优选的，步骤3.4中，判别所述压力区域的压力数据属于哪一只脚的具体过程为：先计算一只脚形成的压力区域的中心点与四个运动范围的距离，选取距离最小的运动范围为此脚对应的运动范围；然后计算第二只脚的中心点与剩余三个运动范围的距离，选取距离最小的运动范围为此脚对应的运动范围；最后计算第三只交的中心点与剩余两个运动范围的距离，选取距离最小的运动范围为此脚对应的运动范围；第四只脚与剩余的一个运动范围对应。
18.优选的，所述小动物的数量为至少一只。
19.本发明还提供一种实现上述步态分析方法的装置，它包括：
20.数据采集模块，用于采集所述运动图像和足底压力数据；
21.预估坐标标记模块，用于通过人工智能框架标记出小鼠的左前脚、右前脚、左后脚和右后脚的预估坐标；
22.足底压力数据分析模块，用于将运动图像中每一帧的预估坐标与同时刻的足底压力数据进行对应，得到小动物左前脚、右前脚、左后脚和右后脚四足的实时足底压力数据。
23.本发明还提供一种计算机可读存储介质，其上存储有用于实现上述步态分析方法的计算机程序。
24.本发明能够基于小动物运动图像和压力板采集的足底压力数据，将二者进行融合，得到各个时刻下每只脚下的压强随时间变化的曲线。相比于现有技术，本发明可获得直接的压力数据，并且将压力数据与小动物的四足进行对应。能够更加真实、准确地反映小动物的步态信息。通过本发明的步态分析方法，可依据各个脚下的压强随时间变化的规律，对动物的行为能力，疾病状态进行评估，具有很好的应用前景。
25.显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
26.以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
27.图1为摄像头与压强板数据同步展现的软件截图；
28.图2为将足底压力数据叠加到运动图像上之后的示意图；
29.图3为四个运动范围划分的示意图；
30.图4为四足的压力随时间变化的曲线。
具体实施方式
31.需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
32.实施例1
33.本实验例提供一种基于小动物图像和足底压力数据融合的步态分析方法，具体步骤如下：
34.1、采集小动物俯视角度的运动图像，同时用压力板采集小动物的足底压力数据。
35.本实施例应用了一块高精度压力板。其对足底压强高度敏感，对小鼠身体的多种变化都能感知。这块压力板在感知压力的时侯时间的延迟很短，它能在很短时间之内感知压力的变化。这样一个特性带来的直接好处就是，当小鼠放在上面的时候，压力板感知的状态和小鼠真实的状态是同步的。对于小鼠，探究它的运动能力需要探究的一个因素就是脚部的压强。压力板能对足底的压强敏感地感知出来。比如当小鼠重心不稳定时，重心来回晃动，这样的晃动的具体反映就是各只脚下的压强变动。并且，利用这种特点，小鼠的步频也能精准地反馈。它能够实现小鼠走到哪里，哪里就能立马感知到压力，并检测出值。
36.为了进行数据处理，拍摄的运动图像和压力板检测的足底压力数据应当在时间上同步。数据采集过程的软件界面如图1所示，其中左边为足底压力数据，右边为俯视角运动
图像。
37.在运动图像和压力板检测的足底压力数据时间同步的前提下，可以将足底压力数据通过投影变换(perspective transformation)的方式映射到运动图像中。投影变换的具体方法为：方法是先在操作界面中剪切出有数据的压力板区域，从而获得压力板的左上角、右上角、右下角、左下角四个位置的坐标。再获取运动视频区域中压力板的左上角、右上角、右下角、左下角、四个点的坐标。由于压力板的数据是被制作成灰度图，那也就是一个长方形。而对于视频中的压力板来说，因为是人为摆放的，所以在摄像头中的形状可能是歪的，由于摄像头角度的问题，也有可能不是一个长方形，可能是梯形，平行四边形，或者一些其他的近似矩形的四边形。投影变换可以让非矩形的四边形变换成一个矩形。这样做的目的是让压力板的数据的坐标和运动视频中压力板的坐标一一对应，以便后续根据运动图像中的空间范围选取压力板的数据。
38.通过上述方法将足底压力数据叠加到运动图像上之后的示意图如图2所示。
39.2、对所述运动图像采用人工智能框架deeplabcut标记出小鼠的左前脚、右前脚、左后脚和右后脚的预估坐标。
40.3、划定四个区域，以表示小动物左前脚、右前脚、左后脚和右后脚四足可能的运动范围，具体步骤如下：
41.步骤3.1，将左前脚和右前脚的预估坐标连线取中点，得到a点；将左后脚和右后脚的预估坐标连线取中点，得到b点；将左前脚和左后脚的预估坐标连线取中点，得到c点；将右前脚和右后脚的预估坐标连线取中点，得到d点；取线段ab和线段cd的交点，即为原点；
42.步骤3.2，从原点出发与a、b、c和d点分别连线并延长至两倍，取所得线段上原点之外的另一端点，分别得到a`、b`、c`和d`点四个点；从原点出发与左前脚、右前脚、左后脚和右后脚的预估坐标分别连线并延长至两倍，取所得线段上原点之外的另一端点，分别得到e`、f`、g`和h`点四个点；
43.步骤3.3，将原点、a`点、c`点和e`点为顶点的四边形区域确定为左前脚的运动范围；将原点、a`点、d`点和f`点为顶点的四边形区域确定为右前脚的运动范围；将原点、b`点、c`点和g`点为顶点的四边形区域确定为左后脚的运动范围；将原点、b`点、d`点和h`点为顶点的四边形区域确定为右后脚的运动范围；对其中一帧图像的划分结果如图3所示。
44.步骤3.4，根据压力板采集到的足底压力数据获得每只脚的压力区域，根据所述压力区域与所述运动范围的距离判断所述压力区域的压力数据属于哪一只脚，然后对每一块压力区域进行积分，得到左前脚、右前脚、左后脚和右后脚四足的实时足底压力数据。判别所述压力区域的压力数据属于哪一只脚的具体过程为：先计算一只脚形成的压力区域的中心点与四个运动范围的距离，选取距离最小的运动范围为此脚对应的运动范围；然后计算第二只脚的中心点与剩余三个运动范围的距离，选取距离最小的运动范围为此脚对应的运动范围；最后计算第三只交的中心点与剩余两个运动范围的距离，选取距离最小的运动范围为此脚对应的运动范围；第四只脚与剩余的一个运动范围对应。
45.具体的，上述过程可通过regionprops函数识别四个运动范围的区域，计算各运动范围的顶点坐标，进一步将顶点坐标带回足底压力数据的灰度图进行积分。
46.本实施例的方法可以对一只小动物进行研究，也可以对多只小动物同时进行研究。
47.采用上述方法对小动物的四足的压力随时间变化的曲线绘制出来，如图4所示，该曲线图包含了动物的精细行为学信息。其在动物步态研究中具有很高的应用价值。例如，针对中枢神经和外周神经病变的动物，研究这类精细行为学信息能够表征动物的病变程度。
48.通过上述事实例可以看到，本发明能够基于俯视角的小动物运动图像和压力板采集的足底压力数据，将二者进行融合，得到各个时刻下每只脚下的压强随时间变化的曲线。本发明在动物的步态分析中有很高的应用价值。