一种结合惯性和红外的穿戴式动作捕捉系统及其方法与流程

本发明涉及动作捕捉系统技术领域，尤其涉及一种结合惯性和红外的穿戴式动作捕捉系统及其方法。

背景技术：

在众多领域中，比如体育运动和医疗保健康复，捕捉人体运动和其他物体的运动起着至关重要的作用。一旦捕捉到物体运动，就可以确定物体不同的运动特性，如位置、速度、加速度、距离、时间、自旋率等。在捕捉物体运动的领域，已经取得了相当大的技术进展，例如，室内的三维大空间动作捕捉系统，已被广泛应用于体育运动、医疗和影视动画领域，目前，对物体运动的捕捉主要有以下两种类型：

第一种，是使用一个或多个光线相机捕捉移动物体的图像。对象在预定位置粘贴一个或多个光学标记，一个或多个光学相机会同时记录标记的位置坐标。然后，用图像处理的方法，识别和跟踪所有标准点来重建物体的运动。而这种方法，当光学标记物移出光学相机视线的时候、或光学相机被遮挡时，光学相机就无法跟踪光学标记，运动轨迹变得不完整及不精确，且光学相机功耗高、体积大、不能穿戴，增加额外成本。

第二种，是使用多个安装于运动物体上的运动传感器，采集运动物体的三轴加速度信息、角速度信息、及方位信息进而转换成运动物体的运动轨迹信息，但使用运动传感器捕获物体的运动时，由于长时间缺乏参考或校准位置无法确定时，运动传感器采集的数据就很不精确，且惯性传感器自身存在陀螺仪的低频漂移、误差积累问题、磁力计易受金属干扰对方向估计的影响，从而降低了采集运动物体运动轨迹信息的精度。

技术实现要素：

本发明的目的是提供一种结合惯性和红外的穿戴式动作捕捉系统及其方法，该系统将红外相机、惯性传感器集成于同一采集装置内，只需在捕捉对象肢体部位处安装采集装置即可采集运动物体的相关运动信息，并通过通信模块实时传送至智能终端，便于及时查看及分析，安装方便、成本低、捕捉效率高；同时，通过动作捕捉方法可实现对红外相机采集的运动轨迹信息进行校正，解决因红外相机拍摄图像不足而导致运动轨迹信息不完整的问题，提高运动轨迹信息的精度。

为实现上述目的，采用以下技术方案：

一种结合惯性和红外的穿戴式动作捕捉系统，包括若干采集装置、智能终端、若干红外光光源；所述若干红外光光源固定布置于室内四周，用于发射红外光；所述若干采集装置设置于捕捉对象相应的肢体部位，且每一采集装置均包括主控模块、通信模块、与主控模块通信连接的采集模块、以及用于为整个采集装置供电的电源；每一采集模块用于拍摄红外光光点的图像信息，和采集捕捉对象与每一采集模块对应肢体部位处的加速度信息、角速度信息以及相对磁北极的方位信息，并将上述采集的信息传送至与其对应的主控模块；每一主控模块用于将与其对应的采集模块采集的上述信息解析还原成该采集模块对应捕捉对象肢体部位的姿态角度信息及位置信息，并分别经对应的通信模块将上述信息实时同步传送至智能终端。

进一步地，所述采集模块包括惯性传感器、红外相机、磁力计；所述惯性传感器用于采集惯性传感器对应捕捉对象肢体部位处的加速度信息、角速度信息；所述磁力计安装于惯性传感器内，用于采集惯性传感器对应捕捉对象肢体部位处的相对磁北极的方位信息；所述红外相机用于拍摄捕捉对象周围的若干红外光光点的图像信息。

进一步地，所述红外光光源包括红外发光二级管、红外led灯。

进一步地，所述通信模块包括wifi通信单元、蓝牙通信单元。

进一步地，所述智能终端为智能手机、平板电脑、或其他智能显示设备。

本发明还提供一种结合惯性和红外的穿戴式动作捕捉方法，包括以下步骤：

s1：建立初始世界坐标系，标定在世界坐标系下的，布置于室内四周的所有红外光光源的位置信息及对应的id信息；

s2：每一主控模块接收与其对应的红外相机、惯性传感器以及磁力计对应捕捉对象肢体部位运动过程中，对所述红外光光源进行拍摄得到的图像信息、对应肢体部位采集的加速度信息和角速度信息、以及对应肢体部位采集的相对磁北极的方位信息。

s3：基于s2每一红外相机获取的图像信息，通过相机实时标定算法得到在世界坐标系下的每一红外相机的实时参数信息；

s4：基于s2每一惯性传感器及对应的磁力计获取的加速度信息、角速度信息、以及方位信息，通过姿态解算算法得到在世界坐标系下的，每一惯性传感器对应肢体部位的姿态角度信息；

s5：基于s3得到的每一红外相机的实时参数信息，对s4得到的与该红外相机对应的惯性传感器的姿态角度信息进行融合校正；若基于s3红外相机得到的图像信息不完整，则将与该红外相机对应的惯性传感器得到的姿态角度信息对其进行补充；

s6：将s5校正后的红外相机的位置信息与其对应的惯性传感器校正后的加速度信息、姿态角度信息经经卡尔曼滤波算法进行整合，并实时同步传送至智能终端。

进一步地，所述红外相机的实时参数信息包括红外相机的姿态角度信息及位置信息。

进一步地，所述相机实时标定算法包括：

s31：基于s1获得的图像信息，过滤图像中的干扰光点，得到在该图像中的若干红外光光点的像素坐标、及id信息；

s32：基于s31获取的若干红外光光点的像素坐标及id信息，得到在世界坐标系下的，与该若干红外光光点对应的布置于室内四周的红外光光源的实际位置信息；

s33：基于s32得到的红外光光源的实际位置信息、像素坐标，依据三维视觉约束条件建立的方程，计算红外相机的实时参数信息；

s34：基于红外相机拍摄的连续若干帧图像得到的实时参数信息进行对比及降噪处理。

进一步地，所述姿态解算算法包括：

s41：基于s2获取的加速度信息，得到每一所述惯性传感器对应的捕捉对象肢体部位处的速度信息、位置变化信息；

s42：基于s2获取的角速度信息，得到每一所述惯性传感器对应的捕捉对象肢体部位处的姿态角度变化信息；

s43：对s41得到惯性传感器的速度信息、位置变化信息、姿态角度变化信息与惯性传感器的初始姿态角度信息及初始位置信息进行整合，得到惯性传感器对应捕捉对象肢体部位处的姿态角度信息及位置信息。

采用上述方案，本发明的有益效果是：

1)在捕捉对象肢体部位处安装采集装置即可采集运动物体的相关运动信息，并通过通信模块实时传送至智能终端，便于及时查看及分析，安装方便、成本低、捕捉效率高；

2)该系统将红外相机、惯性传感器集成于同一采集装置内，并通过动作捕捉方法实现对红外相机采集的运动轨迹信息进行校正，解决因红外相机拍摄图像不足而导致运动轨迹信息不完整的问题；

3)可通过红外相机采集的运动轨迹信息对惯性传感器采集的运动轨迹信息进行校正，解决惯性传感器的采集数据不精确问题；

4)动作捕捉方法简单高效，能将采集装置采集的信息快速还原呈不足对象的运动轨迹信息，时效性强。

附图说明

图1为本发明的原理性框图；

图2为本发明的其中一实施例的布置示意图；

图3为本发明的穿戴式动作捕捉方法的流程性框图；

图4为本发明的相机实时标定算法的流程性框图；

图5为本发明的姿态解算算法流程性框图；

图6为本发明的其中一实施例的相机实时标定算法的示意图；

图7为本发明的其中一实施例的相机实时标定算法的另一示意图；

图8为本发明的其中一实施例的时钟同步算法的示意图；

其中，附图标识说明：

1—采集装置；2—智能终端；

3—红外光光源；11—主控模块；

12—通信模块；13—采集模块；

14—电源；121—wifi通信单元；

122—蓝牙通信单元；131—惯性传感器；

132—红外相机；133—磁力计。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

参照图1至2，本发明提供一种结合惯性和红外的穿戴式动作捕捉系统，包括若干采集装置1、智能终端2、若干红外光光源3；所述若干红外光光源3固定布置于室内四周，用于发射红外光；所述若干采集装置1设置于捕捉对象相应的肢体部位，且每一采集装置1均包括主控模块11、通信模块12、与主控模块11通信连接的采集模块13、以及用于为整个采集装置1供电的电源14；每一采集模块13用于拍摄红外光光点的图像信息，和采集捕捉对象与每一采集模块13对应肢体部位处的加速度信息、角速度信息以及相对磁北极的方位信息，并将上述采集的信息传送至与其对应的主控模块11；每一主控模块11用于将与其对应的采集模块13采集的上述信息解析还原成该采集模块13对应捕捉对象肢体部位的姿态角度信息及位置信息，并分别经对应的通信模块12将上述信息实时同步传送至智能终端2。

其中，所述采集模块13包括惯性传感器131、红外相机132、磁力计133；所述惯性传感器131用于采集惯性传感器131对应捕捉对象肢体部位处的加速度信息、角速度信息；所述磁力计133安装于惯性传感器131内，用于采集惯性传感器131对应捕捉对象肢体部位处的相对磁北极的方位信息；所述红外相机132用于拍摄捕捉对象周围的若干红外光光点的图像信息；所述红外光光源3包括红外发光二级管、红外led灯；所述通信模块12包括wifi通信单元121、蓝牙通信单元122；所述智能终端2为智能手机、平板电脑、或其他智能显示设备。

参照图1至8所示，本发明还提供一种结合惯性和红外的穿戴式动作捕捉方法，包括以下步骤：

s1：建立初始世界坐标系，标定在世界坐标系下的，布置于室内四周的所有红外光光源3的位置信息及对应的id信息；

s2：每一主控模块11接收与其对应的红外相机132、惯性传感器131以及磁力计133对应捕捉对象肢体部位运动过程中，对所述红外光光源3进行拍摄得到的图像信息、对应肢体部位采集的加速度信息和角速度信息、以及对应肢体部位采集的相对磁北极的方位信息。

s3：基于s2每一红外相机132获取的图像信息，通过相机实时标定算法得到在世界坐标系下的每一红外相机132的实时参数信息；

s4：基于s2每一惯性传感器131及对应的磁力计133获取的加速度信息、角速度信息、以及方位信息，通过姿态解算算法得到在世界坐标系下的，每一惯性传感器131对应肢体部位的姿态角度信息；

s5：基于s3得到的每一红外相机132的实时参数信息，对s4得到的与该红外相机132对应的惯性传感器131的姿态角度信息进行融合校正；若基于s3红外相机132得到的图像信息不完整，则将与该红外相机132对应的惯性传感器131得到的姿态角度信息对其进行补充；

s6：将s5校正后的红外相机132的位置信息与其对应的惯性传感器131校正后的加速度信息、姿态角度信息经经卡尔曼滤波算法进行整合，并实时同步传送至智能终端2。

其中，所述红外相机132的实时参数信息包括红外相机132的姿态角度信息及位置信息；所述相机实时标定算法包括：

s31：基于s1获得的图像信息，过滤图像中的干扰光点，得到在该图像中的若干红外光光点的像素坐标、及id信息；

s32：基于s31获取的若干红外光光点的像素坐标及id信息，得到在世界坐标系下的，与该若干红外光光点对应的布置于室内四周的红外光光源3的实际位置信息；

s33：基于s32得到的红外光光源3的实际位置信息、像素坐标，依据三维视觉约束条件建立的方程，计算红外相机132的实时参数信息；

s34：基于红外相机132拍摄的连续若干帧图像得到的实时参数信息进行对比及降噪处理。

所述姿态解算算法包括：

s41：基于s2获取的加速度信息，得到每一所述惯性传感器131对应的捕捉对象肢体部位处的速度信息、位置变化信息；

s42：基于s2获取的角速度信息，得到每一所述惯性传感器131对应的捕捉对象肢体部位处的姿态角度变化信息；

s43：对s41得到惯性传感器131的速度信息、位置变化信息、姿态角度变化信息与惯性传感器131的初始姿态角度信息及初始位置信息进行整合，得到惯性传感器131对应捕捉对象肢体部位处的姿态角度信息及位置信息。

本发明工作原理：

如图2所示，为本发明其中一实施例的捕捉系统的布置示意图，该实施例中，若干红外光光源3布置于室内四周的墙壁上(若干红外光光源作为标志点呈网格式、或其他排列模式，分布于室内四周，也可以3-6个红外标志点一组，很多时间标志点不在一个平面内)，且每一红外光光源3的位置及对应id已经完成标定并储存(以世界坐标系为参考)；采集装置1布置于捕捉对象的小腿部，随着捕捉对象的运动，红外相机132会将拍摄到的红外光光源3的图像信息、惯性传感器131将采集到的加速度信息、角速度信息以及磁力计133将采集到的方位信息，传送至主控模块11；主控模块11通过动作捕捉方法，将接收到的信息解析还原成捕捉对象小腿部的姿态角度信息及位置信息(运动轨迹信息)；同时，主控模块11还经通信模块12将运动轨迹信息实时传送至智能终端2，以便工作人员及时查看，安装方便、成本低、捕捉效率高。

本发明中的红外光光源3包括红外发光二极管、红外led灯，或其他能发射红外光线的光点灯具；通信模块12包括wifi通信单元121、蓝牙通信单元122，使用者可根据实际安装环境选择合适的通信单元与智能终端2实现无线通信连接，泛用性强，同时可避免设置大量传输线，导致系统安装复杂、增加成本；智能终端2包括智能手机、平板电脑等其他智能显示设备，工作人员可通过智能终端2实时查看捕捉对象的运动姿态信息，便于及时分析及调整。

本发明将红外相机132、惯性传感器131集成于一采集装置1内，可分别获得捕捉对象的同一肢体部位处的姿态角度变化信息、及位置信息，当红外相机132因拍摄图像不足而导致运动轨迹信息不完整时，可更新替换成惯性传感器131得到的运动轨迹信息，进而提高运动轨迹信息的精度；同时，惯性传感器131因长时间缺乏参考问题，导致采集的运动轨迹不精确，可通过红外相机132采集的运动轨迹信息对其进行校正，解决惯性传感器131的采集数据不精确问题。

本发明中的相机实时标定算法具体包括：

首先，根据捕捉对象的运动类型，标定好整个室内空间的尺寸，将若干红外光光源3布置于空间四周墙壁上(通常采用网格式布置方法)，在初始世界坐标系下，每个红外光光源3都预先设置一个id及与其对应的空间坐标值(x，y，z)；需要的注意的是，将若干红外光光源3进行布置及标定仅需一次，可适用于不同的捕捉对象的进行动作捕捉，简化操作步骤、泛用性强。

然后，将每一采集装置1穿戴于捕捉对象的肢体部位处，同时捕捉对象开始运动。捕捉对象开设运动后，采集装置1的红外相机132会拍摄捕捉对象周围若干红外光光源3的图像信息，然后对图像进行处理(过滤图像中的干扰点)从而获得红外光光源3在图像中的像素坐标、及对应的id信息；进而，可根据得到的id信息得到在世界坐标系下的，与该若干红外光光点对应的布置于室内四周的红外光光源的实际位置信息；依据上述得到的红外光光源的实际位置信息、像素坐标，可根据三维视觉约束条件建立的方程，计算红外相机132的实时参数信息。具体的：

fx、fy、u0、v0由红外相机132的内部结构决定的，故称它们是红外相机132的内部参数。那么红外相机132的内部参数矩阵为：

其中，r，t为红外相机132的外部参数，与红外相机132相对与世界坐标系的方位有关。总之标定红外相机132的过程就是求解a,r,t的过程。

在估计近红外相机132参数初始值时，将近红外相机132看作是理想的针孔模型(如图6至7所示)，其镜头畸变系数k＝0。此时空间三维点坐标与对应的二维坐标满足线性关系，即满足以下公式：

对于标定中所选用的第z个特征点满足:

将上面公式展开得到线性方程组

消去zci，公式变形为：

标定中每个特征点都对应一组式所示的线性方程组，那么n个特征点就可以得到2n个线性方程，通过线性方程组就可以得到矩阵m，从而再分解出近红外相机132的内部参数和外部参数。这就是基于共线方程的直接线性变换法。m中共有12个未知数，那么线性方程组需满足2n>12，即n>6，则标定中至少要有6个特征点才能求解到m。通过以上分析，在标定近红外相机132的过程中可以通过6个近红外标定点算出相机的实时参数。

红外相机132拍摄是100帧每秒，把每帧拍摄的红外光光源3的点保存在一个队列，且每帧图像以及每个红外光光源3的点的特征值(id、及坐标信息)都保存一个列表，该列表按照红外光光源3点本身所在位置及对应id固定排列；同时，红外相机132拍摄的每帧图像可能不包含任何红外光光源3的点(红外相机132可能未拍摄到红外光光源3)，或者，图像中的光点不足3个或有多个干扰光点，可以通过红外相机132多帧拍摄的连续图像，以及相邻红外光光源3的坐标值、及相应的特征值去前后对比及滤波校正，进而有效地减少噪音误差；如果红外相机132拍摄的连续图像中出现了上述问题，就可以将惯性传感器131采集到运动姿态信息进行更新替换，解决红外相机132拍摄不足导致运动轨迹信息不完整的问题。

本发明中的姿态解算算法具体包括：

首先通过惯性传感器131采集与其对应捕捉对象肢体部位处的加速度信息、角速度信息，通过磁力计133采集对应捕捉对象肢体部位处的相对磁北极的方位信息；然后，对上述采集得到的加速度信息进行积分，得到速度信息，在对速度信息进行积分得到位置变化信息；接着，基于上述采集到的角速度信息及相对磁北极的方位信息，对角速度进行积分得到磁力计133对应捕捉对象肢体部位处的角度变化信息；最后，基于上述得到的速度信息、位置变化信息、角度变化信息与惯性传感器的初始姿态角度信息及初始位置信息进行整合，得到惯性传感器131对应捕捉对象肢体部位处的姿态角度信息及位置信息。

由于惯性传感器131自身存在陀螺仪的低频漂移、误差积累问题、导致采集的捕捉对象姿态角度变化信息及位置信息不精确，故可将与该惯性传感器131位于捕捉对象同一肢体部位处的红外相机132采集的信息，对其进行校正，更新惯性传感器131的积累误差；同时，当红外相机132因拍摄图像不足而导致拍摄信息不完整时，可更新替换成惯性传感器131得到的姿态角度变化信息及位置信息，进而提高运动轨迹信息的精度。

同步实时向智能终端传送具体包括：

因为在捕捉对象放置有多个采集装置1，故每一采集装置1的红外相机132将拍摄的红外光光源3的信息传送至连接的智能设备11会有一定的时间差，故需要基于时钟同步对多个红外相机132进行同步处理；时钟钟同步算法的工作原理如图8所示，首先将同步周期设为1秒，然后将其平均分割成100个时隙，第一个时隙用于发送时钟同步信号，后续99个时隙用于信息传递。在第一个时隙内，基站处于发送状态，依序给其他5个采集装置1(红外相机132)发送同步信号，内容包含了基站时间戳和节点序号。此时采集装置1处于接收状态，通过节点序号识别本节点的时钟同步信息，并且为了避免在后续的99个时隙内出现发送冲突的显现，需根据时间戳计算后续时隙的数据发送时间，而基站只需一直处于接收状态即可。

本申请中，多个采集装置同时连接智能终端，数据需要同步好，这样可以同时获取多个肢体部位的运动学参数，比如下肢的步态分析。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。