运动捕捉和评估装置及其方法与流程

本发明涉及运动捕捉和评估装置及其方法，特别涉及利用人体关键点分布信息的时间序列对运动障碍的程序进行评估的装置及其方法。

背景技术：

1、运动障碍，是一类源于基底核功能紊乱或由于外伤、神经退行等导致的，以运动功能损害等为特征的病理性症状。运动障碍的临床表现主要包括不自主动作、动作缺失或缓慢而无瘫痪、姿势及肌张力异常等。而发生运动障碍的主要诱因包括帕金森病、肌张力障碍、亨廷顿舞蹈症、共济失调、原发性震颤、肌阵挛和惊恐综合症、抽搐和图雷特综合征、不宁腿综合征、步态紊乱、痉挛、僵体症候群等疾病，或以卒中、药物、创伤、感染和其他神经退行导致的并发症出现。无论原发性的运动障碍，还是继发性的运动障碍，其都是高发的运动功能异常症状，并且会严重影响相关人员的生活质量。

2、另一方面，现阶段对运动障碍的评估需要专业人员依据与各种运动功能性疾病所对应的评估量表，例如国际帕金森和运动障碍协会修订的帕金森病综合评价量表mds-updrs，根据自己肉眼观察到的运动状态进行评估。这样的人工评估的方式存在诸多问题。首先，评估的准确程度完全依赖于评估人员所具备的经验的丰富程度。另外，这样的评估过程环节复杂繁琐，以mds-updrs为例，需要对受试者进行“对指试验”、“站立平衡试验”、“步态”等十余个运动功能检查测试，并给测试结果进行评分。此外，受试者动作的速度、幅度、频率、距离等维度的差别，缺乏客观可量化的指标，进一步导致了由主观性认知导致的偏差。

3、因此，需要能够对受试者运动进行捕捉和评估的技术，以确定受试者运动障碍或运动损害的严重程度。在传统的技术中，主要有一下两种：（1）基于传感器的方案，即，通过多个传感器提取受试者例如步态运动过程中的腿部加速度、角速度以及足底压力等运动特征数据，使用机器学习模型对提取的特征进行分类分析等；以及（2）基于机器视觉的方法，即，从运动视频中提取每一帧人体关键点的二维坐标，构建基于人体关键点的空间时间图和基于人体骨骼的空间时间图，采用双流空间时间图卷积模型得到各类评估分数的概率值，以得到运动视频的评估结果，或者通过采集运动视频提取人体骨架的关键点并以loso方法评估建立的识别模型来进行算法评估。无论是哪种方案都存在各自的缺陷和不够。其中第一类方案虽然能够得到准确的测量数据，但是需要额外的传感器的成本开销，并且增加传感器的穿脱、充电、校准和消毒等繁琐的流程，难以便捷使用和普及；而第二类方案除了人体关键点定位不准确的缺陷以外，仅使用了基于单目视频提取的二维视场内的关键点信息，人体关键点三维坐标向二维成像平面的二维关键点映射时，会产生不可避免的维度损失和歧义，例如利用单目的rgb相机从受试者正前方或正后方拍摄获取的行走的二维关键点视图中，只能观察到受试者手臂随步态发生长度变化，而难以分辨受试者是在前摆臂还是后摆臂，并且普遍存在肢体关键点彼此遮挡时（如转身过程中）的错误识别问题。可见，在从视频中确定人体关键点的过程中，由于包括但不限于设备数量、设置角度、关键点遮挡、算法缺陷等各种因素，可能造成提取的人体关键点的波动或跳变等，这给基于这样获得的人体关键点的运动评估造成准确度上的严重恶化。

4、这样，能够对受试者运动进行更加客观的、准确的捕捉和评估的技术改进，越来越多地成为当前重要的研究目标。

5、在这里描述的技术内容仅仅被提供作为本发明所提出的技术方案的背景技术，以帮助对本发明的各个方面的理解，而并非从任何角度来讲被认为属于相对于本发明的技术方案的现有技术。

技术实现思路

1、技术问题

2、针对在传统技术中存在的各种问题，为了改善在运动捕捉和评估中的用户体验和评估准确度，提出了一种对受试者的运动进行捕捉和评估的装置及其方法。

3、问题的解决方案

4、根据本发明的一个方面，提供了一种运动捕捉和评估方法。该方法包括：采集受试者的运动视频，从采集的运动视频中提取受试者的人体关键点分布信息的时间序列；以及对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。根据本发明的实施例，提取人体关键点分布信息包括：从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图，

5、并且基于计算的人体关键点三维热力图，确定人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息。提取人体关键点三维热力图的具体过程为通过深度学习模型获取每个视频对应的二维热力图，然后结合各个相机的内外参进行对极几何解算，得到真实空间中的三维热力图，或是通过深度学习的方法直接从其他深度学习模型直接从每个时刻的视频帧组中提取出三维热力图。

6、根据本发明的实施例，运动视频通过安置在不同视角的两个或更多个相机同步采集，并且视频帧组由在同一时刻通过所述两个或更多个相机采集的视频帧组成。根据本发明的实施例，人体关键点分布信息的时间序列通过将每个时刻的人体关键点在三维空间中的中心坐标和有效半径按照时间顺序进行组合而获得。根据本发明的实施例，人体关键点三维热力图表示人体关键点位于三维空间中各个位置处的概率。

7、根据本发明的另一个方面，提供一种运动捕捉和评估系统。该系统包括：存储器，被配置为存储机器可读指令；以及至少一个处理器，被配置为调用所述机器可读指令来执行本发明提供的运动捕捉和评估方法。

8、根据本发明的另一个方面，提供一种计算机可读记录介质，其上存储有指令，当由一个或多个处理器执行时，使得一个或多个处理器执行本发明提供的运动捕捉和评估方法。

9、有益效果

10、本发明的实施方式通过无接触地采集受试者的运动视频进行运动障碍严重程度评估，而无需传感器等电子设备。同时，相比基于单目的二维视频采集，能够有效地解决遮挡和歧义、得到更准确的运动关键部位检测结果，

11、而且，本发明的实施方式通过人体关键点分布信息而不是单个关键点坐标来表示各个人体关键点在三维空间中出现的分布范围。以包括中心坐标和有效半径的人体关键点分布信息来表示人体的运动姿态，能够更好地反应人体的关键部位在三维空间中具备一定空间体积，而不是一个过渡理想化的无体积的“点”的物理事实。同时，这样的技术方案能够很好地吸收关键点确定过程中可能产生的波动和变化，具有更好的可泛化性和鲁棒性，并且支持在后续处理中得到更精确和适配的运动障碍评估结果。结果，基于一种运动捕捉和评估装置和方法，能够针对人体不同部位和/或不同动作，完成多种运动功能障碍的检查测试。

12、请注意，本发明的实施方式并不要求解决上述传统技术中的所有或任何技术问题。并且，这里所描述的各种实施方式，不应被理解为意图对本发明的技术方案进行任何限制。对于本领域技术人员而言清晰的是，在不脱离本发明的范围的情况下，可以对所描述的实施方式进行适当的修改、变型、等同或替换。

技术特征：

1.一种运动捕捉和评估方法，其特征在于，包括：

2.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述运动视频通过安置在不同视角的两个或更多个相机同步采集，并且所述视频帧组由在同一时刻通过所述两个或更多个相机采集的视频帧组成。

3.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述人体关键点分布信息的时间序列通过将每个时刻的人体关键点在三维空间中的中心坐标和有效半径按照时间顺序进行组合而获得。

4.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述人体关键点三维热力图表示人体关键点位于三维空间中各个位置处的概率，提取人体关键点三维热力图的具体过程为通过深度学习模型获取每个视频对应的二维热力图，然后结合各个相机的内外参进行对极几何解算，得到真实空间中的三维热力图，或是通过深度学习的方法直接从其他深度学习模型直接从每个时刻的视频帧组中提取出三维热力图。

5. 根据权利要求2所述的运动捕捉和评估方法，其特征在于，所述方法还包括，根据要评估的受试者运动障碍的类型调整所述两个或更多个相机的数量、内参数、外参数中的一个或多个，

6.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述方法还包括，基于以下运动障碍评估量表中的至少一个，对人体关键点分布信息的时间序列进行评估：帕金森病综合评价量表mds-updrs、肌张力障碍评定量表udrs、迟发性运动障碍评定量表tdrs、共济失调评估和分级量表sara、卒中运动功能评估量表mas。

7.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述方法还包括，通过深度神经网络模型，对人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。

8.根据权利要求7所述的运动捕捉和评估方法，其特征在于，所述方法还包括，对所述深度神经网络模型进行训练，其包括：

9.一种运动捕捉和评估装置，其特征在于，包括：

10. 一种运动捕捉和评估系统，其特征在于，包括：

11.一种计算机可读记录介质，其上存储有指令，其特征在于，当由一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-9中任一项所述的方法。

技术总结
本发明提出了运动捕捉和评估装置及其方法。该装置包括：视频采集模块，包括两个或更多个相机，被配置为采集受试者的运动视频；人体关键点分布信息提取模块，被配置为从采集的运动视频中提取受试者的人体关键点分布信息的时间序列；以及运动评估模块，对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。人体关键点分布信息提取模块还被配置为：从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图，基于计算的人体关键点三维热力图确定人体关键点在三维空间中的中心坐标和有效半径，并且按照时间顺序组合每个时刻的人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息的时间序列。

技术研发人员：程耿,付思超,何麒,周东,冯建明,董博雅,潘卓
受保护的技术使用者：凝动万生医疗科技（武汉）有限公司
技术研发日：
技术公布日：2024/1/14