一种基于光学动作捕捉设备及人工智能系统被应用于肌肉损伤的检查诊断及后期康复的设备的制作方法

一种基于光学动作捕捉设备及人工智能系统被应用于肌肉损伤的检查诊断及后期康复的设备
1.技术领域：
[0001]
该发明创造所属的计算机及机器人与医疗辅助产品领域。
[0002]
本发明涉及人工智能算法、3d建模及动作捕捉设备在医学临床诊断中的应用，特别是涉及一种商用光学动作设备。
2.

背景技术：
：
[0003]
本发明基于侯宇，于2019年3月在日本“身体知研究会skill science project”协会发表的一篇<基于动作捕捉及svm程序应用于肩部肌肉损伤的临床诊断>的研究性论文。主要内容是以光学动作捕捉系统为背景技术，通过专家系统对光捕设备采集患者上肢运动情况进行分析判断，从而实现医学检查。这篇论文初步探讨了以机械诊断代替人工诊断的可能(图1)。从而实现节省人力、降低医生劳动强度、提高工作效率的效果。
[0004]
在论文中，作者阐述了使用新技术代替人类医生劳动的可能。并通过具体的现实实验验证了其想法的可行性。实验中介绍了包括现有光学动作设备的选择及人工智能算法在医疗应用中的尝试与探索。在文中除标准临床检查外，还阐述了使用角加速度计算的可能性。作者优化了检查动作，并建立了独特的3d动态模型，以达到提高检查精度的目的。为本发明提供了明确的指导意见及建议。
[0005]
由于光学动作捕捉系统是目前精准度最高的动作捕捉设备，但其对于光环境的要求较高，需采用特定环境布置的原则，以提高设备检测的准确性。目前，已美国微软公司发布的kinect2为背景技术，并使用微软公司的sdk建立工作环境。在长3米，宽2米，led荧光灯管照明光照，以此环境为背景光环境。其目的是降低光捕设备因环境因素而降低采集动作的准确率。以便让光学动作捕捉设备更加精确。
[0006]
由于医学对于数据的要求比较严谨，需要数据的可解读。所以没有采用黑箱的深度学习，而是相对成熟的 svm(支持向量机)作为专家系统的模板。以确保数据的可视化、透明化、公开化。svm本身又具有精确计算小样本且高纬度的特性，特别适合对光捕设备采集的大量数据进行精确的分析与判断。目前，在没有新的研究证明的情况下，没有冒险采用深度学习作为专家系统。以后数据量增加的话，有尝试的打算。目前是以保持高精度和高准确率为前提。
[0007]
本次发明最后可以实现的效果是，患者的时时检查动作被光学动作捕捉设备采集后，与专家系统的分类器进行比较分析后，直接给出专业化的医学诊断与康复意见及建议(图2)。
3.

技术实现要素：
：
[0008]
本发明在确保高精度和高准确性的诊疗效果的前提下，实现易操作、易使用及易便携的特点。后将实现代替人类医生给出专业的诊疗方案，并可对整个治疗过程进行跟踪并给出及时的反馈。
[0009]
·
【要解决的技术问题】
[0010]
现阶段，既具有高精度动作捕捉能力又具有准确性诊断能力的人工智能辅助诊疗设备为空白。
[0011]
众所周知，光学动作捕捉具有高精度的特性。欧美等大公司的医疗设备多为不易携带、不易使用及不易操作的大型医疗设备。如optitrack需要特定的诊断房间安放大量的光捕摄像头，操作极其繁琐。不具备实用化的可能。同时，此类设备多为单纯的捕捉设备，需要专人对数据进行解读和分析，而非采用人工智能的方式对数据进行解读；此外，便携性高又操作简单的设备，在诊断性应用及光捕精度方面有存在这严重的缺陷。不具有专业的医学判断程序。所以一款具有较高捕捉精度又具有专业专家系统的便携式的诊疗设备可以弥补这一市场空缺。
[0012]
目前，医护人员在判别肌肉损伤这类疾病，主要依靠经验判断。各个医院的规范各不相同，采用不同的检查动作与规范。所以在此设备内，采用骨科诊断标准(实用骨科学第4版)为主要检查标准。将检查动作规范化、归一化，以此为基础建立3d人物动态模型，并用算法(及测量目标点与特征点的角度变化)规范检查动作，侦测患者检查动作的时时角度变化，已确保检查更加精确。为此在环境设计及程序设计上应考虑光线遮挡对设备的影响。以便让光学动作捕捉设备更加精确。
[0013]
相对于现有大型设备，如诺亦腾公司的可穿戴式动作捕捉设备，本发明产品具有更简单的使用性。诺亦腾公司的穿戴式惯性动作捕捉设备在特定点处安放传感器。本身传感器采用事先预设的程序，每个点不能随意更改变化，否则将无法有效的收集数据。而光学动作捕捉设备可以有效的改善这一缺陷，对使用者来说，无论是医生还是患者，在没有任何专业背景的情况下，都具有极其友善的使用环境，有效解决因佩戴错误而导致数据无法使用的问题。
[0014]
专家系统的引用将大数据、人工智能的有效使用变成了可能。2012年adso提出将kinect用于康复医疗的尝试，进行走路的复刻练习。相对而言，走路是人类运动中相对简单的一种肢体活动。而人工智能的应用大量的提升了计算机的运算能力，随着中国大数据时代的到来，人工智能可对大量数据进行有效运算与分析，可以将极其复杂的数据进行有效处理。人工智能的引入将动作捕捉设备收集到的复杂的人类肢体运动进行处理与分析后，可实现对人类全身肌肉损伤的有效诊断与康复。
[0015]
·
【技术方案】
[0016]
1.临床检查动作：为了尽可能提高临床检查的精确度，并最大限度的发掘现有设备的潜力。在医学临床检查动作(主动检查及被动检查)的基础上，设立最符合机器识别的检查动作。
[0017]
2.数据处理流程：基于现有产品，kinect2.0是一种成熟、简单及有效的光学动作捕捉设备。在近年来，许多科研、医疗及运动项目中，皆是使用kinect2.0作为基础光学动作捕捉设备。之所以选择它，除了其相对较高的精度外，还因为微软公司的sdk拥有比较高的精度和扩展性。
[0018]
3.分类器：参考文献中分类器制作基于监督学习的方式。将收集到的数据标进行标记，进行监督学习。通过python程序进行训练。将收集到的数据作为训练数据，训练完成后(图6svm分类器训练流程)。后使用测试数据集进行测试，以便检查分类器的准确性。然后
输出权重，完成分类器的制作。分类器的制作，为专家系统提供了有力的支撑。通过数据处理建立有效的数据处理过程，此过程可以将数据进行有效的分析、整合与分类。一切的目的都是提高分析的准确性。
[0019]
在本发明中，我们将在此专家系统的基础上进行有效的升级与开发。进一步提高数据分析的有效性。在参考文献中，作者将机器的分析结果与人类医生的主观判断进行比较。准确率在92％以上，我们将进一步提升其有效性，实现最终实用化的目的。
[0020]
·
【有益效果】
[0021]
本发明通过使用光学动作捕捉设备、人工智能程序及3d动态人物模型将人类医生对肌肉损伤的诊疗活动，变成一种机器自主完成的数据判断，即将人类劳动变成一种机械劳动。从而大量减少人类医生在对疾病诊断与康复过程中重复性的、主观的、费时费力的体力劳动，变成一种机器完成的客观的、高效的机械劳动。从而大量节省人力物力的投入，使医生可以在繁复的初级劳动中解脱出来，以提高医护人员在医疗活动的劳动效率。
[0022]
依据参考文献中，作者曾做过一个初步的统计与分析。人类医生在判断肌肉损伤疾病时常采用主动检查与被动检查相结合的方式，时耗需要20分钟以上，且必须加入医生主观的判断。这导致医生必须在固定工作时间内，仅可以完成对单一患者的诊断，且诊断基于医生的工作经验，无法对急性损伤做出精准的客观判断。而使用机器完成这个过程大约在10-15分钟内完成，且精确诊断结果可以时时的传递给医患双方。非人工判断将使得没有足够医护经验的初级医师具有更有效的判断能力。在省时省力且高准确性的前提下，人们将得到及时有效的得到诊断信息。
[0023]
1.开发自主产权的光学动作设备及sdk。在光捕设备和惯性设备之间，我们选择使用简单、精度高的光学动作捕捉设备作为基础设备。开发自主的sdk将进一步提升设备在使用过程中的友善度。
[0024]
2.专家系统的引用将大数据时代、大量数据的有效使用变成了可能。人工智能可以将极其复杂的数据进行有效的分析及处理，进而实现全身肌肉损伤的有效诊断与康复。
[0025]
3.自主3d动态模型的建立，有效的提高了收集的精度。解决了因为遮挡而出现的动作采集数据的误差。目前在已经与国内医生开始共同开发基于提高动作采集精度的有效性研究。其目的就是为了保证采集的数据真实有效，进而实现有效的诊疗活动。
[0026]
本发明通过以上3点实现了高精度的动作采集、精准有效的数据分析及及时高速的数据反馈。使医护人员及患者可以节省大量的时间。用机械劳动逐渐取代传统的人工劳动，建立全天候、可追踪的诊疗数据记录。
4.附图说明
[0027]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。
[0028]
图1是本发明的目的示意图；本发明的最终目的是使用机器劳动完全代替人工劳动，通过对患者的自主运动(诊断动作)的角度及速度的有效分析，从而实现有效的医学诊疗。
[0029]
图2是本发明的工作流程图；在先行文献中，作者使用kinect2和svm建立实验的工作样机。数据收集、分析及处理流程。并将患者的时时检查动作的结果输出给使用者。
[0030]
图3是本发明医学诊断流程图；检查动作及结果判断的流程图。检查动作为临床常用检查动作，分别为动作一(前屈上举至顶点然后后伸)、动作二(前屈上举至顶点然后旋转)、动作三(旋转位外展至顶点然后内收)、动作四(水平位置前屈)、动作五(水平位置内收)、动作六(垂直位置内收)、动作七(垂直位置内收)。其不同动作检查的主要肌群。
[0031]
图4是本发明的医学诊断结果分类示意图；诊断结果按照不同级别成为轻度损伤、严重损伤及无损伤三个分类。根据不同的检查动作的结果，可以诊断出不同肌群的损伤程度。目前，分为无损伤、轻度损伤及重度损伤三类。
[0032]
图5是本发明的数据处理流程；数据处理流程详细流程过程，从机器将患者时时的主动检查动作收集起、建立数据矩阵、再到分类器，最后验证的整个过程。
[0033]
图6是本发明的svm分类器训练流程。分类器训练流程图。通过医护人员对患者数据分类，将采用监督学习的方法训练svm的分类器。之后输出权重
5.具体实施方式
[0034]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。如图1所示，阐述了本次发明的目的。本发明提供的是一种基于光学动作捕捉设备及人工智能系统被应用于肌肉损伤的检查诊断及后期康复的设备。从而减轻医护人员在临床诊断中大量重复性的劳动，并可以快速有效的储存患者每次治疗的病程，从而实现病情跟踪、时时诊断并给出有效的诊疗意见及康复方案。目前，设备基于先行文献开发，主要诊断肩周肌肉损伤可以给出时时且有效的诊疗意见。
[0035]
患者的检查动作被光学动作捕捉设备采集后，与专家系统的分类器进行比较分析后，直接给出专业化的医学诊断与康复意见及建议(图2)。这部分涉及到数据采集模块及数据处理分析模块：数据采集模块为光学动作捕捉设备(即参考文献中应用的kinect2)，通过对患者时时的检查动作的运动轨迹数据的采集，通过 x,y,z三轴坐标点的形式，建立矩阵并传递给数据处理模块进行分析。在数据分析模块中，包括数据的处理与分析。患者的时时运动轨迹数据将被降维、归一并与分类器进行对比分析。最后实现患者检查结果的输出，并给出合理的康复意见及建议。在分类器制作中，我们采用了大量临床数据进行训练，并有医师进行备注，以确保分类器数据的可靠性与完整性。整个诊断与分析，我们均采用有效的临川诊疗方法并加以备注。
[0036]
检查动作及诊断标准：
[0037]
目前、以参考文献的检查肩部肌肉损伤的动作为例，解释和分析动作的选取的意义及目的。按照医学相关检查创立检查动作，前后共分为7个动作(图3诊断流程图)，左右手分别采集。这7个动作来自常用临床检查动作，为临床常用检查方案。分别为动作一(前屈上举至顶点然后后伸)、动作二(前屈上举至顶点然后旋转)、动作三(旋转位外展至顶点然后内收)、动作四(水平位置前屈)、动作五(水平位置内收)、动作六(垂直位置内收)、动作七(垂直位置内收)。由于设备的原因，将检查动作进行调整以便让检查更加准确。1.直臂检查，使整个手臂保持水平(动作一、二、三、四、五)，以使检查时的手臂可以与躯干形成不同平面，方便计算夹角。2.动作六及动作七，使患者偏转30
°
，这个角度根据测量已达到不遮挡特征点的目的，以提高光学动作捕捉采集的精准度。
[0038]
检查动作一、二、三、四、五为检查肩周肌肉的检查动作，动作六七为检查肩袖肌肉
的检查动作。可分别给出平分，根据医学的诊断结果，结合疼痛量表分成健康、轻度损伤和严重损伤，三个评级(图4结果分类图)。
[0039]
数据采集模块：
[0040]
基于现有产品，kinect2.0是一种成熟、简单及有效的光学动作捕捉设备。在近年来，许多科研、医疗及运动项目中，皆是使用kinect2.0作为基础光学动作捕捉设备。之所以选择它，除了其相对较高的精度外，还因为微软公司的sdk拥有比较高的精度。其性能参数如下：rgb：1920*1080，fov：70
°
*60
°
depth:0.5-5 meters。可在1至5米内采集单个或多个患者数据，最多6人，为了确保数据的精度。我们每次只取一个患者数据，但仍在保留多人的模型。
[0041]
在此系统中，使用的是微软公司的sdk，并进行了相关的修改。1.增加了为了方便计算的基本点(即特征点和目标点)。在本发明中，我们设计了一种以测量目标点与特征点的角度变化的算法。此算法可以精确的计算出特征点时时的、精确的空间向量的变化。进而得到一个精确的角度。现阶段，我们开发了数个特征点建立一个平面，进而可以更有效的计算与目标点的角度变化，使测量的精度进一步提高。2.由于光学动作捕捉系统，在被遮挡时，时而会有数据丢失的显现，为了弥补这一点，使用了正则运算，以提高数据的鲁棒性，防止噪音过大影响数据的有效性。并使用滑动窗口的方式使数据保持较高的平顺性。其目的在于保持数据的稳定性，进一步提高本发明的准确性。现阶段，增加了手动补点功能，减少数据的错误与丢失，进一步提高数据的精度。3.增加数据记录及储存的功能，增加了时间记录的功能。时顺信号的记录，有助于检验数据。确保数据总量的相近原则。以便于，后期计算使用。
[0042]
在收集数据时，使用的是坐标点的三轴数据作为基础数据项收集，即特征点的x、y、z轴的空间数据，将数据汇总形成矩阵。将患者的时时运动轨迹进行跟踪拍摄及保留，建立由三轴坐标系的值组成的数据矩阵。可时时反映出患者的运动轨迹。
[0043]
数据处理模块：
[0044]
此模块由数据处理及分析两部分组成，数据处理部分将患者的运动轨迹数据进行处理，通过归一化和降维的方式将数据处理成统一模式。之后与分类器中的训练集数据进行大数据的对比，并将对比结果输出。在此模块中，现阶段应用的是svm支持向量机作为专家系统的基础，使用线性核算法。之所以选择svm主要是因为它更善于处理小样本量高纬度的复杂运算，在未来样本量增加之后，不排除使用深度的方式，来制作专家系统。
[0045]
在参考文献中，此系统分类器的制作，使用的是svm支持向量机作为专家系统的基础。原因在于便于数据的可解释性和可理解化，同时，在小样本高纬度数据中，其有高精度的优势。由于kinect2.0的性能，收集的数据过于庞大，且每个数据大小不一。使用滑动窗口将数据统一划为500维，也就是将病人的完整运动数据统一划为500个小动作，为使数据归一。使用滑动窗口，窗口宽度为5，保持数据的鲁棒性和完整性。使用随机森林的方法进行降维，可以快速高效的完成训练并无需特征选取。最后使用交叉检验的方法验证数据是否出现过拟合，以提高准确性。数据处理流程图如下(图5数据处理流程)。
[0046]
自主3d动态模型：
[0047]
自主3d动态模型的建立及动态sdk的开发。使用算法将特征点固定在人物模型中，可进一步提高收集数据的精度。可解决了因为遮挡而出现的动作采集数据的误差，造成的
噪音过大的问题。目前在已经与国内医生开始共同开发基于提高动作采集精度的有效性研究。其目的就是为了保证采集的数据真实有效，并建立有效针对光捕设备的检查动作，进而实现有效的诊疗活动。在后期康复过程中，系统给出的康复方案会根据患者的真实情况给出有效结果，为此自主开发的3d动态模型可以根据其自身条件更改容错率，将提供最效的治疗方法。
[0048]
此外，自主3d动态模型在诊断和后期康复指导中，可以为患者提供动作支持和指导，防止患者因为不具备医学背景而出现的动作误差而造成的无效运动。在使用端可以为患者提供动态的360
°
动态的运动信息，以便让其可以全方位的了解到自己的运动情况和轨迹。
[0049]
在参考文献中，作者曾做过一个初步的统计与分析。人类医生在判断肌肉损伤疾病时常采用主动检查与被动检查相结合的方式，时耗需要20分钟以上，且必须加入医生主观的判断。这导致医生必须在工作时间内，完成对单一患者的诊断。而使用机器完成这个过程大约在10-15分钟内完成，且诊断结果可以时时的传递给医患双方。非人工判断将使得没有足够医护经验的初级医师具有更有效的判断。在省时省力且高准确性的前提下，人们将及时有效的得到诊断信息。