脊柱三维动态重建方法和系统

本发明属于医疗辅助设备，具体涉及一种脊柱三维动态重建方法和系统。

背景技术：

1、脊柱三维动态重建是一项重要的医学技术，用于对人体脊柱进行三维重建并实时跟踪其运动。这一技术在脊柱疾病的诊断和治疗中具有广泛的应用前景，可以提供详细的脊柱三维解剖结构信息，帮助医生准确定位病变位置并制定合理的治疗方案。然而，目前存在的脊柱三维重建技术仍然存在一些缺陷，限制了其在临床实践中的应用。

2、脊柱三维重建技术主要基于以下五个方面：一是基于传统二维x光片，通过拍摄多角度的x光片并进行图像处理，对双平面的x光片进行对齐、融合，以生成脊柱的三维模型。该技术能够对脊柱形态和结构可视化，但是使用x射线拍摄可能会使患者和医务人员遭受辐射危害，且二维x光片无法提供完整的三维空间信息；二是基于计算机断层扫描(ct)，通过使用ct扫描仪生成大量横截面图像，然后使用计算机软件将这些图像合并成一个三维模型。这种技术可以提供较高的图像分辨率，能够显示完整的脊柱三维结构信息，但缺点是辐射量较大，是x射线的数百倍；三是基于核磁共振成像(mri)，这是一种基于磁场和无线电波的成像技术，可以生成详细的脊柱软组织结构图像，但是mri图像分辨率较低且成像时间较长；四是基于三维激光扫描仪，该技术通过激光扫描仪或深度相机捕捉人体背部表明信息，并利用复杂的数据处理和图像处理得到三维脊柱模型。该技术能够实际安全无辐射的脊柱三维重建，但是由于激光扫描技术的成像深度有限和人的个体差异，可能导致所建立的三维模型无法完全反映脊柱真实的深层结构，且该技术只对静态三维脊柱可视化。五是光栅立体成像，其中具有代表性是diers脊柱分析系统，该系统是一种商业化的脊柱动态重建系统，该系统通过结构光投影和立体视觉技术，实现获取脊柱的三维动态数据并进行姿态分析，但是该系统只能在黑暗环境下进行小范围运动的脊柱评估，对于复杂的脊柱疾病和大范围运动或变化较快的情况不适用，且价格较高，因此其临床应用存在一定的局限性。

3、综上所述，现有的脊柱三维重建技术主要存在具有辐射危害、可靠度低、成本高以及普适性差的问题，因此研究一种安全可靠、使用便捷的低成本脊柱三维动态重建系统具有重大应用价值。

4、申请人在先申请了cn202211600511.8-脊柱3d建模的方法和系统的中国专利，初步解决了上述问题，但申请人在进一步研究中发现，该种设计方案还有进一步调整和改进的空间。

技术实现思路

1、因此，针对现有技术的实际改进需求，本发明提出一种脊柱三维动态重建方法和系统，首先，在unity软件中集成azurekinect传感器的人体跟踪功能并捕获原始关节点坐标数据，选择部分关节点以及设计添加的附加点作为控制点，并通过关节点之间的相对位置对控制点进行校正，采用基于骨长约束的卡尔曼滤波算法对控制点数据进行平滑处理；其次，采用catmull-rom样条对控制点进行插值得到拟合的脊柱曲线，在unity场景中建立通用的三维脊柱模型并配准到拟合脊柱曲线上得到个性化三维动态脊柱模型；最后，根据拟合脊柱线的曲率分析算法和关节点的位置分析算法自动计算人体冠状面的cobb角、骨盆倾斜角、躯干失衡角和矢状面的胸椎后凸角、腰椎前凸角、躯干倾斜角。本发明的优点是建立实时可视化的脊柱三维动态模型并准确的评估脊柱相关参数，无任何电离辐射、成本低廉且便捷易部署，适用于脊柱侧弯筛查和脊柱康复训练评估场景。

2、本发明解决其技术问题采用的技术方案是：

3、一种脊柱三维动态重建方法，其特征在于：首先在unity软件中集成azurekinect的人体跟踪功能，选择部分关节点以及附加点作为控制点，通过关节点之间的相对位置对控制点进行校正，并采用基于骨长约束的卡尔曼滤波算法对关节点数据进行平滑处理，其次采用catmull-rom样条对控制点插值拟合生成脊柱曲线，建立通用的3d脊柱模型并配准到拟合的脊柱线上形成自动校准的个性化3d脊柱模型，用于进行脊柱参数分析计算。

4、进一步地，采用neck，spinechest，spinenaval，pelvis，add1，add2共6个控制点作用生成脊柱曲线；其中，neck，spinechest，spinenaval，pelvis作为基础控制点，将neck关节点到leftshoulder和rightshoulder连线的垂足作为附加控制点add1；作一条经过pelvis关节点且与lefthip和righthip连线相垂直的方向朝向y轴的射线，在该射线上取一点，使该点到pelvis关节点的距离为lefthip关节点到righthip关节点距离的50％，作为附加控制点add2。

5、进一步地，对所述控制点的校正具体为：

6、设neck关节的三维坐标为：neckx，necky，neckz，add1点的三维坐标为：add1x，add1y，add1z，spinechest关节点的三维坐标为：spinechestx，spinechesty，spinechestz；

7、计算得到校正因子1：

8、corr1＝[(neckx-add1x)(necky-spinechesty)]/(necky-add1y)

9、设受试者的身高为h，则校正因子2为：

10、corr2＝|1-(necky-spinechesty)/(0.3h)|,corr2∈[0,1]

11、对spinechest关节在x轴方向上的坐标spinechestx应用校正因子1和校正因子2得：

12、spinechestx＝spinechestx+corr1(1+corr2)

13、进一步得到校正因子3：

14、corr3＝[(neckz-add1z)(necky-spinechesty)]/(necky-add1y)

15、对spinechest关节点在z轴方向上的坐标spinechestz应用校正因子3得：

16、spinechestz＝spinechestz+corr3

17、spinechest关节点经过校正后得到的最终三维坐标为：spinechestx+corr1(1+corr3)，spinechesty，spinechestz+corr2；

18、设spinenaval关节的三维坐标为：spinenavalx，spinenavaly，spinenavalz，pelvis关节的三维坐标为：pelvisx，pelvisy，pelvisz，add2点的三维坐标为：add2x，add2y，add2z；

19、得到校正因子4：

20、corr4＝[(pelvisx-add2x)(pelvisy-spinenavaly)]/(pelvisy-add2y)

21、校正因子5为：

22、corr5＝|1-(spinenavaly-pelvisy)/(0.2h)|,corr5∈[0,1]

23、对spine naval关节点在x轴方向上的坐标spinenavalx应用校正因子4和校正因子5进行校正后获得：

24、spinenavalx＝spinenavalx+corr4(1+corr5)

25、再计算得到校正因子6：

26、corr6＝[(pelvisz-add2z)(pelvisy-spinenavaly)]/(pelvisy-add2y)

27、对spine naval关节点在z轴方向上的坐标spinenavalz应用校正因子6得：

28、spinenavalz＝spinenavalz+corr6

29、spinenaval关节点经过校正后得到的最终三维坐标为：spinenavalx+corr4(1+corr5)，spinenavaly，spinenavalz+corr6。

30、进一步地，控制点生成的具体方法为：所述基于骨长约束的卡尔曼滤波具体为：

31、对于leftshoulder、rightshoulder、lefthip、righthip四个关节点，

32、设关节点的期望坐标为b(x,y,z)，应用卡尔曼滤波器之后得到的预测值为其父关节坐标为a(x1,y1,z1)，静态测量实验得到的关节对应骨骼长度为l，关节点b应当在以其父关节a为中心的半径为l的球面上，建立骨长约束方程：

33、(x-x1)2+(y-y1)2+(z-z1)2＝l2

34、建立关节点a和点p之间的空间线性方程：

35、

36、联立约束方程和空间线性方程求解得：

37、

38、

39、

40、选取与点p距离最小的点的解，作为优化后的关节坐标。

41、进一步地，对于数据处理后得到的控制点，采用catmull-rom插值算法生成catmull-rom样条函数作为拟合的脊柱曲线，采用由控制点插值得到的catmull-rom样条线表示脊柱的中心轮廓曲线，以对脊柱椎骨模型进行三维重建。

42、进一步地，脊柱的参数分析计算包括：冠状面参数和矢状面参数的计算和评估；所述冠状面参数包括cobb角、骨盆倾斜角和躯干失衡角；所述矢状面参数包括胸椎后凸角、腰椎前凸角和躯干倾斜角。

43、进一步地，所述骨盆倾斜角的估计方法为：设右髋关节点的三维坐标别为：righthipx，righthipy，righthipz，左髋关节点的三维坐标为：lefthipx，lefthipy，lefthipz；通过数据处理后得到的左右髋关节的相对位置计算得到骨盆倾斜角：

44、pelvictilt＝arctan((righthipy-lefthipy)/(righthipx-lefthipx))；

45、通过数据处理后得到的颈部关节和骨盆关节的相对位置计算得到躯干失衡角：

46、trunkimbalance＝arctan((pelvicx-neckx)/(pelvicy-necky))。

47、进一步地，胸椎后凸角(tk)定义为第四胸椎(t4)上端椎与第十二胸椎(t12)下端椎切线的夹角，腰椎前凸角(ll)定义为第一腰椎(l1)上端椎和尾骨(s1)上端椎切线的夹角；

48、通过在矢状面投影插值拟合的脊柱曲线，计算所建立的3d脊柱模型中t4中心点所在位置的斜率k4、t12中心点所在位置的斜率k5、l1中心点所在位置的斜率k6、l5中心点所在位置的斜率k7，得到胸椎后凸角(tk)和腰椎前凸角(ll)：

49、

50、进一步地，通过计算颈部关节点和骨盆关节点的相对位置获得躯干倾斜角：

51、trunkinclination＝arctan((pelvicx-neckx)/(pelvicy-necky))。

52、以及，一种脊柱三维动态重建的系统，其特征在于：根据以上所述的脊柱三维动态重建方法，包括：

53、数据捕获模块、数据处理优化模块以及unity场景建模模块；

54、所述数据捕获模块用于在unity中配置azurekinect使用环境，调用azurekinectsdk和azurekinectbodytrackingsdk中的内置函数，将传感器捕获的关节点数据以队列的形式输入unity；

55、所述数据优化处理模块用于通过对原始控制点和设计添加的附加控制点进行校正，再使用基于骨长约束的卡尔曼滤波算法进行平滑处理以减小误差，生成用于进行插值拟合的控制点；

56、所述unity场景建模模块用于数据处理得到的控制点进行catmull-rom样条插值得到拟合的脊柱曲线，并将导入的3d通用脊柱模型与之配准对齐得到个性化的3d脊柱模型，通过对人体矢状面和冠状面的分析算法对拟合脊柱曲线参数评估，自动计算脊柱参数，最后刷新unity场景并根据azurekinect的数据传输不断更新。

57、本发明及其优选方案可应用于脊柱侧弯筛查和脊柱康复评估训练领域，具有无电离辐射、精度高、自动计算脊柱参数和脊柱三维动态可视化、成本低和使用便捷等优点，可代替现有的采用x光片、ct、mri、三维激光扫描仪和光栅立体成像仪等脊柱三维建模方法。具有以下优势及用途：

58、1.无电离辐射。azurekinect的深度相机是基于红外光的时差测距(tof)原理对深度信息进行测量，对身体无任何电离辐射，可进行多次重复的检测。

59、2.算法准确性高。采用高精度的深度传感器azurekinect捕捉关节点，通过关节点之间的相对位置计算校正系数进行校正，并采用骨长约束的卡尔曼滤波算法减小数据误差，使得结果准确可靠，适用于脊柱侧弯筛查检测场景。

60、3.实现脊柱三维动态可视化。能够直观地呈现脊柱的三维结构和运动情况，使医生和患者能够直观地了解脊柱的运动、变形，并有助于推测病变情况，从而更好地辅助进行诊断和治疗计划，适用于辅助临床诊断脊柱疾病以及康复训练指导场景。

61、4.自动计算脊柱参数。通过算法和软件自动化地测量脊柱cobb角、骨盆倾斜角、躯干前倾角等参数，提高了测量的准确性和效率，减少了人工测量误差，适用于指导临床诊断场景。

62、5.成本低、使用便捷。本发明仅需要一台azurekinect深度传感器、相机三脚架以及普通笔记本电脑，相对于使用三维超声探头、三维扫描仪等设备的系统成本较低；且只需要在笔记本电脑中安装unity软件并导入本发明项目包，搭建三脚架并将传感器连接至电脑运行系统，即可自动计算角度参数和实现3d脊柱可视化，无需人工繁琐操作，产品可部署性强，具有普适性。