一种基于点云特征提取的脊柱椎板减压手术定位方法

1.本发明涉及计算机视觉技术领域，特别涉及一种基于点云特征提取的脊柱椎板减压手术定位方法。


背景技术：

2.椎板减压手术现阶段依然需要开放的背部，人体背部轮廓和脊柱是非刚性连接，导致微创手术无法准确定位不可见的脊柱，背部开放手术依赖于经验丰富的医生，同时对医生的生理以及心理都提出了巨大的考验。为了缓解这一现状，考虑引入辅助机器人协助医生手术。
3.用机器人辅助甚至代替医生进行手术可以提高手术的安全性与一致性。随着感知技术的发展，机器人已经可以逐渐适应复杂环境的感知任务，例如无人驾驶场景。传统2d视觉在开放式脊柱手术中无法有效辨别不同的组织与结构，而3d视觉可以解决开放式脊柱手术术区颜色差异不显著的难点，点云又是3d视觉中最常用的数据结构，所以点云分析可以更有效的提取术区结构特征，完成术区定位任务。
4.目前的点云识别应用算法场景单一，大多针对特定的3d场景或者3d模型，不能很好的解决开放式脊柱手术的术区复杂结构识别的问题。


技术实现要素：

5.本发明提供了一种基于点云特征提取的脊柱椎板减压手术定位方法，以解决目前的点云识别应用算法场景单一，大多针对特定的3d场景或者3d模型，不能很好的解决开放式脊柱手术的术区复杂结构识别的技术问题。
6.为解决上述技术问题，本发明提供了如下技术方案：
7.一方面，本发明提供了一种基于点云特征提取的脊柱椎板减压手术定位方法，所述基于点云特征提取的脊柱椎板减压手术定位方法包括：
8.获取待定位者的开放背部的表面数据，根据所述表面数据生成相应的相机坐标系下的3d点云，并对所述3d点云进行预处理；其中，所述开放背部为裸露部分脊柱的背部手术区域，所述表面数据为开放背部术区表面3d轮廓图；
9.构建矫正坐标系，将预处理后的3d点云转换到所述矫正坐标系中，以完成预处理后的3d点云的姿态矫正，得到矫正后的3d点云；
10.对矫正后的3d点云进行特征分割，将其分离成两个含有目标区域的区块；
11.针对每一区块，分别采用小批量采样并插值映射的方式，得到关节突位置；
12.基于所述关节突位置，得到目标区域在所述矫正坐标系中的坐标，并将得到的坐标映射回所述相机坐标系，以得到待定位者脊柱椎板减压手术定位结果。
13.进一步地，所述获取待定位者的开放背部的表面数据，根据所述表面数据生成相应的相机坐标系下的3d点云，并对所述3d点云进行预处理，包括：
14.利用传感器设备采集待定位者的开放背部的表面数据；
15.根据所述表面数据生成相应的相机坐标系下的3d点云；
16.将所述3d点云中存在的无效点和零值点去除，然后对3d点云进行滤波。
17.进一步地，所述传感器设备为具有立体结构捕获功能的传感器。
18.进一步地，所述对3d点云进行滤波包括体素下采样、孤立点去除和冗余区域去除；其中，体素下采样采用的体素大小为0.8mm，将点数降低到原来的1/10；孤立点去除采用统计滤波方法统计50个点的平均距离，去除小于一定阈值的点。
19.进一步地，所述构建矫正坐标系，将预处理后的3d点云转换到所述矫正坐标系中，以完成预处理后的3d点云的姿态矫正，得到矫正后的3d点云，包括：
20.对预处理后的3d点云进行主成分分析，获得前三个主向量；
21.使用获得的主向量构建矫正坐标系，预处理后的3d点云转换到所述矫正坐标系中，以完成预处理后的3d点云的姿态矫正，得到矫正后的3d点云。
22.进一步地，在对预处理后的3d点云进行主成分分析时，采用奇异值分解计算协方差矩阵来获得主向量。
23.进一步地，所述对矫正后的3d点云进行特征分割，将其分离成两个含有目标区域的区块，包括：
24.利用参数投影获得矫正后的3d点云在俯视视角下的2d投影；
25.基于2d投影，采用高斯聚类将术区以棘突为界，分离成两个含有目标区域的区块，并消除高斯聚类带来的随机性，将两个区块命名为左区块和右区块；
26.将完成区块分离的2d投影映射回3d点云，得到特征分割后的3d点云。
27.进一步地，采用小批量采样并插值映射的方式，得到关节突位置，包括：
28.利用参数投影获得待处理区块的3d点云在侧视视角下的2d投影；
29.在获得的2d投影中最大主成分方向上分批采样术区底部区域，每个批次采集固定数量的点；
30.利用曲线拟合算法拟合所有采样点；
31.找到曲线每个波谷位置；
32.利用最近邻算法，在特征分割后的3d点云中以多个波谷为中心分别进行采样，获得多个3d区域；其中，所述3d区域描述的是关节突位置。
33.进一步地，利用曲线拟合算法拟合所有采样点时，拟合方案分两步，首先预拟合，降低数据不稳定的影响，然后对预拟合曲线进行二次拟合获得最终曲线。
34.进一步地，所述基于所述关节突位置，得到目标区域在所述矫正坐标系中的坐标，并将得到的坐标映射回所述相机坐标系，以得到待定位者脊柱椎板减压手术定位结果，包括：
35.根据所述3d区域估计目标区域；其中，两个关节突中间靠近棘突的位置就是目标区域；
36.根据估计点位置再次采用最近邻算法在特征分割后的3d点云中提取目标区域，得到目标区域在所述矫正坐标系中的坐标；
37.将得到的坐标映射回所述相机坐标系，得到脊柱椎板减压手术定位结果。
38.再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
39.又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
40.本发明提供的技术方案带来的有益效果至少包括：
41.目前的现有技术一般是利用深度学习技术或者采用特征描述子技术实现脊柱椎板减压手术定位。前者依赖于大量的数据，而理疗数据本身就非常稀缺，后者需要大量的计算，且无法适用于复杂结构的识别。对此，本发明为有效识别术区复杂结构，并减少数据依赖与提高计算速度，采用投影的方法，对投影轮廓进行识别。实验结果证明本发明对于开放式脊柱手术具有良好的效果。且本发明投入小，性能高，鲁棒性好，不需要额外标记，无放射性，可移植性强。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是本发明实施例提供的基于点云特征提取的脊柱椎板减压手术定位方法的实现原理图；
44.图2是本发明实施例提供的基于点云特征提取的脊柱椎板减压手术定位方法的执行流程图；
45.图3是本发明实施例提供的开放背部的3d点云示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
47.第一实施例
48.为实现术区复杂多变的结构识别，有效的定位目标区域，为脊柱机器人手术提供更可靠的感知方案。本实施例提供了一种基于点云特征提取的脊柱椎板减压手术定位方法，其实现原理如图1所示，该方法从3d结构光相机中获得原始点云，经过预处理与切分后，先通过pca计算主向量，利用主向量进行姿态矫正；然后使用高斯聚类分离棘突两边；接着将点云分别投影到2d平面，对目标区域附近进行小批量采样，拟合底部曲线；最后通过判定几何结构特征找到目标位置。具体地，该方法的执行流程如图2所示，包括以下步骤：
49.s1，获取待定位者的开放背部的表面数据，根据所述表面数据生成相应的相机坐标系下的3d点云，并对3d点云进行预处理；
50.其中，所述开放背部为裸露部分脊柱的背部手术区域，该区域暴露了完整的脊柱棘突结构和部分关节突，其余周围部分为肌肉组织。所述表面数据为通过结构光传感器等设备扫描获得的开放背部术区表面3d轮廓图。
51.具体地，在本实例中，上述s1的实现过程如下：
52.s11，利用传感器设备采集待定位者的开放背部的表面数据；其中，所述传感器设备使用结构光相机或双目深度相机等具有立体结构捕获功能的传感器；
53.s12，根据所述表面数据生成相应的相机坐标系下的3d点云，如图3所示；其中，获得的三维模型应以棘突为横轴，两侧都具有一定的完整度；
54.s13，将所述3d点云中存在的无效点和零值点去除；其中，无效点的坐标中包含nan，而零值点是大量坐标值为零的点，这两种点都是由于传感器误差造成的。
55.s14，对3d点云进行滤波；其中，滤波包括体素下采样、孤立点去除和冗余区域去除；体素下采样采用的体素大小为0.8mm，将点数降低到原来的1/10；孤立点去除采用统计滤波方法统计50个点的平均距离，去除小于一定阈值的点。
56.s2，构建矫正坐标系，将预处理后的3d点云转换到所述矫正坐标系中，以完成预处理后的3d点云的姿态矫正，得到矫正后的3d点云；
57.具体地，在本实例中，上述s2的实现过程如下：
58.s21，对预处理后的3d点云进行主成分分析(pca)，获得前三个主向量；
59.其中，在对预处理后的3d点云进行主成分分析时，本实施例采用奇异值分解(svd)计算协方差矩阵来获得主向量，采用的公式如下：
60.a＝u∑v
t
61.s22，使用获得的主向量构建矫正坐标系，预处理后的3d点云转换到所述矫正坐标系中，以完成预处理后的3d点云的姿态矫正，得到矫正后的3d点云。s3，对矫正后的3d点云进行特征分割，将其分离成两个含有目标区域的区块；
62.需要说明的是，本实施例是将完整术区沿着棘突分割为两个部分，分别提取目标，分割过程先将点云投影到二维平面进行处理，再映射回三维点云中。
63.具体地，在本实例中，上述s3的实现过程如下：
64.s31，利用参数投影获得矫正后的3d点云在俯视视角下的2d投影；
65.s32，采用高斯聚类将术区以棘突为界，分离成两个含有目标区域的区块；
66.s33，消除高斯聚类带来的随机性，将两个区块命名为左区块和右区块
67.s34，将完成区块分离的2d投影映射回3d点云，得到特征分割后的3d点云。s4，针对每一区块，分别采用小批量采样并插值映射方式得到关节突位置；
68.其中，小批量采样并插值映射步骤需要先将点云投影到二维平面进行处理，再映射回三维点云中；具体地，在本实例中，上述s4的实现过程如下：
69.s41，利用参数投影获得待处理区块的3d点云在侧视视角下的2d投影；
70.s42，在获得的2d投影中最大主成分方向上分批采样术区底部区域，每个批次采集固定数量的点；
71.s43，利用曲线拟合算法拟合所有采样点；其中，拟合方案分两步，首先预拟合，降低数据不稳定的影响，然后对预拟合曲线进行二次拟合获得最终曲线；
72.s44，找到曲线每个波谷位置；其中，波谷位置实际上是脊柱的关节突，可以作为目标区域的参考位置；
73.s45，利用最近邻算法，在s34所得的3d点云中以多个波谷为中心分别进行采样，获得多个3d区域；其中，所述3d区域描述的是关节突位置。
74.s5，基于关节突位置，得到目标区域在矫正坐标系中的坐标，并将得到的坐标映射回相机坐标系，以得到待定位者脊柱椎板减压手术定位结果。
75.具体地，在本实例中，上述s5的实现过程如下：
76.s51，根据s45所得的3d区域估计目标区域；其中，目标区域为两个关节突之间靠近棘突的位置，该位置可以使用手术机器人进行打孔作业。一个点云视野中含有3对(棘突两侧都有)或者以上的目标区域；
77.s52，根据估计点位置再次采用最近邻算法在s34所得的3d点云中提取目标区域，得到目标区域在所述矫正坐标系中的坐标；
78.s53，将得到的坐标映射回相机坐标系，得到脊柱椎板减压手术定位结果。
79.综上，本实施例提供了一种基于点云特征提取的脊柱椎板减压手术定位方法，该方法为有效识别术区复杂结构，并减少数据依赖与提高计算速度，采用投影的方法，对投影轮廓进行识别。实验结果证明本实施例提供的基于点云特征提取的脊柱椎板减压手术定位方法对于开放式脊柱手术具有良好的效果。且本方法投入小，性能高，鲁棒性好，不需要额外标记，无放射性，可移植性强。
80.第二实施例
81.本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
82.该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
83.第三实施例
84.本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
85.此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
86.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
87.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一
个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
88.还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
89.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。