一种用于组织切割路径自动规划的多图像信息融合方法及系统与流程

1.本技术涉及医疗设备领域，尤其是涉及一种用于组织切割路径自动规划的多图像信息融合方法及系统。


背景技术：

2.针对增生组织或癌组织，如良性前列腺增生(bph)、前列腺癌等的治疗，除药物治疗外，很长时间内较为常用的为传统外科切除或部分切除手术，该种方式普遍依赖开放式切口，具有侵入性强、创伤大、恢复期长等缺陷。后微创切除疗法在该领域得到广泛应用，如以激光、水射流、光纤等能量作为流体流用于对前列腺等组织通过切除和/或烧灼病变或增生组织，其一般经由尿道途径进入，而无需开放式切口，具有创伤小的优点。
3.在利用能量对前列腺等组织进行切除时，需提前对组织切割路径进行规划，切割路径规划的准确度不仅影响手术的效率，更是关系着手术的安全、可靠性。现有技术中切割路径的规划通常是借助超声图像进行，通过超声探头获取目标组织的超声图像，同时提供超声探头的参考结构，经过调整，获取与参考结构对准的超声图像。医生通过阅读图像信息手动输入轮廓参数，根据所输入的参数信息规划切割路径。对于敏感或者关键部位(如精阜等)需要医生人工标记。可见，现有切割路径的规划自动化程度低，需大量的人工参与。鉴于图像质量及人工操作误差的客观影响。现有技术这种切割路径规划方法不仅要求大量的人工参与，使得操作繁琐，医护人员工作量增大，而且准确度较低，很难精确获取轮廓位置，尤其是精阜或膀胱颈的准确位置，从而导致手术切割精度较低、切割不彻底，且安全性较差。
4.就目前的技术发展现状而言，若要实现组织切割路径的真正自动化规划，仍存在较多技术障碍亟需克服，例如如何实现敏感部位、关键部位、切割始末位置等在三维超声图像上的自动精确标记、如何自动标记目标组织的轮廓信息等。


技术实现要素：

5.本技术的目的是提供一种用于组织切割路径自动规划的多图像信息融合方法及系统，通过设置具有位置反馈装置的内窥镜装置、并将内窥镜装置所获取的图像信息与三维超声图像信息融合在同一坐标系内，使得通过内窥镜所获取的图像信息与三维超声图像信息可直接进行计算，从而使得敏感部位、关键部位、切割始末位置等在三维超声图像上的自动精确标记，为实现切割路径的真正自动规划提供了技术支撑。
6.为达到上述发明目的，本技术采用了下列技术方案：
7.本技术所要保护的一种用于组织切割路径自动规划的多图像信息融合方法，包括如下步骤：
8.获取内窥镜装置所标定的目标组织工作区域的位置信息，并将目标组织工作区域的位置信息转换为标准坐标系下的坐标信息；获取目标组织的三维超声图像；提取三维超声图像的二维切片图像轮廓位置信息，将二维切片图像轮廓位置信息转换为标准坐标系下
的坐标信息；内窥镜装置包括内窥镜和位置反馈装置。
9.根据本技术所提供的一种用于组织切割路径自动规划的多图像信息融合方法，优选地，还包括以下步骤：将固定基准部件所在的坐标系选定为标准坐标系，将所获取位置信息通过坐标转换矩阵转换为标准坐标系下的坐标信息。
10.优选地，所述坐标转换矩阵通过相对校准标定获得。
11.优选地，所述内窥镜装置所标定的目标组织工作区域的位置信息的获取步骤包括：获取所述内窥镜装置所标定的消融工具的切割起始位置信息和切割结束位置信息。
12.优选地，所述消融工具的切割起始位置信息获取步骤包括：移动所述内窥镜装置至通过膀胱颈观察到尿道口的位置，将该位置标定为切割起始位置，所述位置反馈装置自动获取所述切割起始位置信息。
13.优选地，所述消融工具的切割结束位置信息获取步骤包括：移动所述内窥镜装置至精阜位置，将该位置标定为切割结束位置，所述位置反馈装置自动获取所述切割结束位置信息。
14.优选地，所述二维切片图像轮廓位置信息提取步骤包括：提取消融工具轮廓位置信息和目标组织轮廓位置信息。
15.本技术还提供一种用于组织切割路径自动规划的多图像信息融合系统，包括：
16.运动控制装置，所述运动控制装置包括固定基准部件、与所述固定基准部件相连接的第一运动控制部件和第二运动控制部件；
17.消融工具模块，所述消融工具模块包括消融工具、带有位置反馈装置的内窥镜，所述消融工具模块能够获取目标组织工作区域的位置信息，所述内窥镜及消融工具均与第一运动控制部件相连接；
18.三维超声成像模块，所述三维成像模块包括超声探头，所述超声探头可用于获取目标组织的三维超声图像信息，所述超声探头与所述第二运动控制部件相连接；
19.处理器，所述处理器可提取三维超声图像的二维切片图像轮廓位置信息，并将所获取的所述目标组织工作区域的位置信息和目标组织的二维切片图像轮廓位置信息融合入同一标准坐标系。
20.根据本技术所提供的一种用于组织切割路径自动规划的多图像信息融合系统，优选地，所述内窥镜及消融工具均通过第一适配器与所述第一运动控制部件相连接；所述超声探头通过第二适配器与所述第二运动控制部件相连接。
21.优选地，所述第一运动控制部件和/或第二运动控制部件为设有位置反馈装置的机械臂或支架。
22.优选地，所述位置反馈装置为编码器。
23.优选地，所述标准坐标系为固定基准部件所在的坐标系。
24.本技术还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本技术任一实施例所述的方法。
25.本技术还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本技术任一实施例所述的方法。
26.本技术具有如下有益效果：本技术技术方案通过引入设置有位置反馈装置的内窥
镜装置，通过内窥镜装置可获取待切割组织的图像信息，并通过本技术所提供的多图像信息融合方法，将内窥镜所获取的图像信息及三维超声图像信息融合至同一标准坐标系下，从而有助于实现自动、精确标定切割时需避开的敏感位置区域如精阜位置，以及切割的起始位置、结束位置等，有助于解决现有技术中人工参与过多、精确度低的问题，同时为真正实现切割路径的自动规划提供了技术支撑。
附图说明
27.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
28.图1为本技术用于组织切割路径自动规划的多图像信息融合系统的具体实施例示意图；
29.图2为本技术用于组织切割路径自动规划的多图像信息融合方法的流程示意图；
30.图3为本技术内窥镜视野示意图；
31.图4为本技术采用二维图像内窥镜获取位置信息的实施例的流程示意图；
32.图5为本技术采用立体视觉内窥镜获取位置信息的实施例的流程示意图。
具体实施方式
33.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。虽然本技术具体实施例部分详细描述了许多技术细节，但需知悉的是这些细节不构成对本技术保护范围的限制。基于本技术所公开的技术方案，本领域普通技术人员在未进行创造性劳动的前提下所作出的任何改进或变动，亦属于本技术的保护范围。
34.需说明的是本技术虽是基于前列腺组织的切除背景下进行的介绍，但本技术在组织切除路径自动规划过程中使得内窥镜图像信息和超声图像信息等多图像信息融合的方法及系统，并不限于前列腺组织，也同样可利用于处理任何其他类似的人体组织器官，如肾、肝、皮肤、肌肉、腺体、食道、咽喉、肠等，本领域技术人员在本技术的基本方法、宗旨和精神下，根据目标组织的差异对本技术方法和系统作适应性调整即可，亦属于本技术的保护范围。
35.其中，本技术所使用术语“消融工具”含义如下：指通过能量(如水射流、激光、电等)对组织进行切割、烧灼等，使得目标组织或病灶组织被消融(即体积减小)的工具。
36.以下结合附图，详细说明本技术各实施例提供的技术方案。
37.如图1所示，本技术所提供的一种用于组织切割路径自动规划的多图像信息融合系统，包括运动控制装置、消融工具模块、三维超声成像模块和处理器。其中，运动控制装置包括作为固定基准部件的固定基座100、与固定基座100转动配合连接的第一机械臂110和第二机械臂120，其中第一机械臂110和第二机械臂120端部均设置有编码器、或其他类似的可用于传输第一机械臂和第二机械臂位置的位置反馈装置或定位装置。第一机械臂110和/或第二机械臂120可以相同也可以不同，本领域技术人员可以根据需要选择，如可选择6轴、7轴机械臂，可选择均为主动机械臂，均为被动机械臂，或一个为主动机械臂、另一个为被动
机械臂。此外，在一些实施例中，第一机械臂110和/或第二机械臂120还可用可转动支架代替。
38.其中，固定基座100主要用来作为固定基准，对其结构不作限制，以固定基座100所在的坐标系作为标准坐标系。固定基座100内置或外部连接设置有一个或多个处理器(cpu)，处理器用于完成运动控制、坐标转换、图像提取处理等数据处理及控制工作。
39.消融工具模块包括消融工具、以及带有编码器的内窥镜(图中未示出)，其中编码器也可用其他可用于反馈位置信息的装置代替。消融工具可利用能量切割病灶组织，消融工具可以水流、激光、光纤、电极等作为能量源用以切割、烧灼病灶组织，从而达到对病灶组织的切除。其中消融工具及内窥镜装置集成在鞘套112内，消融工具及内窥镜装置后端部伸出鞘套112与固定设置在第一机械臂110前端部的第一适配器111插接配合，在处理器的控制下使得第一机械臂110带动消融工具及内窥镜装置前进/后退/旋转运动。鞘套112呈细长管状，鞘套112可沿尿道运动伸入前列腺200内，通过内窥镜及内窥镜编码器获取待切割病灶组织的位置信息。
40.三维超声成像模块包括细长管状超声探头122，超声探头122后端部与固定设置在第二机械臂120前端的第二适配器121插接配合，处理器通过第二机械臂120及第二适配器121控制超声探头的前进/后退/旋转运动。在超声探头122按特定速度在第二机械臂120控制下前进的过程中，处理器按特定步长采集二维超声切片图像，提取二维切片图像轮廓位置信息并记录。处理器将前列腺病灶组织位置信息及二维切片图像位置信息分别通过坐标转换矩阵转换为固定基座100所在坐标系下的坐标，从而使得前列腺病灶组织位置信息及二维切片图像位置信息位于同一坐标系下，进而可进行路径规划步骤，具体坐标转换的具体步骤参见下文详细记载。
41.需说明的是，在另外一些实施例中，第一适配器111和第二适配器121并非必须的，可替代的选择其他连接部件。
42.图2示出的为本技术所提供的一种用于组织切割路径自动规划的多图像信息融合方法，包括如下步骤：
43.步骤s101:校准内窥镜装置、消融工具、及集成有内窥镜装置及消融工具的鞘套112，将集成有经校准的内窥镜装置及消融工具的鞘套112插入尿道。
44.步骤s102:处理器通过第一机械臂110控制鞘套112按一定速度v沿尿道向前移动，在该过程中，调整内窥镜装置和消融工具的位置，内窥镜编码器实时向处理器反馈内窥镜位置信息，当内窥镜装置运动至通过膀胱颈可观察到尿道口的位置时，内窥镜编码器将该位置的坐标信息反馈至处理器，处理器将该位置标定为切割起始位置，并提取切割起始位置坐标a(x
a1
,y
a1
,z
a1
)。
45.步骤s103:在处理器控制下由第一机械臂110带动鞘套112继续向前移动，当内窥镜到达越过精阜的位置时或经处理器判断到达等同位置时，内窥镜编码器将该位置的坐标信息反馈至处理器，处理器将该位置标定为切割结束位置，并提取切割结束位置坐标b(x
a2
,y
a2
,z
a2
)。此过程也可记录内窥镜到达精阜附近时，根据内窥镜图像判断得到的精阜起始及结束的多个位置数据信息，为规划过程提供精阜部位准确位置信息。
46.步骤s104:以固定基座100所在的坐标系作为标准坐标系，通过处理器内置程序获取第一适配器111相对于固定基座100的坐标转换矩阵t
h1tobase
。
47.步骤s105:与步骤s104类似，通过处理器内置程序获取鞘套112相对于第一适配器111的坐标转换矩阵t
m1oh1
。
48.步骤s106:依据下列公式将切割起始位置坐标a转换为标准坐标系下的坐标a'，将切割结束位置坐标b转换为标准坐标系下的坐标b'，其中：
49.a'＝t
m1oh1
·
t
h1tobase
·
a＝(x
c1
,y
c1
,z
c1
)
50.b'＝t
m1oh1
·
t
h1tobase
·
b＝(x
c2
,y
c2
,z
c2
)
51.步骤s201:校准超声探头122,将经校准的超声探头122至于扫描起始位置。
52.步骤s202:处理器通过第二机械臂120控制超声探头122沿预设路径运动至终止位置，将运动过程中所获取目标组织的全部超声图像数据序列反馈至处理器，处理器根据所获取的超声图像数据序列进行三维重建，从而形成目标组织的整体三维超声图像，本实施例中目标组织为前列腺组织。
53.步骤s203:在超声探头122沿预设路径从起始位置向终止位置运动的过程中，处理器按照特定步长采集沿内窥镜轴向运动方向的二维切片图像，且切片时调整超声探头122与消融工具呈平行状态，确保可在二维切片图像内清晰观察到消融工具。
54.步骤s204:对目标组织前列腺的二维切片图像进行轮廓提取，获取消融工具轮廓位置坐标c(x
b1
,y
b1
,z
b1
),以及前列腺轮廓位置坐标d(x
b2
,y
b2
,z
b2
)。
55.步骤s205:以固定基座100所在的坐标系作为标准坐标系，通过处理器内置程序获取第二适配器121相对于固定基座100的坐标转换矩阵t
h2tobase
。
56.步骤s206:与步骤s205类似，通过处理器内置程序获取超声探头122相对于第二适配器121的坐标转换矩阵t
m2oh2
。
57.步骤s207:将消融工具轮廓位置坐标c转换为标准坐标系下的坐标c'，将目标组织前列腺轮廓位置坐标d转换为标准坐标系下的坐标d'，其中：
58.c'＝t
m2oh2
·
t
h2tobase
·
c＝(x
c3
,y
c3
,z
c3
)
59.d'＝t
m2oh2
·
t
h2tobase
·
d＝(x
c4
,y
c4
,z
c4
)
60.步骤s300:经上述步骤完成内窥镜装置所标定位置信息与三维超声图像信息向同一标准坐标系下的坐标转换，此时，位于同一标准坐标系下的切割起始位置坐标a'、切割结束位置坐标b'、消融工具轮廓位置坐标c'和目标组织前列腺轮廓位置坐标d'等可直接进行位置坐标计算，直接获取其距离及路径信息，从而为后续切割路径自动规划的顺利实现提供技术支撑。
61.需说明的是，上述步骤顺序仅为清晰说明本实施例而进行的说明，不构成对处理步骤先后的限制。实际上，上述步骤可以以不同的顺序完成，本领域技术人员根据需要进行调整即可，且可添加和/或删除某些步骤，其中部分步骤还可包含若干子步骤，对于较为常规的处理步骤本文不再赘述。若有利于处理，还可重复上述某些步骤。
62.在一些实施例中，坐标转换矩阵通过相对校准获得，例如，t
m1oh1
、t
h1tobase
根据对水刀模块连接固定适配器和适配器固定结构与固定基准的校准标定获得，t
m2oh2
、t
h2tobase
根据超声图像与超声模块固定适配器和适配器固定结构与固定基准的校准标定获得。坐标转换矩阵的数量由所涉及的相对运动部件的多少决定，在某些实施例中，可仅含有坐标转换矩阵t
h1tobase
和t
h2tobase
。在某些实施例中，坐标转换矩阵t
m1oh1
、t
h1tobase、
t
m2oh2
、t
h2tobase
可为3x3或4x4旋转矩阵等。在另一些实施例中，坐标转换矩阵还可采用其他矩阵形式，本领域技术
人员可根据需要确定，可实现坐标的空间转换即可，可将所选定的具体程序预先内置于处理器，根据编码器所反馈的位置信息，根据所预置的程序指令确定所述坐标转换矩阵，用于后续坐标转换的计算。
63.在另外一些实施例中，利用内窥镜装置所获取的图像信息除包括切割起始位置坐标、切割结束位置坐标外，还可包括其他不希望切除位置的坐标信息或需避开的敏感位置坐标信息等，本领域技术人员可以根据目标组织及病灶组织的特点具体选择。
64.在一些实施例中，采用二维图像内窥镜获取目标位置信息，获取方法400，如图4所示，具体步骤如下：
65.步骤s401:选定内窥镜位置，获取内窥镜相机内参矩阵，获取内窥镜初始位置坐标信息。
66.步骤s402:在标准场景下测量光斑001在一定变形范围内的面积与深度距离，获取光斑面积与深度的拟合关系曲线，内窥镜视野示意图如图3所示。
67.步骤s403:分割光斑图像，并对分割出的光斑图像进行椭圆型拟合。
68.步骤s404:若分割出的光斑图像可进行椭圆型拟合，则进行步骤s405，根据拟合曲线计算得出切割起始位置和/或切割结束位置的近似深度距离，从而获取其位置坐标信息。
69.若分割出的光斑图像无法进行椭圆型拟合，则移动内窥镜装置，重新选定位置，重复步骤s401至s406，直至可获取位置信息。
70.其中，内窥镜通过膀胱颈观察到尿道口或经处理器判断到达等同位置，作为切割起始位置。内窥镜移动至精阜附近的位置或者经处理器判断到达等同位置，作为切割结束位置。
71.在该实施例中，可通过神经网络等图像算法识别光斑信息辅助获取目标点的深度信息，同时结合人工观察的方法，最终确定切割起始位置坐标信息及切割结束位置坐标信息，如有需要，还可用于确定其他敏感位置或目标点的位置坐标信息，反馈处理器进行分析处理。
72.在另外一些实施例中，采用立体视觉内窥镜获取目标位置信息，获取方法500，如图5所示，具体步骤如下：
73.步骤s501:对内窥镜装置、消融工具及鞘套112标定校准，将集成有经校准的内窥镜装置和消融工具的鞘套112插入尿道，利用处理器控制第一机械臂110使得集成有内窥镜装置和消融工具的鞘套112运动至前列腺腔体预设位置。
74.步骤s502:立体视觉内窥镜含有多个相机，所述多个相机同时针对目标测量位置(如激光光斑位置、或敏感位置等)进行拍照，获得多幅图像。在获取切割起始位置坐标信息和切割结束位置坐标信息的过程中，目标测量位置分别为内窥镜通过膀胱颈观察到尿道口或经处理器判断到达等同位置，作为切割起始位置；内窥镜移动至精阜附近的位置或者经处理器判断到达等同位置，作为切割结束位置。
75.步骤s503:针对所获取的多幅图像，使用图像算法等分割出目标测量位置。
76.步骤s504:处理器提取目标测量位置中心或质心的位置坐标信息，并反馈处理器。
77.步骤s505:根据步骤s502所获取的多幅图像信息及步骤s504所获取的目标测量位置中心或质心的位置坐标信息，经处理器计算获得目标测量位置的深度距离信息。
78.步骤s506:根据步骤s505所获取的目标测量位置的深度距离信息和此时内窥镜编
码器的位置信息，经处理器计算得出目标测量位置的坐标信息并记录。
79.本领域技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
80.本技术还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术中任一实施例所述的方法。
81.进一步地，本技术还提出一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本技术任一实施例所述的方法。
82.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
83.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
84.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
85.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。本技术中所引用的如“前”、“后”、“前进”、“后退”等的用语，亦仅为便于叙述的明了，而非用以限定本技术可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本技术可实施的范畴。
86.以上对本技术的实施例进行了详细说明，但所述内容仅为本技术的较佳实施例，不能被认为用于限定本技术的实施范围。凡依本技术发明范围所作的均等变化与改进等，均应仍归属于本技术的专利涵盖范围之内。