用于计算机辅助地模拟外科手术的设备和方法与流程

本发明涉及一种用于计算机辅助地模拟外科手术的设备和方法。

背景技术：

在临床实践中，通常依据医学图像记录结合来自临床指南的推荐来规划外科手术。然而，一个或者多个进行实施的外科医生的经验在手术的规划以及在手术的成功上起本质作用。很多手术（诸如心脏瓣膜修复）在特别的程度上要求好的规划、经验和外科技巧。因而值得去追求的是：在规划手术时和在训练手术时尽可能好地辅助外科医生。

公知的是：为了规划外科手术而采用决策辅助系统（Entscheidungsunterstuetzungssystem），所述决策辅助系统以借助于生物力学模型对生理上的结构和功能（诸如心脏瓣膜）的模拟为基础。心脏瓣膜的这样的生物力学模拟例如从文献US 2010/0240996 A1和US 2012/0232386 A1中是公知的。通过这样的模拟，外科手术的效果可以被估计并且被用于规划手术。然而，使用这样的模拟工具由于其复杂性通常要求花费高的入门培训（Einarbeitung）。

此外，例如从Surgevry公司的网页http://www.surgevry.com还公知的是：为了训练外科手术而利用被固定在外科医生的头部上的摄像机记录真实的外科手术并且将最终得到的视频流传输到观察者，所述观察者因此可以从进行实施的外科医生的角度来追踪该手术。然而，这只允许观察者被动地训练手术。

技术实现要素：

本发明的任务是：说明一种用于计算机辅助地模拟外科手术的设备和方法，所述设备和方法允许更好地辅助外科医生。

该任务通过一种具有专利权利要求1所述的特征的设备、通过一种具有专利权利要求12所述的特征的方法、通过一种具有专利权利要求13所述的特征的计算机程序产品以及通过一种具有专利权利要求14所述的特征的计算机可读的存储介质来解决。

在按照本发明的用于计算机辅助地模拟外科手术的设备中，第一接口被设置用于读入解剖区域的借助于医学成像方法所获得的图像数据。在这种情况下，图像数据例如可源自超声描记的、放射学的、血管造影的或者断层成像的图像记录。解剖区域例如可以是器官、器官区域或者另一组织或者身体结构。建模模块用于依据图像数据确定解剖区域的生物力学的体积（volumetrisch）结构模型。除此之外，可与摄像机耦合的跟踪模块还被设置用于基于视频地检测使用者的空间手势。此外，模拟模块还用于依据生物力学的结构模型将相应的被检测到的手势分配到所模拟的对解剖区域的力学作用，用于依据生物力学的结构模型模拟解剖区域对所模拟的力学作用的力学反应以及用于按照所模拟的力学反应修正所述生物力学的结构模型。除此之外，可视化模块还被设置用于使生物力学的结构模型体积可视化。优选地，该可视化模块尤其是使解剖区域的力学反应和/或经修正的生物力学的结构模型可视化。

要由在上文所描述的设备来实施的方法步骤是按照本发明的用于计算机辅助地模拟外科手术的方法的主题。

要看到本发明的重要的优点在于：使用者（例如外科医生）不仅关于他的手动实施而且关于他的可视化都可比较切合实际地模拟外科手术。他尤其是可以在生物力学的结构模型上进行与在真正的手术时基本上相同的操作。以这种方式，该外科医生可以测试各种治疗选项并且这样来确定最优的处理方式。因此，本发明允许：不仅在规划手术时而且在训练手术时都以直观的方式来辅助外科医生。

本发明的有利的实施形式和扩展方案在从属权利要求中被说明。

根据本发明的一有利的实施形式，跟踪模块可被设立为检测使用者的利用外科器械（例如手术刀）来实施的手势。尤其是可以检测外科器械的一个或者多个特定的部分、例如手术刀的刀刃和/或手柄的运动。这在使用者可以在模拟的范围内如在真正的手术时那样运用外科器械的程度上是有利的。

此外，触觉感知（haptisch）接口还可以被设置用于将所模拟的力学反应以触觉感知的方式输出给使用者。这允许：关于解剖区域对所模拟的力学作用的所模拟的力学反应的对于使用者来说可直接的并且可切合实际地感觉到的反馈。

根据本发明的一有利的扩展方案，模拟模块可被设立为依据生物力学的结构模型来模拟外科手术对解剖区域的解剖功能的效果。在这种情况下，输出接口可被设置用于显示所模拟的效果。以这种方式，可以预测或者至少估计手术的结果。因此，使用者可以测试各种治疗选项并且确定关于结果的最优的处理方式。

有利地，生物力学的结构模型可以是患者特定的。这允许患者特定地规划手术和患者特定地训练手术。

根据一有利的实施形式，该生物力学的结构模型可包括有限元模型（Finite-Elemente-Modell）。多个可支配的、完全成熟的软件工具可被用于有效地制订和计算这样的有限元模型。

除此之外，建模模块还可被设立为依据连续地被读入的图像数据使该生物力学的结构模型动态地适配。

此外，第一接口可被设立为以时间分辨的方式（zeitaufgeloest）读入图像数据。与此相应地，该建模模块可被设立为：依据时间分辨的图像数据识别解剖区域的子结构的运动动力学以及依据所识别出的运动动力学来导出该子结构的物理特性并且在生物力学的结构模型中映射该子结构的物理特性。以这种方式，可以获得解剖区域及其对力学作用的力学反应的比较精确的物理模拟。

建模模块尤其是可以包括用于机器学习的模块，该用于机器学习的模块被设立用于识别子结构的运动动力学、用于导出子结构的物理特性和/或用于在生物力学的结构模型中映射该物理特性。这种用于机器学习的模块例如可以包括人工神经网络和/或所谓的概率推进树（Probabilistic Boosting Tree）。

除此之外，可视化模块还可被构建为用于显示虚拟的和/或增强的现实的沉浸式系统（immersives System）。可替换地或者附加地，该可视化模块也可被构建为全息照相的和/或立体照相的可视化系统。这样的可视化模块在模拟的范围内提高了使用者的现实印象。

附图说明

本发明的实施例随后依据附图进一步被解释。在此，分别以示意图：

图1示出了按照本发明的模拟设备，

图2示出了用于阐明按照本发明的方法的流程的流程图，和

图3示出了与解剖区域的虚拟的相互作用的可视化。

具体实施方式

在图1中示意性地示出了按照本发明的用于模拟外科手术的模拟设备SIMS。该模拟设备SIMS拥有处理器PROC和/或一个或者多个另外的用于实施按照本发明的方法的计算装置。医学图像记录装置US通过第一接口I1被耦合到模拟设备SIMS上。该图像记录装置US例如可以是超声记录装置、X射线管、磁共振断层扫描仪或者提供解剖区域、例如器官、器官区域或者其它的身体和/或组织结构的图像记录的另一医学记录装置。图像记录装置US被设立为：连续地记录相应的解剖区域的时间分辨的、优选地体积的图像记录并且将所述图像记录作为时间分辨的、优选地体积的图像数据IMG连续地通过第一接口I1传送给模拟设备SIMS。

针对本实施例会假设：心脏瓣膜在其解剖环境和/或其解剖功能语境（Funktionskontext）中通过图像记录装置US被记录为解剖区域AR。在这种情况下，该解剖区域AR、也就是说该心脏瓣膜的图像数据IMG例如作为图像记录装置US的视频数据流被传送到模拟装置SIMS的建模模块MM。

建模模块MM用于依据图像数据IMG来确定解剖区域AR的生物力学的体积结构模型BMS。只要生物力学的结构模型BMS依据患者的解剖区域AR的图像数据IMG被确定，该生物力学的结构模型BMS就是患者特定的。优选地，该生物力学的结构模型BMS包括有限元模型。

为了确定生物力学的结构模型BMS，时间分辨的图像数据IMG通过建模模块MM被分析。在这种情况下，解剖区域AR的一个或者多个子结构例如借助于已知的模式识别方法被识别并且这些子结构的运动动力学被确定。依据所识别的运动动力学，该生物力学的结构模型BMS或者必要时所基于的有限元模型例如借助于数值优化方法一直被修正，直到该生物力学的结构模型BMS再现所识别的运动动力学。可替换地或者附加地，生物力学的结构模型BMS的参数可以依据基于学习的回归方法而根据所识别的运动动力学被估计，其中在学习阶段期间使用数值优化方法。借此，依据所识别的运动动力学，子结构的物理特性可以被导出并且在生物力学的结构模型BMS中被映射。在这种情况下，通过以这种方式例如测量血流，运动动力学尤其是也可以通过使用多普勒效应、例如通过多普勒超声设备被确定。例如子结构的弹性、刚性、密度或者其它的组织参数可以被确定为所述子结构的物理特性。优选地，连续地依据所读入的图像数据IMG通过建模模块MM使该生物力学的结构模型BMS动态地适配。

在本实施例中，建模模块MM包括用于机器学习的模块ML，所述用于机器学习的模块ML用于识别子结构的运动动力学、用于导出子结构的物理特性和/或用于在生物力学的结构模型BMS中映射所述物理特性。在这种情况下，机器学习尤其是可以以解剖区域AR的所识别的子结构与多个已知的解剖结构、它们的运动动力学和/或它们的物理特性的比较为依据。为了该目的，建模模块MM可以与数据库（未示出）耦合并且在学习阶段期间使用该数据库，在所述数据库中存储有多个已知的结构连同它们的运动动力学和已知的物理特性。被存储在数据库中的物理特性可以依据生物力学的结构模型BMS借助于优化方法近似地被确定。

摄像机C通过模拟设备SIMS的第二接口I2被连接。摄像机C用于基于视频地记录使用者、例如外科医生的空间手势。优选地，外科医生的手H在预先给定的或者可调整的空间区域中的利用外科器械、例如手术刀S来实施的运动被记录为手势。最终得到的视频数据流被输送给模拟设备SIMS的跟踪模块TM并且由该跟踪模块TM分析。用手H和手术刀S来实施的手势通过该跟踪模块TM被识别并且被参数化。在这种情况下，尤其是外科器械的、这里也就是说手术刀S的和/或诸如其刀刃和/或手柄那样的其功能单元或者部分的运动被检测并且被追踪。外科器械S的所检测到的手势和运动经过跟踪模块TM通过跟踪信息TI被表示。

优选地，分别针对手术刀S的多个特定部位（例如针对手术刀S的刀刃和/或手柄）以及针对手H的特定部位（例如针对不同的手指、指节、手指关节和/或指尖），跟踪信息TI例如包括手H和手术刀S的位置、取向、运动、运动方向、速度和/或转动。

此外，模拟设备SIMS还拥有用于依据生物力学的结构模型BMS模拟解剖区域AR的模拟模块SM。该生物力学的结构模型BMS由建模模块MM被传送到模拟模块SM。此外，跟踪信息TI由跟踪模块TM传送到模拟模块SM。依据所传送的跟踪信息TI，该模拟模块SM将依据该生物力学的结构模型BMS所模拟的对解剖区域AR的力学作用分配给手H和/或手术刀S的相应的被检测到的手势或相应的运动。这样，手H的指尖在特定方向上的运动例如可以被分配给对解剖区域AR的特定地被分配的部位的力学的压力作用。相对应地，手术刀S的刀刃的所检测到的运动可以被分配给所模拟的在解剖区域AR的特定部位上的切除（Schnitt）。

依据生物力学的结构模型BMS，模拟模块SM模拟解剖区域AR对所模拟的力学作用的力学反应。在这种情况下，尤其是动态地模拟出现的力和变形以及可逆的改变（例如弹性变形）和不可逆的改变（例如组织切除、缝合和/或移植）。按照所模拟的力学反应，生物力学的结构模型通过模拟模块SM被修正。这样，例如在不可逆的虚拟的组织切除时，由于组织切除而彼此分开的组织部分在生物力学的结构模型BMS中彼此虚拟地被分开，使得所分开的切割面在模拟中相互不可以施加拉力而只还可以施加基于摩擦的剪切力。经修正的生物力学的结构模型在图1中用MBMS标明。该经修正的生物力学的结构模型MBMS经过模拟模块SM通过外科医生的连续地被检测到的手势和解剖区域AR的从中导出的力学反应连续地被修正并且在一定程度上根据虚拟的手术变化过程而被更新（nachfuehren）。

除此之外，模拟模块SM依据经修正的生物力学的结构模型MBMS模拟虚拟的外科手术对解剖区域AR的解剖功能的一个或者多个效果。以这种方式可以预测或者至少估计手术的成功或者结果。这种预测尤其是可以通过将经修正的生物力学的结构模型MBMS与多个被存储在数据库中的已知的情况相比较来实现。为了该目的，可以优选地使用用于机器学习的模块ML或者用于机器学习的另一模块。

此外，模拟设备SIMS还拥有用于使生物力学的结构模型BMS和/或经修正的生物力学的结构模型MBMS体积可视化的可视化模块VM。为了该目的，在本实施例中，经修正的生物力学的结构模型MBMS至少部分地由模拟模块SM被传送到可视化模块VM。该可视化模块VM算出经修正的生物力学的结构模型MBMS的体积可视化并且将体积可视化数据VIS输出给屏幕终端T。屏幕终端T通过第三接口I3被耦合到模拟设备SIMS上。可视化模块VM尤其是使解剖区域AR对所模拟的力学作用的力学反应可视化。以这种方式，使用者可以直接识别：该使用者的与所模拟的外科手术相关地被实施的手势对解剖区域AR有哪些被模拟的影响。

优选地，用于显示虚拟的和/或增强的现实的沉浸式系统可被用作屏幕终端T。可替换地或者附加地，可以采用全息照相的和/或立体照相的可视化系统。除此之外，第三接口I3还可用作用于在屏幕终端T上显示外科手术的所模拟的效果的输出接口。

附加地，模拟设备SIMS可具有触觉感知接口（未示出），所述触觉感知接口用于将所模拟的力学反应以触觉感知的方式输出给使用者。这种触觉感知的输出例如可以借助于所谓的机械手套（Robothandschuh）或者主动手套（aktiver handschuh）来实现。

图2以示意图示出了用于阐明按照本发明的方法的流程的流程图。在按照本发明的方法的范围内，首先记录并且检测解剖区域AR的图像数据IMG。依据所检测的图像数据IMG，例如通过估计来确定生物力学的结构模型BMS。接着，借助于生物力学的结构模型BMS可以执行解剖区域AR的物理模拟。接着，例如通过模拟外科手术的治疗模拟可以动用解剖区域AR的物理模拟，以便预测治疗或外科手术的效果。

图3阐明了模拟设备SIMS的使用者与解剖区域AR的虚拟的相互作用的可视化。该可视化包括解剖区域AR的可视化VAR以及由跟踪模块TM检测到的手或其手势的可视化VH。在这种情况下，多个指节的所检测到的位置和取向在可视化VAR中被分配给可视化VH的虚拟的位置和取向。依据解剖区域AR的生物力学的结构模型BMS来实现将指节的位置和取向分配到在可视化VAR中的位置。

通过本发明，优选地在活体内、例如借助于超声心动图（Echokardiographie）所获得的图像数据IMG被用于在计算机中产生解剖区域AR的图示。该图示的几何构型以及其它的参数优选地被转化为有限元模型，借助于所述有限元模型动态地模拟解剖区域AR的生理和/或物理行为。依据在解剖区域AR中的可从图像数据IMG导出的运动动力学或者运动流，患者特定地确定或估计生物力学的结构模型BMS的参数。

在针对外科手术的规划阶段期间，外科医生可以借助于模拟设备SIMS测试不同的行动方式并且模拟和估计所述行动方式对解剖区域AR的解剖功能的相应效果。通过包含和跟踪真正的、以自然的方式被运用的外科器械并且通过优选地使用沉浸式可视化技术，可显著地提高模拟的所感觉到的现实性。使用这种沉浸式模拟系统使得外科医生能够虚拟地在生物力学的结构模型BMS上进行他会在实际的手术时实施的相同的操作。以这种方式，在实现实际的手术之前，该外科医生可以测试和/或结合各种治疗选项，以便这样确定最优的行动方式。除了改进地规划外科手术之外，本发明也允许被改进地训练外科医生。