用于多模态图像获取和图像可视化的系统和方法与流程

本发明涉及一种用于多模态图像获取的系统和方法，特别是用于通过借助于视频和光学相干断层扫描(oct)获取图像信号来对手术部位的时间分辨图像获取、以及用于对多模态图像数据的优化呈现。多模态图像数据特别是立体图像数据。

背景技术：

1、使用技术辅助工具是现代医学的重要组成部分。到目前为止，成像方法和机器人系统用在手术和诊断两者中同样是理所当然的事。在这种背景下，使用成像方法允许呈现和辨别患者体内的各种结构，并且从患者获得的图像数据可以有利地用于诊断，也可以用于治疗和手术方法。

2、举例来说，来自患者的图像数据不仅允许外科医生更好地计划手术干预，还允许帮助他们执行干预。机器人可视化系统用于帮助外科医生执行手术干预。所述系统通常包括用于记录要操作的区域的图像的至少一个相机，其中所述相机由具有铰接结构的支架承载。支架允许相机借助于平移运动和/或旋转运动相对于受试者定位，以便捕捉要操作的区域的期望视场(fov)的图像。在这种背景下，使用光学立体相机允许获取3d图像数据。

3、除了从期望视场获取表面信息(例如基于反射的可见光或背向散射的可见光)外，同时还开发了用于从视场获取深度信息的方法。这些方法包括光学相干断层扫描(oct)，其允许对光学透明物体和/或反射物体进行三维显微成像，并因此记录观察视场中生物组织的体积图像。光学相干断层扫描(oct)基本上是一种使用相干长度较短的宽带光的干涉测量法。因此，用于获取oct数据的系统包括干涉仪和光谱宽度超过中心波长1％的宽带光源。

4、oct数据可以顺序或并行获取。举例来说，对oct数据的顺序获取是通过低相干光源光束在分束器上被分成样品光束和参考光束来实施的；样品光束和参考光束被发送穿过干涉仪的两个臂，其中可移动的参考镜布置在参考光束路径中，并且要检查的物体布置在物体光束路径中。物体光束与参考光束之间的路径差以及因此测得的样品深度可以通过使参考镜移位来设置。借助于物体光束路径中的镜子使物体光束对样品进行二维扫描，从而允许对样品进行三维扫描。

5、在这种在时域中获取oct数据(对域oct-td oct)的背景下，光源的光谱宽度δλ对应于lc＝λ*/δλ的相干长度lc。oct系统的轴向分辨率对应于所利用光的相干长度lc，并表示分辨沿光轴至少具有相干长度间距的物体的能力。举例来说，中心波长为800nm且光谱宽度为80nm的近红外范围中的光源具有7μm的相干长度，并且因此具有这种光源的oct系统具有约1-10μm的轴向分辨率。oct系统的横向分辨率是通过物体光束路径中所使用的光学单元、特别是通过将光聚焦在要检查的物体上的物镜来确定的。

6、在频域中也可以顺序获取oct数据(频域oct-fd oct)，通常将使用可调谐光源(扫频光源oct)与使用色散检测器(光谱域oct-sd oct)区分开来。在扫频光源oct中，激励光源(通常是激光)的频率是可调谐的，并因此可以改变样品光束与参考光束之间的路径差，并因此改变扫描样品的深度，即使没有可移位的参考镜也是如此。同样，在sd oct的情况下使用宽带光源，但在检测之前例如通过光栅分离干涉信号的频率分量。

7、借助于oct可获取生物组织的切片和体积数据，并且这可以显著增加外科医生的信息量。因此，在手术显微镜中集成oct是期望的，以便既能获取来自期望视场的表面的视频数据，又能获取该视场的深度和/或切片图像。然而，在手术显微镜中将术中oct成像和传统(3d)成像结合呈现是非常复杂的，并为外科医生提供了新的挑战。虽然迄今为止手术系统已经能够供应体积oct图像，但其记录时间相对较长，而且由于时间和资源的原因，渲染也仅限于后期处理。因此，迄今为止还无法在手术期间进行实时体积成像。

8、然而，随着oct技术和图形处理器(gpu)能力和速度的提升，用于术中成像的更快oct方法也逐渐面世。然而缺点是，oct体积图像的实时呈现因此可能会使外科医生不知所措或分心，特别是如果oct和传统视频数据被呈现在不同的屏幕上或不同的屏幕区域中、或者如果两种模式之间的切换是可能不方便的。

9、本发明的目的是克服或至少减少现有技术的缺点，并提供一种用于多模态图像获取和图像可视化的改进系统和改进方法。

技术实现思路

1、根据本发明的目的通过独立专利权利要求的主题来实现。优选发展是从属权利要求的主题。

2、本披露内容的第一个方面涉及一种用于多模态图像获取和图像可视化的系统，特别是用于借助于医疗设备(例如手术显微镜)获取和可视化图像的系统。

3、根据本披露内容的系统包括手术显微镜系统，该手术显微镜系统具有光学单元，特别用于检测从样品反射或背向散射的光、例如可见光。举例来说，光学单元包括物镜和目镜；然而，该光学单元还可以包括其他部件，特别是其他透镜元件、镜子、分束器和/或类似部件。手术显微镜系统进一步包括图像传感器，该图像传感器被设计为获取样品的选定视场(关注区域-roi)的时间分辨图像信号。举例来说，样品是患者的手术部位，尤其是在眼科手术的情况下的眼睛。然而，样品也可以是任何其他手术部位，例如神经外科手术中的脑组织、在ent手术的情况下位于ent区域的组织、或者在牙科手术的情况的牙龈、牙垢或牙神经。同样，样品可以是任何其他组织或制剂(体内、体外或原位)。视场优选由用户选择。

4、根据本披露内容的系统进一步包括oct系统。oct系统优选包括宽带光源，优选是可调谐(扫频光源)激光器，例如宽带激光器、超连续激光器和/或超短脉冲激光器。在这种情况下，任何给定时间的可调谐激光器都可以是窄带光源，然而其中心频率可随时间选择性地变化，或者可以由多个窄带光源形成。然而，也可以使用任何其他宽带光源，例如超发光二极管，例如fd-oct中的超发光二极管。oct系统优选还包括干涉仪，例如迈克尔逊(michelson)干涉仪、马赫-泽恩德(mach-zehnder)干涉仪或科斯特(koster)干涉仪。干涉仪优选包括用于由宽带光源的光产生(和叠加)样品光束和参考光束的分束器、参考光束路径和样品光束路径。进一步优选地，干涉仪还包括用于设置所检查的样品深度的装置。取决于测量方法，该装置可以是用于产生路径差的装置(例如，在sd-oct的情况下在参考光束中可移位的镜子)、用于分离特定路径差的光的装置(例如，在fd-oct的情况下的光栅)或用于生成具有特定路径差的光的装置(例如，在扫频光源oct的情况下的可调谐光源)。oct系统优选还包括用于样品光束的扫描机构，特别是用于使样品光束在样品上进行二维扫描的扫描机构。扫描机构优选是扫描镜，但也可以使用其他扫描机构，例如光纤扫描仪、棱镜扫描仪、帕尔默(palmer)扫描仪等。在oct系统配置为全场oct的情况下，无需扫描机构。oct系统被设计为获取选定视场的时间分辨oct信号，并优选为此目的具有检测器。举例来说，检测器可以是线检测器、二维检测器阵列、光电检测器、色散检测器、ccd检测器和/或cmos检测器。

5、根据本披露内容的系统进一步包括被设计用于图像数据的时间分辨显示的显示装置。显示装置优选是一个或多个屏幕，例如手术显微镜的至少一个屏幕、固定安装在手术室内的屏幕、或头戴式显示器(hmd)，例如一副视频眼镜。屏幕优选是具有支持4k和/或8k的屏幕和/或被设计用于立体呈现的3d屏幕。

6、根据本披露内容的系统进一步包括控制单元，该控制单元连接到手术显微镜系统、oct系统和显示装置，特别是用于单向或双向数据传输。控制单元被设计和配置为确定与所获取的时间分辨图像信号相对应的视频图像数据。特别是，时间分辨图像信号是分配给样品的表面元素的多个信号，这些信号是针对对样品表面的特定扫描顺序或同时获取的，其中该扫描是由扫描机构和/或图像传感器确定的。进一步地，时间分辨图像信号具有时钟频率(图像刷新率)，该时钟频率是由扫描机构和/或图像传感器确定的。控制单元由这个图像信号产生视频图像数据，其光栅(分辨率)和图像刷新率适合于呈现在显示装置上。控制单元被进一步配置为借助于显示装置显示视频图像数据。

7、控制单元被进一步配置为基于oct信号确定时间分辨oct图像。oct信号是干涉信号，其中对干涉信号的包络进行调制来编码样品的反射特性。扫描机构允许以通过路径差设置的样品深度对样品进行二维扫描。时间分辨oct信号的时钟频率(图像刷新率)也源于所利用的扫描机构、所利用的用于选择或产生路径差的装置(例如参考光束中的可调镜)、检测器上游的光栅或可调谐宽带光源、以及检测器的刷新率。控制单元基于oct信号通过计算、例如借助于体积渲染、光线跟踪和/或光线行进来确定时间分辨oct图像。本领域技术人员熟知用于由时间分辨oct信号产生时间分辨oct图像的各种方法。

8、在根据本披露内容的系统中，控制单元产生oct图像的方式为使得所产生的时间分辨oct图像至少对应于所呈现的视频图像数据的一部分。优选地，从整个视场中获取oct信号，并创建至少一部分该视场的oct图像。同样优选地，从部分视场中获取oct信号，并创建至少一部分该部分视场的oct图像。根据本发明，借助于所使用的测量技术或通过图像处理方法，确保视频图像数据和oct图像的局部对应。控制单元被进一步设计为将时间分辨oct图像显示在显示装置上、在视频图像数据的该部分的位置处。优选地，创建整个视场的视频图像数据和oct图像，并将其各自呈现在整个显示装置上。同样优选地，产生部分视场的oct图像并将其显示在显示装置上、在与该部分视场的相对应的视频数据的位置处。换句话说，与样品的相同部分相对应的视频图像数据和oct图像呈现在显示装置的相同位置处。因此，根据本披露内容的系统能够将视频图像数据和oct图像无缝集成在显示装置上，从而使用户更容易查看多模态图像数据。这允许在不移动头部或眼睛的情况下查看多模态图像数据，这对外科医生的注意力具有有利影响，特别是在手术干预期间进行成像的情况下。

9、在根据本披露内容的系统的特别优选的实施例中，手术显微镜系统包括立体相机，也就是说，其被设计用于获取立体时间分辨图像信号。为此目的，立体相机特别包括用于获取视场的时间分辨第一图像信号的第一图像传感器和用于获取视场的时间分辨第二图像信号的第二图像传感器。第一图像传感器优选沿第一光轴并借助于第一光学单元、特别是第一物镜来获取第一图像信号。第二图像传感器优选沿第二光轴并借助于第二光学单元、特别是第二物镜来获取第二图像信号。第一光轴和第二光轴之间围成角度。光轴之间的这个角度和样品与物镜之间的工作距离确定了立体图像获取的立体角度。根据这个实施例，显示装置被设计用于呈现立体图像数据，其中立体角度对于在显示装置上的图像可视化期间的深度印象是决定性的。

10、进一步优选地，根据本发明的系统的控制单元被配置为产生与第一图像信号相对应的第一视频图像数据和与第二图像信号相对应的第二视频图像数据(在各自情况下都如上所述)，并将它们立体地呈现在显示装置上。因此，显示装置被设计为立体地呈现图像数据。显示装置优选是与偏振眼镜结合使用的、被设计为显示具有不同(例如正交)偏振的图像数据的显示装置。然而，显示装置也可以是3d屏幕，例如光场监视器等。控制单元被进一步配置为根据已获取的时间分辨oct信号确定时间分辨第一oct图像和时间分辨第二oct图像。因此，该oct系统可以在无需获取立体信号的情况下产生立体图像数据。根据这个优选的实施例，第一oct图像至少对应于所呈现的第一视频图像数据的一部分，并且第二oct图像至少对应于所呈现的第二视频图像数据的相同部分，在各自情况下都如上所述。控制单元还被设计为将第一和第二oct图像立体地呈现在显示装置上该部分的位置处。这产生了根据本发明的优化的多模态图像可视化也作为图像数据的立体呈现的一部分的优点。在产生立体oct图像期间，控制单元优选考虑到手术显微镜系统的立体角度。以这种方式，有利地确保了立体视频图像数据和立体oct图像的相同的深度印象。

11、在根据本披露内容的系统中，图像信号优选地包括多个第一元组。在这种情况下，每个第一元组包括(或代表)样品的表面元素和至少一个灰度值。在这种情况下，样品的表面元素优选通过两个侧向空间坐标(例如x和y)表示，并可以例如解释为样品像素。除了最终由检测到的强度产生的灰度值之外，每个第一元组还可以包括颜色值，例如在借助于连接到图像传感器上游的彩色滤光片检测不同颜色的强度期间。此外，oct信号包括多个第二元组，每个第二元组包括(或代表)样品的体积元素和散射强度。在这种情况下，样品的体积元素优选通过三个空间坐标(例如x、y和z)表示，并可以例如解释为样品体素。除了散射强度之外，第二元组可以包括其他值。根据这个实施例，显示装置包括多个像素，并且控制单元被配置为基于第一元组和显示装置的分辨率确定视频图像数据，其方式为使得特定像素显示样品的特定表面元素。换句话说，控制单元确定了对显示装置的像素和样品的表面元素的第一次分配。在这种情况下，这个分配可能取决于其他设置，例如手术显微镜系统的缩放级别，但优选在给定设置的时间内保持不变。这个实施例的控制单元还被配置为根据第二元组和显示装置的分辨率和/或视频图像数据确定oct图像，其方式为使得与这些特定表面元素相对应的体积元素呈现在这些特定像素上。换句话说，控制单元确定对显示装置的像素和样品的体积元素的第二次分配，该第二次分配对应于确定的第一次分配。因此，控制单元实现了显示装置的像素与图像信号(视频图像数据)以及还有oct信号(oct图像)之间的空间配准。

12、进一步优选地，控制单元被配置为基于oct系统和手术显微镜系统的获取参数对由手术显微镜系统获取的图像信号和由oct系统获取的oct信号进行局部配准。在这种背景下，这些信号的局部配准表示将这些信号正确联系到参考坐标系，例如在干预期间患者的坐标系，并将患者空间的坐标唯一映射到信号空间的对应坐标上。信号的配准优选需要校准手术显微镜系统和oct系统。手术显微镜系统的获取参数优选包括手术显微镜系统的校准参数和/或光学设置，例如所利用的光学单元(相机)的焦距和/或缩放级别。此外，获取参数优选还包括手术显微镜系统的一组内部参数。在这种情况下，内部参数确定了图像信号的坐标系与相关联成像传感器的坐标系之间的关系。在这种情况下，内部参数的类型特别地取决于所利用的成像传感器的类型，其中在这种情况下，成像传感器既指示实际的传感器，也指示所利用的光学单元。例如，在本领域技术人员已知的蔡氏相机校准的情况下，内部参数包括有效焦距、图像信号的主像点(畸变中心)的坐标、第一比例因子和/或第一径向透镜误差系数(畸变系数)。作为上述蔡氏相机校准的内部参数的替代方案，也可以使用其他内部参数，例如，用于张氏相机校准(参见，例如，li等人的“a practical comparisonbetween zhang′s and tsai′s calibration approaches[张氏校准方法与蔡氏校准方法之间的实际比较]”，第29届新西兰图像和视觉计算国际会议论文集，2014年11月，第166-171页，doi：10.1145/2683405.2683443)。oct系统同样具有获取参数，这些获取参数优选包括校准参数。oct系统的获取参数优选还考虑到oct系统的扫描机构和/或检测器。使用基于获取参数的局部配准，可以有利地在视频图像数据的图像空间中和oct图像的图像空间中的对应坐标处，正确地呈现位于患者空间的定义坐标处的患者的结构。

13、在根据本披露内容的系统的同样优选的实施例中，控制单元被替代地或附加地设计为借助于图像分析对视频图像数据和oct图像进行局部配准。在这种情况下，这些图像数据的局部配准表示在共用图像坐标系中正确联系这些图像。因此，基于图像数据的配准允许针对尽可能一致的相同结构的图像呈现的图像数据的相对联系。举例来说，借助于图像分析(例如边缘检测等)可以识别在视频图像数据和oct图像中的结构或组织边界，并可以将其相互比较。然后，这些结构可以借助于平移、旋转和/或缩放在显示装置上相互重叠。除了对所获取的信号的局部配准之外，优选还实施对图像数据的局部配准。

14、该系统的控制单元优选被配置为将视频图像数据和时间分辨oct图像同时呈现在显示装置上。这特别有利地允许用户同时考虑两种图像模态。然而，为了允许在不同的图像数据之间进行区分，控制单元优选被进一步配置为以第一透明度级别呈现视频图像数据，并以第二透明度级别呈现时间分辨oct图像。在这种情况下，第一透明度级别和第二透明度级别优选彼此不同。同样，第一透明度级别和第二透明度级别优选随时间变化。举例来说，图像信号最初以0％的透明度呈现，而oct图像以100％的透明度呈现。随着时间的推移，图像信号的透明度然后从0％连续调整到100％，而oct图像的透明度同时从100％调整到0％。因此，这确保了视频图像的呈现与oct图像的呈现之间的连续过渡。

15、在根据本披露内容的系统的同样优选的实施例中，控制单元被配置为将视频图像数据和时间分辨oct图像顺序呈现在显示装置上。换句话说，在任何时候，至少在显示装置上的特定位置处，仅呈现视频图像数据和oct图像中的一个。这有利地允许在视频图像数据与oct数据之间进行清楚的区分，并且同样有利地允许在显示装置上的不同位置处同时呈现各种图像数据。

16、特别优选地，控制单元被配置为以相同的放大率、相同的视角和/或相同的立体角度呈现视频图像数据和时间分辨oct图像。在显示装置的相同位置处同时呈现两个视频图像数据的情况下，这优选能够实现两个图像数据的完美重叠，并可以有利地能够以最佳对比度呈现。在顺序呈现的情况下，优选在局部配准的图像数据之间的过渡处出现具有相同的放大率、相同的视角和/或相同的立体角度的呈现。因此，图像数据的呈现之间流畅过渡。在视频图像数据的情况下，仅可能呈现表面(顶视图)。举例来说，这对应于“正面”oct图像。一旦从视频图像数据过渡到oct图像，用户就可以优选进一步调整放大率、视角和/或立体角度，以便有利地能够以最佳深度感知实现改善的视图。特别是，用户可以从最初的“正面”视图切换到立体呈现，例如借助于查看方向的连续过渡，或切换到切片视图(oct b扫描)。因此，在不同阶段中都有利地确保完美的视图。

17、在根据本披露内容的系统中，时间分辨oct图像优选对应于所呈现的视频图像数据的一部分。换句话说，oct图像仅呈现借助于手术显微镜系统查看到的视场的一部分。例如，可以获取样品的仅部分视场的时间分辨oct信号。根据这个优选的实施例，控制单元被配置为在该部分中呈现oct图像并在显示装置的其余部分上呈现视频图像数据。举例来说，视频图像数据和oct图像被总体上同时显示在显示装置上，但顺序地显示在显示装置上的特定位置处。这有利地能够借助于视频图像数据对整个样品或整个操作区域进行显示，同时借助于oct图像呈现部分或细节，例如手术器械的干预区域。由于oct图像还能够进行立体呈现，因此这个实施例还有利地能够将视频图像数据中的顶视图与oct立体图结合起来。

18、在特别优选的实施例中，根据本披露内容的系统进一步包括用于获取用户输入的接口。接口优选是手控开关或脚控开关。同样优选地，接口是用于识别头部运动和/或眼睛运动的装置，例如集成到视频眼镜或头戴式显示器(hmd)中。接口可以被进一步设计为捕捉语音指令，并可以为此包括至少一个麦克风。同样优选地，接口是键盘、操纵杆、鼠标、触摸屏或其组合。根据这个实施例，控制单元被配置为基于所获取的用户输入，启动从视频图像数据的呈现切换到oct图像的呈现或从oct图像的呈现切换到视频图像数据的呈现。

19、在根据本披露内容的系统的同样特别优选的实施例中，该系统进一步包括医疗器械。举例来说，医疗器械是探针、指针、一把镊子、锥子、超声乳化端头、内窥镜、endo led等。

20、根据这个实施例，控制单元被进一步配置为确定医疗器械的位置、类型和/或状态。在这种情况下，医疗器械的类型优选基于用于连接医疗器械的接口和/或基于经由用户接口的输入来实施。同样优选地，通过对视频图像数据的图像分析，例如借助于分割和物体识别，来识别引入手术显微镜系统的视场的医疗器械的类型。医疗器械的位置优选基于对标记的检测来确定，其中该标记可以是医疗器械上的标签，或是医疗器械的结构。标记优选借助于手术显微镜系统、以及可选地使用附加光源(例如红外led)和/或遵循医疗器械的配准/校准(例如通过将医疗器械的尖端定位在定义位置处)来检测。

21、同样优选地，引入手术显微镜系统的视场的医疗器械的状态优选基于对视频图像数据的图像分析来确定。举例来说，可以基于图像数据识别镊子是打开还是闭合。此外，控制单元可以读取用于改变状态的用户输入；例如，用于激活超声乳化端头的用户输入发出该超声乳化端头状态变化的信号。进一步地，附接到医疗器械上的传感器可以检测到该医疗器械状态的变化，例如镊子闭合，并可以将对应的传感器信号传输到控制单元。

22、根据这个优选的实施例，控制单元被进一步配置为基于医疗器械的位置、类型和/或状态，启动从视频图像数据呈现切换到时间分辨oct图像的呈现或从时间分辨oct图像的呈现切换到视频图像数据的呈现。特定类型和/或特定位置的医疗器械的状态变化优选指示操作的特定阶段。因此，识别医疗器械的位置、类型和/或状态可以用于为这个阶段选择最佳的呈现形式。这不仅包括图像数据的切换，还可选地改变图像数据内的呈现参数，例如缩放级别、立体角度、查看方向、呈现深度和/或切割方向。

23、同样优选地，控制单元被配置为确定手术显微镜系统的缩放级别，并基于缩放级别启动切换视频图像数据的呈现和时间分辨oct图像的呈现。通常，小缩放值对应于大视场，一般不期望呈现细节。因此，优选基于小缩放级别得出不期望呈现oct图像的结论。相比之下，大缩放值对应于小视场，在该小视场中经常期望详细的呈现。因此，优选基于大缩放级别得出期望呈现oct图像的结论。

24、进一步优选地，控制单元被配置为确定所执行操作的阶段。为此，控制单元优选连接到存储器，在该存储器中存储了经过训练的机器学习算法，例如神经网络(cnn)等。这个算法优选是借助于大量视频图像数据和/或oct图像或图像信号和/或oct信号来训练的，在训练期间，这些数据或信号被分配到操作的对应阶段进行分类。相应地，经过训练的算法能够基于视频图像数据和/或oct图像或图像信号和/或oct信号独立识别操作的阶段进行分类。根据这个实施例的控制单元优选被设计为基于确定的操作阶段，启动从视频图像数据的呈现切换到oct图像的呈现、或从oct图像的呈现切换到视频图像数据的呈现。适合于不同操作阶段的图像数据优选被存储在存储器中。

25、在白内障手术的情况下，操作阶段例如可以包括：休息状态、切口、注射眼科手术用粘弹剂(ovd)、撕囊、水剥离、超声乳化、冲洗/抽吸、植入人工晶状体、闭合/湿润伤口、非手术。在屈光手术的情况下，操作阶段例如可以包括：空转、对接、压平、应用眼睛/cg旋转、晶状体切割、晶状体侧切割、瓣切割、瓣侧切割、揭开眼睛、过渡到手术显微镜、定位手术显微镜、打开切口、定义平面、切断瓣床、切断晶状体床、移除和/或检查晶状体、擦拭、冲洗、裂隙灯、移除窥器。在牙科治疗的情况下，手术阶段可以例如包括：触及、拔除、清创、干燥、封闭、修复。应注意的是，这些阶段中的全部或仅一些可能是对应操作的一部分，并且也可能存在其他操作阶段和/或可能省略一些阶段。

26、根据本发明的控制单元的功能可以由电气或电子设备或部件(硬件)、固件(asic)来实施，和/或可以通过执行合适的程序(软件)来实现。优选地，根据本发明的控制单元的功能通过硬件、固件和/或软件的组合来实现或实施。举例来说，根据本发明的控制单元中用于执行各个功能的各个部件采用单独的集成电路的形式，或者被布置在共用集成电路上。

27、根据本发明的控制单元的各个功能进一步优选地采用一个或多个进程的形式，该一个或多个进程在一个或多个电子计算机中的一个或多个处理器上运行，并在执行一个或多个计算机程序时生成。在这种情况下，控制单元被设计为与其他部件、特别是手术显微镜系统、oct系统和显示装置合作，以便实现本文所述的根据本发明的系统的功能。对于本领域的技术人员来说进一步显而易见的是，多个计算机(数据处理设备、控制单元、控制器)的功能可以组合在一起或者可以组合在单个设备中，或者可以将特定数据处理设备的功能分布在多个设备上，以便实现根据本发明的控制单元的功能。

28、在根据本发明的系统的特别优选的实施例中，该系统被集成在手术显微镜中。在这种情况下，手术显微镜优选包括手术显微镜系统和oct系统，在各种情况下都如上所述。进一步优选地，手术显微镜包括显示装置或与之相连。图像传感器和光学单元优选是相机、特别是手术显微镜的主观察相机或环绕相机的一部分。手术显微镜的控制单元优选地被设计为根据本发明的系统的控制单元，并且特别地被设计为基于存储在手术显微镜的存储单元上的命令来执行下述根据本发明的方法。

29、在本披露内容的范围内，手术显微镜在最广义上被理解为是指适合在手术期间使用的显微镜。手术显微镜优选包括安装架，该安装架允许不依靠外科医生的头部移动即可对操作区域进行成像。进一步优选地，手术显微镜包括至少一个分束器和至少两个目镜。替代地，手术显微镜是没有目镜的纯“数码显微镜”。同样优选地，手术显微镜包括至少一个成像传感器。进一步优选地，手术显微镜包括主观察相机和环绕相机。手术显微镜可以包括用于执行手术干预的运动或机器人辅助工具。作为替代方案，手术显微镜可以是指医学工程显微镜、医学上认可的显微镜、或医学显微镜。

30、本披露内容的另一个方面涉及一种用于多模态图像获取和图像可视化的方法。该方法包括借助于手术显微镜系统获取样品的选定视场的时间分辨图像信号的方法步骤。在这种情况下，图像信号包括多个第一元组，每个第一元组代表样品的表面元素和与该表面元素相对应的至少一个灰度值。该方法进一步包括借助于oct系统获取选定视场的时间分辨oct信号的步骤。在这种情况下，oct信号包括多个第二元组，每个第二元组代表样品的个体积元素和与该体积元素相对应的散射强度。该方法还包括确定视频图像数据的步骤，其中基于第一元组和具有多个像素的显示装置的分辨率确定视频图像数据，其方式为使得视频图像数据中所确定的像素被分配给样品的特定表面元素。该方法还包括基于第二元组和显示装置的分辨率和/或视频图像数据确定时间分辨oct图像的步骤。在oct图像中，与这些特定表面元素相对应的体积元素被分配给这些特定像素。因此，oct图像至少对应于视频图像数据的一部分。该方法还包括将视频图像数据呈现在显示装置上和将oct图像呈现在显示装置上、具体是在显示装置上的该部分的位置处的步骤。根据本披露内容的方法实现了与根据本披露内容的系统相同的优点，并且在这个方面，请参考上文给出的解释。

31、在根据本披露内容的方法的优选实施方式中，该方法进一步包括获取视场的时间分辨第一图像信号和视场的时间分辨第二图像信号的步骤。该获取优选借助于立体相机或被设计用于获取立体图像信号的另一个相机进行。该方法的优选实施方式进一步包括确定与第一图像信号相对应的第一视频图像数据和确定与第二图像信号相对应的第二视频图像数据，也就是说立体视频图像数据。确定至少与第一视频图像数据的一部分相对应的时间分辨第一oct图像的步骤是基于oct信号(特别是第二元组)和显示装置的分辨率和/或视频图像数据进行的。此外，确定至少与第二视频图像数据的该部分相对应的时间分辨第二oct图像的步骤是基于oct信号(特别是第二元组)和显示装置的分辨率和/或视频图像数据进行的。根据这个实施方式，第一视频图像数据、第二视频图像数据、时间分辨第一oct图像和时间分辨第二oct图像在显示装置上的立体呈现还以相同的放大率、相同的视角和/或相同的立体角度实现。根据这个实施方式的方法有利地能够在显示装置的相同位置处立体、同步或顺序呈现视频图像数据和oct图像。

32、根据本披露内容的方法的其他优选实施方式对应于根据本披露内容的系统的其他优选实施例，并实现与实施例相同的优点。

33、本披露内容的另一个方面涉及一种包括命令的计算机程序，这些命令当由上述控制单元、优选是上述手术显微镜的控制单元执行时使上述系统或手术显微镜执行上述根据本发明的方法。计算机程序优选包括命令，这些命令当由上述控制单元、优选是手术显微镜的控制单元执行时使上述系统或手术显微镜根据优选实施方式之一执行上述根据本发明的方法。在这种情况下，根据本发明的计算机程序优选地存储在易失性存储器(例如，ram元件)中，或存储在非易失性存储介质(例如，cd-rom、闪存等)中。

34、本发明的其他优选实施例将根据从属权利要求中阐述的其他特征和下面解释的附图而变得清晰。除非另外特别说明，否则本技术中阐述的本发明的各种实施例可以有利地相互组合。