用于医学成像的装置和方法与流程

本发明一般涉及用于患者身体的组织的医学成像、特别是术中成像的方法、装置、系统和设备。

背景技术：

1、术中医学成像系统，诸如内窥镜或腹腔镜成像系统，典型地包括被适配成放置于患者身体附近或患者身体内部以用于在医学过程或外科手术期间捕获实时图像的相机系统。典型地，实时图像在诸如具有波长在400-780纳米范围中的可见光范围内被捕获。在患者身体的组织中，可能有荧光特征存在，如果其被激发光激发则其发射荧光光。由荧光特征发射的荧光光可以在实时图像中被捕获，然而，荧光光在实时图像中通常是微弱的。因此，术中医学成像系统典型地包括荧光相机传感器，用于捕获被期望是由荧光特征发射的光的至少主要部分的波长范围中的荧光图像，使得荧光特征更清晰可见。荧光光的波长可以至少部分地位于可见范围中和至少部分地位于诸如780nm至1000nm的波长范围中的红外光范围中。

2、美国专利us10 694 152 b2描述了具有相机的内窥镜视频系统，相机包括单色图像传感器，用于荧光成像和色彩成像。利用荧光激发光持续地照射观察下的组织并且利用包括荧光激发波长范围外的波长的可见光定期地照射观察下的组织。荧光图像和色彩图像被同时显示，这对执行手术的人来说可能是不便的，其必须在荧光图像和色彩图像之间交替，以便汇集两个图像中的所有细节。

3、美国专利申请us2019/167083 a1描述了包括光源设备的内窥镜系统，光源设备被配置为发射照射光和用于激发荧光医学制剂的激发光。内窥镜系统包括图像传感器，图像传感器被配置为捕获响应于激发光而从荧光医学制剂发射的荧光光的图像和所反射的光的图像。通过在非重叠像素阵列集中混合所反射的光的第一图像和荧光光的第二图像来生成组合图像。

4、另外的内窥镜相机系统可以在例如jp 2012-085917 a、jp 2012-085916a和jp2003-070721 a中被找到。

5、在诸如术中成像的医学成像中，相比于实时图像，荧光图像的信号通常是微弱和有噪声的。由于比较低的信号强度和高的噪声强度，可能的是外科手术人员可能错过荧光图像中的重要细节，因为细节的可见性可能受到噪声影响。

6、us2008/204 600a1描述了自适应时域噪声降低方法，其自适应地组合了运动自适应滤波结果和运动补偿结果，以便降低视频序列中的高斯加性噪声。

7、us2017/281 093a1进一步描述了用于在医学装置中对移动结构的图像流去噪的方法。在该方法中，结构的移动是通过比较两个图像来测量的，该两个图像中的每个代表移动的结构的相同部分。

8、此外，存在通过帧添加来降低图像中的噪声的方法。在该方法中，多个连续帧被添加在一起以形成经滤波的图像，该图像包括降低的噪声水平。该方法可以在jp 2012-085917 a、jp 2012-085916 a和ep 3469420a1、us2021/052226 a1中被找到。在jp 2012-085917 a中，所添加的帧的数量取决于检测到的运动。

9、另外的现有技术文档可以在ep 3,843,407 a1、us 5,667,474 a、us 2019/167083a1、jp h-07250804a和jp 2003-070721 a中被找到。

10、然而，从荧光实时图像和具有良好可见性的实时图像生成叠加图像仍然是挑战。通常，荧光特征的分界线并不是清晰可见的，从而存在增加的如下的风险：操作成像装置的人将错过叠加图像中的特征，特别是细小、微弱的特征。另一方面，强的荧光信号可能造成叠加图像的饱和，从而来自实时图像的细节可能由于强的荧光特征而不再可见。

11、因此，本发明的目的是提供改进的医学成像设备和方法，其中增强了叠加图像中荧光图像的可视化。

技术实现思路

1、本发明的目的是通过根据权利要求1的用于医学成像的装置和根据权利要求15的用于医学成像的方法来解决的：

2、用于患者身体的组织的医学成像、特别是用于术中成像的创新装置包括照射单元、成像单元、处理单元以及显示单元。

3、照射单元被配置为通过发射照射光来照射组织的部位，照射光至少包括激发组织中的荧光特征以发射荧光光的激发光。照射光可以在可见光范围中，而激发光可以在可见光范围中或者也可以在诸如紫外光和红外光的非可见光范围中。激发光可以例如包括大于500纳米或大于600纳米的波长。例如，激发光的波长可以在从600至800纳米、优选地600至900纳米或650至1350纳米范围内，意味着在近红外范围中。激发光还可以例如包括至少1400纳米、至少3000纳米、至少8000纳米或至少15000纳米的波长。激发光可以是脉冲的或连续的。

4、组织中的荧光特征可以例如是组织中存在的荧光体。例如，血管中的血红蛋白可以被激发光激发而发荧光。荧光特征也可以产生自注射到组织中的荧光染料或插入到患者身体中的标记装置。

5、成像单元被配置为捕获所照射的部位的荧光图像和对应的实时图像。特别是，成像单元可以包括图像分离部件，图像分离部件被配置为将荧光图像与实时图像分离，使得成像单元被配置为至少实质上同时地捕获所照射的部位的荧光图像和分离的实时图像。例如，图像分离部件可以是二向色棱镜，二向色棱镜将进入成像单元的光分到实时图像和荧光图像中，实时图像例如包含在可见光范围中的图像，荧光图像例如包含在荧光光范围中的光。成像单元可以包括用于捕获荧光图像和图像的分离的传感器。

6、处理单元被配置为从成像单元接收荧光图像和实时图像。处理单元进一步包括运动检测模块、自适应运动滤波器模块以及映射模块。运动检测模块、自适应运动滤波器模块和映射模块可以被实现为软件和/或硬件模块。

7、运动检测模块被配置为确定组织和成像单元之间的运动。自适应运动滤波器模块被配置为通过将基于运动的自适应滤波应用到荧光图像来生成滤波后的荧光图像。映射模块被配置为通过将滤波后的荧光图像非线性地映射到实时图像中来生成叠加图像。

8、为了确定组织和成像单元之间的运动，运动检测模块，例如通过在帧之间应用和评估光流或者比较特别显著的图像特征，可以评估成像单元的图像数据中的改变。附加地或替代地，运动检测模块可以接收和评估来自运动传感器的运动数据，运动传感器诸如为可以位于相机头中的惯性测量单元(imu)。

9、组织和成像单元之间的运动可以是由于成像单元相对于组织的移动、组织相对于成像单元的移动或这两者的组合而存在的。

10、此外，显示单元被配置为接收和显示叠加图像。显示单元还可以被配置为附加地接收和显示荧光图像和实时图像。

11、本发明的方面基于如下观念：处理单元被配置为通过考虑组织和成像单元之间的运动而自适应地对荧光图像滤波。在基于运动的自适应滤波中，处理单元可以添加先前的和当前的荧光图像，其中用于添加荧光图像的至少一个参数取决于由运动检测模块确定的运动。至少一个参数限定了当前荧光图像相对于先前的滤波后的荧光图像的影响。特别是，如果确定了相当高的运动值，则增大该至少一个参数，使得当前荧光图像与先前的滤波后的荧光图像相比在所得到的滤波后的荧光图像上具有更高的影响。相反地，如果所确定的运动值相对低，则减小该至少一个参数，使得与当前荧光图像在所得到的滤波后的荧光图像中的影响相比先前的滤波后的荧光图像的影响更高。

12、本发明的另一方面基于如下观念：处理单元进一步被配置为生成其中滤波后的荧光图像被在映射模块中映射到实时图像中的叠加图像，其中映射是非线性的。在非线性映射的情况下，可能的是与具有相对更高的强度值的区域相比将滤波后的荧光图像中具有更低强度值的区域放大得更多。这可以造成叠加图像中的细节放大而不发生过饱和。因此，将基于运动的滤波与非线性映射组合造成叠加图像中的荧光细节的放大，同时荧光图像中存在的噪声可以被有效地抑制。映射模块还可以将滤波后的荧光图像的非线性映射中的输出值约束于最大值，从而即使在滤波后的荧光图像具有比较大的强度值时来自实时图像的细节可以保持可见。

13、荧光图像可以是仅收集在预先确定的优选窄带波长范围中的光的图像。在荧光图像中所收集的波长可以在可见光范围和/或非可见光范围中。如果荧光图像在可见光范围中，则它们可以例如包括大于500纳米的波长。如果荧光图像在红外光范围中，则它们可以例如包括大于600纳米的波长，例如范围从600至800纳米、600至900纳米或者650至1350纳米(即近红外(nir)范围)。红外光还可以例如包括至少1400纳米、至少3000纳米、至少8000纳米或至少15000纳米的波长。

14、特别是，在自适应运动滤波器模块中生成滤波后的荧光图像涉及对当前荧光图像和先前的滤波后的荧光图像的加权平均操作，其中平均中的权重适配于所确定的运动。这允许有效抑制荧光图像中的噪声而不滤除荧光特征的细节。更进一步地，可以避免由于荧光图像中的运动所致的尾随效应(trailing effects)，因为平均操作中的权重是被对于运动调整的。

15、优选地，加权平均操作中的权重包括第一因子和第二因子，其中第一因子确定当前荧光图像相对于先前的滤波后的荧光图像的影响，并且第二因子确定先前的滤波后的荧光图像的放大。

16、特别是，自适应运动滤波器模块被配置为连续地生成针对多个时间步长的滤波后的荧光图像，其中按照如下计算针对当前时间步长的滤波后的荧光图像：

17、i_filt＝α·i_fluo_pres+(1-α)·β·i_filt_prev，

18、其中i_filt是滤波后的荧光图像，i_fluo_pres是当前荧光图像，i_filt_prev是先前的滤波后图像，α是第一因子以及β是第二因子。在当前时间步长中的滤波后的荧光图像优选地成为下一时间步长中的先前的荧光滤波后图像。

19、优选地，自适应运动滤波器模块被配置为将第一因子适配于所确定的运动，使得当运动减小时第一因子减小以及当运动增大时第一因子增大。因此，第一因子与运动检测模块中所确定的运动成比例。

20、特别是，第二因子至少与第一因子成比例，优选地第二因子还与先前的滤波后的荧光图像成比例。例如，第二因子可以与先前的滤波后的荧光图像的亮度成比例。先前的滤波后的荧光图像的亮度越低，第二因子的值越高。这导致即使在当前荧光图像的亮度相当低时的情形下滤波后图像的亮度也增强。

21、优选地，第二因子被限定在预先确定的范围中，预先确定的范围特别是在1.00和1.50之间、优选地在1.00和1.30之间。将第二因子限定在预先确定的范围中导致稳定的放大，避免了荧光图像信号的过饱和。因此，第二因子可以随着运动和滤波后的荧光图像的亮度而动态地改变。确保第二因子总是在1.00以上可以造成自适应运动滤波器模块不衰减先前的滤波后的荧光图像信号。

22、特别是，处理单元进一步包括预处理噪声滤波器模块，其被配置为：

23、从成像单元接收荧光图像；

24、通过将噪声滤波器应用到荧光图像来生成预滤波后的荧光图像；以及

25、将预滤波后的荧光图像传输到自适应运动滤波器模块。噪声滤波器可以例如是空域中值(spatial median)或高斯噪声滤波器。因此使用预滤波后的荧光图像代替未滤波的荧光图像。这可以是用以进一步增强荧光图像中的噪声抑制的简单但是仍有效的方法。

26、更进一步地，映射模块优选地被配置为在滤波后的荧光图像到实时图像的映射中在滤波后的荧光图像上应用非线性放大函数。在这样做当中，映射模块可以生成叠加图像，其中滤波后的荧光图像的更低强度值可以被利用更强值显示。这特别地放大了更低的信号值同时避免了相对高的信号值的过饱和。

27、优选地，非线性放大函数是欠线性齐次的(under linear homogeneous)。这意味着齐次的次低于1.00。欠线性齐次放大函数可以造成更低强度值被以更高值映射而更高强度值被以更低值映射，特别是当考虑放大函数的0.00和1.00之间的区间时。例如，非线性放大函数可以是平方根函数或立方根函数或更高次的根函数。

28、附加地或替代地，放大函数可以是相比于线性映射特别适配于放大更低强度值并且衰减更高强度值的非线性函数。

29、优选地，非线性放大函数的值范围被限制于预先确定的最大值。预先确定的最大值特别地具有低于1.00、优选地低于0.80、0.70或0.50的值，从而即使当滤波后的荧光图像的强度值接近最大值时，实时图像也被显示在叠加图像的背景中。这确保了即使当荧光信号相当大时，实时图像中的细节也在叠加图像中保持可见。

30、特别是，映射模块被配置为将映射后和滤波后的荧光图像的强度值分配到不同的视觉上可区分的色彩。色彩应当是对裸眼来说可区分的。这可以进一步改进针对操作人的所得到的色彩映射的可视化。例如，可区分的色彩可以是以下中的多个：蓝、绿、橙、黄、红、紫和棕。

31、优选地按照如下计算针对每个时间步长的叠加图像：

32、i_over＝(1-γ(i_filt))·i_live+γ(i_filt)·color(i_filt)，

33、其中γ是放大函数，color是色彩分配运算符，i_filt是滤波后的荧光图像，i_live是对应的实时图像，以及i_over是叠加图像。色彩分配运算符可以是线性映射运算符。

34、在优选的实施例中，装置进一步包括具有远端和近端的内窥镜，细长轴在远端和近端之间延伸。惯性测量单元可以定位在内窥镜或腹腔镜的远端处。照射单元和/或成像单元可以定位在内窥镜的远端和/或近端处。在照射单元和成像单元位于内窥镜的远端处的情况中，内窥镜包括在细长轴中的信号线，用于至少连接成像单元与处理单元。此外，内窥镜可以包括在内窥镜的细长轴中的信号线，用于控制照射单元。在照射单元和成像单元位于内窥镜的近端处的情况中，内窥镜包括光学通道和/或光学物镜，用于将包含激发光的照射光从内窥镜的近端传到远端，并且将返回进入远端处的光学物镜的反射光和/或荧光光传到内窥镜的近端。

35、用于患者身体的组织的医学成像、特别是用于术中成像的创新方法优选地利用上面描述的装置，包括以下方法步骤：利用照射单元通过发射照射光来照射组织的部位，照射光至少包含激发光，激发光激发组织中的诸如荧光体的荧光特征以发射荧光光；利用成像单元捕获所照射的部位的荧光图像和(分离的)对应的实时图像；以及处理荧光荧光图像和实时图像，包括以下步骤：

36、确定组织与成像单元之间的运动；

37、通过将基于运动的自适应滤波应用到荧光图像来生成滤波后的荧光图像；

38、通过将滤波后的荧光图像非线性地映射到实时图像中来生成叠加图像；以及

39、显示所生成的叠加图像。

40、关于创新装置描述的所有特征和优点等同地可应用于创新方法。

41、进一步的细节和优点可以从附图、相应的描述并且也可以从权利要求得到。