使用均匀颜色空间结合两个图像和叠加色的数据处理设备和计算机实现的方法与流程

本发明涉及一种数据处理设备和一种计算机实现的方法，用于通过根据第二图像中第二像素的光强度值将背景色图像中第一像素的背景色与叠加色(overlay color)混合来计算输出彩色图像中的输出像素的输出色。

背景技术：

1、在一些应用中，期望混合两个图像并在结果图像中突出在预先确定的叠加色中的信息，该信息包含在两个图像中的一个中，预先确定的叠加色可以是，例如，假彩色或伪彩色，

2、一个这种应用是在荧光成像中，正如使用在例如显微镜和内窥镜的医学观察设备中。在这里，背景色图像可以被记录以提供物体的反射图像。例如，反射图像可以用于示出手术发生的区域的解剖结构。物体可以包含或可以人工地设置有一个或多个荧光团，荧光团在激发时发出荧光。这些荧光团可以用于突出感兴趣的区域。例如，一些荧光团可以在肿瘤中积累以便在手术过程中通过它们的荧光，肿瘤能更容易地检测。其他荧光团可以用于突出血管。荧光图像可以被记录为仅使用波长的第二图像，波长包含在至少一个荧光团的荧光发射光谱中。在这种配置中，背景信息和荧光信息包含在两个不同的图像中。为了将这个信息集合在单个图像中，背景图像和荧光图像相结合(或“混合”)。这样允许外科医生或其他医学人员识别背景图像内的发荧光的区域。期望的是，感兴趣的发荧光的区域是立即可识别的。因此，荧光被分配给叠加色，叠加色可以对应于荧光的自然色，或对应伪彩色。

3、以所有信息在视觉上保留并且没有伪影被引入的方式，使背景色图像与第二图像和叠加色混合，是具有挑战的过程。由于荧光的强度通常比反射光的强度低得多，必须特别注意确保荧光图像和背景图像的结合从两个图像保留尽可能多的信息。

4、然而，本发明并不限制于背景图像是反射图像并且第二图像是荧光图像的图像结合。有一些情况，同一物体的两个反射图像(但使用不同光谱或波长记录的)需要被混合。例如，其他应用可能要求将热的、微波的或雷达的图像与背景图像结合。

5、在所有这些情况中，期望的是，使用叠加色将背景图像和第二图像的混合保留尽可能多的信息。

技术实现思路

1、为了满足这个需求，数据处理设备被配置为检索在均匀颜色空间中的背景色的背景色坐标，背景色在均匀颜色空间中具有预先确定的最大亮度值和预先确定的最小亮度值；检索在均匀颜色空间中的叠加色的叠加色坐标；检索光强度值，光强度值在从预先确定的最大光强度值延伸并包括预先确定的最大光强度值且延伸到并包括预先确定的最大光强度值的范围内；计算在均匀颜色空间中的亮度线，亮度线从叠加色坐标延伸到端点，在端点处的亮度低于在叠加色坐标处的亮度，亮度线沿具有叠加色坐标的色度的点延伸；确定在亮度线上的第一点，其中，预先确定的最大亮度值和背景色坐标的亮度之间的差值与背景色坐标的亮度和预先确定的最小亮度值之间的差值的比值对应于第一点和叠加色坐标之间的亮度线的长度与端点和第一点之间的亮度线的长度的比值；计算从背景色坐标直线地延伸到第一点的叠加色线；确定在叠加色线上的第二点，其中，预先确定的最大光强度值和光强度值之间的差值与光强度值和预先确定的最小光强度值之间的差值的比值对应于第二点和第一点之间的叠加色线的长度与背景色坐标和第二点之间的叠加色线的长度的比值；以及输出在均匀颜色空间中的第二点的颜色坐标作为输出像素的输出色。

2、上述需求还通过计算机实现的方法来解决，方法包括以下步骤：检索在均匀颜色空间中的背景色的背景色坐标，均匀颜色空间具有预先确定的最大亮度值和预先确定的最小亮度值；检索叠加色在均匀颜色空间中的叠加色坐标；检索光强度值，光强度值在从最小光强度值延伸且包括最小光强度值且延伸到并包括最大光强度值的范围内；计算在均匀颜色空间中的亮度线，亮度线从叠加色坐标延伸至端点，在端点处的亮度低于在叠加色坐标处的亮度，亮度线沿具有叠加色坐标的色度的点延伸；确定在亮度线上的第一点，其中，预先确定的最大亮度值和背景色坐标的亮度之间的差值与背景色坐标的亮度和预先确定的最小亮度值之间的差值的比值对应于第一点和叠加色坐标之间的亮度线的长度与端点和第一点之间的亮度线的长度的比值；计算从背景色坐标直线地延伸至第一点的叠加色线；确定在叠加色线上的第二点，其中，最大光强度值和光强度值之间的差值与光强度值和最小光强度值之间的差值的比值对应于第二点和第一点之间的叠加色线的长度与背景色坐标和第二点之间的叠加色线的长度的比值；以及输出在均匀颜色空间中的第二点的颜色坐标作为输出色。

3、使用背景色图像、第二图像和叠加色的上述逐像素结合，解决与传统混合过程相关的一些问题。第一，颜色过渡更好地适应人类视觉感知的物理特性；颜色过渡显得更自然。第二，防止过度饱和。第三，可能导致未预见到的结果的非线性依赖被避免。

4、(视觉地)均匀颜色空间是颜色空间，几何距离在颜色空间中对应于感知的色彩差异。均匀颜色空间可以是来自包含例如cie 1931颜色空间的三色刺激的颜色空间的组的颜色空间，和从cieluv、cielab、hsluv、ipt颜色空间和oklab得出的颜色空间。

5、预先确定的最大亮度值和预先确定的最小亮度值可以取决于背景色的色度。对于给定的色度，最大亮度值和最小亮度值通过颜色空间或显示设备的色域(如果该显示设备被考虑)确定的。在本文中，术语颜色和颜色坐标同义地使用。颜色通过颜色空间坐标表示。在不同的颜色空间中，对于同一种颜色的颜色空间坐标是不同的。

6、最大光强度值和最小光强度值可以通过颜色空间或预先确定的代替设备的色域确定，特别是对于中性色。例如，在均匀颜色空间或色域中，最大光强度值可以对应于白色，最小光强度值可以对应于黑色。最大光强度值和最小光强度值也可以通过记录第二图像的相机来确定。

7、术语“输出”包括发送输出数据和允许访问输出数据，例如允许访问第二点的颜色坐标存储在其中的存储器。

8、本文中术语“数据处理设备”、“图像处理器”或“处理器”同义地使用。

9、在下文中，本发明的另外的特征被说明。以下的每个特征在自身是有利的，并且可以独立地与任何其他以下特征相结合。

10、每个以下特征可以独立地使用以改善数据处理设备或计算机实现的方法，即使相应的特征仅在数据处理设备的上下文中或仅在计算机实现的方法的上下文中被提及。更具体地，数据处理设备可以被配置为执行下文描述的每个方法步骤，即使数据处理设备没有具体提及与该方法步骤有关。

11、根据一个方面，对于在背景图像、第二图像和/或输出图像中的多个或所有像素，在亮度线的端点处的亮度与叠加色的亮度的比值可以是恒定的。例如，比值可以设置在0.1与0.4之间的值，意味着在端点处的亮度为叠加色的亮度的10％和40％之间。比值可以由用户调整和/或存储在数据处理设备的存储器中。

12、叠加色坐标的亮度与在亮度线的端点处的亮度的比值可以，特别是，独立于第一像素的背景色坐标和/或第二像素的光强度值。优选地，对于在背景色图像和第二图像中的所有像素，比值是恒定的。

13、在一个实施例中，亮度线的端点可以位于预先确定的显示设备的色域内。这个配置可以确保端点可以适当地显示在预先确定的显示设备上。预先确定的显示设备可以是外部监测器，例如虚拟现实(vr)设备、发光二极管(led)或有机发光二极管(oled)屏幕或投影仪，或集成在医学观察设备的目镜中的监测器。

14、例如，如果使用叠加色坐标的亮度的预先确定的比值计算出的端点落在色域之外，端点可以沿亮度线自动地移位到亮度线跨过色域的限制的位置。

15、根据另一个实施例，亮度线可以是在均匀颜色空间中的直线或曲线。如果均匀颜色空间的一个维度是亮度，亮度线可以平行于这个维度延伸。

16、如果叠加色坐标设置在非均匀颜色空间中，则它们应在检索前或检索时变换到均匀颜色空间。数据处理设备可以配置为执行这种颜色空间变换。用于颜色空间变换的函数可以是标准的，或实验确定的。

17、非均匀颜色空间可以，例如，是rgb颜色空间，如rgb、srgb、adobergb、adobe whitegamut rgb、rec.2100、dci-p3、rec.2020、rec.709、rec.601或aces。其他非均匀颜色空间是，例如hsv、hsl、yuv和ycbcr及其派生物。

18、如果背景色坐标是在非均匀颜色空间中，优选地，在检索之前或检索时，背景色坐标被变换到均匀颜色空间。数据处理设备可以配置为执行这种变换。

19、在叠加色线上第二点的颜色坐标可以在输出前从均匀颜色空间变换到非均匀颜色空间。如果显示设备不能处置均匀颜色空间的颜色坐标，这可以是优选的。

20、在一个实施例中，背景色图像和第二图像可以是配准(register)图像。在配准图像中，图案的方向、形式、大小和位置一致。配准图像是一致的，并因此包含对应的像素。对应的像素，即如果背景色图像和第二图像是配准的，代表图案的相同区域的像素在背景色图像和第二图像中具有相同的位置。这并不必须意味着两个图像具有相同的像素分辨率。一个图像中的一个像素可以对应于另一个图像中的多个像素。例如，如果其中一个图像具有较高的分辨率，第一像素可以对应于多个第二像素，或第二像素可以对应于多个第一像素。然而，优选地，背景色图像和第二图像具有相同的格式和相同的像素数量。例如，两个图像都可以是1k、2k、4k或8k图像。

21、配准可以通过计算机实现的方法和/或数据处理设备执行。

22、进一步优选的是，输出像素的位置对应于第一像素和第二像素中至少一个的位置。输出彩色图像可以具有与背景色图像和第二图像中的任一个相同的格式和像素数。

23、检索背景色坐标可以包括，检索包括背景色坐标的第一像素。检索第一像素又可以包括检索背景色图像。例如，背景色图像以它的整体或在逐个像素基础上加载到数据处理设备的存储器中。

24、检索光强度值可以包括检索第二像素，其中第二像素包括光强度值。进一步，检索第二像素可以包括检索第二图像。例如，第二图像以它的整体或在逐个像素的基础上加载到数据处理设备的存储器中。

25、在一个实施例中，第二图像可以是灰度图像和彩色图像中的一种。如果第二图像是灰度图像，灰度值可以已经对应于光强度值。然后该值可以用于确定在叠加色线上的第二点的位置。第二图像可以通过灰度相机或彩色相机记录。

26、如果第二图像是彩色图像，检索光强度值可包括从第二像素的颜色坐标计算光强度值。该计算可以是检索光强度值的部分。光强度值的计算可以在任何颜色空间中执行，即在非均匀颜色空间或均匀颜色空间中，使用标准的函数或使用实验确定的函数。

27、如上所述的亮度线和叠加色线的计算，在背景色图像和第二图像中优选地对于多个或所有像素重复。叠加色坐标优选地独立于第一和第二像素。例如，叠加色坐标可以是可以由用户改变的恒定值。

28、正如初始解释的，数据处理设备和/或计算机实现的方法的应用的一个领域可以是荧光成像，在其中背景色图像可以记录在第一成像光谱中并且可以包括多个第一像素。例如，背景色图像可以是数字白光彩色图像。第二图像可以记录在第二成像光谱中并且也可以包括多个第二像素。第二成像光谱可以与至少一个荧光团的荧光发射光谱重叠。因此，至少一个荧光团的荧光可以记录在第二成像光谱中。例如，第二图像可以是数字荧光图像。进一步，第二成像光谱可以不同于第一成像光谱。例如，第一成像光谱和第二成像光谱可以是互补的。第一和第二成像光谱都可以包括多个阻带和通带。第一成像光谱中的阻带可以对应于第二成像光谱中的通带，以及第一成像光谱中的通带可以对应于第二成像光谱中的阻带。在一个实施例中，背景色图像不记录至少一个荧光团的荧光发射光谱内的波长。

29、第一和第二成像光谱可以与可见光谱重叠。

30、上述配置在例如显微镜或内窥镜的医学观察设备中可以是特别有用的。显微镜可以是实验室显微镜或手术显微镜。

31、医学观察设备，如显微镜或内窥镜，可包括上述任一实施例中的数据处理设备。医学观察设备还可以包括被配置为记录背景图像的白光彩色相机和被配置为记录第二图像的荧光相机。荧光相机可以是灰度相机或彩色相机。术语“彩色相机”包括ccd、cmos、多光谱和高光谱相机，以及记录彩色图像的相机的所有其他类型。

32、医学观察设备的操作方法可以包括上述任一实施例中的计算机实现的方法，并且还可以包括步骤：使用白光彩色相机记录物体的背景色图像；以及使用荧光相机记录物体的第二图像。

33、所要求保护的主题还涉及计算机可读介质和计算机程序，其包括指令，指令使得计算机执行上述实施例的任一项中的计算机实现的图像处理。

34、如本文所使用的，术语“和/或”包括一个或多个相关列出的项目的任何和所有结合，并且可以缩写为“/”。

35、尽管在设备的上下文中已经描述了一些方面，但清楚的是，这些方面也表示对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对对应装置的对应块或项或特征的描述。

36、下面，将参照实施例和参考附图示例性描述本发明。在实施例中示出的特征的结合不应视为限制性的。例如，可以省略具有例如上文解释的技术效果但在特定应用中不需要的实施例的特征。相反地，如果在特定应用中需要与这个特定特征相关联的技术效果，则可以添加不是下文所述实施例的一部分的上述特征。