用于生成数字彩色图像的数字成像装置和方法与流程

1.本发明涉及数字成像装置、包括数字成像装置的显微镜以及用于生成对象的数字彩色图像的方法。


背景技术：

2.在显微技术领域，彩色相机可以用于获取图像。通常，这种彩色相机包括布置在光电传感器的网格上的滤色器阵列。具体地，所谓的拜耳滤色器马赛克可以用作彩色成像的滤色器阵列。拜耳滤色器马赛克包括预定比例(通常为50％g、25％r和25％b)的绿色(g)、红色(r)和蓝色(b)滤色器。
3.在显微技术中使用彩色相机允许检测对象的真实颜色(其有益于例如病理学和组织学中对样品的评估)，并且允许在仔细检查之前确定样品的染色。然而，将彩色相机并入宽场或共焦显微镜中通常是非常昂贵的。因此，单色成像仍然是显微技术中的首选方法。尽管可以设想在显微镜中同时提供单色相机和彩色相机，但是很难实现在不同成像模态中创建的图像数据的精确时间和空间拟合。
4.文章“color image acquisition using monochrome camera and standard fluorescence filter cubes”(g.f.weber,a.s.menko,biotechniques,vol.38,no.1)公开了一种方法，其中借助于图形软件来组合单色图像。但是，该方法不适合基于单色成像自动创建彩色图像。


技术实现要素：

5.目的是提供一种数字成像装置和方法，其允许以可靠的方式基于数字灰度图像生成对象的数字彩色图像。
6.显微镜包括数字成像装置，该数字成像装置包括处理器，该处理器被配置为以多个不同光谱灵敏度获得对象的多个数字灰度图像，其中每个数字灰度图像包括基于所述不同光谱灵敏度中不同的一个的灰度信息。所述处理器还被配置为用于获得每个数字灰度图像的多个权重因子，将所述权重因子分配给限定预定颜色空间的多个颜色通道。所述处理器被还配置为用于通过根据权重因子在颜色通道上分布每个灰度图像的灰度信息，在所述颜色空间中从数字灰度图像合成对象的数字彩色图像。
7.显微镜可以通过将由数字灰度图像的不同光谱灵敏度表示的多个光谱输入通道变换为多个光谱输出通道，以用作虚拟彩色相机，多个光谱输出通道由限定数字成像装置要模拟的彩色相机的颜色空间的颜色通道给出。因此，将属于由不同光谱灵敏度表示的输入通道之一的每个灰度图像相对于数字成像装置要模拟的彩色相机的模型进行加权。
8.数字灰度图像变换成的颜色空间可以是该领域中使用的典型颜色空间之一，例如rgb(红色、绿色、蓝色)，cmyk(青色、洋红、黄色、黑色)，等等。
9.优选地，灰度图像的光谱灵敏度的数量不同于并且特别是大于颜色空间的颜色通道的数量。灰度图像的不同光谱灵敏度所表示的输入通道数量越多，可用于创建数字彩色
图像的图像信息就越高。因此，数字彩色图像的质量随着灰度图像的光谱灵敏度的数量而增加。无论由灰度图像的光谱灵敏度表示的输入光谱是否重叠，都可以实现如本文所公开的彩色成像。此外，可以处理可见光范围之外的输入光谱，例如红外(ir)光。
10.权重因子可以由矩阵表示，其行数等于光谱输入通道的数量，即数字灰度图像的数量，并且其列数等于输出通道的数量，即，要模拟的相机模型的颜色通道数。因此，基于不同的数字灰度图像对数字彩色图像的确定归结为便于实时彩色成像的简单矩阵乘法。
11.可以在获取数字灰度图像之前预先确定权重因子，基于该权重因子，每个数字灰度图像的灰度信息被分布在相机模型的不同颜色通道上。因此，用于合成数字彩色图像所需的计算工作量是低的，并且实时彩色成像可以被容易地实现。
12.优选地，针对传感器量子产率校正每个数字灰度图像的灰度信息。传感器的量子产率是事先已知的装置参数。因此，在确定权重因子时可能已考虑了传感器的量子产率。由此，针对传感器量子产率的校正不会影响实时彩色成像。
13.可以根据拜耳滤色器来校正权重因子。例如，在应用rgb相机模型的情况下，拜耳滤色器校正给予值为0.5的g分量的权重比给予值分别为0.25的r和b分量的权重更大。
14.处理器可以被配置为从数字彩色图像的所有图像值中确定最大值，并基于所述最大值归一化图像值进行。例如，在数字彩色图像应以包括0到256的值的8位图像的形式进行处理的情况下，计算比例因子256/max，其中max指示上述的最大值，而所有数字彩色图像的图像值使用此比例因子进行归一化。
15.处理器可以进一步被配置为对数字彩色图像执行白平衡。因此，可以改善数字彩色图像的质量。
16.根据一个优选实施例，显微镜包括多个图像传感器，这些图像传感器被配置为以多个不同光谱灵敏度来获取所述多个数字灰度图像。因此，可以借助于在光谱域中具有不同灵敏度的多个图像传感器顺序地或同时地获取灰度图像。然而，数字成像装置不限于此。例如，数字成像装置还可以用于对通过单个图像传感器和多个滤色器创建的灰度图像进行后处理，所述多个滤色器顺序地引入到通向图像传感器的光路中以创建不同光谱的灰度图像的序列。由于滤色器的光谱特性是预先已知的，因此可以确定相应的权重因子，并且可以对灰度图像序列执行后处理过程以合成数字彩色图像。
17.每个图像传感器可以由宽场传感器形成，但不限于此。例如，数字成像装置还可以用于使用点传感器的共焦显微镜中，以逐像素顺序地获取数字灰度图像。
18.优选地，显微镜包括显示装置，该显示装置被配置为实时显示数字彩色图像。
19.优选地，显微镜可以是如上所述的共焦显微镜或宽场显微镜，但不限于此。
20.根据另一方面，提供了一种用于生成对象的数字彩色图像的方法，其中，该方法包括以下步骤：使用显微镜以多个不同光谱灵敏度获得对象的多个数字灰度图像，每个数字灰度图像包括基于所述不同光谱灵敏度中不同的一个的灰度信息；获得每个数字灰度图像的多个权重因子，将所述权重因子分配给限定预定颜色空间的多个颜色通道；以及通过根据权重因子在颜色通道上分布每个灰度图像的灰度信息，在所述颜色空间中从数字灰度图像合成对象的数字彩色图像。
21.例如，可以通过从存储器读取权重因子来获得权重因子。因此，在成像过程中不需要确定权重因子。相反，如数字灰度图像的光谱灵敏度以及所利用的相机模型的颜色通道
都是预先已知的，权重因子可以在成像过程之前确定，并存储在所述存储器中。然后可以在获取图像时访问存储器以检索权重因子。
22.根据另一方面，提供一种具有用于执行所提供的方法的程序代码的计算机程序。
附图说明
23.在下文中，将参考附图来描述特定的实施例，其中：
24.图1为示出了数字成像装置的实施例的框图；
25.图2为示出了由数字成像装置执行的用于生成数字彩色图像的过程的示意图；以及
26.图3示出被配置为执行本文描述的方法的系统的示意图。
具体实施方式
27.图1为示出根据一个实施例的示出包括数字成像装置的荧光显微镜的示意图；以及
28.图2为示出由图1所示的数字成像装置执行的用于合成数字彩色图像的过程的示意图。
29.图1为示出荧光显微镜100的框图，该荧光显微镜100可以包括在其上放置有对象104的对象载玻片102。显微镜100包括数字成像装置106，其被配置为以多个不同的光谱灵敏度生成对象104的多个数字灰度图像。为此，数字成像装置106可以包括相应数量的图像传感器108、110、112和114。在图1中，每个图像传感器108至114获得标记为i1、i2、i3和i4的数字灰度图像。图像传感器108至114可以由cmos传感器形成，但不限于此。为了获取不同光谱中的灰度图像i1至i4，可以使用合适的滤光器(图1中未示出)，这些滤光器中的每一个仅将在特定波长区域中的发自对象104的荧光朝图像传感器透传。
30.数字成像装置106还包括处理器116、该处理器116可以被配置为控制荧光显微镜100的整体操作。具体地，处理器116用于控制如下面参考图2更详细地解释的彩色成像过程。为此，处理器116耦合到图像传感器108至114，用于获得数字灰度图像i1至i4，其将被处理以用于彩色成像。
31.成像装置106还可以包括同样耦合到处理器116的显示装置118和存储器120。
32.在下文中，可以假定荧光显微镜100由宽场显微镜形成，使得图像传感器108至114中的每个获得对象104的宽场图像。然而，荧光显微镜100不限于宽场配置。例如，可以应用共焦显微镜配置，其中，每个图像传感器108至114由点传感器形成，并且每个数字灰度图像i1至i4包括由相应图像传感器108至114顺序获得的多个像素。
33.图2是示出由数字成像装置106执行的过程的示意图，数字成像装置106用于基于由图像传感器108至114获得的数字灰度图像i1至i4，合成对象104的数字彩色图像。在以下示例中，假设数字彩色图像是rgb图像，该图像对应于r、g和b的三个彩色图像的叠加。不用说，图2中所示的过程也可以应用于另一个颜色空间，例如cmyk颜色空间。
34.首先，如框b1和图d1所示，处理器116获得表示图像传感器108至114的不同光谱灵敏度的归一化数据。具体地，图像传感器108可以具有如图d1中的曲线s1所指示的光谱灵敏度。同样，曲线s2指示图像传感器110的光谱灵敏度，曲线s3指示图像传感器112的光谱灵敏
度，曲线s4指示图像传感器114的光谱灵敏度。如在图d1中可以看到的，对应于光谱灵敏度s1至s4的光谱波长区域基本上彼此分离，即不重叠。根据在图2中的图d1，光谱灵敏度s1、s2、s3、s4可以基本上分别对应于蓝色、绿色、黄色和红色。如下文中所解释的，光谱灵敏度s1至s4限定四个输入通道，其将被变换成用于模拟rgb彩色相机的rgb空间的颜色空间。
35.随后，如图2中的框b2和图d2所示，获得每个图像传感器108至114的归一化量子产率y。图像传感器108至114的光谱灵敏度s1至s4与量子产率y相乘，使得如框b3和图d3所示，获得量子产率校正的光谱灵敏度s1a、s2a、s3a、和s4a。
36.在下一步骤中，如框b4和图d4所示，考虑rgb相机模型的归一化模型灵敏度sb、sg和sr。利用rgb颜色空间为目标颜色空间，通常根据拜耳滤色器确定模型灵敏度sb、sg、和sr。具体地，三个光谱模型灵敏度sb、sg和sr限定图像传感器108至112的光谱灵敏度s1、s2、s3、s4将要映射的目标模型。在图d4，模型灵敏度sb对应于颜色b，模型灵敏度sg对应于颜色g，模型灵敏度sr对应于颜色r。作为拜耳滤色器的特性，相对于分别对应b和r的模型灵敏度sb和sr，对应于g的光谱模型特性sg被高估了。
37.如图2中的框b5和矩阵m所示，将图d1的光谱灵敏度s1、s2、s3、s4映射到由图d4的模型灵敏度sb、sg、sr限定的rgb目标模型上是通过权重因子实现的。具体地，矩阵m包括与目标系统的三个输出颜色通道r、g、b相对应的三列，并且矩阵m包括与图像传感器108至114的四个光谱灵敏度s1、s2、s3、s4相对应的四行。因此，矩阵m的每一列r、g和b包括分别对应于四个光谱灵敏度s1、s2、s3、s4的四个值。这些值中的每一个都指定权重因子，该权重因子确定将每个光谱灵敏度s1、s2、s3、s4映射到相应颜色通道r、g和b的比例。例如，矩阵m的第一行指示第一光谱灵敏度s1用权重因子0.092映射到颜色通道r，用权重因子0.28映射到颜色通道g，并用权重因子0.628映射到颜色通道b。同样地，根据矩阵m的第二行，光谱灵敏度s2用权重因子0.08映射到颜色通道r，用权重因子0.525映射到颜色通道g，并用权重因子0.395映射到颜色通道b。根据的矩阵的第三行，光谱灵敏度s3用权重因子0.667映射到颜色通道r，用权重因子0.062映射到颜色通道g，用权重因子0.271映射到颜色通道b。根据矩阵m的第四行，光谱灵敏度s4用权重因子0.605映射到颜色通道r，用权重因子0.053映射到颜色通道g，用权重因子0.342映射到颜色通道b。
38.在这方面，应注意的是，在图2中框b3和b4之间的符号“*”指示映射函数，其被应用于将由光谱灵敏度s1、s2、s3和s4表示的四个输入通道变换为由颜色通道r、g和b表示的三个输出通道。由于预先知道输入通道s1、s2、s3、s4和输出通道r、g、b，因此可以确定合适的映射函数用于实现从输入通道到输出通道的映射。
39.随后，如框b6所示，将在框b5中获得的矩阵m与向量v相乘，该向量包括根据拜耳滤色器确定的校正值0.25、0.5和0.25。因此，如框b7所示，获得包括校正的权重因子的校正的模型矩阵mc，其可以存储在存储器120中。
40.基于包括校正的权重因子的模型矩阵mc，可以实时执行彩色成像。为此，如框b8所示，借助于图像传感器108至114获取灰度图像i1至i4。随后，如方框b9所示，从存储器120中检索模型矩阵mc，并且处理器116根据模型矩阵mc的权重因子，将在每个灰度图像i1至i4中包括的灰度信息分布在颜色通道r、g和b上。
41.具体而言，根据mc的第一行，将分配给光谱灵敏度s1的第一灰度图像i1的灰度信息以权重因子0.072映射到颜色通道r，以权重因子0.438映射到颜色通道g，并以权重因子
0.491映射到颜色通道b。同样地，根据mc的第二行，将分配给光谱灵敏度s2的第二灰度图像i2的灰度信息以权重因子0.053映射到颜色通道r，以权重因子0.689映射到颜色通道g，并以权重因子0.259映射到颜色通道b。根据mc的第三行，将分配给光谱灵敏度s3的第三灰度图像i3的灰度信息以权重因子0.628映射到颜色通道r上，以权重因子0.116映射到颜色通道g上，并以权重因子0.256映射到颜色通道b上。根据mc的第四行，将分配给光谱灵敏度s4的第四灰度图像i4的灰度信息以权重因子0.575映射到颜色通道r，以权重因子0.100映射到颜色通道g，并以权重因子0.325映射到颜色通道r。由此，基于在灰度图像i1至i4中包括的灰度信息获得颜色通道r、g、b中的图像值。
42.然后，如框b10所示，处理器116可以从在框b9中获得的所有图像值中确定最大值。此外，如框b11所示，处理器116可确定比例因子并且利用比例因子对图像值进行归一化。随后，如框b12所示，处理器116可以执行白平衡处理。最后，所得的数字rgb彩色图像被显示在显示装置118上。
43.应当注意的是，可以先于实时彩色成像，基于获取灰度图像i1至i4确定包括权重因子mc的模型矩阵mc。特别地，由于可以独立于灰度图像i1至f4来计算矩阵mc，矩阵mc将仅被确定一次并且可以被存储以用于进一步的成像。
44.此外，应当注意的是，以上解释的过程包括可以省略的可选步骤。例如，取决于所使用的特定图像传感器，可能不需要如框b2所示基于量子产率y来归一化光谱灵敏度s1至s4。同样地，在应用其他模型颜色空间的情况下，可以省略拜耳矩阵校正。
45.如本文所使用的术语“和/或”包括一个或多个相关联的所列项的任一和所有组合，并且可以缩写为“/”。
46.尽管已经在设备的上下文中描述了一些方面，但是很显然，这些方面也代表了对相应方法的描述，其中框或装置对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也代表对相应设备的相应框或项或特征的描述。
47.一些实施例涉及一种显微镜，该显微镜包括结合图1至2中的一个或多个所描述的系统。替代地，显微镜可以是结合图1至2中的一个或多个所描述的系统的一部分或连接到该系统。图3示出了被配置为执行本文描述的方法的系统300的示意图。该系统300包括显微镜310和计算机系统320。显微镜310被配置为拍摄图像，并连接到计算机系统320。计算机系统320被配置为执行本文所述的方法的至少一部分。计算机系统320可以被配置为执行机器学习算法。计算机系统320和显微镜310可以是分开的实体，但是也可以被集成在一起在一个共同的壳体中。计算机系统320可以是显微镜310的中央处理系统的一部分和/或计算机系统320可以是显微镜310的子组件的一部分，例如传感器、执行器、相机或显微镜310的照明单元等。
48.计算机系统320可以是具有一个或多个处理器和一个或多个存储装置的本地计算机装置(例如，个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以是分布式计算机系统(例如，具有分布在例如本地客户机和/或一个或多个远程服务器群和/或数据中心的各个位置的一个或多个处理器和一个或多个存储装置的云计算系统，)。计算机系统320可以包括任一电路或电路的组合。在一个实施例中，计算机系统320可以包括一个或多个可以是任何类型的处理器。如本文所使用的，处理器可以指任何类型的计算电路，例如但不限于例如显微镜或显微镜组件(例如相机)的微处理器、微控制器、复杂指令集计算
(cisc)微处理器、精简指令集计算(risc)微处理器、非常长指令字(vliw)微处理器、图形处理器、数字信号处理器(dsp)、多核处理器、现场可编程门阵列(fpga)或任何其他类型处理器或处理电路。可以包括在计算机系统320中的其他类型的电路可以是定制电路、专用集成电路(aslc)等，例如一个或多个电路(例如通信电路)，其用于无线装置，例如移动电话、平板电脑、膝上电脑、双向无线电和类似的电子系统。计算机系统320可以包括一个或多个存储装置，其可以包括一个或多个适合于特定应用的存储元件，例如以随机存取存储器(ram)形式的主存储器、一个或多个硬盘驱动器、和/或一个或多个处理可移除介质的驱动器，例如光盘(cd)、闪存卡、数字视频磁盘(dvd)等。计算机系统320还可包括显示装置、一个或多个扬声器以及键盘和/或控制器，其可包括鼠标、轨迹球、触摸屏、语音识别装置或允许系统用户使用以将信息输入计算机系统320并从计算机系统320中接收信息的任何其他装置。
49.方法步骤中的一些或全部可以由(或使用)硬件设备(例如，处理器、微处理器、可编程计算机或电子电路)来执行。在一些实施例中，这种设备可以执行一些最重要的方法步骤中的一个或多个。
50.取决于某些实施要求，本发明的实施例可以以硬件或软件来实现。可以使用非暂时性存储介质执行该实施方式，所述非暂时性存储介质诸如数字存储介质，例如软盘、dvd、蓝光、cd、rom、prom和eprom、eeprom或flash存储器，其上存储有电子可读控制信号，该电子可读控制信号与可编程计算机系统协作(或能够协作)，从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
51.根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，从而执行本文描述的方法之一。
52.通常，本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可用于执行方法之一。程序代码可以例如被存储在机器可读载体上。
53.其他实施例包括在机器可读载体上存储的、用于执行本文描述的方法之一的计算机程序。
54.换句话说，因此，本发明的实施例是计算机程序，其具有当计算机程序在计算机上运行时用于执行本文描述的方法之一的程序代码。
55.因此，本发明的另一实施例是存储介质(或数据载体或计算机可读介质)，其包括存储在其上的计算机程序，该计算机程序用于在由处理器执行时执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的另一个实施例是如本文所述的设备，其包括处理器和存储介质。
56.因此，本发明的另一实施例是表示用于执行本文描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接来传输，例如经由互联网来传输。
57.另一实施例包括处理装置，例如计算机或可编程逻辑装置，其被配置为或适于执行本文描述的方法之一。
58.另一实施例包括一种计算机，该计算机上安装了用于执行本文描述的方法之一的计算机程序。
59.根据本发明的另一实施例包括被配置为将用于执行本文描述的方法之一的计算
机程序(例如，电子地或光学地)传输到接收器的设备或系统。接收器可以是例如计算机、移动装置、存储装置等。该设备或系统可以例如包括用于将计算机程序传输到接收器的文件服务器。
60.在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法之一。通常，该方法优选地由任何硬件设备执行。
61.参考符号列表
62.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
荧光显微镜
63.102
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
成像单元
64.104
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
对象
65.106
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数字成像装置
66.108
‑
114
ꢀꢀꢀꢀꢀꢀ
图像传感器
67.116
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
68.118
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示装置
69.120
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
70.300
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
系统
71.310
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜
72.320
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算机系统
73.s1
‑
s4
ꢀꢀꢀꢀꢀꢀꢀꢀ
光谱灵敏度
74.s1a
‑
s4a
ꢀꢀꢀꢀꢀꢀ
校正的光谱灵敏度
75.y
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
传感器量子产率
76.sb、sg、sr
ꢀꢀꢀ
模型灵敏度
77.b1
‑
b12
ꢀꢀꢀꢀꢀꢀꢀ
框
78.d1
‑
d4
ꢀꢀꢀꢀꢀꢀꢀꢀ
图
79.m、mc
ꢀꢀꢀꢀꢀꢀꢀꢀ
矩阵
80.v
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
向量