荧光观测装置以及荧光观测方法
荧光观测装置以及荧光观测方法
【专利摘要】由供给激励光的光源(11)、隔行扫描型的摄像装置(12)、存储从摄像装置(12)输出的图像的区域存储器(15)、生成差分图像的差分运算器(20)构成荧光观测装置(1A)。光源(11)以摄像装置(12)中的第1、第2区域的图像取得期间的一方为荧光图像取得期间、另一方为背景图像取得期间的方式供给激励光。差分运算器(20)切换应用从摄像装置(12)的输出的荧光图像减去存储器(15)的背景图像的第1模式和从存储器(15)的荧光图像减去摄像装置(12)的输出的背景图像的第2模式。由此，在时间顺序上取得对象物的荧光观测图像的结构中，能够实时地生成将荧光抽出的图像。
【专利说明】荧光观测装置以及荧光观测方法
【技术领域】
[0001]本发明涉及向观测对象物供给激励光、并取得关于来自观测对象物的荧光的观测图像的荧光观测装置以及荧光观测方法。
【背景技术】
[0002]相对于观测对象物，供给并照射规定波长的激励光，并由摄像装置取得关于对象物所产生的荧光的观测图像的荧光观测装置，应用于例如医疗领域等各种各样的领域。另外，这样的荧光观测中，想要观测对象物的状态的时间变化等的情况下，以规定的帧率取得时间顺序上的图像，并以动画的方式观测对象物的方法被采用(例如专利文献1，2)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开平10-151104号公报
[0006]专利文献2:日本特开平7-155292号公报
【发明内容】
[0007]发明所要解决的技术问题
[0008]来自观测对象物的荧光观测中，以微弱的荧光的观测图像能够通过肉眼来确认等为目的，存在使用以下的方法的情况:通过生成并表示在供给激励光的状态下取得的荧光图像和不供给激励光而没有荧光的状态下取得的背景图像的差分图像，从而抽出并确认荧光的图像成分。但是，现有的结构中，如上述那样在时间顺序上取得图像并以动画的方式进行对象物的观测的情况下，要将荧光被抽出的差分图像保持动画的形式并实时地生成是困难的。
[0009]本发明为了解决上述问题而完成，其目的在于提供一种在时间顺序上取得对象物的荧光观测图像的结构中，能够实时地生成荧光被抽出的图像的荧光观测装置及荧光观测方法。
[0010]解决问题的技术手段
[0011]为了达成这样的目的，本发明的荧光观测装置具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描(interlace)型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像；以及(4)差分图像生成单元，其取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成单元，作为其生成模式切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0012]另外，本发明的荧光观测方法，使用具有以下结构的荧光观测装置，该荧光观测装置具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；以及(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像，所述方法包括:(4)差分图像生成步骤，取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给步骤，由激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成步骤，作为其生成模式切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0013]上述荧光观测装置及荧光观测方法中，对象物的荧光观测图像的时间顺序上的取得中，使用隔行扫描型的摄像装置，并且以其第I区域的图像取得期间和第2区域的图像取得期间的一者成为荧光图像取得期间，另一者成为背景图像取得期间的方式，对由摄像装置进行的区域图像取得动作和由激励光供给单元进行的激励光供给的打开/关闭(0N/OFF)动作进行同步并控制。此时，来自摄像装置的，供给了激励光的状态的荧光图像和未供给激励光的状态的背景图像，作为第I区域的图像或第2区域的图像在时间顺序上交替地被输出。
[0014]另外，对于从摄影装置在时间顺序上输出的荧光图像或背景图像，作为区域存储器设置有图像存储单元。这样的结构中，从摄像装置在荧光图像取得期间取得的荧光图像被输出的情况下，图像存储单元中存储的图像成为在其之前的背景图像取得期间中取得的背景图像。另外，从摄像装置在背景图像取得期间取得的背景图像被输出的情况下，图像存储单元中存储的图像成为在其之前的荧光图像取得期间中取得的荧光图像。
[0015]在这样的结构中，相对于摄像装置和图像存储装置，还设置有用于抽出观测图像的荧光图像成分的差分图像生成单元。于是，差分图像的生成中，使摄像装置和激励光供给单元的动作同步并切换应用以下模式:第I模式，通过从摄像装置的输出的荧光图像减去图像存储单元输出的之前I个的背景图像而作为差分图像；第2模式，通过从图像存储单元的输出的之前I个的荧光图像减去摄像装置的输出的背景图像而作为差分图像。由此，在时间顺序上取得对象物的荧光观测图像的结构中，荧光被抽出的图像能够保持动画的形式，并且图像的更新速度不降低而实时地生成。
[0016]发明的效果
[0017]根据本发明的荧光观测装置和荧光观测方法，将由隔行扫描型的摄像装置进行的区域图像取得动作，和由激励光供给单元进行的激励光的供给的打开/关闭动作进行同步并控制，且相对于从摄像装置在时间顺序上输出的荧光图像和背景图像设置图像存储单元，相对于摄像装置和图像存储单元设置差分图像生成单元，在差分图像的生成中，切换应用以下模式:第I模式，通过从摄像装置的输出的荧光图像减去图像存储单元的输出的背景图像而作为差分图像；第2模式，通过从图像存储单元输出的荧光图像减去摄像装置的输出的背景图像而作为差分图像。由此，在时间顺序上取得对象物的荧光观测图像的结构中，荧光被抽出的图像能够保持动画的形式而实时地生成。
【专利附图】
【附图说明】
[0018]图1是表示荧光观测装置的第I实施方式的结构的框图。
[0019]图2是表示图1所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。
[0020]图3是表示荧光观测装置的第2实施方式的结构的框图。
[0021]图4是表示图3所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。
[0022]图5是表示差分图像中虚假的差分图像成分的生成的图。
[0023]图6是表示由滤波处理进行的虚假的差分图像成分的去除的图。
[0024]图7是表示差分图像中虚假的差分图像成分的生成的图。
[0025]图8是表示由滤波处理进行的虚假的差分图像成分的去除的图。
[0026]图9是表示图3所示的荧光观测装置中实行的荧光观测方法的其他例子的时序图。
[0027]图10是表示荧光观测装置的第3实施方式的结构的框图。
[0028]图11是表示图10所示的荧光观测装置中的分布图像生成部的结构的一个例子的框图。
[0029]图12是表示图10所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。
[0030]图13是表示荧光观测装置中取得的观测图像的例子的图。
【具体实施方式】
[0031]以下，结合【专利附图】
【附图说明】本发明的荧光观测装置和荧光观测方法的实施方式。此外，在附图的说明中，对相同的要素使用相同的符号，并省略重复的说明。另外，附图的尺寸比例与说明的对象并不一定一致。
[0032]图1是表示荧光观测装置的第I实施方式的结构的框图。本发明的第I实施方式的荧光观测装置IA被构成为，对于观测对象物10，通过以规定的帧率在时间顺序上取得荧光观测图像，从而对于对象物10以动画的形式进行观测。具体地，本荧光观测装置IA被构成为具备观测光源11、摄像装置12、区域存储器15、差分运算器20和切换信号生成部25。
[0033]观测光源11是构成为相对于观测对象物10供给用于荧光观测的规定波长的激励光，并且能够切换激励光的供给的打开/关闭的激励光供给单元。另外，摄像装置12为对来自对象物10的光像进行摄像的摄像装置，并且是作为对象物10的图像数据，在时间顺序上交替地输出第I区域的图像和第2区域的图像的隔行扫描型的摄像装置。作为这样的摄像装置12，例如，可以使用NTSC方式或PAL方式的标准同步隔行扫描型摄像机。
[0034]观测光源11的动作，以与摄像装置12的动作同步而向对象物10供给激励光的方式被控制。具体地，光源11，关于由摄像装置11进行的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方的期间成为激励光的供给被打开、取得包含在对象物10产生的荧光的图像成分的荧光图像的荧光图像取得期间，另一方的期间成为激励光的供给被关闭、取得不包含荧光的图像成分的背景图像(例如，对象物10的通常图像)的背景图像取得期间的方式，对于对象物10供给激励光。
[0035]图1所示的结构中，为了实现以上所述的同步，设置有生成切换信号的切换信号生成部25，该切换信号为基于来自摄像装置12的信号，与第1、第2区域的图像取得期间同步地进行切换的信号。然后，通过来自该切换信号生成部25的切换信号被输入至光源11，实现同步控制摄像装置12中的第1、第2区域图像的取得和光源11中激励光供给的打开/关闭。这样的结构中，从摄像装置12输出的第1、第2区域的图像，其一者为荧光图像，另一者为背景图像。
[0036]另外，相对于摄像装置12设置有作为图像存储单元的区域存储器15，其存储从摄像装置12输出的第I区域的图像或第2区域的图像(荧光图像或背景图像)。再有，相对于从摄像装置12的图像输出、以及从区域存储器15的图像输出，设置有差分运算器20。该差分运算器20为生成差分图像的差分图像生成单元，该差分图像取得从摄像装置12输出的第1、第2区域的图像的一者和区域存储器15中存储的向运算器20输出的第1、第2区域的图像的另一者的差分。
[0037]该差分运算器20中，与观测光源11同样地，来自切换信号生成部25的切换信号被输入。差分运算器20参照所输入的切换信号，作为其差分运算生成模式，切换地应用差分图像的生成方法不同的第I模式和第2模式。第I模式应用于从摄像装置12输出荧光图像的情况，通过从荧光图像减去其之前取得的存储于区域存储器15的背景图像而生成差分图像。另外，第2模式应用于从摄像装置12输出背景图像的情况，通过从其之前取得的存储于区域存储器15的荧光图像减去背景图像而生成差分图像。
[0038]图1所示的结构中，作为差分运算器20，使用运算逻辑装置(ALU ArithmeticLogic Unit)。差分运算器20的A输入端子与摄像装置12的输出(相机输出)连接，B输入端子与区域存储器15的输出(存储器输出)连接。另外，从差分运算器20的Y输出端子，输出运算结果的差分图像。另外，在差分运算中，运算结果为负的情况下，输出为O。
[0039]另外，图1所示的结构例中，相对于差分运算器20连接有显示装置50，其被构成为由差分运算器20生成的差分图像被显示于显示装置50。但是，关于这样的显示装置50，也可为设置显示装置以外的图像输出装置的结构。或者，也可不设置显示装置等的图像输出装置，而构成为将得到的差分图像的数据向外部送出。
[0040]图2是表示图1所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。该时序图中，显示了(a)观测光源11中的激励光供给的打开/关闭动作，(b)摄像装置12中的第1、第2区域的图像的取得动作，(c)成为差分运算器20的A输入的相机输入，(d)成为B输入的存储器输入，以及(e)由差分运算生成的差分图像。
[0041]图2的时序图中，为了取得I个帧的图像的帧取得期间TlO由取得第I区域的图像的第I期间T11、以及取得第2区域的图像的第2期间T12构成。另外，图2的例子中，第I期间Tll中激励光的供给关闭，该期间(背景图像取得期间)所取得的第I区域的图像作为背景图像，另外，第2期间T12中激励光的供给打开，该期间(荧光图像取得期间)所取得的第2区域的图像作为荧光图像(激励光供给步骤)。
[0042]帧取得期间TlO之前的第2期间T02中，摄像装置12中作为第2区域的图像而取得的荧光图像，在接着的第I期间Tll从摄像装置12输出，被输入至差分运算器20的A输入端子。另外，第I期间Tll中，区域存储器15中，之前的第2期间T02中从摄像装置12输出的背景图像被存储，该背景图像从区域存储器15输入到差分运算器20的B输入端子。
[0043]在该第I期间Tll中，由于从摄像装置12输出荧光图像，作为差分运算器20的动作模式，应用第I模式。此时，差分运算器20中，进行从A输入的荧光图像减去B输入的背景图像的A-B运算，由此，生成荧光被抽出的差分图像(差分图像生成步骤)。
[0044]另外，在帧取得期间TlO的第I期间Tll中，摄像装置12中作为第I区域的图像而取得的背景图像，在接着的第2期间T12从摄像装置12输出，并被输入到差分运算器20的A输入端子。另外，第2期间T12中，在区域存储器15存储有在之前的第I期间Tll从摄像装置12输出的荧光图像，该荧光图像从区域存储器15输入到差分运算器20的B输入端子。
[0045]该第2期间T12中，由于从摄像装置12输出背景图像，作为差分运算器20的动作模式，应用第2模式。此时，在差分运算器20中，进行从B输入的荧光图像减去A输入的背景图像的B-A运算，由此，生成荧光被抽出的差分图像(差分图像生成步骤)。
[0046]通过在各帧取得期间的第I期间和第2期间反复进行这样的从光源11的激励光的供给、在摄像装置12的图像取得、差分运算器20中的动作模式的切换、以及差分图像的生成，从而在各区域图像取得期间，生成荧光被抽出的差分图像。此外，关于在第1、第2期间中激励光供给的打开/关闭、荧光图像/背景图像的取得、及差分运算的模式的切换，并不限于图2所示的结构，例如，可构成为在第I期间将激励光的供给设为打开而取得荧光图像，在第2期间将激励光的供给设为关闭而取得背景图像。
[0047]关于本实施方式的荧光观测装置IA以及荧光观测方法的效果进行说明。
[0048]图1和图2所示的荧光观测装置IA以及荧光观测方法中，对象物10的荧光观测图像的时间顺序上的取得中，使用隔行扫描型的摄像装置12，并且以其第I区域的图像取得期间Tll及第2区域的图像取得期间T12中的一者为荧光图像取得期间、另一方为背景图像取得期间的方式，对由摄像装置12进行的区域图像取得动作和由观测光源11进行的激励光供给的打开/关闭动作进行同步并控制。此时，从摄像装置12，如图2所示的那样，供给激励光的状态下的荧光图像和不供给激励光的状态下的背景图像，作为第I区域的图像或第2区域的图像在时间顺序上交替地输出。
[0049]另外，相对于从摄像装置12在时间顺序上输出的荧光图像或背景图像，设置有区域存储器15。该区域存储器15中，从摄像装置12输出的荧光图像和背景图像作为第I区域的图像或第2区域的图像在时间顺序上交替地被输入、存储。在这样的结构中，从摄像装置12在荧光图像取得期间取得的荧光图像被输出的情况下，存储于区域存储器15的观测图像成为之前的背景图像取得期间所取得的背景图像。另外，从摄像装置12在背景图像取得期间取得的背景图像被输出的情况下，存储于区域存储器15的观测图像成为之前的荧光图像取得期间所取得的荧光图像。
[0050]在这样的结构中，相对于摄像装置12和区域存储器15，设置有用于抽出观测图像的荧光图像成分的差分运算器20。然后，在差分图像的生成中，与摄像装置12和光源11的动作同步并交替地切换应用以下模式:从摄像装置12的输出的荧光图像减去存储器15的输出的前I个的背景图像而作为差分图像的第I模式、和从存储器15的输出的前I个的荧光图像减去摄像装置12的输出的背景图像而作为差分图像的第2模式。
[0051]由此，在时间顺序上取得对象物10的荧光观测图像的结构中，能够将荧光被抽出的图像保持动画的形式，并且图像更新速度不降低而实时地生成。例如，图像取得的帧率为30帧/秒的情况下，隔行扫描动作中的第1、第2区域的图像取得的速率为其2倍的60帧/秒。相对于此，根据上述那样在每个区域的图像取得期间切换差分图像的生成模式的结构，能够与区域图像取得动作同步地，以60图像/秒生成并输出差分图像。
[0052]另外，上述结构中，荧光观测装置IA中，设置生成切换信号的切换信号生成部25，该切换信号基于来自摄像装置12的信号与第I区域的图像取得期间、及第2区域的图像取得期间同步地进行切换。并且，差分运算器20可以使用基于该切换信号来切换应用第I模式和第2模式的结构。这样，基于来自摄像装置12的信号，通过使用与第1、第2区域的图像取得期间同步地生成的切换信号，能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换。
[0053]图3是表示荧光观测装置的第2实施方式的结构的框图。本实施方式的荧光观测装置IB被构成为，具备观测光源11、摄像装置12、区域存储器15、差分运算器20、MAX/MIN滤波器21、线存储器22、切换信号生成部25、和显示装置50。这些之中，关于观测光源11、摄像装置12、区域存储器15、差分运算器20、切换信号生成部25、以及显示装置50的结构，与图1所示的第I实施方式的结构相同。此外，图3中，关于观测对象物10也省略了图示。
[0054]图3所示的结构中，相对于从区域存储器15向差分运算器20输出的荧光图像或背景图像，设置有MAX/MIN滤波器21。该滤波器21是相对于从存储器15输出的图像，关于该图像所含的各图像(像素)的亮度，进行最大滤波(MAX滤波)处理或最小滤波(MIN滤波)处理的滤波处理单元，该最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为对象像素的亮度，该最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为对象像素的亮度。
[0055]另外，相对于该MAX/MIN滤波器21，设置有线存储器22。线存储器22为，相对于包含滤波处理中的对象像素的扫描线(Iine)的线图像数据，存储包含对象像素的附近的规定范围内的像素的扫描线的线图像数据的第2图像存储单元，对应于滤波器21中进行的滤波处理的内容，由I根线份或多根线份的存储器构成。该线存储器22中存储了，从区域存储器15输出的区域图像数据中由滤波器21进行的滤波处理所必要的I个或多个线图像数据。另外，关于从存储器15至滤波器21、存储器22的图像数据的读出，为了与从摄像装置12输出的图像数据的时刻相符，对应于需要，进行规定量的数据的提前读出。
[0056]该MAX/MIN滤波器21中，与光源11及差分运算器20相同地，来自切换信号生成部25的切换信号被输入。滤波器21，参照输入的切换信号，在作为滤波器21中的处理对象的从区域存储器15输出背景图像的第I模式和从区域存储器15输出荧光图像的第2模式中，将最大滤波处理和最小滤波处理与摄像装置12、光源11、以及差分运算器20的动作同步，并交替地切换应用。即，MAX/MIN滤波器21，在第1、第2模式的一方，进行相对于来自存储器15的图像的最大滤波处理，在另一方，进行相对于来自存储器15的图像的最小滤波处理。
[0057]图4是表示图3所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。此外，图4所示的时序图中的基本动作，与图2所示的动作相同。另外，图4的例子中构成为，在第I模式中，对从区域存储器15输出的背景图像应用最大滤波处理，在第2模式中，对从区域存储器15输出的荧光图像应用最小滤波处理(滤波处理步骤)。
[0058]第2期间T02中在摄像装置12取得的荧光图像，在第I期间Tll从摄像装置12输入到差分运算器20的A输入端子。另外，第I期间Tll中，在存储器15中，存储有之前的第2期间T02中从摄像装置12输出的背景图像。该背景图像，在滤波器21中的最大滤波处理之后，输入至差分运算器20的B输入端子。应用了第I模式的差分运算器20中，进行从A输入的荧光图像减去应用了最大滤波处理的B输入的背景图像的A-MAX (B)运算，由此，生成荧光图像被抽出的差分图像。
[0059]第I期间Tll中，摄像装置12中所取得的背景图像在第2期间T12从摄像装置12被输入至差分运算器20的A输入端子。另外，第2期间T12中，存储器15中存储有在之前的第I期间Tll从摄像装置12输出的荧光图像。该荧光图像，在滤波器21中的最小滤波处理之后，被输入至差分运算器20的B输入端子。应用了第2模式的差分运算器20中，进行从应用了最小滤波处理的B输入的荧光图像减去A输入的背景图像的MIN (B) -A运算，由此，生成荧光图像被抽出的差分图像。
[0060]通过在各帧取得期间中的第I期间和第2期间反复进行这样的从光源11的激励光的供给、在摄像装置12的图像取得、在滤波器21的滤波处理的切换、差分运算器20中的动作模式的切换、以及差分图像的生成，从而在各区域图像取得期间，实时地生成荧光被抽出的差分图像。
[0061]本实施方式的荧光观测装置IB以及荧光观测方法，能够得到与第I实施方式的荧光观测装置IA以及荧光观测方法同样的效果。而且，在本实施方式中，相对于从区域存储器15输出的图像，设置MAX/MIN滤波器21，其被构成为，与在差分运算器20的第1、第2模式的切换同步地，交替地切换相对于图像应用的最大滤波处理、最小滤波处理。
[0062]如上述那样，使摄像装置12中的区域图像取得动作、观测光源11中的激励光供给动作、差分运算器20中的模式切换动作同步的结构中，必要的相机传感器为I个，因此，没有图像间的光学的位置偏移，光学系统、机构的实现容易。另一方面，这样的结构中，差分图像的生成中，由于取得第I区域的图像和第2区域的图像的不同的区域间的差分，例如，在明亮的图像部分和昏暗的图像部分的边界等上，存在抽出虚假的差分图像成分的情况。另夕卜，这样的虚假的差分图像成分的抽出，在观测对象物10发生移动等的情况下，同样有产生的可能。
[0063]相对于此，设置对于从区域存储器15输出的图像的各像素的亮度进行最大滤波处理或最小滤波处理的MAX/MIN滤波器21，并且在滤波器21中，与差分图像的生成中的第
1、第2模式的切换动作同步，切换最大、最小滤波处理而应用于图像。由此，可以抑制荧光图像和背景图像的差分图像中的虚假的差分图像成分的抽出。
[0064]此外，这样的MAX/MIN滤波器21中相对于成为差分运算器20的B输入的图像进行滤波处理的情况下，有必要将进行了滤波处理的结果的图像的位置和从摄像装置12生成而输入的相机图像的位置进行对准。这一情况下，来自存储器15的图像数据的读出中，对应于滤波处理的具体内容，优选提前读出垂直方向上必要的线份的数据。
[0065]另外，上述结构中，荧光观测装置IB中，可以使用设置生成切换信号的切换信号生成部25，该切换信号基于来自摄像装置12的信号与第I区域的图像取得期间、及第2区域的图像取得期间同步地进行切换，并且，差分运算器20基于该切换信号来切换应用第I模式和第2模式，另外，滤波器21基于切换信号在第I模式和第2模式中切换应用最大滤波处理和最小滤波处理的结构。
[0066]这样，通过使用基于来自摄像装置12的信号与第1、第2区域的图像取得期间同步地生成的切换信号，从而能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换、以及滤波处理中的最大滤波处理和最小滤波处理的滤波处理的切换。
[0067]另外，上述结构中，荧光观测装置IB中，相对于包含滤波处理中的对象像素的扫描线的线图像数据，设置存储包含对象像素的附近的规定范围内的像素的扫描线的线图像数据的线存储器22。这样的结构中，使用存储于线存储器22的线图像数据，能够合适地进行对于滤波器21中的图像的滤波处理。
[0068]关于在滤波器21中对图像进行的滤波处理，具体而言，在最大滤波处理中，使η为2以上的整数，进行将对象像素加上存储于线存储器22的在垂直方向上的时间上的前η-1个像素的η个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上存储于线存储器22的在垂直方向上的时间上的前η-1个像素的η个像素中的最小亮度作为对象像素的亮度的处理。
[0069]这样，通过使用对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素来进行最大、最小滤波处理，能够合适地实现虚假的差分图像成分的抽出的抑制。另外，在这一情况下，最大滤波处理及最小滤波处理中所使用的像素数η优选被设定为3以上5以下的整数。此外，关于应用于像素的最大、最小滤波处理的条件等在后面详述。
[0070]另外，关于滤波处理，在最大滤波处理中，使m为2以上的整数，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最小亮度作为对象像素的亮度的处理。
[0071]这样，即使由使用对象像素加上水平方向的m-Ι个像素的m个像素来进行最大、最小滤波处理的结构，例如在对象物10发生移动等的情况下，也能够合适地实现虚假的差分图像成分的抽出的抑制。
[0072]在MAX/MIN滤波器21中，关于相对于从区域存储器15输出的成为差分运算器20的B输入的荧光图像或背景图像进行的最大、最小滤波处理、以及由此进行的虚假的差分图像成分的抽出的抑制效果，与滤波处理的具体例子一起进一步进行说明。
[0073]图5是表示荧光图像和背景图像的差分图像中虚假的差分图像成分的生成的图。此处，如图5 (a)所示，考虑了如下情况:观测图像60中，其中央部分存在矩形形状的明亮的图像部分61，周围存在昏暗的图像部分62。此外，以下的各图中，实线表示输入至差分运算器20的A输入端子的区域图像的扫描线，虚线表示输入至差分运算器20的B输入端子的区域图像的扫描线。另外，图5 (a)中，对于明亮的图像部分61省略了扫描线的图示。[0074]在图5 (b)中，P表示沿图5 (a)所示的垂直方向的线P的亮度分布。该亮度分布P中，明亮的图像部分61的上端部66中，在成为差分运算的对象的A输入扫描线Al和B输入扫描线BI上，相对于在扫描线Al的亮度为“暗”，在扫描线BI的亮度为“亮”。此时，由B-A运算得到的差分图像中，产生虚假的差分图像成分Cl。同样地，明亮的图像部分61的下端部67中，相对于在扫描线A2的亮度为“亮”，在扫描线B2的亮度为“暗”。此时，由A-B运算得到的差分图像中，产生虚假的差分图像成分C2。
[0075]相对于这样的虚假的差分图像成分，如图6所示，通过滤波处理，能够除去虚假的差分图像成分。此处，图6中，将滤波处理的像素数作为n=2，将最大滤波处理作为将对象像素加上在垂直方向上的时间上的前I个像素的2个像素中的最大亮度作为对象像素的亮度的处理。同样地，将最小滤波处理作为将对象像素加上在垂直方向上的时间上的前I个像素的2个像素中的最小亮度作为对象像素的亮度的处理。
[0076]图6 (a)表示相对于明亮的图像部分61的上端部66中的B-A运算中的虚假的图像成分的产生而应用的最小滤波(MIN滤波)处理。这一情况下，原本的亮度分布P中，扫描线BI处的亮度为“亮”，相对于B输入的图像进行MIN滤波处理，其结果，得到的亮度分布MIN (B)中，在扫描线BI的上面I根扫描线(垂直的方向上时间上的前I个的扫描线)的亮度为“暗”，因此，将扫描线BI处的亮度置换为“暗”。由此，由MIN (B)-A运算得到的差分图像中，虚假的差分图像不发生。这相当于B输入的图像为荧光图像的情况(参照图4)。
[0077]图6 (b)表示相对于明亮的图像部分61的下端部67中的A-B运算中的虚假的图像成分的产生而应用的最大滤波(MAX滤波)处理。这一情况下，原本的亮度分布P中，扫描线B2处的亮度为“暗”，相对于B输入的图像进行MAX滤波处理，其结果，得到的亮度分布MAX (B)中，在扫描线B2的上面I根扫描线的亮度为“亮”，因此，将扫描线B2处的亮度置换为“亮”。由此，由A-MIN (B)运算得到的差分图像中，虚假的差分图像不发生。这相当于B输入的图像为背景图像的情况。
[0078]此处，图6中，如上述那样，将滤波处理的像素数作为n=2，说明了使用对象像素加上在垂直方向上的时间上的前I个像素的2个像素而进行最大、最小滤波处理的情况。但是，实际的自然图像中，这样的滤波处理中，存在虚假的差分图像成分的除去能力不足的情况。
[0079]图7是表示荧光图像和背景图像的差分图像中虚假的差分图像成分的生成的其他例子的图。此处，在观测图像70中，其中央部分存在矩形形状的明亮的图像部分71，周围存在昏暗的图像部分72的情况被考虑。而且，图像部分71的上方、下方的端部附近分别存在明亮的图像部分76，77的情况被考虑。在自然图像中，明亮的图像部分71和昏暗的图像部分72的边界处，存在包含这样的图像部分76，77的亮度分布变动的情况下，即使进行上述那样的最大、最小滤波处理，也可能产生虚假的图像成分。
[0080]图8 (a)、(b)分别表示相对于明亮的图像部分71及其上方的明亮的图像部分76中的B-A运算中的虚假的图像成分的产生而应用的最小滤波(MIN滤波)处理。图8 (a)中，与图6相同地，将滤波处理的像素数作为n=2，将最小滤波处理作为将对象像素加上在垂直方向上的时间上的前I个像素的2个像素中的最小亮度作为对象像素的亮度的处理。另外，图8 (b)中，将滤波处理的像素数作为n=3，将最小滤波处理作为将对象像素加上在垂直方向上的时间上的前2个像素的3个像素中的最小亮度作为对象像素的亮度的处理。[0081]图8 (a)中，原本的亮度分布P中，扫描线Al处的亮度为“暗”，相对于此，扫描线BI处的亮度为“亮”，在扫描线BI的上面I根的扫描线B6处的亮度同样为“亮”。这一情况下，即使相对于B输入的图像进行n=2的MIN滤波处理，得到的亮度分布MIN (B)中扫描线BI处的亮度仍然为“亮”，因此，由MIN (B) -A运算得到的差分图像中，虚假的图像成分Cl发生。
[0082]另一方面，如图8 (b)所示，关于同样的亮度分布P，相对于B输入的图像进行n=3的MIN滤波处理的情况下，由于在扫描线BI的上面2根的扫描线B7处的亮度为“暗”，在得到的亮度分布MIN (B)处，将扫描线BI处的亮度置换为“暗”。由此，由MIN (B) -A运算得到的差分图像中，虚假的差分图像不发生。此外，关于这样的虚假的图像成分的除去，对于A-B运算中的虚假的图像成分也可同样地进行。
[0083]这样，关于垂直方向的最大、最小滤波处理中，较大地设定应用滤波处理的对象像素的附近的像素数η的情况下，由此能够提高虚假的差分图像成分的除去能力。另一方面，较大地设置像素数η的情况下，会产生用于进行滤波处理的电路规模的增大等的问题。另夕卜，以大的像素数η进行滤波处理，具有例如将差分图像自身减小等的效果，抽出的目标的图像也会产生变形，因此不能将像素数η增大到必要以上。
[0084]考虑到这些方面，关于用于最大、最小滤波处理的对象像素的附近的像素数η，优选设定为上述那样的3以上5以下的整数(3 < η < 5)。另外，也可构成为，对应于滤波处理电路、存储器的构成等，关于相对于对象像素的垂直方向上的时间上的之后的像素也用于滤波处理。
[0085]另外，荧光图像和背景图像的差分图像中虚假的差分图像成分的生成，在上述的明亮的图像部分和昏暗的图像部分的边界以外，例如在观测对象物10以区域时间以上的速度发生移动等的情况下，也有产生的可能性。由于对象物的移动而产生虚假的图像成分的情况下，关于垂直方向上的移动，通过使用了上述的垂直方向的η个像素的滤波处理能够除去。
[0086]另外，关于水平方向的移动，通过使用对象像素加上水平方向上的m-Ι个的像素的m个像素进行同样的滤波处理，能够除去虚假的图像成分。这一情况下，关于水平方向的最大、最小滤波处理所使用的像素数m，考虑与垂直方向的情况相同的点，优选设定为5以上7以下的整数(5 < η < 7)。另外，关于水平方向、垂直方向的两者，进行滤波处理的情况下，例如，可以使用包含对象像素的nXm个像素来进行滤波处理。
[0087]此外，图4所示的时序图中，关于第1、第2期间中激励光供给的打开/关闭、荧光图像/背景图像的取得、差分运算的动作模式的切换、以及滤波处理的实行等，如关于图2已述的那样，并不限定于图4的结构。例如，也可构成为在第I期间中，将激励光的供给设为打开而取得荧光图像，在第2期间中，将激励光的供给设为关闭而取得背景图像。
[0088]图9是表示图3所示的荧光观测装置中实行的荧光观测方法的其他例子的时序图。在图9的例子中，与图4的例子相反地，第I期间Tll中激励光的供给打开，该期间所取得的第I区域的图像作为荧光图像，另外，第2期间T12中激励光的供给关闭，该期间所取得的第2区域的图像作为背景图像。
[0089]在第2期间T02中，摄像装置12中取得的背景图像，在第I期间Tll从摄像装置12输入至差分运算器20的A输入端子。另外，第I期间Tll中，存储器15中存储有，之前的第2期间T02中从摄像装置12输出的荧光图像，该荧光图像在由滤波器21进行的最小滤波处理后，被输入到差分运算器20的B输入端子。应用了第2模式的差分运算器20中，进行从应用了最小滤波处理的B输入的荧光图像减去A输入的背景图像的MIN (B) -A运算，由此，生成荧光图像被抽出的差分图像。
[0090]第I期间Tll中，摄像装置12中所取得的荧光图像在第2期间T12从摄像装置12被输入至差分运算器20的A输入端子。另外，第2期间T12中，存储器15中存储有在之前的第I期间Tll从摄像装置12输出的背景图像。该背景图像，在滤波器21中的最大滤波处理后，被输入至差分运算器20的B输入端子。应用了第I模式的差分运算器20中，进行从A输入的荧光图像减去应用了最大滤波处理的B输入的背景图像的A-MAX (B)运算，由此，生成荧光图像被抽出的差分图像。
[0091]通过在各帧取得期间中的第I期间和第2期间反复进行这样的从光源11的激励光的供给、在摄像装置12的图像取得、在滤波器21的滤波处理的切换、差分运算器20中的动作模式的切换、以及差分图像的生成，从而与图4的情况相同地，在各区域图像取得期间，实时地生成荧光被抽出的差分图像。
[0092]图10是表示荧光观测装置的第3实施方式的结构的框图。本实施方式的荧光观测装置IC被构成为，具备观测光源11、摄像装置12、区域存储器15、差分运算器20、MAX/MIN滤波器21、线存储器22、切换信号生成部25、分布图像生成部30、复用器35、和显示装置50。这些之中，关于观测光源11、摄像装置12、区域存储器15、差分运算器20、MAX/MIN滤波器21、线存储器22、切换信号生成部25、以及显示装置50的结构，与图3所示的第2实施方式的结构相同。
[0093]图10所示的结构中，相对于从差分运算器20输出荧光图像和背景图像的差分图像，设置有分布图像生成部30。该分布图像生成部30，是基于从差分运算器20输出的差分图像而生成表示荧光的强度分布的强度分布图像的分布图像生成单元。作为这一情况的强度分布图像，具体而言，例如可以使用以下结构，相对于差分图像，应用单一或多个阈值，生成作为强度分布图像的二值化图像或彩色化图像。
[0094]另外，相对于从摄像装置12的输出以及从分布图像生成部30的输出，设置有复用器35。该复用器35为，生成重叠了从摄像装置12输出的荧光图像或背景图像、和从分布图像生成部30输出的荧光的强度分布图像的重叠图像的重叠图像生成单元。
[0095]图10的结构中，复用器35的A输入端子连接有摄像装置12的输出，B输入端子连接有分布图像生成部30的输出。另外，复用器35中，从分布图像生成部30输入重叠指示信号，参照根据该重叠指示信号的指示内容，从摄像装置12输入的图像、和从分布图像生成部30输入的图像的重叠图像被生成。另外，复用器35中生成的重叠图像向显示装置50输出。
[0096]图11是表示图10所示的荧光观测装置IC中的分布图像生成部的结构的一个例子的框图。本构成例中，分布图像生成部30具有阈值设定部31、比较器32和图像转换部33，可以被构成为，相对于从差分运算器输入的差分图像，应用多个(N个)阈值，而生成对应于荧光的强度分布的彩色化图像(疑似彩色化图像)。
[0097]阈值设定部31，被构成为例如包含CPU，设定用于生成彩色化图像的N个阈值，该彩色化图像表示荧光的强度分布。另外，图11的构成例中，相对于摄像装置12设置有3G动作传感器(motion sensor),阈值设定部31参考关于由传感器13检测的摄像装置12的移动的信息而设定、变更阈值。这样的结构中，例如，能够检测摄像装置12的抖动，根据该抖动量，变动地提高差分图像成分的抽出所使用的阈值，在使虚假的差分图像成分成为不显眼的情况等下是有效的。此外，摄像装置12的抖动，由于成为相机支点的移动，图像的移动较大的情况很多，仅采用上述那样根据最大、最小滤波处理的空间滤波方式，存在不能完全除去的情况。
[0098]比较器32为，比较阈值设定部31所设定的N个阈值和从差分运算部20输入的差分图像的各像素中的亮度，作为该比较结果输出N阶段的判定值的N级比较器。另外，图像转换部33基于表示从比较器32输出的N阶段的判定值的N值切换信号，将来自差分运算器20的差分图像转换为N色的疑似彩色化差分图像。此外，关于亮度比N个阈值小的像素，荧光不产生的话，不生成彩色化的图像数据。
[0099]这样的结构中，在复用器35中，输入来自摄像装置12的原始图像(荧光图像或背景图像)、表示来自图像转换部33的荧光的强度分布的疑似彩色化差分图像、来自比较器
32的N值切换信号(重叠指示信号)。复用器35参照N值切换信号，以关于未生成彩色化图像的像素采用来自摄像装置12的原始图像数据，关于生成了彩色化图像的像素采用来自图像转换部22的彩色化图像数据的方式，通过以像素单位进行像素数据的切换，从而生成原始图像和彩色化差分图像(强度分布图像)的重叠图像。此外，这样的结构中，如果阈值的个数为N=l，则作为强度分布图像生成二值化图像。
[0100]图12是表示图10所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。该时序图中，表示了(a)成为差分运算器20的A输入的相机输入，(b)成为B输入的存储器输入，(c)由差分运算器20生成的差分图像，Cd)由分布图像生成部30生成的彩色化图像，以及(e)由复用器35生成的重叠图像。
[0101]此外，图12中所示的时序图中的基本的动作，除了彩色化图像的生成、以及重叠图像的生成以外，与图2所示的动作相同。另外，图12中，关于由MAX/MIN滤波器21实行的最大、最小滤波处理，省略了其图示。
[0102]在第I期间Tll中，在差分运算器20中，通过从A输入的荧光图像减去B输入的背景图像的A-B运算而生成差分图像。另外，分布图像生成部30中，通过相对于差分图像应用N个阈值，生成显示荧光的强度分布的N色的彩色化差分图像(分布图像生成步骤)。再有，在复用器35中，生成从生成部30输出的彩色化差分图像和从摄像装置12输出的荧光图像的重叠图像(重叠图像生成步骤)。
[0103]同样地，第2期间T12中，在差分运算器20中，通过从B输入的荧光图像减去A输入的背景图像的B-A运算而生成差分图像。另外，分布图像生成部30中，通过相对于差分图像应用N个阈值，生成N色的彩色化差分图像(分布图像生成步骤)。再有，在复用器35中，生成从生成部30输出的彩色化差分图像和从摄像装置12输出的背景图像的重叠图像(重叠图像生成步骤)。
[0104]本实施方式的荧光观测装置IC以及荧光观测方法，能够得到与第I实施方式的荧光观测装置IA以及第2实施方式的荧光观测装置IB同样的效果。
[0105]再有，本实施方式中，相对于从差分运算器20输出的差分图像，设置分布图像生成部30，其被构成为基于差分图像而生成表示荧光的强度分布的二值化图像或彩色化图像等的强度分布图像。这样，荧光被抽出的差分图像不是就这样被使用，而是在分布图像生成部30中转换成强度分布图像而用于荧光观测，由此，能够有效地进行例如微弱的荧光的观测图像的肉眼的确认等各种各样的操作。
[0106]另外，本实施方式中，构成为设置生成从摄像装置12输出的原始图像和从分布图像生成部30输出的强度分布图像的重叠图像的复用器35。这样，根据将原始的荧光图像或背景图像、和应用阈值而加工的强度分布图像的重叠图像用于荧光观测的结构，例如能够从显示装置50所显示的观测图像通过肉眼确认对象物10的荧光的发生位置，能够进行各种各样的有效的对象物的荧光观测。
[0107]此处，图13是图10所示的荧光观测装置IC中取得的观测图像的例子的图。图13(a)表示不进行根据彩色化图像的生成的荧光抽出、以及重叠图像的生成等的通常的观测图像，图13 (b)表示相对于原始图像重叠了疑似彩色化差分图像的重叠图像。这样，通过表示荧光的强度分布的彩色化图像等的强度分布图像，或进一步，原始图像和强度分布图像的重叠图像的生成、显示，能够适当地确认观测对象物中荧光的发生位置、范围、以及其强度分布等。
[0108]本发明的荧光观测装置和荧光观测方法不限于上述实施方式以及构成例，也可进行各种各样的变形。例如，关于差分图像生成单元、滤波处理单元、分布图像生成单元、以及重叠图像生成单元等的结构，不限于上述实施方式的结构，具体地能够使用各种各样的结构。另外，例如关于图10所示的分布图像生成部30以及复用器35，相对于图1所示的不设置MAX/MIN滤波器21的结构也可以应用。另外，也可构成为不设置生成重叠图像的复用器35，而将分布图像生成部30所生成的强度分布图像按原样显示于显示装置50。
[0109]上述实施方式的荧光观测装置中，具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像；以及(4)差分图像生成单元，其取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成单元，作为其生成模式，切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0110]另外，上述实施方式的荧光观测方法中，使用以下结构:使用具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；以及(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像的荧光观测装置，所述方法包括:(4)差分图像生成步骤，取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给步骤，由激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成步骤，作为其生成模式，切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0111]另外，荧光观测装置具备切换信号生成单元，其生成切换信号，该切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换；差分图像生成单元，基于切换信号切换应用第I模式和第2模式。同样地，荧光观测方法具备切换信号生成步骤，其生成切换信号，切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换；差分图像生成步骤，基于切换信号切换应用第I模式和第2模式。
[0112]这样，通过使用基于来自摄像装置的信号与第1、第2区域的图像取得期间同步地生成的切换信号，从而能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换。
[0113]另外，荧光观测装置，优选具备滤波处理单元，其相对于从图像存储单元向差分图像生成单元输出的荧光图像或背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为对象像素的亮度，最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为对象像素的亮度；滤波处理单元，在从图像存储单元输出背景图像的第I模式和从图像存储单元输出荧光图像的第2模式中，切换应用最大滤波处理和最小滤波处理。
[0114]同样地，荧光观测方法，优选具备滤波处理步骤，其相对于从图像存储单元向差分图像生成单元输出的荧光图像或背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为对象像素的亮度，最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为对象像素的亮度；滤波处理步骤，在从图像存储单元输出背景图像的第I模式和从图像存储单元输出荧光图像的第2模式中，切换应用最大滤波处理和最小滤波处理。
[0115]如上述那样，将摄像装置的区域图像取得动作、激励光供给单元的激励光供给动作、差分图像生成单元的模式切换动作同步的结构中，在差分图像的生成中，由于取得第I区域的图像和第2区域的图像之间的差分，例如在明亮的图像部分和昏暗的图像部分的边界等处，存在虚假的差分图像成分被抽出的情况。另外，这样的虚假的差分图形成分的抽出，在对象物移动等的情况下也可能发生。
[0116]相对于此，设置滤波处理单元，其关于从图像存储单元输出的图像的各像素的亮度，进行最大滤波处理或最小滤波处理，并且在该滤波处理单元中，与差分图像的生成中的第1、第2模式的切换动作同步，切换最大、最小滤波处理而应用于图像。由此，能够抑制荧光图像和背景图像的差分图像中的虚假的差分图像成分的抽出。
[0117]该情况下，荧光观测装置可使用如下结构:具备切换信号生成单元，其生成切换信号，该切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换，差分图像生成单元，基于切换信号切换应用第I模式和第2模式，并且滤波处理单元，基于切换信号，在第I模式和第2模式中，切换应用最大滤波处理和最小滤波处理。
[0118]同样地，荧光观测方法可构成为，具备切换信号生成步骤，其生成切换信号，切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换；差分图像生成步骤，基于切换信号切换应用第I模式和第2模式，并且滤波处理步骤，基于切换信号，在第I模式和第2模式中，切换应用最大滤波处理和最小滤波处理。
[0119]这样，通过使用基于来自摄像装置的信号与第1、第2区域的图像取得期间同步地生成的切换信号，能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换、以及滤波处理中最大滤波处理和最小滤波处理的滤波处理的切换。
[0120]另外，使用上述滤波处理单元的情况下，荧光观测装置优选具备:第2图像存储单元，其对于包含对象像素的扫描线的线图像数据，存储包含对象像素的附近的规定范围内的像素的扫描线的线图像数据。根据这样的结构，使用第2图像存储单元所存储的线图像数据，能够合适地实行滤波处理单元中相对于图像的滤波处理。
[0121]关于相对于荧光图像或背景图像的滤波处理，具体而言，荧光观测装置可以使用如下结构:滤波处理单元中，在最大滤波处理中，使η为2以上的整数，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最大亮度作为对象像素的亮度的处理，在最小滤波处理中，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最小亮度作为对象像素的亮度的处理。
[0122]同样地，荧光观测方法可以为:滤波处理步骤中，在最大滤波处理中，使η为2以上的整数，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最大亮度作为对象像素的亮度的处理，在最小滤波处理中，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最小亮度作为对象像素的亮度的处理。
[0123]这样，使用对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素进行最大、最小滤波处理，能够合适地实现虚假的差分图像成分的抽出的抑制。另外，该情况下，优选最大滤波处理及最小滤波处理中所使用的像素数η被设定为3以上5以下的整数。
[0124]另外，荧光观测装置也可使用如下结构，滤波处理单元中，在最大滤波处理中，使m为2以上的整数，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上水平方向上的m-1个像素的m个像素中的最小亮度作为对象像素的亮度的处理。
[0125]同样地，荧光观测方法也可使用如下结构，在滤波处理步骤中，在最大滤波处理中，使m为2以上的整数，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最小亮度作为对象像素的亮度的处理。[0126]这样，即使由使用对象像素加上水平方向上的m-Ι个像素的m个像素进行最大、最小滤波处理的结构，例如在对象物发生移动等的情况下，也能够合适地实现虚假的差分图像成分的抽出的抑制。
[0127]荧光观测装置也可使用如下结构:具备分布图像生成单元，其基于从差分图像生成单元输出的差分图像，生成表示荧光的强度分布的强度分布图像。同样地，荧光观测方法也可使用如下结构:具备分布图像生成步骤，其基于由差分图像生成步骤输出的差分图像，生成表示荧光的强度分布的强度分布图像。
[0128]这样，荧光被抽出的差分图像不是就这样被使用，而是转换成强度分布图像而用于荧光观测，由此，能够有效地进行例如微弱的荧光的观测图像的肉眼的确认等。另外，这样生成强度分布图像的情况下，可以使用如下结构，具体而言，例如相对于差分图像，应用单一或多个阈值，而生成作为强度分布图像的二值化图像或彩色化图像。
[0129]另外，荧光观测装置可以使用如下结构:具备重叠图像生成单元，其生成重叠了从摄像装置输出的荧光图像或背景图像、和从分布图像生成单元输出的强度分布图像的重叠图像。同样地，荧光观测方法可以使用如下结构:具备重叠图像生成步骤，其生成重叠了从摄像装置输出的荧光图像或背景图像、和由分布图像生成步骤输出的强度分布图像的重叠图像。[0130]这样，根据将原始的荧光图像或背景图像、和二值化图像、彩色化图像等的强度分布图像重叠的重叠图像用于荧光观测的结构，例如能够从观测图像通过肉眼确认对象物中的荧光的发生位置等，能够进行各种各样的有效的对象物的荧光观测。
[0131]产业上的利用可能性
[0132]本发明能够作为荧光观测装置及荧光观测方法而利用，该荧光观测装置及荧光观测方法在时间顺序上取得对象物的荧光观测图像的结构中，能够实时地生成荧光被抽出的图像。
[0133]符号的说明
[0134]1A、1B、1C…荧光观测装置、10...观测对象物、11...观测光源(激励光供给单元)、12…隔行扫描型的摄像装置、13...动作传感器、15…区域存储器(图像存储单元)、20…差分运算器(差分图像生成单元)、21…MAX/MIN滤波器(滤波处理单元)、22…线存储器、25...切换信号生成部、30...分布图像生成部(分布图像生成单元)、31…阈值设定部、32...比较器、
33…图像转换部、35...复用器(重叠图像生成单元)、50…显示装置。
【权利要求】
1.一种荧光观测装置，其特征在于， 具备: 激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换所述激励光的供给的打开/关闭； 隔行扫描型的摄像装置，对来自所述观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的所述观测对象物的图像数据在时间顺序上交替地输出； 图像存储单元，存储从所述摄像装置输出的所述第I区域的图像或所述第2区域的图像；以及 差分图像生成单元，其取得从所述摄像装置输出的所述第I区域的图像及所述第2区域的图像中的一者、与在所述图像存储单元存储的所述第I区域的图像及所述第2区域的图像中的另一者的差分而生成差分图像， 所述激励光供给单元，关于由所述摄像装置取得的所述第I区域的图像取得期间、以及所述第2区域的图像取得期间，以其一方为将所述激励光的供给设为打开而取得荧光图像的期间、另一方为将所述激励光的供给设为关闭而取得背景图像的期间的方式供给所述激励光， 所述差分图像生成单元，作为其生成模式，切换应用以下模式: 第I模式，从所述摄像装置输出所述荧光图像的情况下，通过从所述荧光图像减去其之前取得的存储于所述图像存储单元的所述背景图像而生成所述差分图像； 第2模式，从所述摄像装置输出所述背景图像的情况下，通过从其之前取得的存储于所述图像存储单元的所述荧光图像减去所述背景图像而生成所述差分图像。
2.如权利要求1所述的荧光观测装置，其特征在于，具备切换信号生成单元，其生成切换信号，所述切换信号基于来自所述摄像装置的信号与所述第I区域的图像取得期间、以及所述第2区域的图像取得期间同步地进行切换，所述差分图像生成单元，基于所述切换信号切换应用所述第I模式和所述第2模式。
3.如权利要求1所述的荧光观测装置，其特征在于， 具备滤波处理单元，其相对于从所述图像存储单元向所述差分图像生成单元输出的所述荧光图像或所述背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，所述最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为所述对象像素的亮度，所述最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为所述对象像素的亮度， 所述滤波处理单元，在从所述图像存储单元输出所述背景图像的所述第I模式和从所述图像存储单元输出所述荧光图像的所述第2模式中，切换应用所述最大滤波处理和所述最小滤波处理。
4.如权利要求3所述的荧光观测装置，其特征在于，具备切换信号生成单元，其生成切换信号，所述切换信号基于来自所述摄像装置的信号与所述第I区域的图像取得期间、以及所述第2区域的图像取得期间同步地进行切换，所述差分图像生成单元，基于所述切换信号切换应用所述第I模式和所述第2模式，所述滤波处理单元，基于所述切换信号，在所述第I模式和所述第2模式中，切换应用所述最大滤波处理和所述最小滤波处理。
5.如权利要求3或4所述的荧光观测装置，其特征在于， 具备第2图像存储单元，其对于包含所述对象像素的扫描线的线图像数据，存储包含所述对象像素的附近的所述规定范围内的像素的扫描线的线图像数据。
6.如权利要求3~5中任意一项所述的荧光观测装置，其特征在于， 所述滤波处理单元中， 在所述最大滤波处理中，进行将所述对象像素加上在垂直方向上的时间上的前n-1个像素的n个像素中的最大亮度作为所述对象像素的亮度的处理， 在所述最小滤波处理中，进行将所述对象像素加上在垂直方向上的时间上的前n-1个像素的n个像素中的最小亮度作为所述对象像素的亮度的处理， 其中，n为2以上的整数。
7.如权利要求6所述的荧光观测装置，其特征在于， 所述滤波处理单元中， 所述最大滤波处理及所述最小滤波处理中所使用的像素数η被设定为3以上5以下的整数。
8.如权利要求1~7中任意一项所述的荧光观测装置，其特征在于， 具备分布图像生成单元，其基于从所述差分图像生成单元输出的所述差分图像，生成表示荧光的强度分布的强度分布图像。
9.如权利要求8所述的荧光观测装置，其特征在于， 所述分布图像生成单元，相对于所述差分图像，应用单一或多个阈值，生成作为所述强度分布图像的二值化图像或彩色化图像。
10.如权利要求8或9所述的荧光观测装置，其特征在于， 具备重叠图像生成单元，其生成重叠了从所述摄像装置输出的所述荧光图像或所述背景图像、和从所述分布图像生成单元输出的所述强度分布图像的重叠图像。
11.一种荧光观测方法，其特征在于， 使用以下的荧光观测装置， 所述荧光观测装置具备: 激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换所述激励光的供给的打开/关闭； 隔行扫描型的摄像装置，对来自所述观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的所述观测对象物的图像数据在时间顺序上交替地输出；以及 图像存储单元，存储从所述摄像装置输出的所述第I区域的图像或所述第2区域的图像， 所述方法包括: 差分图像生成步骤，取得从所述摄像装置输出的所述第I区域的图像及所述第2区域的图像中的一者、与在所述图像存储单元存储的所述第I区域的图像及所述第2区域的图像中的另一者的差分而生成差分图像， 激励光供给步骤，由所述激励光供给单元，关于由所述摄像装置取得的所述第I区域的图像取得期间、以及所述第2区域的图像取得期间，以其一方为将所述激励光的供给设为打开而取得荧光图像的期间、另一方为将所述激励光的供给设为关闭而取得背景图像的期间的方式供给所述激励光， 所述差分图像生成步骤，作为其生成模式，切换应用以下模式: 第I模式，从所述摄像装置输出所述荧光图像的情况下，通过从所述荧光图像减去其之前取得的存储于所述图像存储单元的所述背景图像而生成所述差分图像； 第2模式，从所述摄像装置输出所述背景图像的情况下，通过从其之前取得的存储于所述图像存储单元的所述荧光图像减去所述背景图像而生成所述差分图像。
12.如权利要求11所述的荧光观测方法，其特征在于， 具备滤波处理步骤，其相对于从所述图像存储单元输出的所述荧光图像或所述背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，所述最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为所述对象像素的亮度，所述最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为所述对象像素的亮度， 所述滤波处理步骤中，在从所述图像存储单元输出所述背景图像的所述第I模式和从所述图像存储单元输出所述荧光图像的所述第2模式中，切换应用所述最大滤波处理和所述最小滤波处理。
13.如权利要求11或12所述的荧光观测方法，其特征在于， 具备分布图像生成步骤，其基于所述差分图像生成步骤中输出的所述差分图像，生成表示荧光的强度分布的强度分布图像。
14.如权利要求13所述的荧光观测方法，其特征在于， 所述分布图像生成步骤中，相对于所述差分图像，应用单一或多个阈值，生成作为所述强度分布图像的二值化图像或彩色化图像。
15.如权利要求13或14所述的荧光观测方法，其特征在于， 具备重叠图像生成步骤，其生成重叠了从所述摄像装置输出的所述荧光图像或所述背景图像、和所述分布图像生成步骤中输出的所述强度分布图像的重叠图像。
【文档编号】G01N21/64GK103842802SQ201280048908
【公开日】2014年6月4日 申请日期:2012年7月13日 优先权日:2011年10月3日
【发明者】佐藤太加之 申请人:浜松光子学株式会社
【专利摘要】由供给激励光的光源(11)、隔行扫描型的摄像装置(12)、存储从摄像装置(12)输出的图像的区域存储器(15)、生成差分图像的差分运算器(20)构成荧光观测装置(1A)。光源(11)以摄像装置(12)中的第1、第2区域的图像取得期间的一方为荧光图像取得期间、另一方为背景图像取得期间的方式供给激励光。差分运算器(20)切换应用从摄像装置(12)的输出的荧光图像减去存储器(15)的背景图像的第1模式和从存储器(15)的荧光图像减去摄像装置(12)的输出的背景图像的第2模式。由此，在时间顺序上取得对象物的荧光观测图像的结构中，能够实时地生成将荧光抽出的图像。
【专利说明】荧光观测装置以及荧光观测方法
【技术领域】
[0001]本发明涉及向观测对象物供给激励光、并取得关于来自观测对象物的荧光的观测图像的荧光观测装置以及荧光观测方法。
【背景技术】
[0002]相对于观测对象物，供给并照射规定波长的激励光，并由摄像装置取得关于对象物所产生的荧光的观测图像的荧光观测装置，应用于例如医疗领域等各种各样的领域。另外，这样的荧光观测中，想要观测对象物的状态的时间变化等的情况下，以规定的帧率取得时间顺序上的图像，并以动画的方式观测对象物的方法被采用(例如专利文献1，2)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开平10-151104号公报
[0006]专利文献2:日本特开平7-155292号公报
【发明内容】
[0007]发明所要解决的技术问题
[0008]来自观测对象物的荧光观测中，以微弱的荧光的观测图像能够通过肉眼来确认等为目的，存在使用以下的方法的情况:通过生成并表示在供给激励光的状态下取得的荧光图像和不供给激励光而没有荧光的状态下取得的背景图像的差分图像，从而抽出并确认荧光的图像成分。但是，现有的结构中，如上述那样在时间顺序上取得图像并以动画的方式进行对象物的观测的情况下，要将荧光被抽出的差分图像保持动画的形式并实时地生成是困难的。
[0009]本发明为了解决上述问题而完成，其目的在于提供一种在时间顺序上取得对象物的荧光观测图像的结构中，能够实时地生成荧光被抽出的图像的荧光观测装置及荧光观测方法。
[0010]解决问题的技术手段
[0011]为了达成这样的目的，本发明的荧光观测装置具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描(interlace)型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像；以及(4)差分图像生成单元，其取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成单元，作为其生成模式切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0012]另外，本发明的荧光观测方法，使用具有以下结构的荧光观测装置，该荧光观测装置具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；以及(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像，所述方法包括:(4)差分图像生成步骤，取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给步骤，由激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成步骤，作为其生成模式切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0013]上述荧光观测装置及荧光观测方法中，对象物的荧光观测图像的时间顺序上的取得中，使用隔行扫描型的摄像装置，并且以其第I区域的图像取得期间和第2区域的图像取得期间的一者成为荧光图像取得期间，另一者成为背景图像取得期间的方式，对由摄像装置进行的区域图像取得动作和由激励光供给单元进行的激励光供给的打开/关闭(0N/OFF)动作进行同步并控制。此时，来自摄像装置的，供给了激励光的状态的荧光图像和未供给激励光的状态的背景图像，作为第I区域的图像或第2区域的图像在时间顺序上交替地被输出。
[0014]另外，对于从摄影装置在时间顺序上输出的荧光图像或背景图像，作为区域存储器设置有图像存储单元。这样的结构中，从摄像装置在荧光图像取得期间取得的荧光图像被输出的情况下，图像存储单元中存储的图像成为在其之前的背景图像取得期间中取得的背景图像。另外，从摄像装置在背景图像取得期间取得的背景图像被输出的情况下，图像存储单元中存储的图像成为在其之前的荧光图像取得期间中取得的荧光图像。
[0015]在这样的结构中，相对于摄像装置和图像存储装置，还设置有用于抽出观测图像的荧光图像成分的差分图像生成单元。于是，差分图像的生成中，使摄像装置和激励光供给单元的动作同步并切换应用以下模式:第I模式，通过从摄像装置的输出的荧光图像减去图像存储单元输出的之前I个的背景图像而作为差分图像；第2模式，通过从图像存储单元的输出的之前I个的荧光图像减去摄像装置的输出的背景图像而作为差分图像。由此，在时间顺序上取得对象物的荧光观测图像的结构中，荧光被抽出的图像能够保持动画的形式，并且图像的更新速度不降低而实时地生成。
[0016]发明的效果
[0017]根据本发明的荧光观测装置和荧光观测方法，将由隔行扫描型的摄像装置进行的区域图像取得动作，和由激励光供给单元进行的激励光的供给的打开/关闭动作进行同步并控制，且相对于从摄像装置在时间顺序上输出的荧光图像和背景图像设置图像存储单元，相对于摄像装置和图像存储单元设置差分图像生成单元，在差分图像的生成中，切换应用以下模式:第I模式，通过从摄像装置的输出的荧光图像减去图像存储单元的输出的背景图像而作为差分图像；第2模式，通过从图像存储单元输出的荧光图像减去摄像装置的输出的背景图像而作为差分图像。由此，在时间顺序上取得对象物的荧光观测图像的结构中，荧光被抽出的图像能够保持动画的形式而实时地生成。
【专利附图】
【附图说明】
[0018]图1是表示荧光观测装置的第I实施方式的结构的框图。
[0019]图2是表示图1所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。
[0020]图3是表示荧光观测装置的第2实施方式的结构的框图。
[0021]图4是表示图3所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。
[0022]图5是表示差分图像中虚假的差分图像成分的生成的图。
[0023]图6是表示由滤波处理进行的虚假的差分图像成分的去除的图。
[0024]图7是表示差分图像中虚假的差分图像成分的生成的图。
[0025]图8是表示由滤波处理进行的虚假的差分图像成分的去除的图。
[0026]图9是表示图3所示的荧光观测装置中实行的荧光观测方法的其他例子的时序图。
[0027]图10是表示荧光观测装置的第3实施方式的结构的框图。
[0028]图11是表示图10所示的荧光观测装置中的分布图像生成部的结构的一个例子的框图。
[0029]图12是表示图10所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。
[0030]图13是表示荧光观测装置中取得的观测图像的例子的图。
【具体实施方式】
[0031]以下，结合【专利附图】
【附图说明】本发明的荧光观测装置和荧光观测方法的实施方式。此外，在附图的说明中，对相同的要素使用相同的符号，并省略重复的说明。另外，附图的尺寸比例与说明的对象并不一定一致。
[0032]图1是表示荧光观测装置的第I实施方式的结构的框图。本发明的第I实施方式的荧光观测装置IA被构成为，对于观测对象物10，通过以规定的帧率在时间顺序上取得荧光观测图像，从而对于对象物10以动画的形式进行观测。具体地，本荧光观测装置IA被构成为具备观测光源11、摄像装置12、区域存储器15、差分运算器20和切换信号生成部25。
[0033]观测光源11是构成为相对于观测对象物10供给用于荧光观测的规定波长的激励光，并且能够切换激励光的供给的打开/关闭的激励光供给单元。另外，摄像装置12为对来自对象物10的光像进行摄像的摄像装置，并且是作为对象物10的图像数据，在时间顺序上交替地输出第I区域的图像和第2区域的图像的隔行扫描型的摄像装置。作为这样的摄像装置12，例如，可以使用NTSC方式或PAL方式的标准同步隔行扫描型摄像机。
[0034]观测光源11的动作，以与摄像装置12的动作同步而向对象物10供给激励光的方式被控制。具体地，光源11，关于由摄像装置11进行的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方的期间成为激励光的供给被打开、取得包含在对象物10产生的荧光的图像成分的荧光图像的荧光图像取得期间，另一方的期间成为激励光的供给被关闭、取得不包含荧光的图像成分的背景图像(例如，对象物10的通常图像)的背景图像取得期间的方式，对于对象物10供给激励光。
[0035]图1所示的结构中，为了实现以上所述的同步，设置有生成切换信号的切换信号生成部25，该切换信号为基于来自摄像装置12的信号，与第1、第2区域的图像取得期间同步地进行切换的信号。然后，通过来自该切换信号生成部25的切换信号被输入至光源11，实现同步控制摄像装置12中的第1、第2区域图像的取得和光源11中激励光供给的打开/关闭。这样的结构中，从摄像装置12输出的第1、第2区域的图像，其一者为荧光图像，另一者为背景图像。
[0036]另外，相对于摄像装置12设置有作为图像存储单元的区域存储器15，其存储从摄像装置12输出的第I区域的图像或第2区域的图像(荧光图像或背景图像)。再有，相对于从摄像装置12的图像输出、以及从区域存储器15的图像输出，设置有差分运算器20。该差分运算器20为生成差分图像的差分图像生成单元，该差分图像取得从摄像装置12输出的第1、第2区域的图像的一者和区域存储器15中存储的向运算器20输出的第1、第2区域的图像的另一者的差分。
[0037]该差分运算器20中，与观测光源11同样地，来自切换信号生成部25的切换信号被输入。差分运算器20参照所输入的切换信号，作为其差分运算生成模式，切换地应用差分图像的生成方法不同的第I模式和第2模式。第I模式应用于从摄像装置12输出荧光图像的情况，通过从荧光图像减去其之前取得的存储于区域存储器15的背景图像而生成差分图像。另外，第2模式应用于从摄像装置12输出背景图像的情况，通过从其之前取得的存储于区域存储器15的荧光图像减去背景图像而生成差分图像。
[0038]图1所示的结构中，作为差分运算器20，使用运算逻辑装置(ALU ArithmeticLogic Unit)。差分运算器20的A输入端子与摄像装置12的输出(相机输出)连接，B输入端子与区域存储器15的输出(存储器输出)连接。另外，从差分运算器20的Y输出端子，输出运算结果的差分图像。另外，在差分运算中，运算结果为负的情况下，输出为O。
[0039]另外，图1所示的结构例中，相对于差分运算器20连接有显示装置50，其被构成为由差分运算器20生成的差分图像被显示于显示装置50。但是，关于这样的显示装置50，也可为设置显示装置以外的图像输出装置的结构。或者，也可不设置显示装置等的图像输出装置，而构成为将得到的差分图像的数据向外部送出。
[0040]图2是表示图1所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。该时序图中，显示了(a)观测光源11中的激励光供给的打开/关闭动作，(b)摄像装置12中的第1、第2区域的图像的取得动作，(c)成为差分运算器20的A输入的相机输入，(d)成为B输入的存储器输入，以及(e)由差分运算生成的差分图像。
[0041]图2的时序图中，为了取得I个帧的图像的帧取得期间TlO由取得第I区域的图像的第I期间T11、以及取得第2区域的图像的第2期间T12构成。另外，图2的例子中，第I期间Tll中激励光的供给关闭，该期间(背景图像取得期间)所取得的第I区域的图像作为背景图像，另外，第2期间T12中激励光的供给打开，该期间(荧光图像取得期间)所取得的第2区域的图像作为荧光图像(激励光供给步骤)。
[0042]帧取得期间TlO之前的第2期间T02中，摄像装置12中作为第2区域的图像而取得的荧光图像，在接着的第I期间Tll从摄像装置12输出，被输入至差分运算器20的A输入端子。另外，第I期间Tll中，区域存储器15中，之前的第2期间T02中从摄像装置12输出的背景图像被存储，该背景图像从区域存储器15输入到差分运算器20的B输入端子。
[0043]在该第I期间Tll中，由于从摄像装置12输出荧光图像，作为差分运算器20的动作模式，应用第I模式。此时，差分运算器20中，进行从A输入的荧光图像减去B输入的背景图像的A-B运算，由此，生成荧光被抽出的差分图像(差分图像生成步骤)。
[0044]另外，在帧取得期间TlO的第I期间Tll中，摄像装置12中作为第I区域的图像而取得的背景图像，在接着的第2期间T12从摄像装置12输出，并被输入到差分运算器20的A输入端子。另外，第2期间T12中，在区域存储器15存储有在之前的第I期间Tll从摄像装置12输出的荧光图像，该荧光图像从区域存储器15输入到差分运算器20的B输入端子。
[0045]该第2期间T12中，由于从摄像装置12输出背景图像，作为差分运算器20的动作模式，应用第2模式。此时，在差分运算器20中，进行从B输入的荧光图像减去A输入的背景图像的B-A运算，由此，生成荧光被抽出的差分图像(差分图像生成步骤)。
[0046]通过在各帧取得期间的第I期间和第2期间反复进行这样的从光源11的激励光的供给、在摄像装置12的图像取得、差分运算器20中的动作模式的切换、以及差分图像的生成，从而在各区域图像取得期间，生成荧光被抽出的差分图像。此外，关于在第1、第2期间中激励光供给的打开/关闭、荧光图像/背景图像的取得、及差分运算的模式的切换，并不限于图2所示的结构，例如，可构成为在第I期间将激励光的供给设为打开而取得荧光图像，在第2期间将激励光的供给设为关闭而取得背景图像。
[0047]关于本实施方式的荧光观测装置IA以及荧光观测方法的效果进行说明。
[0048]图1和图2所示的荧光观测装置IA以及荧光观测方法中，对象物10的荧光观测图像的时间顺序上的取得中，使用隔行扫描型的摄像装置12，并且以其第I区域的图像取得期间Tll及第2区域的图像取得期间T12中的一者为荧光图像取得期间、另一方为背景图像取得期间的方式，对由摄像装置12进行的区域图像取得动作和由观测光源11进行的激励光供给的打开/关闭动作进行同步并控制。此时，从摄像装置12，如图2所示的那样，供给激励光的状态下的荧光图像和不供给激励光的状态下的背景图像，作为第I区域的图像或第2区域的图像在时间顺序上交替地输出。
[0049]另外，相对于从摄像装置12在时间顺序上输出的荧光图像或背景图像，设置有区域存储器15。该区域存储器15中，从摄像装置12输出的荧光图像和背景图像作为第I区域的图像或第2区域的图像在时间顺序上交替地被输入、存储。在这样的结构中，从摄像装置12在荧光图像取得期间取得的荧光图像被输出的情况下，存储于区域存储器15的观测图像成为之前的背景图像取得期间所取得的背景图像。另外，从摄像装置12在背景图像取得期间取得的背景图像被输出的情况下，存储于区域存储器15的观测图像成为之前的荧光图像取得期间所取得的荧光图像。
[0050]在这样的结构中，相对于摄像装置12和区域存储器15，设置有用于抽出观测图像的荧光图像成分的差分运算器20。然后，在差分图像的生成中，与摄像装置12和光源11的动作同步并交替地切换应用以下模式:从摄像装置12的输出的荧光图像减去存储器15的输出的前I个的背景图像而作为差分图像的第I模式、和从存储器15的输出的前I个的荧光图像减去摄像装置12的输出的背景图像而作为差分图像的第2模式。
[0051]由此，在时间顺序上取得对象物10的荧光观测图像的结构中，能够将荧光被抽出的图像保持动画的形式，并且图像更新速度不降低而实时地生成。例如，图像取得的帧率为30帧/秒的情况下，隔行扫描动作中的第1、第2区域的图像取得的速率为其2倍的60帧/秒。相对于此，根据上述那样在每个区域的图像取得期间切换差分图像的生成模式的结构，能够与区域图像取得动作同步地，以60图像/秒生成并输出差分图像。
[0052]另外，上述结构中，荧光观测装置IA中，设置生成切换信号的切换信号生成部25，该切换信号基于来自摄像装置12的信号与第I区域的图像取得期间、及第2区域的图像取得期间同步地进行切换。并且，差分运算器20可以使用基于该切换信号来切换应用第I模式和第2模式的结构。这样，基于来自摄像装置12的信号，通过使用与第1、第2区域的图像取得期间同步地生成的切换信号，能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换。
[0053]图3是表示荧光观测装置的第2实施方式的结构的框图。本实施方式的荧光观测装置IB被构成为，具备观测光源11、摄像装置12、区域存储器15、差分运算器20、MAX/MIN滤波器21、线存储器22、切换信号生成部25、和显示装置50。这些之中，关于观测光源11、摄像装置12、区域存储器15、差分运算器20、切换信号生成部25、以及显示装置50的结构，与图1所示的第I实施方式的结构相同。此外，图3中，关于观测对象物10也省略了图示。
[0054]图3所示的结构中，相对于从区域存储器15向差分运算器20输出的荧光图像或背景图像，设置有MAX/MIN滤波器21。该滤波器21是相对于从存储器15输出的图像，关于该图像所含的各图像(像素)的亮度，进行最大滤波(MAX滤波)处理或最小滤波(MIN滤波)处理的滤波处理单元，该最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为对象像素的亮度，该最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为对象像素的亮度。
[0055]另外，相对于该MAX/MIN滤波器21，设置有线存储器22。线存储器22为，相对于包含滤波处理中的对象像素的扫描线(Iine)的线图像数据，存储包含对象像素的附近的规定范围内的像素的扫描线的线图像数据的第2图像存储单元，对应于滤波器21中进行的滤波处理的内容，由I根线份或多根线份的存储器构成。该线存储器22中存储了，从区域存储器15输出的区域图像数据中由滤波器21进行的滤波处理所必要的I个或多个线图像数据。另外，关于从存储器15至滤波器21、存储器22的图像数据的读出，为了与从摄像装置12输出的图像数据的时刻相符，对应于需要，进行规定量的数据的提前读出。
[0056]该MAX/MIN滤波器21中，与光源11及差分运算器20相同地，来自切换信号生成部25的切换信号被输入。滤波器21，参照输入的切换信号，在作为滤波器21中的处理对象的从区域存储器15输出背景图像的第I模式和从区域存储器15输出荧光图像的第2模式中，将最大滤波处理和最小滤波处理与摄像装置12、光源11、以及差分运算器20的动作同步，并交替地切换应用。即，MAX/MIN滤波器21，在第1、第2模式的一方，进行相对于来自存储器15的图像的最大滤波处理，在另一方，进行相对于来自存储器15的图像的最小滤波处理。
[0057]图4是表示图3所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。此外，图4所示的时序图中的基本动作，与图2所示的动作相同。另外，图4的例子中构成为，在第I模式中，对从区域存储器15输出的背景图像应用最大滤波处理，在第2模式中，对从区域存储器15输出的荧光图像应用最小滤波处理(滤波处理步骤)。
[0058]第2期间T02中在摄像装置12取得的荧光图像，在第I期间Tll从摄像装置12输入到差分运算器20的A输入端子。另外，第I期间Tll中，在存储器15中，存储有之前的第2期间T02中从摄像装置12输出的背景图像。该背景图像，在滤波器21中的最大滤波处理之后，输入至差分运算器20的B输入端子。应用了第I模式的差分运算器20中，进行从A输入的荧光图像减去应用了最大滤波处理的B输入的背景图像的A-MAX (B)运算，由此，生成荧光图像被抽出的差分图像。
[0059]第I期间Tll中，摄像装置12中所取得的背景图像在第2期间T12从摄像装置12被输入至差分运算器20的A输入端子。另外，第2期间T12中，存储器15中存储有在之前的第I期间Tll从摄像装置12输出的荧光图像。该荧光图像，在滤波器21中的最小滤波处理之后，被输入至差分运算器20的B输入端子。应用了第2模式的差分运算器20中，进行从应用了最小滤波处理的B输入的荧光图像减去A输入的背景图像的MIN (B) -A运算，由此，生成荧光图像被抽出的差分图像。
[0060]通过在各帧取得期间中的第I期间和第2期间反复进行这样的从光源11的激励光的供给、在摄像装置12的图像取得、在滤波器21的滤波处理的切换、差分运算器20中的动作模式的切换、以及差分图像的生成，从而在各区域图像取得期间，实时地生成荧光被抽出的差分图像。
[0061]本实施方式的荧光观测装置IB以及荧光观测方法，能够得到与第I实施方式的荧光观测装置IA以及荧光观测方法同样的效果。而且，在本实施方式中，相对于从区域存储器15输出的图像，设置MAX/MIN滤波器21，其被构成为，与在差分运算器20的第1、第2模式的切换同步地，交替地切换相对于图像应用的最大滤波处理、最小滤波处理。
[0062]如上述那样，使摄像装置12中的区域图像取得动作、观测光源11中的激励光供给动作、差分运算器20中的模式切换动作同步的结构中，必要的相机传感器为I个，因此，没有图像间的光学的位置偏移，光学系统、机构的实现容易。另一方面，这样的结构中，差分图像的生成中，由于取得第I区域的图像和第2区域的图像的不同的区域间的差分，例如，在明亮的图像部分和昏暗的图像部分的边界等上，存在抽出虚假的差分图像成分的情况。另夕卜，这样的虚假的差分图像成分的抽出，在观测对象物10发生移动等的情况下，同样有产生的可能。
[0063]相对于此，设置对于从区域存储器15输出的图像的各像素的亮度进行最大滤波处理或最小滤波处理的MAX/MIN滤波器21，并且在滤波器21中，与差分图像的生成中的第
1、第2模式的切换动作同步，切换最大、最小滤波处理而应用于图像。由此，可以抑制荧光图像和背景图像的差分图像中的虚假的差分图像成分的抽出。
[0064]此外，这样的MAX/MIN滤波器21中相对于成为差分运算器20的B输入的图像进行滤波处理的情况下，有必要将进行了滤波处理的结果的图像的位置和从摄像装置12生成而输入的相机图像的位置进行对准。这一情况下，来自存储器15的图像数据的读出中，对应于滤波处理的具体内容，优选提前读出垂直方向上必要的线份的数据。
[0065]另外，上述结构中，荧光观测装置IB中，可以使用设置生成切换信号的切换信号生成部25，该切换信号基于来自摄像装置12的信号与第I区域的图像取得期间、及第2区域的图像取得期间同步地进行切换，并且，差分运算器20基于该切换信号来切换应用第I模式和第2模式，另外，滤波器21基于切换信号在第I模式和第2模式中切换应用最大滤波处理和最小滤波处理的结构。
[0066]这样，通过使用基于来自摄像装置12的信号与第1、第2区域的图像取得期间同步地生成的切换信号，从而能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换、以及滤波处理中的最大滤波处理和最小滤波处理的滤波处理的切换。
[0067]另外，上述结构中，荧光观测装置IB中，相对于包含滤波处理中的对象像素的扫描线的线图像数据，设置存储包含对象像素的附近的规定范围内的像素的扫描线的线图像数据的线存储器22。这样的结构中，使用存储于线存储器22的线图像数据，能够合适地进行对于滤波器21中的图像的滤波处理。
[0068]关于在滤波器21中对图像进行的滤波处理，具体而言，在最大滤波处理中，使η为2以上的整数，进行将对象像素加上存储于线存储器22的在垂直方向上的时间上的前η-1个像素的η个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上存储于线存储器22的在垂直方向上的时间上的前η-1个像素的η个像素中的最小亮度作为对象像素的亮度的处理。
[0069]这样，通过使用对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素来进行最大、最小滤波处理，能够合适地实现虚假的差分图像成分的抽出的抑制。另外，在这一情况下，最大滤波处理及最小滤波处理中所使用的像素数η优选被设定为3以上5以下的整数。此外，关于应用于像素的最大、最小滤波处理的条件等在后面详述。
[0070]另外，关于滤波处理，在最大滤波处理中，使m为2以上的整数，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最小亮度作为对象像素的亮度的处理。
[0071]这样，即使由使用对象像素加上水平方向的m-Ι个像素的m个像素来进行最大、最小滤波处理的结构，例如在对象物10发生移动等的情况下，也能够合适地实现虚假的差分图像成分的抽出的抑制。
[0072]在MAX/MIN滤波器21中，关于相对于从区域存储器15输出的成为差分运算器20的B输入的荧光图像或背景图像进行的最大、最小滤波处理、以及由此进行的虚假的差分图像成分的抽出的抑制效果，与滤波处理的具体例子一起进一步进行说明。
[0073]图5是表示荧光图像和背景图像的差分图像中虚假的差分图像成分的生成的图。此处，如图5 (a)所示，考虑了如下情况:观测图像60中，其中央部分存在矩形形状的明亮的图像部分61，周围存在昏暗的图像部分62。此外，以下的各图中，实线表示输入至差分运算器20的A输入端子的区域图像的扫描线，虚线表示输入至差分运算器20的B输入端子的区域图像的扫描线。另外，图5 (a)中，对于明亮的图像部分61省略了扫描线的图示。[0074]在图5 (b)中，P表示沿图5 (a)所示的垂直方向的线P的亮度分布。该亮度分布P中，明亮的图像部分61的上端部66中，在成为差分运算的对象的A输入扫描线Al和B输入扫描线BI上，相对于在扫描线Al的亮度为“暗”，在扫描线BI的亮度为“亮”。此时，由B-A运算得到的差分图像中，产生虚假的差分图像成分Cl。同样地，明亮的图像部分61的下端部67中，相对于在扫描线A2的亮度为“亮”，在扫描线B2的亮度为“暗”。此时，由A-B运算得到的差分图像中，产生虚假的差分图像成分C2。
[0075]相对于这样的虚假的差分图像成分，如图6所示，通过滤波处理，能够除去虚假的差分图像成分。此处，图6中，将滤波处理的像素数作为n=2，将最大滤波处理作为将对象像素加上在垂直方向上的时间上的前I个像素的2个像素中的最大亮度作为对象像素的亮度的处理。同样地，将最小滤波处理作为将对象像素加上在垂直方向上的时间上的前I个像素的2个像素中的最小亮度作为对象像素的亮度的处理。
[0076]图6 (a)表示相对于明亮的图像部分61的上端部66中的B-A运算中的虚假的图像成分的产生而应用的最小滤波(MIN滤波)处理。这一情况下，原本的亮度分布P中，扫描线BI处的亮度为“亮”，相对于B输入的图像进行MIN滤波处理，其结果，得到的亮度分布MIN (B)中，在扫描线BI的上面I根扫描线(垂直的方向上时间上的前I个的扫描线)的亮度为“暗”，因此，将扫描线BI处的亮度置换为“暗”。由此，由MIN (B)-A运算得到的差分图像中，虚假的差分图像不发生。这相当于B输入的图像为荧光图像的情况(参照图4)。
[0077]图6 (b)表示相对于明亮的图像部分61的下端部67中的A-B运算中的虚假的图像成分的产生而应用的最大滤波(MAX滤波)处理。这一情况下，原本的亮度分布P中，扫描线B2处的亮度为“暗”，相对于B输入的图像进行MAX滤波处理，其结果，得到的亮度分布MAX (B)中，在扫描线B2的上面I根扫描线的亮度为“亮”，因此，将扫描线B2处的亮度置换为“亮”。由此，由A-MIN (B)运算得到的差分图像中，虚假的差分图像不发生。这相当于B输入的图像为背景图像的情况。
[0078]此处，图6中，如上述那样，将滤波处理的像素数作为n=2，说明了使用对象像素加上在垂直方向上的时间上的前I个像素的2个像素而进行最大、最小滤波处理的情况。但是，实际的自然图像中，这样的滤波处理中，存在虚假的差分图像成分的除去能力不足的情况。
[0079]图7是表示荧光图像和背景图像的差分图像中虚假的差分图像成分的生成的其他例子的图。此处，在观测图像70中，其中央部分存在矩形形状的明亮的图像部分71，周围存在昏暗的图像部分72的情况被考虑。而且，图像部分71的上方、下方的端部附近分别存在明亮的图像部分76，77的情况被考虑。在自然图像中，明亮的图像部分71和昏暗的图像部分72的边界处，存在包含这样的图像部分76，77的亮度分布变动的情况下，即使进行上述那样的最大、最小滤波处理，也可能产生虚假的图像成分。
[0080]图8 (a)、(b)分别表示相对于明亮的图像部分71及其上方的明亮的图像部分76中的B-A运算中的虚假的图像成分的产生而应用的最小滤波(MIN滤波)处理。图8 (a)中，与图6相同地，将滤波处理的像素数作为n=2，将最小滤波处理作为将对象像素加上在垂直方向上的时间上的前I个像素的2个像素中的最小亮度作为对象像素的亮度的处理。另外，图8 (b)中，将滤波处理的像素数作为n=3，将最小滤波处理作为将对象像素加上在垂直方向上的时间上的前2个像素的3个像素中的最小亮度作为对象像素的亮度的处理。[0081]图8 (a)中，原本的亮度分布P中，扫描线Al处的亮度为“暗”，相对于此，扫描线BI处的亮度为“亮”，在扫描线BI的上面I根的扫描线B6处的亮度同样为“亮”。这一情况下，即使相对于B输入的图像进行n=2的MIN滤波处理，得到的亮度分布MIN (B)中扫描线BI处的亮度仍然为“亮”，因此，由MIN (B) -A运算得到的差分图像中，虚假的图像成分Cl发生。
[0082]另一方面，如图8 (b)所示，关于同样的亮度分布P，相对于B输入的图像进行n=3的MIN滤波处理的情况下，由于在扫描线BI的上面2根的扫描线B7处的亮度为“暗”，在得到的亮度分布MIN (B)处，将扫描线BI处的亮度置换为“暗”。由此，由MIN (B) -A运算得到的差分图像中，虚假的差分图像不发生。此外，关于这样的虚假的图像成分的除去，对于A-B运算中的虚假的图像成分也可同样地进行。
[0083]这样，关于垂直方向的最大、最小滤波处理中，较大地设定应用滤波处理的对象像素的附近的像素数η的情况下，由此能够提高虚假的差分图像成分的除去能力。另一方面，较大地设置像素数η的情况下，会产生用于进行滤波处理的电路规模的增大等的问题。另夕卜，以大的像素数η进行滤波处理，具有例如将差分图像自身减小等的效果，抽出的目标的图像也会产生变形，因此不能将像素数η增大到必要以上。
[0084]考虑到这些方面，关于用于最大、最小滤波处理的对象像素的附近的像素数η，优选设定为上述那样的3以上5以下的整数(3 < η < 5)。另外，也可构成为，对应于滤波处理电路、存储器的构成等，关于相对于对象像素的垂直方向上的时间上的之后的像素也用于滤波处理。
[0085]另外，荧光图像和背景图像的差分图像中虚假的差分图像成分的生成，在上述的明亮的图像部分和昏暗的图像部分的边界以外，例如在观测对象物10以区域时间以上的速度发生移动等的情况下，也有产生的可能性。由于对象物的移动而产生虚假的图像成分的情况下，关于垂直方向上的移动，通过使用了上述的垂直方向的η个像素的滤波处理能够除去。
[0086]另外，关于水平方向的移动，通过使用对象像素加上水平方向上的m-Ι个的像素的m个像素进行同样的滤波处理，能够除去虚假的图像成分。这一情况下，关于水平方向的最大、最小滤波处理所使用的像素数m，考虑与垂直方向的情况相同的点，优选设定为5以上7以下的整数(5 < η < 7)。另外，关于水平方向、垂直方向的两者，进行滤波处理的情况下，例如，可以使用包含对象像素的nXm个像素来进行滤波处理。
[0087]此外，图4所示的时序图中，关于第1、第2期间中激励光供给的打开/关闭、荧光图像/背景图像的取得、差分运算的动作模式的切换、以及滤波处理的实行等，如关于图2已述的那样，并不限定于图4的结构。例如，也可构成为在第I期间中，将激励光的供给设为打开而取得荧光图像，在第2期间中，将激励光的供给设为关闭而取得背景图像。
[0088]图9是表示图3所示的荧光观测装置中实行的荧光观测方法的其他例子的时序图。在图9的例子中，与图4的例子相反地，第I期间Tll中激励光的供给打开，该期间所取得的第I区域的图像作为荧光图像，另外，第2期间T12中激励光的供给关闭，该期间所取得的第2区域的图像作为背景图像。
[0089]在第2期间T02中，摄像装置12中取得的背景图像，在第I期间Tll从摄像装置12输入至差分运算器20的A输入端子。另外，第I期间Tll中，存储器15中存储有，之前的第2期间T02中从摄像装置12输出的荧光图像，该荧光图像在由滤波器21进行的最小滤波处理后，被输入到差分运算器20的B输入端子。应用了第2模式的差分运算器20中，进行从应用了最小滤波处理的B输入的荧光图像减去A输入的背景图像的MIN (B) -A运算，由此，生成荧光图像被抽出的差分图像。
[0090]第I期间Tll中，摄像装置12中所取得的荧光图像在第2期间T12从摄像装置12被输入至差分运算器20的A输入端子。另外，第2期间T12中，存储器15中存储有在之前的第I期间Tll从摄像装置12输出的背景图像。该背景图像，在滤波器21中的最大滤波处理后，被输入至差分运算器20的B输入端子。应用了第I模式的差分运算器20中，进行从A输入的荧光图像减去应用了最大滤波处理的B输入的背景图像的A-MAX (B)运算，由此，生成荧光图像被抽出的差分图像。
[0091]通过在各帧取得期间中的第I期间和第2期间反复进行这样的从光源11的激励光的供给、在摄像装置12的图像取得、在滤波器21的滤波处理的切换、差分运算器20中的动作模式的切换、以及差分图像的生成，从而与图4的情况相同地，在各区域图像取得期间，实时地生成荧光被抽出的差分图像。
[0092]图10是表示荧光观测装置的第3实施方式的结构的框图。本实施方式的荧光观测装置IC被构成为，具备观测光源11、摄像装置12、区域存储器15、差分运算器20、MAX/MIN滤波器21、线存储器22、切换信号生成部25、分布图像生成部30、复用器35、和显示装置50。这些之中，关于观测光源11、摄像装置12、区域存储器15、差分运算器20、MAX/MIN滤波器21、线存储器22、切换信号生成部25、以及显示装置50的结构，与图3所示的第2实施方式的结构相同。
[0093]图10所示的结构中，相对于从差分运算器20输出荧光图像和背景图像的差分图像，设置有分布图像生成部30。该分布图像生成部30，是基于从差分运算器20输出的差分图像而生成表示荧光的强度分布的强度分布图像的分布图像生成单元。作为这一情况的强度分布图像，具体而言，例如可以使用以下结构，相对于差分图像，应用单一或多个阈值，生成作为强度分布图像的二值化图像或彩色化图像。
[0094]另外，相对于从摄像装置12的输出以及从分布图像生成部30的输出，设置有复用器35。该复用器35为，生成重叠了从摄像装置12输出的荧光图像或背景图像、和从分布图像生成部30输出的荧光的强度分布图像的重叠图像的重叠图像生成单元。
[0095]图10的结构中，复用器35的A输入端子连接有摄像装置12的输出，B输入端子连接有分布图像生成部30的输出。另外，复用器35中，从分布图像生成部30输入重叠指示信号，参照根据该重叠指示信号的指示内容，从摄像装置12输入的图像、和从分布图像生成部30输入的图像的重叠图像被生成。另外，复用器35中生成的重叠图像向显示装置50输出。
[0096]图11是表示图10所示的荧光观测装置IC中的分布图像生成部的结构的一个例子的框图。本构成例中，分布图像生成部30具有阈值设定部31、比较器32和图像转换部33，可以被构成为，相对于从差分运算器输入的差分图像，应用多个(N个)阈值，而生成对应于荧光的强度分布的彩色化图像(疑似彩色化图像)。
[0097]阈值设定部31，被构成为例如包含CPU，设定用于生成彩色化图像的N个阈值，该彩色化图像表示荧光的强度分布。另外，图11的构成例中，相对于摄像装置12设置有3G动作传感器(motion sensor),阈值设定部31参考关于由传感器13检测的摄像装置12的移动的信息而设定、变更阈值。这样的结构中，例如，能够检测摄像装置12的抖动，根据该抖动量，变动地提高差分图像成分的抽出所使用的阈值，在使虚假的差分图像成分成为不显眼的情况等下是有效的。此外，摄像装置12的抖动，由于成为相机支点的移动，图像的移动较大的情况很多，仅采用上述那样根据最大、最小滤波处理的空间滤波方式，存在不能完全除去的情况。
[0098]比较器32为，比较阈值设定部31所设定的N个阈值和从差分运算部20输入的差分图像的各像素中的亮度，作为该比较结果输出N阶段的判定值的N级比较器。另外，图像转换部33基于表示从比较器32输出的N阶段的判定值的N值切换信号，将来自差分运算器20的差分图像转换为N色的疑似彩色化差分图像。此外，关于亮度比N个阈值小的像素，荧光不产生的话，不生成彩色化的图像数据。
[0099]这样的结构中，在复用器35中，输入来自摄像装置12的原始图像(荧光图像或背景图像)、表示来自图像转换部33的荧光的强度分布的疑似彩色化差分图像、来自比较器
32的N值切换信号(重叠指示信号)。复用器35参照N值切换信号，以关于未生成彩色化图像的像素采用来自摄像装置12的原始图像数据，关于生成了彩色化图像的像素采用来自图像转换部22的彩色化图像数据的方式，通过以像素单位进行像素数据的切换，从而生成原始图像和彩色化差分图像(强度分布图像)的重叠图像。此外，这样的结构中，如果阈值的个数为N=l，则作为强度分布图像生成二值化图像。
[0100]图12是表示图10所示的荧光观测装置中实行的荧光观测方法的一个例子的时序图。该时序图中，表示了(a)成为差分运算器20的A输入的相机输入，(b)成为B输入的存储器输入，(c)由差分运算器20生成的差分图像，Cd)由分布图像生成部30生成的彩色化图像，以及(e)由复用器35生成的重叠图像。
[0101]此外，图12中所示的时序图中的基本的动作，除了彩色化图像的生成、以及重叠图像的生成以外，与图2所示的动作相同。另外，图12中，关于由MAX/MIN滤波器21实行的最大、最小滤波处理，省略了其图示。
[0102]在第I期间Tll中，在差分运算器20中，通过从A输入的荧光图像减去B输入的背景图像的A-B运算而生成差分图像。另外，分布图像生成部30中，通过相对于差分图像应用N个阈值，生成显示荧光的强度分布的N色的彩色化差分图像(分布图像生成步骤)。再有，在复用器35中，生成从生成部30输出的彩色化差分图像和从摄像装置12输出的荧光图像的重叠图像(重叠图像生成步骤)。
[0103]同样地，第2期间T12中，在差分运算器20中，通过从B输入的荧光图像减去A输入的背景图像的B-A运算而生成差分图像。另外，分布图像生成部30中，通过相对于差分图像应用N个阈值，生成N色的彩色化差分图像(分布图像生成步骤)。再有，在复用器35中，生成从生成部30输出的彩色化差分图像和从摄像装置12输出的背景图像的重叠图像(重叠图像生成步骤)。
[0104]本实施方式的荧光观测装置IC以及荧光观测方法，能够得到与第I实施方式的荧光观测装置IA以及第2实施方式的荧光观测装置IB同样的效果。
[0105]再有，本实施方式中，相对于从差分运算器20输出的差分图像，设置分布图像生成部30，其被构成为基于差分图像而生成表示荧光的强度分布的二值化图像或彩色化图像等的强度分布图像。这样，荧光被抽出的差分图像不是就这样被使用，而是在分布图像生成部30中转换成强度分布图像而用于荧光观测，由此，能够有效地进行例如微弱的荧光的观测图像的肉眼的确认等各种各样的操作。
[0106]另外，本实施方式中，构成为设置生成从摄像装置12输出的原始图像和从分布图像生成部30输出的强度分布图像的重叠图像的复用器35。这样，根据将原始的荧光图像或背景图像、和应用阈值而加工的强度分布图像的重叠图像用于荧光观测的结构，例如能够从显示装置50所显示的观测图像通过肉眼确认对象物10的荧光的发生位置，能够进行各种各样的有效的对象物的荧光观测。
[0107]此处，图13是图10所示的荧光观测装置IC中取得的观测图像的例子的图。图13(a)表示不进行根据彩色化图像的生成的荧光抽出、以及重叠图像的生成等的通常的观测图像，图13 (b)表示相对于原始图像重叠了疑似彩色化差分图像的重叠图像。这样，通过表示荧光的强度分布的彩色化图像等的强度分布图像，或进一步，原始图像和强度分布图像的重叠图像的生成、显示，能够适当地确认观测对象物中荧光的发生位置、范围、以及其强度分布等。
[0108]本发明的荧光观测装置和荧光观测方法不限于上述实施方式以及构成例，也可进行各种各样的变形。例如，关于差分图像生成单元、滤波处理单元、分布图像生成单元、以及重叠图像生成单元等的结构，不限于上述实施方式的结构，具体地能够使用各种各样的结构。另外，例如关于图10所示的分布图像生成部30以及复用器35，相对于图1所示的不设置MAX/MIN滤波器21的结构也可以应用。另外，也可构成为不设置生成重叠图像的复用器35，而将分布图像生成部30所生成的强度分布图像按原样显示于显示装置50。
[0109]上述实施方式的荧光观测装置中，具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像；以及(4)差分图像生成单元，其取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成单元，作为其生成模式，切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0110]另外，上述实施方式的荧光观测方法中，使用以下结构:使用具备:(I)激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换激励光的供给的打开/关闭；(2)隔行扫描型的摄像装置，对来自观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的观测对象物的图像数据在时间顺序上交替地输出；以及(3)图像存储单元，存储从摄像装置输出的第I区域的图像或第2区域的图像的荧光观测装置，所述方法包括:(4)差分图像生成步骤，取得从摄像装置输出的第I区域的图像及第2区域的图像中的一者、与在图像存储单元存储的第I区域的图像及第2区域的图像中的另一者的差分而生成差分图像，(5)激励光供给步骤，由激励光供给单元，关于由摄像装置取得的第I区域的图像取得期间、以及第2区域的图像取得期间，以其一方为将激励光的供给设为打开而取得荧光图像的期间、另一方为将激励光的供给设为关闭而取得背景图像的期间的方式供给激励光，(6)差分图像生成步骤，作为其生成模式，切换应用以下模式:第I模式，从摄像装置输出荧光图像的情况下，通过从荧光图像减去其之前取得的存储于图像存储单元的背景图像而生成差分图像；第2模式，从摄像装置输出背景图像的情况下，通过从其之前取得的存储于图像存储单元的荧光图像减去背景图像而生成差分图像。
[0111]另外，荧光观测装置具备切换信号生成单元，其生成切换信号，该切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换；差分图像生成单元，基于切换信号切换应用第I模式和第2模式。同样地，荧光观测方法具备切换信号生成步骤，其生成切换信号，切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换；差分图像生成步骤，基于切换信号切换应用第I模式和第2模式。
[0112]这样，通过使用基于来自摄像装置的信号与第1、第2区域的图像取得期间同步地生成的切换信号，从而能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换。
[0113]另外，荧光观测装置，优选具备滤波处理单元，其相对于从图像存储单元向差分图像生成单元输出的荧光图像或背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为对象像素的亮度，最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为对象像素的亮度；滤波处理单元，在从图像存储单元输出背景图像的第I模式和从图像存储单元输出荧光图像的第2模式中，切换应用最大滤波处理和最小滤波处理。
[0114]同样地，荧光观测方法，优选具备滤波处理步骤，其相对于从图像存储单元向差分图像生成单元输出的荧光图像或背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为对象像素的亮度，最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为对象像素的亮度；滤波处理步骤，在从图像存储单元输出背景图像的第I模式和从图像存储单元输出荧光图像的第2模式中，切换应用最大滤波处理和最小滤波处理。
[0115]如上述那样，将摄像装置的区域图像取得动作、激励光供给单元的激励光供给动作、差分图像生成单元的模式切换动作同步的结构中，在差分图像的生成中，由于取得第I区域的图像和第2区域的图像之间的差分，例如在明亮的图像部分和昏暗的图像部分的边界等处，存在虚假的差分图像成分被抽出的情况。另外，这样的虚假的差分图形成分的抽出，在对象物移动等的情况下也可能发生。
[0116]相对于此，设置滤波处理单元，其关于从图像存储单元输出的图像的各像素的亮度，进行最大滤波处理或最小滤波处理，并且在该滤波处理单元中，与差分图像的生成中的第1、第2模式的切换动作同步，切换最大、最小滤波处理而应用于图像。由此，能够抑制荧光图像和背景图像的差分图像中的虚假的差分图像成分的抽出。
[0117]该情况下，荧光观测装置可使用如下结构:具备切换信号生成单元，其生成切换信号，该切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换，差分图像生成单元，基于切换信号切换应用第I模式和第2模式，并且滤波处理单元，基于切换信号，在第I模式和第2模式中，切换应用最大滤波处理和最小滤波处理。
[0118]同样地，荧光观测方法可构成为，具备切换信号生成步骤，其生成切换信号，切换信号基于来自摄像装置的信号与第I区域的图像取得期间、以及第2区域的图像取得期间同步地进行切换；差分图像生成步骤，基于切换信号切换应用第I模式和第2模式，并且滤波处理步骤，基于切换信号，在第I模式和第2模式中，切换应用最大滤波处理和最小滤波处理。
[0119]这样，通过使用基于来自摄像装置的信号与第1、第2区域的图像取得期间同步地生成的切换信号，能够合适地实现差分图像的生成中的第I模式和第2模式的生成模式的切换、以及滤波处理中最大滤波处理和最小滤波处理的滤波处理的切换。
[0120]另外，使用上述滤波处理单元的情况下，荧光观测装置优选具备:第2图像存储单元，其对于包含对象像素的扫描线的线图像数据，存储包含对象像素的附近的规定范围内的像素的扫描线的线图像数据。根据这样的结构，使用第2图像存储单元所存储的线图像数据，能够合适地实行滤波处理单元中相对于图像的滤波处理。
[0121]关于相对于荧光图像或背景图像的滤波处理，具体而言，荧光观测装置可以使用如下结构:滤波处理单元中，在最大滤波处理中，使η为2以上的整数，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最大亮度作为对象像素的亮度的处理，在最小滤波处理中，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最小亮度作为对象像素的亮度的处理。
[0122]同样地，荧光观测方法可以为:滤波处理步骤中，在最大滤波处理中，使η为2以上的整数，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最大亮度作为对象像素的亮度的处理，在最小滤波处理中，进行将对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素中的最小亮度作为对象像素的亮度的处理。
[0123]这样，使用对象像素加上在垂直方向上的时间上的前η-1个像素的η个像素进行最大、最小滤波处理，能够合适地实现虚假的差分图像成分的抽出的抑制。另外，该情况下，优选最大滤波处理及最小滤波处理中所使用的像素数η被设定为3以上5以下的整数。
[0124]另外，荧光观测装置也可使用如下结构，滤波处理单元中，在最大滤波处理中，使m为2以上的整数，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上水平方向上的m-1个像素的m个像素中的最小亮度作为对象像素的亮度的处理。
[0125]同样地，荧光观测方法也可使用如下结构，在滤波处理步骤中，在最大滤波处理中，使m为2以上的整数，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最大亮度作为对象像素的亮度的处理；在最小滤波处理中，进行将对象像素加上水平方向上的m-Ι个像素的m个像素中的最小亮度作为对象像素的亮度的处理。[0126]这样，即使由使用对象像素加上水平方向上的m-Ι个像素的m个像素进行最大、最小滤波处理的结构，例如在对象物发生移动等的情况下，也能够合适地实现虚假的差分图像成分的抽出的抑制。
[0127]荧光观测装置也可使用如下结构:具备分布图像生成单元，其基于从差分图像生成单元输出的差分图像，生成表示荧光的强度分布的强度分布图像。同样地，荧光观测方法也可使用如下结构:具备分布图像生成步骤，其基于由差分图像生成步骤输出的差分图像，生成表示荧光的强度分布的强度分布图像。
[0128]这样，荧光被抽出的差分图像不是就这样被使用，而是转换成强度分布图像而用于荧光观测，由此，能够有效地进行例如微弱的荧光的观测图像的肉眼的确认等。另外，这样生成强度分布图像的情况下，可以使用如下结构，具体而言，例如相对于差分图像，应用单一或多个阈值，而生成作为强度分布图像的二值化图像或彩色化图像。
[0129]另外，荧光观测装置可以使用如下结构:具备重叠图像生成单元，其生成重叠了从摄像装置输出的荧光图像或背景图像、和从分布图像生成单元输出的强度分布图像的重叠图像。同样地，荧光观测方法可以使用如下结构:具备重叠图像生成步骤，其生成重叠了从摄像装置输出的荧光图像或背景图像、和由分布图像生成步骤输出的强度分布图像的重叠图像。[0130]这样，根据将原始的荧光图像或背景图像、和二值化图像、彩色化图像等的强度分布图像重叠的重叠图像用于荧光观测的结构，例如能够从观测图像通过肉眼确认对象物中的荧光的发生位置等，能够进行各种各样的有效的对象物的荧光观测。
[0131]产业上的利用可能性
[0132]本发明能够作为荧光观测装置及荧光观测方法而利用，该荧光观测装置及荧光观测方法在时间顺序上取得对象物的荧光观测图像的结构中，能够实时地生成荧光被抽出的图像。
[0133]符号的说明
[0134]1A、1B、1C…荧光观测装置、10...观测对象物、11...观测光源(激励光供给单元)、12…隔行扫描型的摄像装置、13...动作传感器、15…区域存储器(图像存储单元)、20…差分运算器(差分图像生成单元)、21…MAX/MIN滤波器(滤波处理单元)、22…线存储器、25...切换信号生成部、30...分布图像生成部(分布图像生成单元)、31…阈值设定部、32...比较器、
33…图像转换部、35...复用器(重叠图像生成单元)、50…显示装置。
【权利要求】
1.一种荧光观测装置，其特征在于， 具备: 激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换所述激励光的供给的打开/关闭； 隔行扫描型的摄像装置，对来自所述观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的所述观测对象物的图像数据在时间顺序上交替地输出； 图像存储单元，存储从所述摄像装置输出的所述第I区域的图像或所述第2区域的图像；以及 差分图像生成单元，其取得从所述摄像装置输出的所述第I区域的图像及所述第2区域的图像中的一者、与在所述图像存储单元存储的所述第I区域的图像及所述第2区域的图像中的另一者的差分而生成差分图像， 所述激励光供给单元，关于由所述摄像装置取得的所述第I区域的图像取得期间、以及所述第2区域的图像取得期间，以其一方为将所述激励光的供给设为打开而取得荧光图像的期间、另一方为将所述激励光的供给设为关闭而取得背景图像的期间的方式供给所述激励光， 所述差分图像生成单元，作为其生成模式，切换应用以下模式: 第I模式，从所述摄像装置输出所述荧光图像的情况下，通过从所述荧光图像减去其之前取得的存储于所述图像存储单元的所述背景图像而生成所述差分图像； 第2模式，从所述摄像装置输出所述背景图像的情况下，通过从其之前取得的存储于所述图像存储单元的所述荧光图像减去所述背景图像而生成所述差分图像。
2.如权利要求1所述的荧光观测装置，其特征在于，具备切换信号生成单元，其生成切换信号，所述切换信号基于来自所述摄像装置的信号与所述第I区域的图像取得期间、以及所述第2区域的图像取得期间同步地进行切换，所述差分图像生成单元，基于所述切换信号切换应用所述第I模式和所述第2模式。
3.如权利要求1所述的荧光观测装置，其特征在于， 具备滤波处理单元，其相对于从所述图像存储单元向所述差分图像生成单元输出的所述荧光图像或所述背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，所述最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为所述对象像素的亮度，所述最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为所述对象像素的亮度， 所述滤波处理单元，在从所述图像存储单元输出所述背景图像的所述第I模式和从所述图像存储单元输出所述荧光图像的所述第2模式中，切换应用所述最大滤波处理和所述最小滤波处理。
4.如权利要求3所述的荧光观测装置，其特征在于，具备切换信号生成单元，其生成切换信号，所述切换信号基于来自所述摄像装置的信号与所述第I区域的图像取得期间、以及所述第2区域的图像取得期间同步地进行切换，所述差分图像生成单元，基于所述切换信号切换应用所述第I模式和所述第2模式，所述滤波处理单元，基于所述切换信号，在所述第I模式和所述第2模式中，切换应用所述最大滤波处理和所述最小滤波处理。
5.如权利要求3或4所述的荧光观测装置，其特征在于， 具备第2图像存储单元，其对于包含所述对象像素的扫描线的线图像数据，存储包含所述对象像素的附近的所述规定范围内的像素的扫描线的线图像数据。
6.如权利要求3~5中任意一项所述的荧光观测装置，其特征在于， 所述滤波处理单元中， 在所述最大滤波处理中，进行将所述对象像素加上在垂直方向上的时间上的前n-1个像素的n个像素中的最大亮度作为所述对象像素的亮度的处理， 在所述最小滤波处理中，进行将所述对象像素加上在垂直方向上的时间上的前n-1个像素的n个像素中的最小亮度作为所述对象像素的亮度的处理， 其中，n为2以上的整数。
7.如权利要求6所述的荧光观测装置，其特征在于， 所述滤波处理单元中， 所述最大滤波处理及所述最小滤波处理中所使用的像素数η被设定为3以上5以下的整数。
8.如权利要求1~7中任意一项所述的荧光观测装置，其特征在于， 具备分布图像生成单元，其基于从所述差分图像生成单元输出的所述差分图像，生成表示荧光的强度分布的强度分布图像。
9.如权利要求8所述的荧光观测装置，其特征在于， 所述分布图像生成单元，相对于所述差分图像，应用单一或多个阈值，生成作为所述强度分布图像的二值化图像或彩色化图像。
10.如权利要求8或9所述的荧光观测装置，其特征在于， 具备重叠图像生成单元，其生成重叠了从所述摄像装置输出的所述荧光图像或所述背景图像、和从所述分布图像生成单元输出的所述强度分布图像的重叠图像。
11.一种荧光观测方法，其特征在于， 使用以下的荧光观测装置， 所述荧光观测装置具备: 激励光供给单元，相对于观测对象物供给用于荧光观测的激励光，并且能够切换所述激励光的供给的打开/关闭； 隔行扫描型的摄像装置，对来自所述观测对象物的光像进行摄像，并且将第I区域的图像及第2区域的图像作为所得到的所述观测对象物的图像数据在时间顺序上交替地输出；以及 图像存储单元，存储从所述摄像装置输出的所述第I区域的图像或所述第2区域的图像， 所述方法包括: 差分图像生成步骤，取得从所述摄像装置输出的所述第I区域的图像及所述第2区域的图像中的一者、与在所述图像存储单元存储的所述第I区域的图像及所述第2区域的图像中的另一者的差分而生成差分图像， 激励光供给步骤，由所述激励光供给单元，关于由所述摄像装置取得的所述第I区域的图像取得期间、以及所述第2区域的图像取得期间，以其一方为将所述激励光的供给设为打开而取得荧光图像的期间、另一方为将所述激励光的供给设为关闭而取得背景图像的期间的方式供给所述激励光， 所述差分图像生成步骤，作为其生成模式，切换应用以下模式: 第I模式，从所述摄像装置输出所述荧光图像的情况下，通过从所述荧光图像减去其之前取得的存储于所述图像存储单元的所述背景图像而生成所述差分图像； 第2模式，从所述摄像装置输出所述背景图像的情况下，通过从其之前取得的存储于所述图像存储单元的所述荧光图像减去所述背景图像而生成所述差分图像。
12.如权利要求11所述的荧光观测方法，其特征在于， 具备滤波处理步骤，其相对于从所述图像存储单元输出的所述荧光图像或所述背景图像，关于图像所包含的各像素的亮度，进行最大滤波处理或最小滤波处理，所述最大滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最大亮度作为所述对象像素的亮度，所述最小滤波处理将对象像素加上其附近的规定范围内的像素的多个像素中的最小亮度作为所述对象像素的亮度， 所述滤波处理步骤中，在从所述图像存储单元输出所述背景图像的所述第I模式和从所述图像存储单元输出所述荧光图像的所述第2模式中，切换应用所述最大滤波处理和所述最小滤波处理。
13.如权利要求11或12所述的荧光观测方法，其特征在于， 具备分布图像生成步骤，其基于所述差分图像生成步骤中输出的所述差分图像，生成表示荧光的强度分布的强度分布图像。
14.如权利要求13所述的荧光观测方法，其特征在于， 所述分布图像生成步骤中，相对于所述差分图像，应用单一或多个阈值，生成作为所述强度分布图像的二值化图像或彩色化图像。
15.如权利要求13或14所述的荧光观测方法，其特征在于， 具备重叠图像生成步骤，其生成重叠了从所述摄像装置输出的所述荧光图像或所述背景图像、和所述分布图像生成步骤中输出的所述强度分布图像的重叠图像。
【文档编号】G01N21/64GK103842802SQ201280048908
【公开日】2014年6月4日 申请日期:2012年7月13日 优先权日:2011年10月3日
【发明者】佐藤太加之 申请人:浜松光子学株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1