图像解析方法和图像解析装置制造方法
【专利摘要】S1：取得试样的观察区域的1帧或多帧的荧光图像。S2：针对所取得的1帧或多帧各自的观察区域的荧光图像设定1个或多个解析区域。S3：提取与各解析区域对应的像素的数据。S4：设定多个相关计算中分别使用的像素的数据对的多个时间间隔。S5：使用提取出的像素的数据进行相关计算。S6：对相关计算的结果进行拟合。S7：保存解析结果。S8：针对S4中设定的多个时间间隔，分别反复进行S5～S7的操作。
【专利说明】图像解析方法和图像解析装置
【技术领域】
[0001 ] 本发明涉及图像解析方法和图像解析装置。
【背景技术】
[0002]以往，公知有被称为荧光相关分光分析法(FCCS)的图像解析方法。FCCS例如如专利文献I所示。在FCCS中，针对试样中的一个或多个测定点，在某个程度的时间内(例如10秒钟)持续照射激励光，检测从测定点发出的荧光的强度的波动并进行相关解析，从而估计分子数和扩散常数。
[0003]并且，还公知有被称为光栅图像相关分光法(RICS)的图像解析方法。RICS例如如非专利文献I所示。在RICS中，取得1帧以上的光栅扫描图像。光栅扫描图像例如可以是荧光图像。荧光图像的各像素的数据表示从对应的试样中的点产生的荧光的强度的信息。像素的数据的取得时间和取得位置分别不同。
[0004]通过使用这些像素的数据进行空间自相关解析，得到基于分子波动的相关特性。能够根据分子的相关特性求出扩散常数和分子数。能够根据扩散常数求出分子扩散时间。
[0005]这样，由于能够通过进行空间自相关解析来评价扩散时间和分子数等，所以，能够观察分子间的相互作用。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2007-093277号公报
[0009]非专利文献
[0010]非专利文献1“Measuring Fast Dynamics in Solutions and Cells witha Laser Scanning Microscope，，，Michelle A.Digman, Claire M.Brown, ParijatSengupta, Paul ff.Wiseman, Alan R.Horwitz, and Enrico Gratton, Biophysical Journal,Vol.89，P1317-1327, August2005.
【发明内容】
[0011]发明要解决的课题
[0012]在现有的RICS的解析处理中，将分子的扩散时间(或分子数等)作为主要解析参数进行处理，但是，能够解析的成分停留在2个成分。并且，拟合(fitting)用参数的设定困难，2个成分解析也困难。因此，在由多个分子种(分子種)构成的样本中，事实上几乎未进行多成分解析。
[0013]本发明提供能够进行多成分解析的图像解析方法和图像解析装置。
[0014]用于解决课题的手段
[0015]本发明的图像解析方法具有以下步骤:图像取得步骤，取得由多个像素构成的至少I帧的图像；解析区域设定步骤，针对所述至少I帧的图像设定至少I个解析区域；数据提取步骤，提取与各解析区域对应的像素的数据；时间间隔设定步骤，设定在多个相关计算中分别使用的数据对的多个时间间隔；相关计算步骤，使用提取数据分别对所述多个时间间隔进行相关计算；以及拟合步骤，分别对基于所述相关计算步骤的多个相关计算结果进行拟合。
[0016]发明效果
[0017]根据本发明，提供能够进行多成分解析的图像解析方法和图像解析装置。
【专利附图】
【附图说明】[0018]图1概略地示出一个实施方式的图像解析装置。
[0019]图2示出图1所示的控制部的功能块。
[0020]图3是一个实施方式的图像解析的流程图。
[0021]图4示出I帧的二维图像的荧光图像。
[0022]图5示出I帧的三维图像的荧光图像。
[0023]图6示出多帧的观察区域的图像和I个解析区域的提取图像。
[0024]图7示出多帧的观察区域的图像和2个解析区域的提取图像。
[0025]图8示意地示出针对相同帧的图像内的相同解析区域的相关计算。
[0026]图9示意地示出针对不同帧的图像内的相同解析区域的相关计算。
[0027]图10示意地示出针对相同帧的图像内的不同解析区域的相关计算。
[0028]图11示意地示出针对不同帧的图像内的不同解析区域的相关计算。
[0029]图12是利用亮度示出与试样中的分子有关的空间互相关值的计算结果的图像。
[0030]图13示出图12的空间互相关值的计算结果的拟合结果。
【具体实施方式】
[0031]下面，参照附图对本发明的实施方式进行说明。
[0032][装置结构]
[0033]图1概略地示出一个实施方式的图像解析装置。该图像解析装置以试样的荧光观察用的扫描型共焦点光学显微镜为基础构成。
[0034]如图1所示，图像解析装置100具有对试样S照射光例如激励光的光照射部110、检测来自试样S的光例如荧光的光检测部130、进行图像解析所需要的控制的控制部160、支承试样S的试样台190。
[0035]试样S收纳在微孔板或载玻片等试样容器内，并载置在试样台190上。试样台190例如将试样S支承为能够相对于光照射部110和光检测部130在横向(xy方向)和高度方向(z方向)上移动。例如，试样台190包括输出轴相互垂直的3个步进电机，能够通过这些步进电机使试样S在xyz方向上移动。
[0036]图像解析装置100例如为多重光照射/多重光检测型。因此，光照射部110包括η通道的光源单元111，光检测部130包括m通道的光检测单元131。光源单元111具有η个通道，能够射出η种不同波长的激励光。并且，光检测单元131具有m个通道，能够检测m种不同波长的荧光。光源单元111不是必须具有多个通道，也可以仅具有I个通道。并且，光检测单元131也不是必须具有多个通道，也可以仅具有I个通道。
[0037]光照射部110的η通道的光源单元111包括光源112a、…、112η、准直透镜114a、...、 114n、分色镜116a、…、116n。光源112a、…、112n发出用于激励试样S中包含的突光色素并从试样S发出光(突光)的激励光。从光源112a、…、112η发出的激励光的波长对应于试样S中包含的荧光色素的种类而相互不同。光源112a、…、112η例如由与试样S中的荧光色素对应的振荡波长的激光光源构成。准直透镜114a、…、114η分别对从光源112a、…、112η发出的激励光进行准直。分色镜116a、…、116η分别使通过准直透镜114a、…、114η后的激励光向相同方向反射。分色镜116a、…、116η分别使从图1的上方入射的激励光透射，使从图1的右方入射的激励光反射。其结果，从光源112a、…、112η分别射出的不同波长的激励光通过分色镜116a后合成为一条光束。由于分色镜116η不需要透射激励光，所以也可以变更为仅是反射镜。
[0038]光照射部110还包括分色镜122、电镜(galvano mirror) 124、物镜126、物镜驱动机构128。分色镜122使来自光源单兀111的激励光朝向电镜124反射,使从试样S发出的荧光透射。电镜124使激励光朝向物镜126反射，并且对其反射方向进行变更。物镜126使激励光会聚并照射到试样S内的测定点，并且取入来自试样S内的测定点的光。物镜126使用NA (数值孔径)大的物镜，以形成微小的共焦点区域(测定点)。由此得到的共焦点区域的大小成为直径0.6 μ m左右(xy面内)、长度2μπι左右(ζ方向)的大致圆筒状。电镜124构成在xy方向上扫描测定点的xy扫描机构。除了使用电镜构成xy扫描机构以外，还可以使用声光调制元件(AOM)、多棱镜、全息扫描仪等构成xy扫描机构。物镜驱动机构128使物镜126沿着光轴移动。由此，使测定点在ζ方向上移动。即，物镜驱动机构128构成在ζ方向上扫描测定点的ζ扫描机构。
[0039]光检测部130与光照射部110共享物镜126、电镜124、分色镜122。光检测部130还包括会聚透镜132、针孔134、准直透镜136。会聚透镜132使透射过分色镜122的光会聚。针孔134配置在会聚透镜132的焦点上。即，针孔134位于与试样S内的测定点共轭的位置，仅择性地使来自测定点的光选通过。准直透镜136使通过针孔134后的光平行。通过准直透镜136后的光入射到m通道的光检测单元131。
[0040]m通道的光检测单兀131包括分色镜138a、…、138m、突光滤光器140a、...、140m、光检测器142a、…、142m。分色镜138a、…、138m分别选择性地使作为检测对象的荧光的波段附近的波长的光反射。由于分色镜138m不需要透射光，所以也可以变更为仅是反射镜。突光滤光器140a、…、140m分别从由分色镜138a、…、138m反射的光中遮断不期望的波长成分的光，仅选择性地使通过来自光源112a、*“、112n的激励光而生成的突光透射。透射过突光滤光器140a、…、140m后的突光分别入射到光检测器142a、…、142m。光检测器142a、...、142m输出与所入射的光的强度对应的信号。即，光检测器142a、...、142m输出来自试样S内的测定点的荧光强度信号。
[0041]控制部160例如由个人计算机构成。控制部160进行试样S的观察区域的荧光图像的取得/存储/显示、解析区域的设定等输入等待、图像的解析处理(相关值的计算、分子数/扩散时间的估计等)。并且，控制部160进行作为xy扫描机构的电镜124、作为ζ扫描机构的物镜驱动机构128以及试样台190等的控制。
[0042]图2示出图1所示的控制部的功能块。如图2所示，控制部160包括扫描控制部162、图像形成部164、存储部166、显示部168、输入部170、解析区域设定部172、数据提取部174、解析处理部178、时间间隔设定部178、台控制部180。扫描控制部162、图像形成部164、存储部166、台控制部180与上述光照射部110和光检测部130协作构成图像取得部。
[0043]在取得试样S的突光图像时，扫描控制部162控制电镜124,以使得相对于试样S对激励光的照射位置进行光栅扫描。并且，如果需要，扫描控制部162控制物镜驱动机构128，以使得相对于试样S对激励光的照射位置进行z扫描。图像形成部164根据从扫描控制部162输入的激励光的照射位置的信息和光检测器142a、…、142m的输出信号形成试样S的荧光图像。由此，取得荧光图像。存储部166存储由图像形成部164形成的荧光图像。显示部168显示试样S的荧光图像和解析处理结果。输入部170例如包括鼠标和键盘，与显示部168 —起构成GUI。该GUI用于观察区域和解析区域的设定等。台控制部180例如根据来自输入部170的输入信息控制试样台190，以设定观察区域。解析区域设定部172根据来自输入部170的输入信息设定解析区域。数据提取部174提取用于进行相关计算的解析区域的数据。时间间隔设定部176设定在多个相关计算中分别使用的数据对的多个时间间隔。解析处理部178使用解析区域的图像的像素的数据进行相关计算。解析处理部178的处理在后面详细叙述。[0044]在图1中，从光源112a、…、112η发出的激励光经由准直透镜114a、…、114η、分色镜116a、…、116η、分色镜122、电镜124、物镜126照射到试样S内的测定点。通过电镜124，在xy方向上对被照射激励光的测定点进行光栅扫描。并且，根据需要，每当一次光栅扫描结束时，通过物镜驱动机构128进行z扫描。在观察区域的全体范围内对测定点进行扫描。受到激励光的试样S从测定点发出荧光。来自试样S的光(除了荧光以外，还包括不期望的反射光等)经由物镜126、电镜124、分色镜122、会聚透镜132到达针孔134。由于针孔134位于与测定点共轭的位置，所以，仅来自试样S内的测定点的光通过针孔134。通过针孔134后的光、即来自试样S内的测定点的光经由准直透镜136入射到m通道的光检测单元131。通过分色镜138a、…、138m，按照波长对入射到m通道的光检测单元131的光进行分离(即分光)，并且，通过荧光滤光器140a、…、140m去除不期望的成分。通过荧光滤光器140a、…、140m后的突光分别入射到光检测器142a、…、142m。光检测器142a、…、142m分别输出表不入射光即从试样S内的测定点发出的突光的强度的突光强度信号。该突光强度信号被输入到图像形成部164。图像形成部164与xy方向(和z方向)的位置信息同步地对所输入的荧光强度信号进行处理，形成试样S内的观察区域的荧光图像。所形成的荧光图像被保存在存储部166中。存储部166中保存的荧光图像直接显示在显示部168中，或者通过解析处理部178进行处理并将解析处理结果显示在显示部168中。
[0045][解析顺序]
[0046]下面，参照图3对图像解析的顺序进行说明。并且，适当参照图4~图11对各步骤进行说明。
[0047](步骤SI)
[0048]取得试样S的观察区域的I帧或多帧的图像例如荧光图像。经由光源单元111的I个通道和与其对应的光检测单元131的I个通道取得荧光图像。各帧的荧光图像由通过激励光的扫描而按时间序列取得数据的多个像素构成。实际上，测定点在xyz方向上具有空间的宽度，像素具有与该测定点的空间宽度对应的大小。荧光图像的各像素的数据例如是从对应的测定点发出的荧光的强度。
[0049]观察区域是二维区域或三维区域，与其对应地，荧光图像是二维图像或三维图像。在观察区域为 二维区域的情况下，荧光图像是二维地排列有在xy方向上具有大小的像素的二维图像。并且，在观察区域为三维区域的情况下，荧光图像是三维地排列有在xyz方向上具有大小的像素的三维图像。并且，从另一方面来看，三维图像由ζ位置不同的多帧的二维图像构成。
[0050]图4示出I帧的二维图像的荧光图像。在图4中，τ p是某个像素和与其相邻的下一个像素之间的取得时间的偏移(像素时间)。即，像素时间τρ是取得I个像素的数据所需要的时间。并且，T1是某行的最初的像素和下一行的最初的像素之间的取得时间的偏移(行时间)。即，行时间^是指扫描I行所需要的时间。
[0051]图5不出I帧的二维图像。在图5中，τρ是像素时间，！^是行时间，τ f是某中贞的最初的像素和下一帧的最初的像素之间的取得时间的偏移(帧时间)。即，帧时间τ f是指扫描I帧所需要的时间。
[0052](步骤S2)
[0053]对所取得的I帧或多帧各自的观察区域的图像例如荧光图像设定I个或多个解析区域。多个解析区域是空间上不同的区域，通常相互分开而不重复。对于二维观察区域，解析区域为二维区域，对于三维观察区域，解析区域通常为三维区域，但是也可以是二维区域。在图6中，在取得100帧时，对多帧~f1(?各自的观察区域的荧光图像设定I个解析区域A1，解析区域A1位于细胞核外。并且，在图7中，对多帧4~各自的观察区域的荧光图像设定2个解析区域Ap A2，例如，解析区域A1位于细胞核外，解析区域A2位于细胞核内。
[0054](步骤S3)
[0055]提取与各解析区域对应的像素的数据。在图6中，示出提取出的多帧~f1(IQ的解析区域A1的像素的数据即图像。并且，在图7中，示出提取出的多帧的解析区域ApA2的像素的数据即图像。
[0056](步骤S4)
[0057]设定在多个相关计算中分别使用的数据对的多个时间间隔(延迟时间)。各时间间隔对应于各相关计算用的积和计算中使用的多对像素的数据的取得时间之差。例如，某个时间间隔对应于相同帧的相同或不同解析区域内的2个像素，另一个时间间隔对应于不同帧的相同或不同解析区域内的2个像素。这些时间间隔优选设定为能够进行足够次数的积和计算。
[0058](步骤S5)
[0059]使用提取出的像素的数据进行相关计算。相关计算中应用的计算式根据解析区域的图像是二维图像还是三维图像而不同。并且，根据相关计算的积和计算中使用的多个数据对各自的2个像素是属于相同解析区域还是属于不同解析区域而不同。而且，还根据相关计算的积和计算中使用的多个数据对各自的2个像素是属于相同帧的图像还是属于不同帧的图像而不同。
[0060]针对二维图像的应用计算式如下所述。
[0061]1.各数据对的2个像素属于相同解析区域的图像、且属于相同帧的图像的情况。该情况下，使用相同帧的图像内的相同解析区域内的像素的数据对进行相关计算。该相关计算为自相关计算。图8示意地示出该情况下的相关计算。[0062][数学式I]
[0063]
【权利要求】
1.一种图像解析方法，其具有以下步骤: 图像取得步骤，取得由多个像素构成的至少I帧的图像； 解析区域设定步骤，针对所述至少I帧的图像设定至少I个解析区域； 数据提取步骤，提取与各解析区域对应的像素的数据； 时间间隔设定步骤，设定在多个相关计算中分别使用的数据对的多个时间间隔； 相关计算步骤，使用提取数据分别对所述多个时间间隔进行相关计算；以及 拟合步骤，分别对基于所述相关计算步骤的多个相关计算结果进行拟合。
2.根据权利要求1所述的图像解析方法，其中， 在所述图像取得步骤中，取得多帧的图像， 在所述解析区域设定步骤中，针对各帧的图像设定I个解析区域，所述解析区域是各帧的图像内的相同区域。
3.根据权利要求2所述的图像解析方法，其中， 在所述相关计算步骤中，使用相同帧的图像内的相同解析区域内的像素的数据对进行相关计算。
4.根据权利要求2所述的图像解析方法，其中， 在所述相关计算步骤中，使用不同帧的图像内的相同解析区域内的像素的数据对进行相关计算。
5.根据权利要求1所述的图像解析方法，其中， 在所述图像取得步骤中，取得多帧的图像， 在所述解析区域设定步骤中，针对各帧的图像设定多个解析区域，所述多个解析区域分别是各帧的图像内的相同区域。
6.根据权利要求5所述的图像解析方法，其中， 在所述相关计算步骤中，使用相同帧的图像内的不同解析区域内的像素的数据对进行相关计算。
7.根据权利要求5所述的图像解析方法，其中， 在所述相关计算步骤中，使用不同帧的图像内的不同解析区域内的像素的数据对进行相关计算。
8.根据权利要求3所述的图像解析方法，其中， 所述解析区域的图像是二维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式1]
9.根据权利要求4所述的图像解析方法，其中，所述解析区域的图像是二维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式2]
10.根据权利要求6所述的图像解析方法，其中， 所述解析区域的图像是二维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式3]
11.根据权利要求7所述的图像解析方法，其中， 所述解析区域的图像是二维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式4]
12.根据权利要求8~11中的任意一项所述的图像解析方法，其中， 在所述拟合步骤中，使用下式进行拟合:
13.根据权利要求3所述的图像解析方法，其中， 所述解析区域的图像是三维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式6]
14.根据权利要求4所述的图像解析方法，其中， 所述解析区域的图像是三维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式7]
15.根据权利要求6所述的图像解析方法，其中，所述解析区域的图像是三维图像， 在所述相关计算步骤中，使用下式进行相关计算: [数学式8]
16.根据权利要求7所述的图像解析方法，其中， 所述解析区域的图像是三维图像， [数学式9]
17.根据权利要求13~16中的任意一项所述的图像解析方法，其中， 在所述拟合步骤中，使用下式进行拟合: [数学式10]
18.根据权利要求1~17中的任意一项所述的图像解析方法，其中， 所述图像解析方法还具有以下步骤:通过进行所述拟合，估计所述解析区域内的各成分的分子种的分子数，使用下式计算分子种的比例:
19.根据权利要求1~18中的任意一项所述的图像解析方法，其中， 所述图像解析方法还具有对所述解析区域内的像素的数据进行重构的步骤，在所述相关计算步骤中，使用重构的数据进行相关计算。
20.根据权利要求1~19中的任意一项所述的图像解析方法，其中， 各帧的图像由通过光扫描而按时间序列取得了数据的多个像素构成。
21.根据权利要求1~20中的任意一项所述的图像解析方法，其中， 所述图像解析方法还具有显示相关解析结果的步骤。
22.—种图像解析装置，其具有: 图像取得部，其取得由多个像素构成的至少I帧的图像； 解析区域设定部，其针对所述至少I帧的图像设定至少I个解析区域； 数据提取部，其提取与各解析区域对应的像素的数据； 时间间隔设定部，其设定在多个相关计算中分别使用的数据对的多个时间间隔；以及解析处理部，其使用提取数据分别对所述多个时间间隔进行相关计算，并且分别对多个相关计算结果进行拟合。
23.根据权利要求22所述的图像解析装置，其中， 所述图像取得部取得多帧的图像， 所述解析区域设定部针对各帧的图像设定I个解析区域，所述解析区域是各帧的图像内的相同区域。
24.根据权利要求23所述的图像解析装置，其中， 所述解析处理部使用相同帧的图像内的相同解析区域内的像素的数据对进行相关计算。
25.根据权利要求23所述的图像解析装置，其中， 所述解析处理部使用不同帧的图像内的相同解析区域内的像素的数据对进行相关计算。
26.根据权利要求22所述的图像解析装置，其中， 所述图像取得部取得多帧的图像， 所述解析区域设定部针对各帧的图像设定多个解析区域，所述多个解析区域分别是各帧的图像内的相同区域。
27.根据权利要求26所述的图像解析装置，其中， 所述解析处理部使用相同帧的图像内的不同解析区域内的像素的数据对进行相关计算。
28.根据权利要求26所述的图像解析装置，其中， 所述解析处理部使用不同帧的图像内的不同解析区域内的像素的数据对进行相关计算。
29.根据权利要求24所述的图像解析装置，其中， 所述解析区域的图像是二维图像， 所述解析处理部使用下式进行相关计算: [数学式12]
30.根据权利要求25所述的图像解析装置，其中， 所述解析区域的图像是二维图像， 所述解析处理部使用下式进行相关计算: [数学式13]
31.根据权利要求27所述的图像解析装置，其中， 所述解析区域的图像是二维图像， 所述解析处理部使用下式进行相关计算: [数学式14]
32.根据权利要求28所述的图像解析装置，其中， 所述解析区域的图像是二维图像， 所述解析处理部使用下式进行相关计算: [数学式15]
33.根据权利要求29~32中的任意一项所述的图像解析装置，其中， 所述解析处理部使用下式进行拟合: [数学式16]
34.根据权利要求24所述的图像解析装置，其中， 所述解析区域的图像是三维图像， 所述解析处理部使用下式进行相关计算: [数学式17]
35.根据权利要求25所述的图像解析装置，其中， 所述解析区域的图像是三维图像， 所述解析处理部使用下式进行相关计算: [数学式18]
36.根据权利要求27所述的图像解析装置，其中， 所述解析区域的图像是三维图像， 所述解析处理部使用下式进行相关计算: [数学式19]
37.根据权利要求28所述的图像解析装置，其中， 所述解析区域的图像是三维图像， [数学式20] ^, Σ(χ + ^,y + r ,z + f )/Mi2i β3Λ —、=..............................S..........?1^......?χ:.......?:.......Ζ)/μ21) 这里，G3dd。是帧fi的解析区域A1和帧fj的解析区域A2之间的互相关值，Ilfi是帧fi的解析区域4的图像的像素的数据例如荧光强度数据，I2fj是帧A的解析区域A2的图像的像素的数据例如荧光强度数据，x、y、z是测定点的空间坐标，ξ、Ψ、Π是从测定点起的空间坐标的变化量，M12ij是帧&的解析区域A1和帧fj的解析区域A2的图像的像素的数据的积和计算的次数，Mli是帧&的解析区域A1的图像的像素的数据的总数，M2j是帧&的解析区域4的图像的像素的数据的总数。
38.根据权利要求34~37中的任意一项所述的图像解析装置，其中， 所述解析处理部使用下式进行拟合: [数学式21]
39.根据权利要求22~38中的任意一项所述的图像解析装置，其中， 所述解析处理部通过进行所述拟合，估计所述解析区域内的各成分的分子种的分子数，使用下式计算分子种的比例: [数学式22]
40.根据权利要求22~39中的任意一项所述的图像解析装置，其中， 所述解析处理部对所述解析区域内的像素的数据进行重构，使用重构的数据进行相关计算。
41.根据权利要求22~40中的任意一项所述的图像解析装置，其中， 各帧的图像由通过光扫描而按时间序列取得了数据的多个像素构成。
42.根据权利要求22~41中的任意一项所述的图像解析装置，其中， 所述图像解析装置还具有显示相关解析结果的显示部。
【文档编号】G01N21/64GK103917860SQ201280055334
【公开日】2014年7月9日 申请日期:2012年10月4日 优先权日:2011年11月10日
【发明者】铃木明美 申请人:奥林巴斯株式会社